(57)【要約】      （修正有）【課題】被写体を撮影したカメラ画像だけから被写体の正確な３次元形状を復元する。【解決手段】本発明による３次元形状復元装置は、カメラ画像から被写体のシルエット画像を生成するシルエット画像生成手段（１２）と、生成された複数のシルエット画像から、撮影カメラのキャリブレーションデータを用いて、視体積交差法により被写体と外接する概形形状モデルを生成する手段（１３）と、撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成する手段（１４）と、生成された概形距離情報から、被写体の局所的な形状情報を生成する手段（１５）と、カメラ画像から選択した基準カメラ画像と参照カメラ画像を用い、基準カメラ画像を撮影したカメラから被写体までの距離を補正する対応点探索手段（１６）と、対応点探索手段から出力される距離情報を用いて被写体の３次元形状を復元する３次元形状復元手段（１７）を有する。【選択図】  図１
2008015863.tif 000002
【特許請求の範囲】
【請求項１】
種々の方向から撮影された被写体のカメラ画像と撮影カメラのカメラキャリブレーションデータとを用いて、撮影カメラから被写体までの距離情報を出力する距離情報出力装置において、
各カメラ画像から、被写体のシルエット画像を生成するシルエット画像生成手段と、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体と外接する概形形状モデルを生成する手段と、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成する手段と、
生成された概形距離情報から、被写体の局所的な形状情報を生成する手段と、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用いて、対応点探索法により前記概形距離情報を補正する対応点探索手段とを有し、
前記対応点探索手段は、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用い、前記基準カメラ画像を撮影したカメラから被写体までの距離情報を出力することを特徴とする距離情報出力装置。
【請求項２】
請求項１に記載の距離情報出力装置において、前記対応点探索手段は、探索パラメータとして前記基準カメラ画像を撮影したカメラから被写体に向く距離を用い、前記概形距離情報を初期値として探索を行ない、前記評価関数の関数値が最小となる探索パラメータ値に基づき前記基準カメラ画像を撮影したカメラから被写体までの距離情報を算出することを特徴とする距離情報出力装置。
【請求項３】
請求項１又は２に記載の距離情報出力装置において、前記対応点探索装置は、基準カメラ画像と参照カメラ画像との間の視差情報を用いて基準カメラ画像から被写体までの距離を算出することを特徴とする距離情報出力装置。
【請求項４】
種々の方向から撮影された被写体のカメラ画像から、被写体の３次元形状を復元する３次元形状復元装置において、
各カメラ画像から、被写体のシルエット画像を生成する手段と、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体に外接する概形形状モデルを生成する手段と、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成する手段と、
生成された概形距離情報から、被写体の局所的な形状情報を生成する手段と、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用い、対応点探索法により前記概形距離情報を補正する対応点探索手段であって、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用い、前記基準カメラ画像を撮影したカメラから被写体までの距離情報を出力する距離情報出力手段と、
距離情報出力手段から出力される距離情報と、前記シルエット画像生成手段から出力されるシルエット画像情報と、撮影カメラのカメラキャリブレーションデータとを用いて被写体の３次元形状を復元する手段とを具えることを特徴とする３次元形状復元装置。
【請求項５】
種々の方向から撮影された被写体のカメラ画像と撮影カメラのカメラキャリブレーションデータとを用い、撮影カメラから被写体までの距離情報を出力するプログラムであって、
各カメラ画像から、被写体のシルエット画像を生成するステップと、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体と外接する概形形状モデルを生成するステップと、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成するステップと、
生成された概形距離情報から、被写体の局所的な形状情報を生成するステップと、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用い、対応点探索法により前記概形距離情報を補正するステップであって、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用いて前記概形距離情報を補正し、基準カメラ画像を撮影したカメラから被写体までの距離情報を出力するステップとを含む距離情報出力プログラム。
【請求項６】
種々の方向から撮影された被写体のカメラ画像と撮影カメラのカメラキャリブレーションデータから、被写体の３次元形状を復元する３次元形状復元プログラムであって、
各カメラ画像から、被写体のシルエット画像を生成するシルエット画像生成ステップと、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体に外接する概形形状モデルを生成するステップと、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成するステップと、
生成された概形距離情報から、被写体の局所的な形状情報を生成する手段と、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用い、対応点探索法により前記概形距離情報を補正するステップであって、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用いて前記概形距離情報を補正し、基準カメラ画像を撮影したカメラから被写体までの距離情報を出力する距離情報出力ステップと、
前記距離情報出力ステップにおいて生成された距離情報と、前記シルエット画像生成ステップにおいて生成されたシルエット画像情報と、撮影カメラのカメラキャリブレーションデータとを用いて被写体の３次元形状を復元するステップとを含む３次元形状復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の方向から撮影したカメラ画像を用いて撮影カメラから被写体までの距離情報を出力する距離情報出力装置、及び当該距離情報出力装置から出力される距離情報を用いて被写体の３次元形状を復元する３次元形状復元装置に関するものである。
【背景技術】
【０００２】
人物等の被写体の動きを３次元データ化することを目的とする３次元形状復元装置の開発が要請されている。複数の撮影カメラにより複数の方向から撮影したカメラ画像から被写体の３次元形状を復元する方法として、視体積交差法により被写体の概形形状を復元する方法が知られている（例えば、非特許文献１参照）。この手法では、比較的安価な計算コストで安定した形状が得られる利点がある。しかし、被写体表面の凹形状などの詳細な形状を復元ことができないという原理的な欠点がある。
【０００３】
一方、基準カメラ画像と参照カメラ画像との２枚の画像間での対応点探索法により基準カメラの撮像面から被写体までの距離情報を算出し、この距離情報に基づいて被写体の３次元形状を復元する手法が知られている（例えば、特許文献1参照）。この対応点探索法を利用した手法では、２枚のカメラ画像間で正確な対応付けを取ることができれば、被写体の正確な３次元形状を復元することが可能である。
【０００４】
【非特許文献１】情報学論，vol42,no.SIG6(CVIM2), pp.33-43, 2001
【特許文献１】特開２００３−２７１９２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した対応点探索法は、計算コストが高価で安定性に欠ける欠点がある。また、被写体表面の模様の変化の少ない領域では、一般的に正確な対応付けが難しいことも知られている。このような領域での誤った対応付けは、復元された被写体の３次元表面形状に不安定な凹凸形状を発生させてしまう。一方、正確な対応付けを行うためには、被写体にレーザー等を用いて干渉縞模様を投影し、２枚の画像間での対応点探索の手掛かりを与える手法が知られている。しかし、この手法では、人物のような動く被写体の場合には、形状とテクスチャを同時に取得することが不可能である。
【０００６】
本発明は、被写体に干渉模様等を照射することなく、被写体を撮影したカメラ画像だけから被写体の正確な３次元形状を復元することを目的とする。
また、本発明の別の目的は、視体積交差法により求めた表面形状の安定性を崩さずに、局所的な形状補正を低い計算コストで行う距離情報出力装置及び３次元形状復元装置を実現することにある。
【課題を解決するための手段】
【０００７】
本発明による距離情報出力装置は、種々の方向から撮影された被写体のカメラ画像と撮影カメラのカメラキャリブレーションデータとを用いて、撮影カメラから被写体までの距離情報を出力する距離情報出力装置において、
各カメラ画像から、被写体のシルエット画像を生成するシルエット画像生成手段と、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体と外接する概形形状モデルを生成する手段と、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成する手段と、
生成された概形距離情報から、被写体の局所的な形状情報を生成する手段と、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用いて、対応点探索法により前記概形距離情報を補正する対応点探索手段とを有し、
前記対応点探索手段は、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用い、前記基準カメラ画像を撮影したカメラから被写体までの距離情報を出力することを特徴とする。
【０００８】
視体積交差法は安定した３次元形状を復元することができる反面、シルエットにより捕らえることができない被写体表面形状の復元は困難である。そこで、本発明では、視体積交差法により求められた概形形状モデルの局所的な表面形状を拘束条件とした対応点探索を行なう。対応点探索において、撮影カメラから概形形状モデル表面までの距離である概形距離情報について局所的な形状情報を用いた探索を行ない、視体積交差法では十分に再現できない形状を対応点探索法により再現する。従って、視体積交差法で求めた形状の安定性を保持しつつ、被写体表面の一層正確な３次元形状を再現することができる。また、被写体の真の形状は視体積交差法により求めた形状モデルの表面から浅い位置に存在するものと想定されるので、視体積交差法により求めた形状表面から浅い範囲で探索することにより、比較的低い計算コストで概形距離情報を補正することができる。
【０００９】
本発明では、各カメラ毎に被写体の概形距離画像（概形距離情報）を求め、当該概形距離画像を用いて画素毎に局所的な概形形状情報を求める。次に、複数台のカメラ画像の中から任意に選択した基準カメラ画像と参照カメラ画像を用いた対応点探索処理を行う。対応点探索処理において、２枚のカメラ画像の画素間の相関を調べる際、２枚のカメラ画像の画素ブロック間の色情報の相関関数と、局所的な概形形状情報を保存するための関数を含む評価関数を用いる。探索パラメータとして基準カメラ画像から被写体方向の向く距離を用いて探索を行ない、評価関数が最小となる２枚のカメラ画像間の視差情報から基準カメラ画像から被写体までの距離情報を算出する。
【００１０】
本発明による３次元形状復元装置は、種々の方向から撮影された被写体のカメラ画像と撮影カメラのカメラキャリブレーションデータとから、被写体の３次元形状を復元する３次元形状復元装置において、
各カメラ画像から、被写体のシルエット画像を生成する手段と、
生成された複数のシルエット画像から、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法により被写体に外接する概形形状モデルを生成する手段と、
撮影カメラから概形形状モデル表面までの距離を各画素毎に演算して概形距離情報を生成する手段と、
生成された概形距離情報から、被写体の局所的な形状情報を生成する手段と、
前記カメラ画像から選択した基準カメラ画像と参照カメラ画像を用い、対応点探索法により前記概形距離情報を補正する対応点探索手段であって、画素ブロック間の色情報の相関関数と前記局所的形状情報を保存する関数とを含む評価関数を用い、前記基準カメラ画像を撮影したカメラから被写体までの補正された距離情報を出力する距離情報出力手段と、
距離情報出力手段から出力される距離情報と、前記シルエット画像生成手段から出力されるシルエット画像情報と、撮影カメラのカメラキャリブレーションデータとを用いて被写体の３次元形状を復元する手段とを具えることを特徴とする。
【発明の効果】
【００１１】
本発明では、視体積交差法で求めた局所的な表面形状を拘束条件として対応点探索を行っているので、被写体表面にテクスチャが少ない場合や同一模様が繰り返されるであっても、より正確な３次元形状を復元することが可能である。また、テクスチャも同時に取得することができ、動く被写体の高精度な３次元形状モデルの製作にも利用できる。
また、視体積交差法により求められた３次元モデル表面から浅い範囲において対応点探索が行われるので、比較的安価な計算コストで対応点探索が行われる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明による距離情報出力装置１の一例を示す線図である。形状復元されるべき立体形状の被写体の周囲を取り囲むように複数の撮影カメラを配置し、被写体のカメラ画像を撮影する。被写体の周囲に配置した撮影カメラの配置例を図２に示す。図面を明瞭にするため、図２において、９台の撮影カメラを用いて被写体を撮影するように図示したが、本例では２０台の撮影カメラCA１〜CA２０を配置して被写体の画像を撮影し、カメラ画像Im1〜Im20 を用いて被写体の３次元画像を復元する。カメラ画像Im1〜Im20は、カメラ画像収集部１０に収集する。
【００１３】
撮影カメラCA１〜CA２０はカメラキャリブレーションデータ測定装置１１に接続され、各撮影カメラのカメラキャリブレーションデータが測定され、例えば各撮影カメラの主点位置、姿勢及び焦点距離等のパラメータを含むカメラキャリブレーションデータが測定される。尚、カメラキャリブレーションデータの取得方法として、既知のパターンを撮影して計算により求めることができ、例えば文献「Roger Y. Tsai “Multiframe Image Point Matching and 3-D Surface Reconstruction,” IEEE Trns. PAMI, Vol. PAMI-5, No.2,pp.159-173, March 1983.」に記載の方法により求めることができる。
【００１４】
カメラ画像Im1〜Im20はシルエット画像生成部１２に供給され、被写体のシルエット画像Si1〜Si20を生成する。シルエット画像生成部１２は、個々のカメラ画像から被写体以外の背景領域を除去し、被写体領域のみを切り出した被写体シルエットを生成する。被写体シルエットの生成方法として、背景だけの画像と被写体が存在するカメラ画像との差分をとり、被写体のみを抽出する背景差分法により行うことができ、或いはクロマキー法により被写体シルエットを生成することができる。
【００１５】
被写体のシルエット画像Si1〜Si 20は、被写体の概形形状モデルを生成する概形形状モデル生成部１３に供給する。概形形状モデル生成部１３では、シルエット画像Si1〜Si 20とカメラキャリブレーションデータ測定部１１により測定されたカメラキャリブレーションデータを用いて、視体積交差法により被写体の３次元概形モデル画像を生成する。ここで、図３を参照して視体積交差法の原理を説明する。本例では、説明を簡略化するため、２台のカメラCA１及びCA２を用いて被写体Ｍの推定形状（３次元形状モデル）を推定するものとする。カメラCA１で撮影したシルエット画像Ｇの被写体シルエットＳ１とする。カメラCA１の光学中心Ｖから仮想的に被写体Ｍ方向に逆投影すると、光学中心Ｖを頂点として断面が被写体シルエットＳ１となる錐体Ｔ１が形成される。この錐体の形状（錐体領域）を算出する。同様に、カメラCA２のシルエット画像についても被写体シルエットＳ２の錐体Ｔ２の形状を算出する。そして、２つの錐体の形状が重なる共通領域（論理積）を求め、被写体の推定形状ＡＭ（３次元形状モデル）とする。本例では、シルエット画像Si1〜Si20を用いて２０個の錐体の共通領域を求める。このようにして得られた推定領域ＡＭは、被写体Ｍに外接する被写体の概略形状であり、被写体の３次元形状モデルに相当する。
【００１６】
視体積交差法により生成された被写体の概形形状モデルは、概形距離画像生成部１４に供給する。本発明は、視体積交差法により求めた被写体の３次元モデルの局所的な表面形状を拘束条件として対応点探索法を利用して補正する手法である。このため、撮影カメラから視体積交差法により求められた３次元モデル表面までの距離を求める。概形距離情報生成部１４は、撮影カメラの撮像面（画像面）から概形形状モデルの表面までの距離を各画素毎に求め、各画素毎の概形距離値を概形距離画像（概形距離情報）Di1〜Di20として出力する。図４は、対応する画素の概形距離を求める手法を説明する線図である。各画素の概形距離は、光学主点から対応する画素を通る光学直線の概形モデル表面との交点を算出することにより求めることができる。
【００１７】
各画素毎の概形モデル表面までの距離情報である概形距離画像(画像距離情報)Di1〜Di20は、被写体の局所的な形状情報（LSorg1〜LSorg20）を算出する局所的概形形状算出部１５に供給する。前述したように、被写体のテクスチャの変化が少ない領域では、局所的に誤った凹凸形状が生じ、安定性が崩れるおそれがある。そこで、本発明では、概形距離画像から局所的な形状情報を生成し、後述する対応点探索処理において２つのカメラ画像の相関を求める際に局所的な形状情報を保存する評価関数を用いる。
【００１８】
局所的概形形状算出部１５において、概形距離画像の各画素毎に当該画素を中心とした周囲の画素との概形距離値の差分値を求める。例えば、概形距離画像（Di1）の画素（x1,y1）からｒ画素離れた周囲８画素との概形距離値の差分値を用いた場合、当該画素（x1,y1）における局所的な概形距離情報LSorg1(x1,y1)は、以下のような８つの値で構成される。
LSorg1(x1,y1)1＝Di1(x1＋r,y1＋r)−Di(x1,y1)
LSorg1(x1,y1)2＝Di1(x1＋r,y1)−Di(x1,y1)
LSorg1(x1,y1)3＝Di1(x1＋r,y1-r)−Di(x1,y1)
LSorg1(x1,y1)4＝Di1(x1,y1＋r)−Di(x1,y1)
LSorg1(x1,y1)5＝Di1(x1,y1-r)−Di(x1,y1)
LSorg1(x1,y1)6＝Di1(x1-r,y1＋r)−Di(x1,y1)
LSorg1(x1,y1)7＝Di1(x1-r,y1)−Di(x1,y1)
LSorg1(x1,y1)8＝Di1(x1-r,y1-r)−Di(x1,y1)
局所的概形形状算出部１５では、概形距離画像のシルエット内の画素毎に上記式で表される概形形状情報を算出する。算出された概形形状情報は、視体積交差法で求めた概形モデル表面の局所的な表面形状を表す情報であり、後段の対応点探索装置１６に供給され、対応点探索処理の評価関数の拘束条件として用いる。
【００１９】
対応点探索装置１６において、カメラ画像（Im1〜Im20）から選択した基準カメラ画像と参照カメラ画像の２枚のカメラ画像を用い、基準カメラ画像から被写体までの概形距離を、対応点探索法を用いて正確な距離情報に補正する。ここでは、基準カメラ画像をIm1とし参照カメラ画像Im2とした場合に、基準カメラ画像であるIm1の概形距離画像Di1を補正する場合の処理について説明する。尚、撮影カメラの画像面（撮像面）から被写体に至る距離値ωを探索パラメータとして探索処理を行う。
【００２０】
まず、基準カメラ画像Im1のシルエット内の探索対象画素（x1,y1）を中心とした画素ブロックＢ１を構成する。次に、探索パラメータである距離値ω、カメラ画像Im1を撮影したカメラ１の焦点距離ｆ１、及びカメラ１と参照カメラ画像Im2を撮影したカメラ２との間の間隔Ｄを用いて視差値disparityを求める。
Disparity＝Ｄ×ｆ１／ω
この視差値disparityから、参照カメラ画像Im2の探索対象画素(x2,y2)を求め、Im2において画素(x2,y2)を中心とした画素ブロックＢ２を構成する。そして、ブロック単位で画素毎に被写体の対応点を探索する。前述した概形モデルは被写体に外接する３次元形状であるから、基準カメラ画像Im1から真の被写体までの距離は、概形距離Di1(x1,y1)よりも長くなる。よって、探索パラメータωは、Di1(x1,y1)を初期値とし、以降値を少しずつ大きくしながら、対応する視差値disparityと、その時の参照カメラ画像Im2における画素ブロックＢ２を求め、以下に示す評価関数Ｅ（ω）を最小にするときの距離ωを、基準カメラ画像Im1から被写体までの距離値として補正する。尚、基準カメラから被写体までの距離は、基準カメラ画像と参照カメラ画像との間の視差量を用い上記式に基づいて算出する。
【００２１】
本発明において、評価関数は、以下の式により規定する。
Ｅ（ω）＝Error（ω）＋ｋ×｜LSnew1(x1,y1)1−LSorg1(x1,y1)1｜
上記式において、第1項のError（ω）は探索パラメータωに応じた画素ブロックＢ１とＢ２の色情報の相関関数である。また、第2項は、局所的形状情報を保存する関数である。
【００２２】
上記評価関数において、ｋは係数であり、LSnew1(x1,y1)1は、以下に示す探索パラメータωの新たな値における局所的形状情報である。
LSnew1(x1,y1)1＝Di1(x1＋r,y1＋r)−ω
LS new1(x1,y1)2＝Di1(x1＋r,y1)−ω
LS new1org1(x1,y1)3＝Di1(x1＋r,y1-r)−ω
LS new1org1(x1,y1)4＝Di1(x1,y1＋r)−ω
LS new1org1(x1,y1)5＝Di1(x1,y1-r)−ω
LS new1org1(x1,y1)6＝Di1(x1-r,y1＋r)−ω
LS new1org1(x1,y1)7＝Di1(x1-r,y1)−ω
LS new1org1(x1,y1)8＝Di1(x1-r,y1-r)−ω
【００２３】
具体的な探索手法として、基準カメラのシルエット内の探索対象画素（ｘ，ｙ）毎に、探索パラメータである距離ω（初期値：Di1(x,y)）を変位させながら、上記評価関数の値が最小になる距離ωを求める。そして、評価関数が最小となるωを新しい距離値として更新する。
【００２４】
基準カメラ画像Im1のシルエット内の全ての画像について同様な処理を行ない、距離値Di1を更新することにより、カメラ画像１の被写体までの正確な距離情報が得られる。このように正確に形状補正された距離情報は、被写体の３次元形状を復元するために用いることができ、或いは視点内挿やＩＢＲ等にも用いることができる。
【００２５】
図５は本発明による距離情報出力装置から出力される距離情報を用いて被写体の３次元形状モデルを再現する３次元形状復元装置の一例を示す線図である。本例では、距離情報出力装置１から出力される距離情報を３次元形状復元装置１７に供給して、被写体の３次元形状を復元する。３次元形状復元部１７は、距離情報出力装置１から出力される補正された距離情報と、カメラキャリブレーションデータ測定装置１１から出力されるカメラキャリブレーションデータと、シルエット画像生成部１２から出力されるシルエット画像情報とを用いて被写体の３次元形状を復元する。３次元形状復元装置において、例えば３次元空間内に格子点の集合空間を定義する。まず、格子点を撮影カメラに投影し、そのときの画像座標を求める。投影された画像座標が被写体シルエットの内側に含まれ、さらに、各格子点から当該撮影カメラまでの距離が、投影された画像座標の距離情報と比較して大きい場合、当該格子点は被写体の３次元形状の候補とする。
【００２６】
具体的手法として、格子点ｖをカメラ１に投影した場合のカメラ１における画像座標を（ｘｖ，ｙｖ）とする。はじめに、カメラ１のシルエット情報Si1（ｘｖ，ｙｖ）を用い、画像座標（ｘｖ，ｙｖ）がシルエット画像の内側か外側であるかを判定する。シルエット画像の内側の場合、次に、格子点ｖからカメラ１までの距離dist（ｘｖ，ｙｖ）と投影された格子点の画像座標のカメラ1までの距離Di1(ｘｖ，ｙｖ)とを比較する。
dist（ｘｖ，ｙｖ）＞Di1(ｘｖ，ｙｖ)
上記関係を満たす場合、当該格子点はカメラ１における被写体の３次元形状候補点と判定する。全てのカメラについて同様な処理を行ない、全てのカメラにて３次元形状候補点と判定された点を被写体の３次元形状点とする。格子点集合空間内の全ての格子点において同様な処理を行ない、求められた３次元形状点の集合によって被写体の３次元形状を復元し、３Ｄモデルとして出力する。
【００２７】
本発明による距離情報出力装置及び３次元形状復元装置は、コンピュータプログラムにより構成することも可能である。図６は、本発明によるプログラムのフローチャートを示す線図である。
Ｓ１において、被写体のカメラ画像を撮影すると共に各撮影カメラのカメラキャリブレーションデータを収集する。
Ｓ２において、例えばクロマキー法又は背景差分法によりカメラ画像からシルエット画像を生成する。
Ｓ３において、撮影カメラのカメラキャリブレーションデータを用いて、視体積交差法によりシルエット画像から被写体に外接する概形形状モデルを生成する。
Ｓ４において、シルエットの各画素毎の被写体までの距離を表す概形距離画像（概形距離情報）を生成する。
Ｓ５において、生成された概形距離画像から、局所的な形状情報を生成する。
Ｓ６において、選択した基準カメラ画像及び参照カメラ画像の２つの画像を用い、局所的形状情報を拘束条件とする評価関数を用いて対応点探索法により概形距離情報を補正し、一層正確な距離情報を出力する。
Ｓ７において、対応点探索法により算出される距離情報、シルエット画像及びカメラキャリブレーションデータを用いて被写体の３次元形状を復元する。
【００２８】
本発明は上述した実施例だけに限定されず種々の変形や変更が可能である。例えば、本発明による距離情報計測装置から出力される距離情報は、被写体の３次元形状を復元するためだけでなく、視点内挿やＩＢＲ等にも利用することが可能である。
【図面の簡単な説明】
【００２９】
【図１】本発明による距離情報出力装置の一例を示す線図である。
【図２】撮影カメラの配置例を示す線図である。
【図３】視体積交差法の原理を説明するための線図である。
【図４】概形距離を求める原理を示す線図である。
【図５】３次元形状復元装置の一例を示す線図である。
【図６】本発明による３次元復元装置の処理手順を示すフローチャートである。
【符号の説明】
【００３０】
１  距離情報出力装置
ＣＡ１〜ＣＡ２０  撮影カメラ
１０  カメラ画像記憶部
１１  カメラキャリブレーションデータ測定装置
１２  シルエット画像生成部
１３  概形モデル生成部
１４  概形距離画像生成部
１５  局所的概形形状算出部
１６  対応点探索装置
１７  ３次元形状復元装置
【図１】
2008015863.tif 000003
【図２】
2008015863.tif 000004
【図３】
2008015863.tif 000005
【図４】
2008015863.tif 000006
【図５】
2008015863.tif 000007
【図６】
2008015863.tif 000008