(57)【要約】【課題】  本発明は、どのような色合いの物体であってもシルエットを抽出し得て、また、より高精度でシルエットを抽出し得るシルエット抽出装置及び該方法を提供する。また、これにより得たシルエットに基づいて視体積交差法により物体の３次元形状データ（視体積）を生成する３次元形状データ生成装置及び該方法を提供する。【解決手段】  本発明に係る、互いに異なる複数の方向から撮影して取得される複数の背景画像と複数の取得画像とに基づいてシルエットをそれぞれ抽出し視体積交差法により物体の３次元形状データを生成する３次元形状データ生成装置１は、複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景が背景に用いられ、物体上の対象領域における拡散反射色を一の取得画像を除く他の取得画像から推定し、物体の観測色と背景色との近さに起因するシルエット欠損を修復する。【選択図】      図１
2007017364.tif 000002
【特許請求の範囲】
【請求項１】
背景のみを撮影することによって取得される背景画像と、前記背景及び被写体の物体を撮影することによって取得される取得画像とに基づいて、前記取得画像上における前記物体の存在を表す領域であるシルエットを抽出するシルエット抽出装置において、
前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であること
を特徴とするシルエット抽出装置。
【請求項２】
互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて、一の取得画像上における前記物体の存在を表す領域であるシルエットを抽出するシルエット抽出装置において、
前記物体上の対象領域における拡散反射色を前記一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記シルエットに加えることによって、前記シルエットを修復すること
を特徴とするシルエット抽出装置。
【請求項３】
前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であること
を特徴とする請求項２に記載のシルエット抽出装置。
【請求項４】
複数の領域に分割され該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景である背景のみを撮影することによって背景画像を取得するステップと、
前記背景及び被写体の物体を撮影することによって取得画像を取得するステップと、
前記背景画像と前記取得画像とに基づいて前記取得画像上における前記物体の存在を表す領域であるシルエットを抽出するステップとを備えること
を特徴とするシルエット抽出方法。
【請求項５】
互いに異なる複数の方向から背景のみをそれぞれ撮影することによって複数の背景画像を取得するステップと、
前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、
前記複数の背景画像と前記複数の取得画像とに基づいて一の取得画像上における前記物体の存在を表す領域であるシルエットを抽出するステップと、
前記物体上の対象領域における拡散反射色を前記一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記シルエットに加えることによって、前記シルエットを修復するステップとを備えること
を特徴とするシルエット抽出方法。
【請求項６】
互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて視体積交差法により前記物体の３次元形状を表す３次元形状データを生成する３次元形状データ生成装置において、
前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であること
を特徴とする３次元形状データ生成装置。
【請求項７】
互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて、前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成する３次元形状データ生成装置において、
前記物体上の対象領域における拡散反射色を一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記一の取得画像に対応するシルエットに加えることによって、前記一の取得画像に対応する前記シルエットを修復すること
を特徴とする３次元形状データ生成装置。
【請求項８】
前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であること
を特徴とする請求項７に記載の３次元形状データ生成装置。
【請求項９】
複数の領域に分割され該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景である背景のみを互いに異なる複数の方向からそれぞれ撮影することによって複数の背景画像を取得するステップと、
互いに異なる複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、
前記複数の背景画像と前記複数の取得画像とに基づいて前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成するステップとを備えること
を特徴とする３次元形状データ生成方法。
【請求項１０】
互いに異なる複数の方向から背景のみをそれぞれ撮影することによって複数の背景画像を取得するステップと、互いに異なる複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、前記複数の背景画像と前記複数の取得画像とに基づいて前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成するステップとを備える３次元形状データ生成方法において、
前記物体上の対象領域における拡散反射色を一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記一の取得画像に対応するシルエットに加えることによって、前記一の取得画像に対応する前記シルエットを修復するステップを備えること
を特徴とする３次元形状データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を撮影した２次元画像から物体のシルエットを抽出するシルエット抽出装置及びシルエット抽出方法に関する。そして、このシルエット抽出装置及びシルエット抽出方法から得られたシルエットに基づいて視体積交差法により該物体の３次元形状データを生成する３次元形状データ生成装置及び３次元形状データ生成方法に関する。
【背景技術】
【０００２】
実世界に存在する物体の３次元形状を獲得しそれを計算機上で処理可能にすることは、３次元形状獲得と呼ばれ、バーチャルリアリティ（仮想現実）等の３次元形状が大量に必要とされる分野でその自動化が望まれている。そして、この３次元形状獲得の技術は、バーチャル博物館等に代表される電子的な情報蓄積やアミューズメント分野等におけるコンピュータグラフィックス（ＣＧ、Computer Graphics）等の様々な分野へ応用されることも期待されている。
【０００３】
３次元形状獲得手法としては、一般に、ステレオ法及び視体積交差法が知られている。ステレオ法は、異なる視点から撮影される２次元画像上で、物体表面上の点の対応付けを行い、３角測量の要領で対象までの距離を求め、奥行きを計算する手法である。視体積交差法は、シルエット制約に基づく手法であり、互いに視点の異なる複数のカメラで被写体の物体をそれぞれ撮影し、この撮影した画像と予め用意された背景画像との差分からシルエット（物体投影領域、前景領域）を抽出し、シルエットに対応する視錐体の積空間を求めることによって視体積を獲得する手法である。この視体積が獲得形状となり、被写体の物体を表す３次元形状となる。背景画像とは、被写体の物体が無い状態で背景のみを撮影した画像である。シルエットとは、撮影した２次元画像上における物体の存在を表す領域をいい、通常、２値データで表される。また、背景及び被写体の物体を撮影して得た画像を取得画像と呼称することとする。
【０００４】
図１９は、視体積と物体形状との関係を説明するための図である。シルエット制約とは、図１９に示すように、位置及び撮影方向の既知なカメラＣｉのレンズ中心を端点とし、カメラＣｉで撮影された２次元画像のシルエットＲｉ上における任意の点を通る半直線の集合から成る錘体状の開空間に内接して対象の物体Ｏが存在することである。この開空間を“カメラＣｉにおける”視錐体と呼ぶ。２個のカメラＣｉ、Ｃｊの場合、視体積は、カメラＣｉにおける視錐体とカメラＣｊにおける視錐体との積空間（積領域）である。
【０００５】
これらステレオ法と視体積交差法とを比較した場合、視体積交差法は、ステレオ法に較べて、計測に要する時間が短い、物体表面上の点の対応付けが必要ではないためその誤りが生じない、得られる結果（出力）が距離画像のような２．５次元データではなく３次元形状データであるため張り合わせを行わなくても全周囲形状が復元できる、データとしてシルエットしか必要ではないため画像上に生じるノイズに対して強い、テクスチャ特徴の乏しい対象の物体に対しても適用することができる、等の様々な長所がある。
【０００６】
ステレオ法に較べてこのような様々な長所を持つ視体積交差法では、シルエットの抽出精度が、得られる３次元形状データの精度に影響を及ぼす。撮影した取得画像と単一色の背景を用いて予め用意された背景画像との差分値を２値化することによってシルエットの２値データを得る従来の単純なシルエットの抽出方法では、対象の物体の色や照明条件等によって精度の高いシルエットが安定して抽出できないという不都合があった。
【０００７】
このため、より精度良くシルエットの抽出を行う技術が要望されており、その一技術が例えば特許文献１に開示されている。この特許文献１に開示の画像処理装置は、特に被写体の物体Ｏが金属等であって背景が写り込む物体である場合に好適にシルエットの抽出を行う装置であり、模様が変化する背景表示装置ＢＤと、模様が変化し被写体の物体Ｏを乗せるテーブルＴと、被写体の物体Ｏ、背景表示装置ＢＤ及びテーブルＴを撮影する撮影装置ＣＭと、シルエットを抽出する比較装置ＳＣとを備えて構成され、模様ａの背景と被写体の物体Ｏを含む２次元画像Ａを撮影装置ＣＭで撮影し、模様ａと異なる模様ｂの背景と被写体の物体Ｏを含む２次元画像Ｂを撮影装置ＣＭで撮影し、２次元画像Ａと２次元画像Ｂとを画素ごとに比較して２次元画像Ａについて変化の無い部分の画素を比較装置ＳＣで一定値に置換し、この置換した２次元画像と２次元画像Ａに対応する背景のみを撮影した２次元画像Ｃを比較し変化の無い画素部分を比較装置ＳＣで背景データとし、２次元画像Ａ（又は２次元画像Ｂ）からこの背景データ部分を比較装置ＳＣで切り取ることによってシルエットを抽出する。
【特許文献１】特開２００１−１４８０２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、単一色の背景を用いる場合、被写体の物体の色と離れた色の背景を用いることによってシルエットの抽出における精度を向上することができるが、被写体の物体の色ごとに背景を選択しなければならず、煩わしいという不都合がある。
【０００９】
また、上記特許文献１には、模様の具体的な記載が無く、どのような模様であるか不明である。そして、上記特許文献１は、被写体の物体Ｏを撮影した取得画像と背景画像とを比較することによってシルエットの抽出を行うのではなく、相互に異なる模様の背景を用いて撮影した２枚の取得画像から背景データを作成し、この背景データと１枚の取得画像とからシルエットの抽出を行っている。従って、２枚の画像の差分値を取ることによってシルエットの抽出を行う従来の手法と類似している。
【００１０】
本発明は、上記事情に鑑みて為された発明であり、被写体の物体がどのような色合いであっても所定の精度でシルエットの抽出を行うことができる抽出装置及びシルエット抽出方法を提供することを目的とする。また、上記特許文献１とは異なる手法でシルエットの抽出精度を向上し得るシルエット抽出装置及びシルエット抽出方法を提供することを目的とする。そして、これらシルエット抽出装置及びシルエット抽出方法から得られたシルエットに基づいて視体積交差法により物体の３次元形状データ（視体積）を生成する３次元形状データ生成装置及び３次元形状データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明者らは、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。即ち、本発明に係る一態様では、背景のみを撮影することによって取得される背景画像と、前記背景及び被写体の物体を撮影することによって取得される取得画像とに基づいて、前記取得画像上における前記物体の存在を表す領域であるシルエットを抽出するシルエット抽出装置において、前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であることを特徴とする。
【００１２】
そして、本発明に係る他の一態様では、互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて、一の取得画像上における前記物体の存在を表す領域であるシルエットを抽出するシルエット抽出装置において、前記物体上の対象領域における拡散反射色を前記一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記シルエットに加えることによって、前記シルエットを修復することを特徴とする。
【００１３】
また、このシルエット抽出装置において、前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であることを特徴とする。
【００１４】
そして、本発明に係る他の態様では、シルエット抽出方法は、複数の領域に分割され該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景である背景のみを撮影することによって背景画像を取得するステップと、前記背景及び被写体の物体を撮影することによって取得画像を取得するステップと、前記背景画像と前記取得画像とに基づいて前記取得画像上における前記物体の存在を表す領域であるシルエットを抽出するステップとを備えることを特徴とする。
【００１５】
また、本発明に係る他の態様では、シルエット抽出方法は、互いに異なる複数の方向から背景のみをそれぞれ撮影することによって複数の背景画像を取得するステップと、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、前記複数の背景画像と前記複数の取得画像とに基づいて一の取得画像上における前記物体の存在を表す領域であるシルエットを抽出するステップと、前記物体上の対象領域における拡散反射色を前記一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記シルエットに加えることによって、前記シルエットを修復するステップとを備えることを特徴とする。
【００１６】
そして、本発明に係る他の態様では、互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて視体積交差法により前記物体の３次元形状を表す３次元形状データを生成する３次元形状データ生成装置において、前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であることを特徴とする。
【００１７】
また、本発明に係る他の態様では、互いに異なる複数の方向から背景のみをそれぞれ撮影することによって取得される複数の背景画像と、前記複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって取得される複数の取得画像とに基づいて、前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成する３次元形状データ生成装置において、前記物体上の対象領域における拡散反射色を一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記一の取得画像に対応するシルエットに加えることによって、前記一の取得画像に対応する前記シルエットを修復することを特徴とする。
【００１８】
さらに、この３次元形状データ生成装置において、前記背景は、複数の領域に分割され、該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景であることを特徴とする。
【００１９】
そして、本発明に係る他の態様では、３次元形状データ生成方法は、複数の領域に分割され該複数の領域のそれぞれにランダムに色が割り当てられているランダムパターン背景である背景のみを互いに異なる複数の方向からそれぞれ撮影することによって複数の背景画像を取得するステップと、互いに異なる複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、前記複数の背景画像と前記複数の取得画像とに基づいて前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成するステップとを備える。
【００２０】
また、本発明に係る他の態様では、互いに異なる複数の方向から背景のみをそれぞれ撮影することによって複数の背景画像を取得するステップと、互いに異なる複数の方向から前記背景及び被写体の物体をそれぞれ撮影することによって複数の取得画像を取得するステップと、前記複数の背景画像と前記複数の取得画像とに基づいて前記複数の取得画像上における前記物体の存在を表す領域であるシルエットをそれぞれ抽出して視体積交差法により前記物体の３次元形状を表す３次元形状データを生成するステップとを備える３次元形状データ生成方法において、前記物体上の対象領域における拡散反射色を一の取得画像を除く他の取得画像から推定し、前記対象領域に対応する前記一の取得画像上における領域の色が前記推定した拡散反射色に予め設定した閾値よりも近い色である場合には、前記対象領域に対応する前記一の取得画像上における前記領域を前記一の取得画像に対応するシルエットに加えることによって、前記一の取得画像に対応する前記シルエットを修復するステップを備えることを特徴とする。
【発明の効果】
【００２１】
このような構成のシルエット抽出装置及びシルエット抽出方法では、ランダムパターン背景を用いるので、様々な色を持つ物体に対しても所定の割合以上の領域で正しくシルエットを抽出することができる。そして、シルエット修復を行うので、物体の観測色と背景色との近さに起因するシルエット欠損を効果的に修復することができ、より精度よくシルエットを抽出することができる。
【００２２】
そして、このような構成の３次元形状データ生成装置及び３次元形状データ生成方法では、ランダムパターン背景を用いるので、様々な色を持つ物体に対しても所定の割合以上の領域で正しくシルエットを抽出することができ、物体の３次元形状を得ることができる。そして、シルエット修復を行うので、物体の観測色と背景色との近さに起因するシルエット欠損を効果的に修復することができ、物体の３次元形状をより高い精度で得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
（実施形態の構成）
図１は、３次元形状データ生成装置の構成を示す図である。図２は、データ生成部の構成を示す図である。
【００２４】
図１において、３次元形状データ生成装置１は、被写体の物体Ｏを撮影する撮影部１０と、撮影部１０で撮影した画像のデータから３次元形状データを生成するデータ生成部２０とを備えて構成される。
【００２５】
撮影部１０は、例えばディジタルビデオカメラやディジタルスチルカメラ等の被写体の物体Ｏを撮影し画像のデータを生成する撮像装置Ｃと、被写体の物体Ｏを照明する照明器具ＬＴと、図略の背景板ＢＤとを備えて構成される。そして、撮像装置Ｃは、相互に異なる複数の方向から物体Ｏを撮影し画像を取得することができるように、複数用意されている。
【００２６】
本実施形態では、複数の撮像装置Ｃｓ（ｓ＝１〜１９）は、物体Ｏを全方向（４π方向）から撮影することができるように、相互に異なる方向で上方から物体Ｏを撮影する３台の撮像装置Ｃ１〜Ｃ３、相互に異なる方向で側方から物体Ｏを撮影する１２台の撮像装置Ｃ４〜Ｃ１５、及び、相互に異なる方向で下方から物体Ｏを撮影する４台の撮像装置Ｃ１６〜Ｃ１９の１９台で構成されている。そして、照明器具ＬＴｔ（ｔ＝１〜６）は、物体Ｏを略均一に照明するために、相互に異なる方向で側方から物体Ｏを照らす６台の照明器具ＬＴ１〜ＬＴ６の６台で構成されている。
【００２７】
そして、これら１９台の撮像装置Ｃ１〜Ｃ１９を所定の撮影方向に向けて固定するために、及び、６台の照明器具ＬＴ１〜ＬＴ６を所定の照明方向に向けて固定するために、本実施形態では、撮像装置Ｃ１〜Ｃ１９及び照明器具ＬＴ１〜ＬＴ６を取り付けるフレームＦが用意される。フレームＦは、例えば鋼製の１２本の棒状部材ＦＭ１〜ＦＭ１２で９００ｍｍ×９００ｍｍ×９００ｍｍの立方体形状に枠組みされ、上面を構成する正方形枠に２本の棒状部材ＢＭ１、ＢＭ２が梁のように渡され、側面を構成する４個の正方形枠に１本の棒状部材ＲＤ１〜ＲＤ４が略中央に水平状態でそれぞれ渡されている。
【００２８】
３台の撮像装置Ｃ１〜Ｃ３のうち２台の撮像装置Ｃ１、Ｃ２は、梁のように渡されている一方の棒状部材ＢＭ１に間隔を空けて所定の撮影方向を向くようにそれぞれ取り付けられ、１台の撮像装置Ｃ３は、梁のように渡されている他方の棒状部材ＢＭ２に所定の撮影方向を向くように取り付けられている。１２台の撮像装置Ｃ４〜Ｃ１５のうち２台の撮像装置Ｃ４、Ｃ５は、側面を構成する一正方形枠に渡されてる棒状部材ＲＤ１に間隔を空けて所定の撮影方向を向くようにそれぞれ取り付けられ、この側面に対向する側面の正方形枠に渡されてる棒状部材ＲＤ３に２台の撮像装置Ｃ１０、Ｃ１１が間隔を空けて所定の撮影方向を向くようにそれぞれ取り付けられている。残余の２側面のうち一方の側面の正方形枠に渡されている棒状部材ＲＤ２に４台の撮像装置Ｃ６〜Ｃ９が間隔を空けて所定の撮影方向を向くようにそれぞれ取り付けられていると共に、照明器具ＬＴ５が該棒状部材ＲＤ２の略中央部に内側を照らすように取り付けられている。そして、残余の２側面のうち他方の側面の正方形枠に渡されている棒状部材ＲＤ４に４台の撮像装置Ｃ１２〜Ｃ１５が間隔を空けて所定の撮影方向を向くようにそれぞれ取り付けられていると共に、照明器具ＬＴ６が該棒状部材ＲＤ４の略中央部に内側を照らすように取り付けられている。さらに、上面の正方形枠と下面の正方形枠とを繋ぐ側面の４本の棒状部材ＦＭ５〜ＦＭ８の略中央部には、照明器具ＬＴ１〜ＬＴ４が内側を向くようにそれぞれ取り付けられている。
【００２９】
なお、本実施形態では、フレームＦによって撮像装置Ｃｓ及び照明器具ＬＴｔを固定したが、これに限定されず、例えば、これらをワイヤーで天井からそれぞれ吊り下げたり、これらをスタンドでそれぞれ固定したりしてもよく、要は、撮像装置Ｃｓが物体Ｏを所定の撮影方向からそれぞれ撮影するように、及び、照明器具ＬＴｔが物体Ｏを所定の照明方向からそれぞれ照らすように、それぞれ配置することができればよい。
【００３０】
被写体の物体Ｏは、観測環境の略中央にその重心が位置するように、例えば糸ＳＴ等を用いて吊り下げられている。
【００３１】
図１及び図２において、データ生成部２０は、情報処理部３１と、入力部３２と、出力部３３と、記憶部３４と、インタフェース部３５と、バス３６とを備えて構成される。
【００３２】
入力部３２は、本発明の手法により３次元形状データを生成する３次元形状データ生成プログラムを起動するコマンド等の各種コマンド、及び、後述の閾値等の３次元形状データ生成プログラムを実行するために必要なデータ等の各種データをデータ生成部２０に入力する機器であり、例えば、キーボードやマウス等である。出力部３３は、入力部３２から入力されたコマンドやデータ、及び、本３次元形状データ生成装置１によって生成された３次元形状データに基づく物体Ｏの３次元モデルや３次元形状データのファイル名等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤ、有機ＥＬディスプレイ又はプラズマディスプレイ等の表示装置やプリンタ等の印刷装置等である。インタフェース部３５は、不図示の通信線によって複数の撮像装置Ｃｓとそれぞれ接続され、この通信線を介して複数の撮像装置Ｃｓとの間で通信信号を送受信するためのインタフェース回路であり、情報処理部３１からのデータに基づいて例えばＵＳＢ等の所定の通信プロトコルに従った通信信号を作成すると共に複数の撮像装置Ｃｓからの通信信号を情報処理部３１が処理可能な形式のデータに変換する。なお、インタフェース部３５は、無線通信によって複数の撮像装置Ｃｓとそれぞれ通信信号を送受信してもよい。
【００３３】
記憶部３４は、背景画像Ｂｓのデータを記憶する背景画像データ記憶部３４１と、取得画像Ｆｓのデータを記憶する取得画像データ記憶部３４２と、処理中にシルエットＲｓのデータを記憶するシルエットデータ記憶部３４３と、３次元形状データを記憶する３次元形状データ記憶部３４４とを備え、３次元形状データ生成プログラム等の各種プログラム、及び、各種プログラムの実行に必要なデータやその実行中に生じるデータ等の各種データを記憶する。記憶部３４は、例えば、情報処理部３１の所謂ワーキングメモリとなるＲＡＭ（Random Access Memory）等の揮発性の記憶素子、ＲＯＭ（Read Only Memory）や書換え可能なＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性の記憶素子、及び、各種プログラムや各種データを格納しておくハードディスク等を備えて構成される。
【００３４】
情報処理部３１は、例えば、マイクロプロセッサ及びその周辺回路等を備えて構成され、機能的に、複数の撮像装置Ｃｓを用いて複数の背景画像Ｂｓ及び複数の取得画像Ｆｓのデータをそれぞれ取得し背景画像データ記憶部３４１及び取得画像データ記憶部３４２にそれぞれ記憶する画像取得部３１１と、複数の背景画像Ｂｓ及び複数の取得画像Ｆｓに基づいて複数のシルエットＲｓをそれぞれ抽出すると共にこれら抽出した複数のシルエットＲｓのデータをシルエットデータ記憶部３４３に記憶するシルエット抽出部３１２と、これら抽出した複数のシルエットＲｓにおけるシルエット欠損をそれぞれ修復すると共にこれら修復した複数のシルエットＲｓのデータをシルエットデータ記憶部３４３に記憶するシルエット修復部３１３と、これら修復した複数のシルエットＲｓに基づいて視体積交差法により例えばボクセル表現の３次元形状データを生成すると共にこの生成した３次元形状データを３次元形状データ記憶部３４４に記憶する３次元形状データ生成部３１４とを備え、制御プログラムに従い入力部３２、出力部３３、記憶部３４及びインタフェース部３５を当該機能に応じてそれぞれ制御する。
【００３５】
これら情報処理部３１、入力部３２、出力部３３、記憶部３４及びインタフェース部３５は、データを相互に交換することができるようにバス３６でそれぞれ接続される。
【００３６】
このようなデータ生成部２０は、例えば、コンピュータ、より具体的にはノート型やディスクトップ型等のパーソナルコンピュータ等によって構成可能である。
【００３７】
なお、必要に応じてデータ生成部２０は、破線で示すように、外部記憶部３７をさらに備えてもよい。外部記憶部３７は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Compact Disc Recordable）及びＤＶＤ−Ｒ（Digital Versatile Disc Recordable）等の記録媒体との間でデータを読み込み及び／又は書き込みを行う装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブ及びＤＶＤ−Ｒドライブ等である。
【００３８】
ここで、３次元形状データ生成プログラム等が格納されていない場合には、３次元形状データ生成プログラム等を記録した記録媒体から外部記憶部３７を介して記憶部３４にインストールされるように構成してもよい。あるいは、取得した複数の背景画像Ｂｓのデータや複数の取得画像Ｆｓのデータ、生成した複数のシルエットＲｓのデータや３次元形状データが外部記憶部３７を介して記録媒体に記録されるように構成してもよい。
【００３９】
図３は、撮像装置、被写体の物体及び背景板の位置関係を説明するための図である。背景板ＢＤは、図３に示すように、複数の撮像装置Ｃａ〜Ｃｅごとに複数用意され、各背景板ＢＤａ〜ＢＤｅは、被写体の物体Ｏを挟んで各撮像装置Ｃａ〜Ｃｅと対向するようにそれぞれ配置される。そして、注目すべきは、背景板ＢＤの一方面には、分割された複数の領域ＲＧｑｒのそれぞれにランダムに色が割り当てられているランダムパターンが描画されていることである。このランダムパターンが描画されている背景をランダムパターン背景と呼称することとする。
【００４０】
図４は、ランダムパターン背景の一例を示す図である。図４（Ａ）は、ランダムパターン背景の全体を示し、図４（Ｂ）は、その右下の一部分を拡大したものを示す。なお、図は、カラー表示できないため、図４（Ｂ）では、各色を相互に異なるテクスチャで表現している。このランダムパターン背景は、図４に示すように、例えば２４×３２の複数の領域ＲＧｑｒに区画され、撮像装置Ｃが観測可能な色の中から所定の色空間で一様に分布するようにランダムに選択された色を各領域ＲＧｑｒにそれぞれ割り当てたものである。本実施形態では、各領域ＲＧｑｒの色は、後述するようにシルエット抽出にＹＵＶ表色系のＵ及びＶの各値を用いるので、ＵＶ空間で一様に分布するようにランダムに選択される。Ｙ、Ｕ、Ｖは、それぞれ輝度、輝度信号とＲ成分の差、輝度信号とＢ成分の差を表す。
【００４１】
図５は、ランダムパターン背景の明るさを説明するための図である。Ｙの値は、シルエット抽出に用いないので、Ｙは、照明環境に応じて撮像装置Ｃで観測し得る値の範囲内で適宜設定可能であるが、Ｙの値によりＵＶ空間における分布が偏ると、例えばＹの値が小さく背景色が暗過ぎると、図５（Ａ）に示すように、撮像装置Ｃによって黒く観測される領域ＲＧが生じてしまう。また例えばＹの値が大きく背景色が明る過ぎると、図５（Ｃ）に示すように、撮像装置Ｃによって白飛びして観測される領域ＲＧが生じてしまう。このようにＹの値が適切に設定されていない場合には、各撮像装置Ｃｓによって観測される色のＵＶ空間における分布に偏りが生じ、１台の撮像装置Ｃｍにおけるシルエット欠損が生じる確率ｐが理論値よりも大きくなってしまう。このため、ＵＶ空間で一様に分布するようにＹの値が設定される。適切にＹの値を設定した例を図５（Ｂ）に示す。
【００４２】
また、焦点ぼけが生じると、隣接する領域ＲＧの中間色が観測され、その結果、観測される背景色のＵＶ空間における分布が偏ってしまう。
【００４３】
そして、領域ＲＧの形状は、図４及び図５に示す例では正方形であるが、三角形でも他の四角形でも五角形でも良く任意の形状を用いることができる。また、領域ＲＧの形状は、総て同形状でも複数の形状の組み合わせでも良い。
【００４４】
図６は、ランダムパターン背景の領域の大きさを説明するための図である。撮像装置Ｃの解像度に較べて領域ＲＧの大きさが小さ過ぎると、図６（Ａ）に示すように、撮像装置Ｃによって一様な色として観測されてしまう。一方、物体Ｏの大きさに較べて領域ＲＧの大きさが大き過ぎると、図６（Ｃ）に示すように、物体Ｏの背景部分に現れる背景色に多様性が失われ、ランダムパターン背景を用いる意義が失われてしまう。このため、領域ＲＧの大きさは、被写体の物体Ｏの大きさ及び撮像装置Ｃの解像度に応じて適宜設定される。物体Ｏの大きさ及び撮像装置Ｃに対し、適切に領域ＲＧの大きさを設定した例を図６（Ｂ）に示す。
【００４５】
次に、本実施形態の動作について説明する。
（実施形態の動作）
図７は、３次元形状データを生成する動作を示すフローチャートである。図８は、シルエット修復の詳細動作を示すフローチャートである。
【００４６】
まず、ランダムパターン背景の背景板ＢＤｓが３次元形状データ生成装置１における背景として背景板ＢＤｓの配置場所にそれぞれ配置される。そして、背景を撮影する指示をユーザから入力部３２を介して受付けると、３次元形状データ生成装置１の情報処理部３１における画像取得部３１１は、被写体の物体Ｏを置いていない状態で複数の撮像装置Ｃｓによって背景をそれぞれ撮影し、複数の撮像装置Ｃｓにそれぞれ対応する複数の背景画像Ｂｓのデータをそれぞれ取得する。画像取得部３１１は、これら取得した複数の背景画像Ｂｓのデータを複数の撮像装置Ｃｓとそれぞれ対応付けて記憶部３４の背景画像データ記憶部３４１にそれぞれ記憶する。そして、画像取得部３１１は、複数の背景画像Ｂｓの取得が終了した旨を出力部３３に出力する（Ｓ１１）。
【００４７】
次に、被写体の物体Ｏが３次元形状データ生成装置１における被写体の配置場所（観測環境内）に配置される。そして、物体Ｏを撮影する指示をユーザから入力部３２を介して受付けると、画像取得部３１１は、この状態で複数の撮影装置Ｃｓによって物体Ｏをそれぞれ撮影し、複数の撮像装置Ｃｓにそれぞれ対応する複数の取得画像Ｆｓのデータをそれぞれ取得する。画像取得部３１１は、これら取得した複数の取得画像Ｆｓのデータを複数の撮像装置Ｃｓとそれぞれ対応付けて記憶部３４の取得画像データ記憶部３４２にそれぞれ記憶する。そして、画像取得部３１１は、複数の取得画像Ｆｓの取得が終了した旨を出力部３３に出力する（Ｓ１２）。
【００４８】
３次元形状データを生成する指示をユーザから入力部３２を介して受付けると、３次元形状データ生成装置１の情報処理部３１におけるシルエット抽出部３１２は、複数の撮像装置Ｃｓにそれぞれ対応する複数の背景画像Ｂｓ及び複数の取得画像Ｆｓに基づいて、複数の撮像装置Ｃｓにそれぞれ対応する複数のシルエットＲｓの抽出をそれぞれ行う（Ｓ１３）。なお、複数の撮像装置Ｃｓにそれぞれ対応する複数の背景画像Ｂｓ及び複数の取得画像Ｆｓがそれぞれ取得され、記憶された場合に、ユーザの指示を待つことなく、シルエット抽出部３１２が各シルエットＲｓの抽出を行うように構成してもよい。
【００４９】
シルエットＲｓの抽出は、より具体的には、次のように行われる。撮影装置Ｃｍによって取得された背景画像Ｂｍのデータ及び取得画像Ｆｍのデータは、Ｒ成分、Ｇ成分及びＢ成分より構成されている。ここで、ＲＧＢ表色系でシルエットＲｍの抽出を実行してもよいが、ＲＧＢ表色系で計算される差分画像よりも、ＹＵＶ表色系やＨＳＶ表色系に変換して差分画像を求める方が精度よくシルエット抽出を行うことができる。そのため、情報処理部３１のシルエット抽出部３１２は、背景画像Ｂｍのデータ及び取得画像ＦｍのデータをＹＵＶ表色系又はＨＳＶ表色系に変換する。本実施形態では、背景画像Ｂｍのデータ及び取得画像ＦｍのデータをＹＵＶ表色系に変換する。ここで、ＲＧＢ表色系からＹＵＶ表色系へ変換する変換式は、いくつか知られているが本実施形態では、式１−１乃至式１−３を用いて変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ                  ・・・（式１−１）
Ｕ＝−０．１６９Ｒ＋−０．３３１Ｇ＋０．５００Ｂ              ・・・（式１−２）
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ                  ・・・（式１−３）
なお、ＲＧＢ表色系からＨＳＶ表色系への変換も公知の変換式を用いて行うことができる。
【００５０】
本実施形態における３次元形状データ生成装置１のように、被写体の物体Ｏが配置される観測環境の内部全体に対して照明が略均一に当たるように設計された照明環境では、物体の観測色と背景の観測色との輝度値の差分は、大きくならない。このため、シルエット抽出部３１２は、撮像装置Ｃｍで得られる取得画像Ｆｍにおける画素（ｘ、ｙ）の画素値ｆｍ，ｙ（ｘ，ｙ）、ｆｍ，Ｕ（ｘ，ｙ）、ｆｍ，Ｖ（ｘ，ｙ）と、撮像装置Ｃｍで得られる背景画像Ｂｍにおける、取得画像Ｆｍの画素（ｘ、ｙ）に対応する画素（ｘ、ｙ）の画素値ｂｍ，ｙ（ｘ，ｙ）、ｂｍ，Ｕ（ｘ，ｙ）、ｂｍ，Ｖ（ｘ，ｙ）とから、式２を用いてシルエットＲｍをそれぞれ求める。
Ｒｍ＝｛（ｘ，ｙ）｜｜ｆｍ，Ｕ（ｘ，ｙ）−ｂｍ，Ｕ（ｘ，ｙ）｜＞Ｕｔｈ、又は、｜ｆｍ，Ｖ（ｘ，ｙ）−ｂｍ，Ｖ（ｘ，ｙ）｜＞Ｖｔｈ｝                ・・・（式２）
ここで、Ｕｔｈ、Ｖｔｈは、背景差分の閾値であり、経験的、実験的に設定される。
【００５１】
物体Ｏの観測色と背景色とが同色又は近い色である場合には、取得画像Ｆｍと背景画像Ｂｍとの対応する画素間における画素値の差分は、小さくなり、シルエットＲｍの欠損が生じてしまう。そして、単一色背景を各撮像装置Ｃｓに対して用いると、或る撮像装置Ｃａでシルエット欠損が生じると他の撮像装置Ｃｂでもシルエット欠損を生じてしまう。一方、本発明では、背景にランダムパターン背景を用いるので、撮像装置Ｃｓ間で異なる背景色となり、様々な色を持つ物体Ｏに対しても所定の割合以上で正しく各シルエットＲｓを抽出することができる。特に、博物学のように多様な色の物体Ｏを被写体とする場合に好適である。
【００５２】
次に、このようにシルエット抽出部３１２によって各シルエットＲｓが抽出されると、３次元形状データ生成装置１の情報処理部３１におけるシルエット修復部３１３は、この抽出した各シルエットＲｓの修復をそれぞれ行う（Ｓ１４）。
【００５３】
物体Ｏの観測色は、拡散反射光及び鏡面反射光の色である。拡散反射光は、光が物体表面に照射された場合にその物体表面を観測することができる全方向に一様な大きさで反射する反射光である。鏡面反射光は、鏡や磨かれた金属の表面で起こる反射であり、光が物体表面に照射された場合にその物体表面の法線ベクトルに対する光の入射方向と反射方向とが等しくなるような全反射方向に対して強く反射する反射光である。このため、物体Ｏの同じ部分を複数の撮像装置Ｃｓが観測する場合に、その部分の拡散反射色は、各撮像装置Ｃｓで同じ色として観測されることになる。
【００５４】
或る撮像装置Ｃｍにおけるシルエット欠損は、他の撮像装置Ｃｎの取得画像Ｃｎから物体Ｏの拡散反射色を知ることができれば、或る撮像装置Ｃｍにおける背景色と他の撮像装置Ｃｎから知り得た拡散反射色とを比較することによって、検出することができる。よって、この検出したシルエット欠損をシルエットＲｍに加えることによってシルエットＲｍを修復することができ、よりシルエット欠損の少ない、言い換えれば、より精度の高いシルエットＲｍを抽出することができる。
【００５５】
このシルエット修復は、より具体的には、次のように行われる。まず、シルエット修復部３１３は、処理Ｓ１３で抽出した複数のシルエットＲｓを用いて、視体積交差法を用いた公知の情報処理手順によって視体積（例えばボクセル表現の３次元形状）を求める（Ｓ２１）。なお、この処理Ｓ２１における視体積を初期視体積と呼称することとする。この複数のシルエットＲｓから視体積交差法によって視体積を求める情報処理手順は、一例を挙げると例えば、『ウ小軍、東海彰吾、和田俊和、松山隆司、「ＰＣクラスタを用いた身体動作の実時間３次元映像化」、情報処理学会研究会資料、ＣＶＩＭ１２１−９，２０００．３』に開示されている。
【００５６】
次に、シルエット修復部３１３は、欠損の生じている可能性のあるボクセルｖが含まれる領域（以下、「復帰判定領域」と呼称する。）を求める（Ｓ２２）。初期視体積に含まれないボクセルｖのうち、真の視体積から欠損したボクセルｖについてのみ修復の判定を行えば、誤ったボクセルｖを復帰させることがないから、初期視体積の欠損を修復することができるが、この時点では、真の視体積を知り得ないので、真の視体積を包含しかつ余分な領域を可能な限り含まない領域を求め、これと初期視体積との差分領域を復帰判定領域とする。
【００５７】
より具体的には、シルエット修復部３１３は、Ｎａｌｌｏｗ＝Ｎｔｈ（Ｎｔｈ≧１）に設定した視体積と初期視体積の差分領域を求めることによって復帰判定領域を求める。Ｎａｌｌｏｗ＝Ｎｔｈに設定した視体積は、相互に撮影方向の異なるｎ台の撮像装置のうち、（ｎ−Ｎａｌｌｏｗ）台以上の撮像装置の視錐体に含まれる領域である。Ｎｔｈを大きくすると真の視体積からの欠損が少なくなるが余分な領域が増える。一方、Ｎｔｈを小さくすると真の視体積からの欠損が増えるが余分な領域があまり増えない。このような傾向を考慮の上、被写体の物体Ｏにおける形状の複雑さ、物体Ｏを観測する撮像装置の台数及び撮像装置で発生するノイズ等を勘案して、閾値Ｎｔｈが適宜決定される。本実施形態では、Ｎｔｈ＝１とした。
【００５８】
なお、Ｎａｌｌｏｗ＝Ｎｔｈとした場合に、復帰判定領域に含まれずシルエット欠損が修復されないボクセルｖの生起確率ｐ’は、式３である。
【００５９】
【数１】
2007017364.tif 000003
【００６０】
ここで、ｐは、ボクセルｖが投影される画素Ｉが背景色と同一色である確率であり、Ｎ’ｖｉｓ（ｅ）は、複数の撮像装置Ｃｅのうちボクセルｅが見える撮像装置Ｃの個数である。
【００６１】
そして、シルエット修復部３１３は、求めた復帰判定領域に含まれるボクセルｖに対して、視体積表面からのマンハッタン距離を与え、このマンハッタン距離の小さいものから順に、復帰を判定する復帰判定ボクセルａとする（Ｓ２３）。
【００６２】
次に、シルエット修復部３１３は、復帰判定ボクセルａが見える撮像装置Ｃｓを判定する（Ｓ２４）。この判定は、復帰判定ボクセルａと撮像装置Ｃｍとの間における他のボクセルｖの有無を調べ、他のボクセルｖがない場合には、復帰判定ボクセルａが見える撮像装置Ｃｍであると判定する。図９は、復帰判定ボクセルが見える撮像装置の判定方法を説明するための図である。図９において、より具体的には、複数のボクセルｖが同じ画素に投影される場合を考慮して、正の小さな閾値ｚｔｈを設定し、復帰判定ボクセルａが撮像装置Ｃｍから見えているか否かを、復帰判定ボクセルａが投影される画素Ｉｍ（ｘ、ｙ）に対応するＺバッファの値ｚｍ（ｘ、ｙ）がｚｍ（ｑｍ（ａ））＋ｚｔｈより小さいか否かによって判定する。ｑｍ（ａ）は、撮像装置Ｃｍのレンズ中心から復帰判定ボクセルａまでのベクトルを考え、このベクトルの撮像装置Ｃｍの光軸方向をＺとした場合におけるこの光軸方向成分の大きさである。ここで、閾値ｚｔｈを大きな値とすると視体積の裏側のボクセルｖまで見えると判定されることがあるので、閾値ｚｔｈは、物体Ｏの大きさ、復帰判定ボクセルａの集合がなす復帰視体積表面上の層の幅等を勘案して、小さな閾値ｚｔｈを設定する。また、Ｚバッファの値は、コンピュータグラフィックスにおいて、画像の各画素値に複数個ある物体のどの物体の色が反映されるかを決定し物体の投影像を生成する公知のＺバッファ法で用いられる値である。
【００６３】
次に、シルエット修復部３１３は、式４−１、式４−２を用いて復帰判定ボクセルａの拡散反射色を求める（Ｓ２５）。
【００６４】
【数２】
2007017364.tif 000004
【００６５】
【数３】
2007017364.tif 000005
【００６６】
ここで、ＡｖｅＵ（ａ）及びＡｖｅＶ（ａ）は、復帰判定ボクセルａの拡散反射色のＵ及びＶの推定値であり、Ｃｉｎ（ａ）は、復帰判定ボクセルａが見えている撮像装置Ｃｍの集合Ｃｖｉｓ（ａ）のうち、復帰判定ボクセルａが投影される画素がシルエットＲｍに含まれる撮像装置Ｃｍの集合である。
【００６７】
次に、シルエット修復部３１３は、処理Ｓ２５で復帰判定ボクセルａの拡散反射色の推定に用いた撮像装置Ｃｍの観測色におけるＵ、Ｖの分散ＶａｒＵ（ａ）、ＶａｒＶ（ａ）と標準偏差ＳｉｇＵ（ａ）、ＳｉｇＶ（ａ）とを式５−１、式５−２、式６−１、式６−２によってそれぞれ求める（Ｓ２６）。
【００６８】
【数４】
2007017364.tif 000006
【００６９】
【数５】
2007017364.tif 000007
【００７０】
【数６】
2007017364.tif 000008
【００７１】
【数７】
2007017364.tif 000009
【００７２】
次に、シルエット修復部３１３は、シルエット欠損の検出及びその修復を行う（Ｓ２７）。ここで、復帰判定ボクセルａが（１）凹面の部分である場合、（２）鏡面反射が起こっている部分である場合、及び、（３）見えている撮像装置Ｃｍの個数が少ない場合には、復帰判定ボクセルａの拡散反射色を正しく判定することができないので、シルエット欠損の修復を実行しない。このようにシルエット欠損の修復を実行することによって、より適切にシルエット欠損を修復することができ、より精度よいシルエットＲｍを得ることができる。
【００７３】
ここで、凹面部分の各箇所で観測される物体色が異なる物体である場合、分散ＶａｒＵ（ａ）、ＶａｒＶ（ａ）が大きくなるので、この復帰判定ボクセルａが凹面の部分であるか否かは、分散ＶａｒＵ（ａ）、ＶａｒＶ（ａ）が所定の閾値αよりも大きいか否かによって判定することができる。閾値αは、経験的、実験的に設定される。
【００７４】
また、鏡面反射が生じている部分を観測する撮像装置Ｃｍでは、拡散反射色とは異なる色を観測することになる。そのため、鏡面反射が生じている部分を観測する撮像装置Ｃｍを含めて拡散反射色を推定した場合、推定した拡散反射色は、鏡面反射によった色となってしまう。よって、復帰判定ボクセルａが投影される画素ｑｍ（ａ）でＵとＶとの値が平均値に近いもののみを用いて拡散反射色を推定する。即ち、式７の分散条件を満たす復帰判定ボクセルａが投影される画素ｑｍ（ａ）を用いて拡散反射色ＡｖｅＵ（ａ）及びＡｖｅＶ（ａ）を再計算し、推定する。
【００７５】
【数８】
2007017364.tif 000010
【００７６】
ここで、βは、鏡面反射ではないことを許容する閾値である。閾値βは、経験的、実験的に設定される。
【００７７】
さらに、見えている撮像装置Ｃｍの個数が少ない場合には、推定する拡散反射色から上記鏡面反射の影響を排除することができない。このため、式７の分散条件から、復帰判定ボクセルａに対して鏡面反射が高々Ｎｓｐｅｃ個の撮像装置Ｃｍでしか観測されないと仮定することができる場合に、Ｎｖｉｓ（ａ）が２×Ｎｓｐｅｃ＋１以上でない場合には、修復を行わない。閾値Ｎｓｐｅｃは、経験的、実験的に設定される。
【００７８】
そして、シルエット修復部３１３は、上記処理を行った拡散反射色を用いて、式８の平均条件を満たす画素ｑｍ（ａ）ではシルエット欠損が起こっていると判定し、シルエット欠損が起こっていると判定した復帰判定ボクセルａをシルエットＲｍに含める。
【００７９】
【数９】
2007017364.tif 000011
【００８０】
そして、シルエット修復部３１３は、シルエット欠損を修復したシルエットＲｍを用いて、視体積交差法を用いた公知の情報処理手順によって視体積（例えばボクセル表現の３次元形状）を求める（Ｓ２８）。この処理Ｓ２８における視体積を修復視体積と呼称することとする。
【００８１】
次に、シルエット修復部３１３は、シルエット修復の処理が終了したか否かを判断する（Ｓ２９）。この判断は、例えば、前回の修復視体積と今回の修復視体積とを比較し、今回の修復視体積が前回の修復視体積と所定の閾値内で一致するか否かを判断することによって行われ、判断の結果、今回の修復視体積と前回の修復視体積とが略一致する場合には、シルエット修復の処理が終了したと判断され、一方、今回の修復視体積と前回の修復視体積とが略一致しない場合には、シルエット修復の処理が終了していないと判断される。
【００８２】
処理Ｓ２９の判断の結果、シルエット修復の処理が終了したと判断された場合（Ｙｅｓ）には、シルエット修復部３１３は、図７の処理Ｓ１５を実行し、一方、シルエット修復の処理が終了していないと判断された場合（Ｎｏ）には、シルエット修復部３１３は、処理を処理Ｓ２１に戻す。この場合において、処理Ｓ２１では、今回の修復視体積を新たな初期視体積とする。
【００８３】
以上の処理を各シルエットＲｓに行うことにより、物体の観測色と背景色との近さに起因するシルエット欠損を効果的に修復することができる。このため、精度のよい各シルエットＲｓを得ることができる。特に、本発明に係るランダムパターン背景では、物体Ｏの或る部分に対して各撮像装置Ｃｓに対応する背景色が異なることが期待され得るので、シルエット欠損を修復することができる確率が非常に高くなり、より精度のよい各シルエットＲｓを得ることができる。
【００８４】
図７に戻って、シルエット修復が完了すると、情報処理部３１の３次元形状データ生成部３１４は、この修復したシルエットＲｓのデータを用いて、視体積交差法を用いた公知の情報処理手順によって例えばボクセル表現の３次元形状のデータを生成する。そして、被写体の物体Ｏに対応する３次元形状データを生成すると、３次元形状データ生成部３１４は、この生成した３次元形状データをファイル名を付して記憶部３４の３次元形状データ記憶部３４４に記憶すると共に、この生成した３次元形状データに基づく３次元形状及びファイル名を出力部３３に出力する（Ｓ１５）。
【００８５】
このように動作することによって３次元形状データ生成装置１は、様々な色を持つ物体に対しても所定の割合以上の領域で正しくシルエットＲｓを抽出することができ、そして、物体Ｏの観測色と背景色との近さに起因するシルエット欠損を効果的に修復することができる。このため、３次元形状データ生成装置１は、物体Ｏの３次元形状をより高い精度で生成することができる。
【００８６】
そして、このような３次元形状データ生成装置１は、物体の３次元座標を出力することができるので、物体の３次元座標から３次元モデルを仮想空間上に復元することによって任意視点画像を生成することもできる。
（実施例）
様々な物体Ｏに対する３次元形状データをこの３次元形状データ生成装置１を用いて作成した。その結果を以下に示す。
【００８７】
図１０は、第１の物体に対する取得画像及びシルエットを示す図である。図１０（Ａ）は、ランダムパターン背景を用いて第１の物体を撮影し取得した取得画像Ｆｍを示し、図１０（Ｂ）は、シルエット修復前のシルエットＲｍを示し、そして、図１０（Ｃ）は、シルエット修復後のシルエットＲｍを示す。図１０（Ｂ）及び（Ｃ）の白色で示す領域がシルエットＲｍである。図１１は、第１の物体及び第１の物体に対する視体積（３次元形状）を示す図である。図１１（Ａ）は、第１の物体Ｏを示し、図１１（Ｂ）は、正解の視体積を示し、図１１（Ｃ）は、ランダムパターン背景を用いると共にシルエット修復を行わずに視体積交差法により求めた視体積（以下、「通常の視体積」と呼称する。）を示し、図１１（Ｄ）は、ランダムパターン背景を用いると共にＮａｌｌｏｗ＝１として視体積交差法により求めた視体積（以下、「Ｎａｌｌｏｗ＝１の視体積」と呼称する。）を示し、そして、図１１（Ｅ）は、ランダムパターン背景を用いると共にシルエット修復を行って視体積交差法により求めた視体積（以下、「修復の視体積」と呼称する。）を示す。
【００８８】
本実施例では、３次元形状データ生成装置１は、ＹＵＶ表色系でシルエットを抽出し、各閾値がＶｔｈ＝Ｕｔｈ＝１０、ｚｔｈ＝２、Ｎｔｈ＝１、Ｎｓｐｅｃ＝１、β＝０．５に設定された。被写体である第１の物体Ｏは、図１１（Ａ）に示すように、大部分が緑色の恐竜模型である。正解の視体積は、総ての撮像装置Ｎｓから得られた取得画像Ｆｓについて手動でシルエットＲｓの抽出を行って得たものである。また、図１１（Ｂ）乃至（Ｄ）では、それぞれの視体積に対しマーチングキューブ法を適用し、表面のパッチを構成して表示している。そして、表面の色は、得られた視体積において求めた拡散反射色の平均値である。
【００８９】
図１０（Ｂ）と図１０（Ｃ）を比較すると分かるように、本発明に係るシルエット修復を行うことによって第１の物体Ｏの観測色と背景色との近さによるシルエット欠損が軽減されている。
【００９０】
そして、図１１（Ｃ）と図１１（Ｅ）を比較すると分かるように、通常の視体積は、背中や尻尾の部分で大きな欠損があるが、本発明に係る３次元形状生成装置１よって得た修復の視体積は、この部分の欠損が略修復されており、より正解の視体積に近い。また、図１１（Ｄ）と図１１（Ｅ）を比較すると分かるように、Ｎａｌｌｏｗ＝１の視体積と較べて修復の視体積は、たてがみの裏や角の周りに確認される余分な領域が減少しており、より正解の視体積に近い。
【００９１】
正解の視体積と各視体積に対する数値評価の結果を表１に示す。表１における付加ボクセル数（additional voxels）は、正解の視体積には含まれないが当該視体積に含まれるボクセル数である。消失ボクセル数（missing voxels）は、正解の視体積に含まれるが当該視体積には含まれないボクセル数である。エラーボクセル数（error voxels）は、付加ボクセル数と消失ボクセル数の和である。
【００９２】
【表１】
2007017364.tif 000012
【００９３】
表１から分かるように、修復の視体積は、Ｎａｌｌｏｗ＝１の視体積と較べて付加ボクセル数が少なく、そして、消失ボクセル数も少なくなっている。また、エラーボクセル数は、通常の視体積の場合やＮａｌｌｏｗ＝１の視体積の場合と較べて少なくなっている。
【００９４】
第２乃至第６の物体Ｏに対する３次元形状データをこの３次元形状データ生成装置１を用いて作成した結果を図１２乃至図１６に示す。
【００９５】
図１２乃至図１６は、第２乃至第６の物体及び第２乃至第６の物体に対する視体積（３次元形状）を示す図である。各図（Ａ）は、各物体を示し、各図（Ｂ）は、通常の視体積を示し、そして、各図（Ｃ）は、修復の視体積を示す。
【００９６】
第２の物体Ｏは、図１２（Ａ）に示すように、灰色の像模型であり、第３の物体Ｏは、図１３（Ａ）に示すように、白色の像模型であり、第４の物体Ｏは、図１４（Ａ）に示すように、主に白色の雌とり模型であり、第５の物体Ｏは、図１５（Ａ）に示すように、主に褐色のかば模型であり、そして、第６の物体Ｏは、図１６（Ａ）に示すように、主に茶色の馬模型である。
【００９７】
各図（Ｂ）から分かるように、様々な色合いの物体Ｏに対しても、所定の精度でシルエットが抽出され得て通常の視体積が得られている。そして、各図（Ｃ）から分かるように、シルエット修復を行うことにより、様々な色合いの物体Ｏに対しても、欠損の少ない視体積が得られている。
【００９８】
なお、上述の実施形態では、物体の３次元形状データは、相互に撮影方向の異なるｎ台のカメラにおける総ての視錐体の積領域から生成したが、相互に撮影方向の異なるｎ台のカメラのうち、（ｎ−Ｎａｌｌｏｗ）台以上のカメラの視錐体に含まれる領域から生成しても良い。ここで、Ｎａｌｌｏｗ＝１、２、３、・・・、ｎ−１である。
【００９９】
また、上述の実施形態では、シルエット抽出をした後に特に後処理を行っていないが、被写体の物体Ｏが総ての撮像装置Ｃｓで或る面積以下の小さな孤立点として投影されない場合には、面積の小さなシルエットを除去する後処理を行ってもよい。
【０１００】
そして、上述の実施形態では、ランダムパターン背景を用いて取得した取得画像Ｆｍでシルエット修復を行ったが、従来のように単一色背景を用いる場合にも本発明に係るシルエット修復を適用することができる。上述したシルエット修復の情報処理手順から明らかなように、背景の中で影になっているような特異な部分が存在してシルエット欠損が生じている場合、撮像装置のノイズによってシルエット欠損が生じている場合、及び、鏡面反射が観測される場合等にシルエットＲｓを修復することができ、特に有効である。
【０１０１】
一例として、青色の単一色背景を用いた図１１（Ａ）に示す恐竜模型を物体Ｏとする場合についてシルエット修復を行った。その結果を以下に示す。
【０１０２】
図１７は、単一色背景における第１の物体に対する取得画像及びシルエットを示す図である。図１７（Ａ）は、単一色背景を用いて第１の物体を撮影し取得した取得画像Ｆｍを示し、図１７（Ｂ）は、シルエット修復前のシルエットを示し、そして、図１７（Ｃ）は、シルエット修復後のシルエットＲｍを示す。図１７（Ｂ）及び（Ｃ）の白色で示す領域がシルエットＲｍである。図１８は、第１の物体及び単一色背景における第１の物体に対する視体積（３次元形状）を示す図である。図１８（Ａ）は、第１の物体Ｏを示し、図１８（Ｂ）は、正解の視体積を示し、図１８（Ｃ）は、単一色背景を用いた場合における通常の視体積を示し、図１８（Ｄ）は、単一色背景を用いた場合におけるＮａｌｌｏｗ＝１の視体積を示し、そして、図１８（Ｅ）は、単一色背景を用い場合における修復の視体積を示す。
【０１０３】
この例では、上述の実施例と同様に、３次元形状データ生成装置１は、ＹＵＶ表色系でシルエットを抽出し、各閾値がＶｔｈ＝Ｕｔｈ＝１０、ｚｔｈ＝２、Ｎｔｈ＝１、Ｎｓｐｅｃ＝１、β＝０．５に設定された。
【０１０４】
図１７（Ｂ）と図１７（Ｃ）を比較すると分かるように、本発明に係るシルエット修復を行うことによって第１の物体Ｏの観測色と背景色との近さによるシルエット欠損が軽減されている。
【０１０５】
そして、図１８（Ｃ）と図１８（Ｅ）を比較すると分かるように、通常の視体積は、尻尾の部分で大きな欠損があるが、本発明に係る３次元形状生成装置１よって得た修復の視体積は、この部分の欠損が略修復されており、より正解の視体積に近い。また、図１８（Ｄ）と図１８（Ｅ）を比較すると分かるように、Ｎａｌｌｏｗ＝１の視体積と較べて修復の視体積は、たてがみの裏や胴回りに確認される余分な領域が減少しており、より正解の視体積に近い。
【０１０６】
正解の視体積と各視体積に対する数値評価の結果を表２に示す。
【０１０７】
【表２】
2007017364.tif 000013
【０１０８】
表２から分かるように、修復の視体積におけるエラーボクセル数は、通常の視体積の場合やＮａｌｌｏｗ＝１の視体積の場合と較べて少なくなっている。
【図面の簡単な説明】
【０１０９】
【図１】３次元形状データ生成装置の構成を示す図である。
【図２】データ生成部の構成を示す図である。
【図３】撮像装置、被写体の物体及び背景板の位置関係を説明するための図である。
【図４】ランダムパターン背景の一例を示す図である。
【図５】ランダムパターン背景の明るさを説明するための図である。
【図６】ランダムパターン背景の領域の大きさを説明するための図である。
【図７】３次元形状データを生成する動作を示すフローチャートである。
【図８】シルエット修復の詳細動作を示すフローチャートである。
【図９】復帰判定ボクセルが見える撮像装置の判定方法を説明するための図である。
【図１０】第１の物体に対する取得画像及びシルエットを示す図である。
【図１１】第１の物体及び第１の物体に対する視体積（３次元形状）を示す図である。
【図１２】第２の物体及び第２の物体に対する視体積（３次元形状）を示す図である。
【図１３】第３の物体及び第３の物体に対する視体積（３次元形状）を示す図である。
【図１４】第４の物体及び第４の物体に対する視体積（３次元形状）を示す図である。
【図１５】第５の物体及び第５の物体に対する視体積（３次元形状）を示す図である。
【図１６】第６の物体及び第６の物体に対する視体積（３次元形状）を示す図である。
【図１７】単一色背景における第１の物体に対する取得画像及びシルエットを示す図である。
【図１８】第１の物体及び単一色背景における第１の物体に対する視体積（３次元形状）を示す図である。
【図１９】視体積と物体形状との関係を説明するための図である。
【符号の説明】
【０１１０】
ＢＤ  背景板
Ｃ  撮像装置
ＬＴ  照明器具
Ｏ  物体
ＲＧ  背景板の領域
１  ３次元形状データ生成装置
１０  撮影部
２０  データ生成部
３１  情報処理部
３２  入力部
３３  出力部
３４  記憶部
３５  インタフェース部
３１１  画像取得部
３１２  シルエット抽出部
３１３  シルエット修復部
３１４  ３次元形状データ生成部
３４１  背景画像データ記憶部
３４２  取得画像データ記憶部
３４３  シルエットデータ記憶部
３４４  ３次元形状データ記憶部
【図１】
2007017364.tif 000014
【図２】
2007017364.tif 000015
【図３】
2007017364.tif 000016
【図７】
2007017364.tif 000017
【図８】
2007017364.tif 000018
【図９】
2007017364.tif 000019
【図１９】
2007017364.tif 000020
【図４】
2007017364.tif 000021
【図５】
2007017364.tif 000022
【図６】
2007017364.tif 000023
【図１０】
2007017364.tif 000024
【図１１】
2007017364.tif 000025
【図１２】
2007017364.tif 000026
【図１３】
2007017364.tif 000027
【図１４】
2007017364.tif 000028
【図１５】
2007017364.tif 000029
【図１６】
2007017364.tif 000030
【図１７】
2007017364.tif 000031
【図１８】
2007017364.tif 000032