(57)【特許請求の範囲】
【請求項１】
３次元形状を有する対象オブジェクトを構成する面ヘテクスチャをマッピングするためにテクスチャ切り出し対象画像からテクスチャ切り出し領域を算出し補正する方法であって、
対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する切り出し領域算出処理手順と、
該テクスチャ切り出し対象画像から座標軸方向毎に臨界画素間隔を満たすエッジ対を算出する画像特徴量算出処理手順と、
該算出された切り出し領域とエッジ対とを利用して該切り出し領域を補正する切り出し領域補正処理手順と、を備える
ことを特徴とするテクスチャ切り出し領域補正方法。
【請求項２】
前記切り出し領域算出処理手順では、対象オブジェクトの面をテクスチャ切り出し対象画像上に投影した形状を構成する線分列の向きに対するヒストグラムを算出し、該線分列群と座標軸とのなす角が最小となる回転角を算出し、
前記特徴量算出処理手順では、テクスチャ切り出し対象画像を該最小回転角で回転させ、
前記切り出し領域補正処理手順では、該線分列を該最小回転角で回転させる
ことを特徴とする請求項１に記載のテクスチャ切り出し領域補正方法。
【請求項３】
前記画像特徴量算出処理手順では、
テクスチャ切り出し対象画像から座標軸方向のエッジ画像を生成し、該エッジ画像を座標軸方向にスキャンして或る対象エッジ画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合の画素の対をエッジ対として算出することを特徴とする請求項１または請求項２に記載のテクスチャ切り出し領域補正方法。
【請求項４】
前記切り出し領域補正処理手順では、
切り出し領域とエッジ対とを利用して該切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する特徴量投票処理手順と、
該算出された移動量の侯補から該移動量を決定する移動量算出処理手順と、を備えて、
該決定した移動量により該切り出し領域を移動させて補正する
ことを特徴とする請求項１から請求項３までのいずれかに記載のテクスチャ切り出し領域補正方法。
【請求項５】
前記特徴量投票処理手順では、
得票数／全投票数で算出される臨界得票率を満たす上位いくつかを移動量の侯補として算出する
ことを特徴とする請求項４に記載のテクスチャ切り出し領域補正方法。
【請求項６】
前記移動量算出処理手順では、
既に移動量が決定されたオブジェクトの決定された移動量以外の移動量侯補を削除し、同じ線分列を構成する線分列の移動量の差が或る値以下の組み合わせを算出し、異なる線分列を構成する該組み合わせで元の位置関係と矛盾がなく移動量の差が或る値以下の組み合わせを算出し、隣接するオブジェクトを構成する線分列に対して同様の処理にて組み合わせを算出し、該組み合わせの中で元の位置関係と矛盾がない組み合わせを算出し、該矛盾がない組み合わせの中で得票数が最大の組み合わせを算出し、該最大得票数の組み合わせから移動量を算出する
ことを特徴とする請求項４または請求項５に記載のテクスチャ切り出し領域補正方法。
【請求項７】
前記切り出し領域補正処理手順では、
算出された切り出し領域を構成する線分を分割した線分列を構成する点を利用して該切り出し領域を構成する点の移動量を算出し、該移動量から該切り出し領域を補正する
ことを特徴とする請求項１から請求項６までのいずれかに記載のテクスチャ切り出し領域補正方法。
【請求項８】
３次元形状を有する対象オブジェクトを構成する面ヘテクスチャをマッピングするためにテクスチャ切り出し対象画像からテクスチャを切り出す領域を算出し補正する装置であって、
対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する切り出し領域算出処理手段と、
該テクスチャ切り出し対象画像から座標軸方向毎に臨界画素間隔を満たすエッジ対を算出する画像特徴量算出処理手段と、
該算出された切り出し領域とエッジ対とを利用して該切り出し領域を補正する切り出し領域補正処理手段と、を備える
ことを特徴とするテクスチャ切り出し領域補正装置。
【請求項９】
前記切り出し領域補正処理手段は、
切り出し領域とエッジ対とを利用して該切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する特徴量投票処理手段と、
該算出された移動量の侯補から該移動量を決定する移動量算出処理手段と、を備えて、
該決定した移動量により該切り出し領域を移動させて補正するものである
ことを特徴とする請求項８に記載のテクスチャ切り出し領域補正装置。
【請求項１０】
請求項１から請求項７までのいずれかに記載のテクスチャ切り出し領域補正方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とするテクスチャ切り出し領域補正方法の実行プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元形状モデルを生成する手法に関して、特に、３次元形状を構成する面ヘマッピングするテクスチャを対象画像から切り出す領域を算出し補正する方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、景観のシミュレーションやアミューズメント利用を目的として、精度の高い見た目にもきれいな３次元形状モデルを利用したいという要望が高まっている。このようなモデルには、精度の高い見た目にもきれいなリアリティの高いものが要求されるので、そのモデル形状を構成する面ヘテクスチャをマッピングする必要がある。
【０００３】
このような要求に対して、これまで、モデル形状を構成する面ヘテクスチャをマッピングする技術がいくつか開発されている。例えば、特開平１０−４２２８２号に記載のシステムあるいは特開平１０−２６７６７１号に記載の装置及びシステムは、いろいろな地点の画像を撮影したカメラの位置情報、姿勢情報とともに対応づけて記憶するものである。この位置情報及び姿勢情報から、撮影した画像中のどこに何が写っているかを提示したりして、その撮影画像をテクスチャ切り出し対象画像として利用することが可能となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のような従来技術によるカメラの位置情報や姿勢情報は、撮影状況によって誤差も大きく画像中のどこに何が写っているかを正確に算出することは難しく、３次元モデル形状のような見た目のきれいさや精度を求められるような場合に、高精度で効果的にテクスチャを切り出して利用することは難しい。そこで精度を上げようとすると、このような位置情報や姿勢情報を取得するためのセンサが大きくなったり、高額になったりする。そのため、ヘリコプターや大きなワゴン車といったものに載せる必要があり、例えば、人が持ち歩くといった状況での利用は難しくなる。
【０００５】
このように、従来の技術では、３次元形状を構成する面ヘテクスチャを高精度にマッピングすることは難しい。このため、精度の高い情報を取得するための大がかりな装置を用意したり、あるいは、人手を介したりする必要がある。また、この作業はかなりの時間と経験を要するものである。そのため、その省力化、更には自動化が強く望まれている。
【０００６】
本発明は、上述したような従来技術が有する問題点や技術的な背景に鑑みてなされたものであって、何らかの立体形状計測手段によって得られた３次元形状を構成する面ヘ撮影画像等の対象画像から高精度にテクスチャを切り出してマッピングするためのテクスチャ切り出し領域補正方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明によるテクスチャ切り出し領域補正方法は、３次元形状を有する対象オブジェクトを構成する面ヘテクスチャをマッピングするためにテクスチャ切り出し対象画像からテクスチャ切り出し領域を算出し補正する方法であって、対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する切り出し領域算出処理手順と、該テクスチャ切り出し対象画像から座標軸方向毎に臨界画素間隔を満たすエッジ対を算出する画像特徴量算出処理手順と、該算出された切り出し領域とエッジ対とを利用して該切り出し領域を補正する切り出し領域補正処理手順と、を備えることを特徴とする。
【０００８】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記切り出し領域算出処理手順では、対象オブジェクトの面をテクスチャ切り出し対象画像上に投影した形状を構成する線分列の向きに対するヒストグラムを算出し、該線分列群と座標軸とのなす角が最小となる回転角を算出し、前記特徴量算出処理手順では、テクスチャ切り出し対象画像を該最小回転角で当該座標軸から回転させ、前記切り出し領域補正処理手順では、算出された切り出し領域を該最小回転角で当該座標軸から回転させることを特徴とする。
【０００９】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記画像特徴量算出処理手順では、テクスチャ切り出し対象画像から座標軸方向のエッジ画像を生成し、該エッジ画像を座標軸方向にスキャンして或る対象エッジ画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合の画素の対をエッジ対として算出することを特徴とする。
【００１０】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記切り出し領域補正処理手順では、切り出し領域とエッジ対とを利用して該切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する特徴量投票処理手順と、該算出された移動量の侯補から該移動量を決定する移動量算出処理手順と、を備えて、該決定した移動量により該切り出し領域を移動させて補正することを特徴とする。
【００１１】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記特徴量投票処理手順では、得票数／全投票数で算出される臨界得票率を満たす上位いくつかを移動量の侯補として算出することを特徴とする。
【００１２】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記移動量算出処理手順では、既に移動量が決定されたオブジェクトの決定された移動量以外の移動量侯補を削除し、同じ線分列を構成する線分列の移動量の差が或る値以下の組み合わせを算出し、異なる線分列を構成する該組み合わせで元の位置関係と矛盾がなく移動量の差が或る値以下の組み合わせを算出し、隣接するオブジェクトを構成する線分列に対して同様の処理にて組み合わせを算出し、該組み合わせの中で元の位置関係と矛盾がない組み合わせを算出し、該矛盾がない組み合わせの中で得票数が最大の組み合わせを算出し、該最大得票数の組み合わせから移動量を算出することを特徴とする。
【００１３】
あるいは、上記のテクスチャ切り出し領域補正方法において、前記切り出し領域補正処理手順では、算出された切り出し領域を構成する線分を分割した線分列を構成する点を利用して該切り出し領域を構成する点の移動量を算出し、該移動量から該切り出し領域を補正することを特徴とする。
【００１４】
また、本発明によるテクスチャ切り出し領域補正装置は、３次元形状を有する対象オブジェクトを構成する面ヘテクスチャをマッピングするためにテクスチャ切り出し対象画像からテクスチャを切り出す領域を算出し補正する装置であって、対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する切り出し領域算出処理手段と、該テクスチャ切り出し対象画像から座標軸方向毎に臨界画素間隔を満たすエッジ対を算出する画像特徴量算出処理手段と、該算出された切り出し領域とエッジ対とを利用して該切り出し領域を補正する切り出し領域補正処理手段と、を備えることを特徴とする。
【００１５】
あるいは、上記のテクスチャ切り出し領域補正装置において、前記切り出し領域補正処理手段は、切り出し領域とエッジ対とを利用して該切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する特徴量投票処理手段と、該算出された移動量の侯補から該移動量を決定する移動量算出処理手段と、を備えて、該決定した移動量により該切り出し領域を移動させて補正するものであることを特徴とする。
【００１６】
また、上記のテクスチャ切り出し領域補正方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１７】
本発明では、３次元形状を構成する面ヘテクスチャをマッピングする際、撮影情報等のテクスチャ切り出し対象画像から算出された切り出し領域の形状をテクスチャ切り出し対象画像から抽出したエッジ対を利用して補正することにより、テクスチャの切り出し領域を高精度で補正できるようにし、きれいな３次元形状モデルを生成可能とする。ここで、エッジ対とは、例えば、画像上で明から暗に変化するエッジを構成する画素と暗から明に変化するエッジを構成する画素とが、対をなすと認められる間隔の閾値（臨界画素間隔と呼ぶ）以下であるものを意味する。このようなエッジ対は、通常の撮影画像の形状の境界に必ず出現する。
【００１８】
また、対象オブジェクトの面をテクスチャ切り出し対象画像上に投影した形状を構成する線分列の向きに対するヒストグラムを算出し、該線分列群とＸ軸あるいはＹ軸といった座標軸とのなす角が最小となる回転角を算出することにより、移動量といった切り出し領域の補正量の算出が座標軸方向に帰着できるようにして、効率の良い非常に高速な処理を実現する。
【００１９】
また、テクスチャ切り出し対象画像の座標軸方向のエッジ画像（方向エッジ画像と呼ぶ）を指定された座標軸方向にスキャンして、或る対象画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合の画素の対をエッジ対として算出することにより、移動量等の補正量の推定において画像処理により生じるノイズを軽減し、効率の良い非常に高速な処理を実現する。
【００２０】
また、得票数／全投票数で算出される臨界得票率（移動量の候補として認められる閾値）を満たす上位いくつかのエッジ対を、移動量の侯補として選択することにより、移動量の決定において、効率の良い非常に高速な処理を実現する。
【００２１】
また、既に移動量が決定されたオブジェクトの決定された移動量以外の移動量侯補を削除し、同じ線分列を構成する線分列の移動量の差が或る値以下の組み合わせを算出し、異なる線分列を構成する該組み合わせで元の位置関係と矛盾がなく移動量の差が或る値以下の組み合わせを算出し、隣接するオブジェクトを構成する線分列に対して同様な処理にて組み合わせを算出し、該組み合わせの中で元の位置関係と矛盾がない組み合わせを算出し、該矛盾のない組み合わせの中で得票数が最大の組み合わせを算出することにより、補正後の切り出し領域の矛盾を排除できるようにし、効率の良い非常に高速な処理を実現し、かつ、きれいな３次元形状モデルを生成可能とする。
【００２２】
また、算出された切り出し領域を構成する線分を分割した線分を構成する点を利用して、切り出し領域を構成する点の移動量を推定し、切り出し領域を補正することにより、切り出し領域の形状を柔軟に制御可能とする。更に、移動量を推定するための情報も増加させて、効率の良い処理を実現する。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態例について図面を用いて説明する。
【００２４】
本発明によるテクスチャ切り出し領域補正方法を実現する装置の実施形態例を図１に示す。
【００２５】
本実施形態例による装置は、オペレータから処理を受け付け、処理結果を３次元形状データベース７ヘ格納する入出力処理手段１と、対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する切り出し領域算出処理手段２と、テクスチャ切り出し対象画像から軸方向毎に臨界画素間隔を満たすエッジ対を算出する画像特徴量算出処理手段３と、前記手順にて算出された切り出し領域とエッジ対を利用して切り出し領域を補正する切り出し領域補正処理手段４と、を備えている。
【００２６】
また、この切り出し領域補正処理手段４は、前記処理手段２，３にて算出された切り出し領域とエッジ対を利用して、切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する特徴量投票処理手段５、及び前記処理手段５にて算出された移動量の侯補から移動量を決定する移動量算出処理処理手段６と、を備えている。
【００２７】
３次元形状データベース７は、３次元モデルの構成点及び構成面の３次元座標点列のデータを含むデータを蓄積するものである。また、画像データベース８は、テクスチャ切り出し対象画像となる画像情報（各画素のＲＧＢ値）と、その画像中の各フレームに対して、そのフレームが撮影されたカメラの位置情報（Ｘ，Ｙ，Ｚ）と姿勢情報（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を対応付けした撮影情報とを含むデータを蓄積している。
【００２８】
入出力処理手段１は、オペレータから処理対象の領域あるいはオブジェクトを受け付け、該処理対象のオブジェクトのテクスチャ切り出し領域を算出し補正した結果を３次元形状データベース７ヘ格納する。この処理は、図２に示す手順で以下のように行われる。
［ステップ１］  ３次元形状データベース７から、処理対象範囲に含まれるオブジェクトの情報を取得し、バッファに格納する。
［ステップ２］  未処理のオブジェクトに対して、隣接する他のオブジェクトの情報を算出する。
［ステップ３］  対象オブジェクトの未処理の面に対して、画像データベース８からテクスチャ切り出し対象の画像情報、及び撮影情報を取得する。
［ステップ４］  切り出し領域算出処理を行う。
［ステップ５］  画像特徴量算出処理を行う。
［ステップ６］  切り出し領域補正処理を行う。
［ステップ７］  対象となるすべての面に対して処理が終わるまで、［ステップ３］〜［ステップ６］を繰り返す。
［ステップ８］  対象となるすべてのオブジェクトに対して処理が終わるまで、［ステップ２］〜［ステップ７］を繰り返す。
［ステップ９］  ３次元形状データベースにテクスチャ画像と切り出し領域を格納する。
【００２９】
なお、この［ステップ３］は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３０】
切り出し領域算出処理手段２は、対象オブジェクトの未処理の面をテクスチャ切り出し対象画像上に投影した形状から切り出し領域を算出する。この処理は、図３に示す手順で以下のように行われる。
［ステップ１］  対象オブジェクトの未処理の面を、テクスチャ切り出し対象の画像上に投影した形状（Ｔｓ）を算出する。
［ステップ２］  Ｔｓに隣接する他のオブジェクトを構成する面が投影された形状群（Ｒｓ（ｎ））を算出する。
［ステップ３］  Ｔｓを構成する個々の線分列がＸ軸及びＹ軸となす角度のヒストグラムを算出し、最も出現頻度の高いものをＸ軸及びＹ軸となす角度とする。
［ステップ４］  線分列群とＸ軸あるいはＹ軸のなす角が小さい方を回転角αとする。
【００３１】
なお、この［ステップ１］は、従来の手法と特に変わるところがないので、ここではその詳紬な説明は省略する。
【００３２】
画像特徴量算出処理手段３は、テクスチャ切り出し対象画像から軸方向毎に臨界画素間隔を満たすエッジ対を算出する。この処理は、図４に示す手順で以下のように行われる。
［ステップ１］  Ｔｓ，Ｒｓ（ｎ）を含む領域にマージンを加えた領域の画像情報（Ｔｉ）を、テクスチャ切り出し対象の画像情報から取得する。
［ステップ２］  Ｔｉを角度α回転する。
［ステップ３］  Ｔｉから方向エッジ画像Ｔｅを算出する。
［ステップ４］  ＴｅからＸ軸方向、Ｙ軸方向毎に臨界画素間隔を満たすエッジ対を算出する。
【００３３】
このエッジ対は、方向エッジ画像Ｔｅを指定された軸方向にスキャンして、或る対象画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合に、その画素の対がエッジ対として算出される。この臨界画素間隔は、画像毎あるいは処理対象地域毎の値として、あらかじめ決めておくとしてもよい。なお、この［ステップ３］の方向エッジ画像を算出する方法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３４】
切り出し領域補正処理手段４は、前記手順にて算出された切り出し領域とエッジ対を利用して切り出し領域を補正する。この処理は、図５に示す手順で以下のように行われる。
［ステップ１］  Ｔｓ，Ｒｓ（ｎ）を構成する線分列を角度α回転し、該線分列をＸ軸方向、Ｙ軸方向のカテゴリで分類する。
［ステップ２］  Ｔｓ，Ｒｓ（ｎ）を構成する線分列をｍ分割し、この線分列をＬ（ｉ，ｊ，ｋ）とする。但し、ｉ＝Ｔｓ又はＲｓ（ｎ）、ｊ＝Ｘ軸方向又はＹ軸方向、ｋ＝分割された線分列番号とする。
［ステップ３］  Ｘ軸方向、及びＹ軸方向でＬ（ｉ，ｊ，ｋ）に対して、特徴量投票処理を行う。
［ステップ４］  移動量侯補の移動量が大きい軸方向を算出する。
［ステップ５］  算出された方向のＬ（ｉ，ｊ，ｋ）でＬ（Ｔｓ，ｊ，ｋ）の移動量算出処理を行う。
［ステップ６］  Ｌ（ｉ，ｊ，ｋ）に算出された移動量を反映する。
［ステップ７］  未処理の方向のＬ（ｉ，ｊ，ｋ）で再度、特徴量投票処理を行い、Ｌ（Ｔｓ，ｊ，ｋ）の移動量算出処理を行う。
［ステップ８］  Ｔｓを構成する点の移動量を決定する。
【００３５】
なお、この分割数ｍは、あらかじめ決めておくとしてもよいし、分割しなくてもよい。また、このｍが３以上の場合は間の線分列がＴｓを構成する点を含まないので処理対象からはずしてもよいし、処理を行って切り出し領域としてＴｓを構成する点ではなくＴｓを構成する分割された線分列あるいは線分列を構成する点とする、としてもよい。
【００３６】
特徴量投票処理手段５は、前記手順にて切り出し領域とエッジ対を利用して、切り出し領域をどのくらい移動させればよいかの移動量の侯補を算出する。この処理は、図６に示す手順で以下のように行われる。
［ステップ１］  方向エッジ画像Ｔｅから指定された方向のＬ（ｉ，ｊ，ｋ）、及び、その方向と逆方向の全エッジ対を取得する。
［ステップ２］  ３次元モデルから未処理の線分列上の全点を取得する。
［ステップ３］  取得した全構成点から指定された逆の方向にスキャンして、全エッジ対までの距離を算出する。
［ステップ４］  算出された距離毎の頻度を投票する。
［ステップ５］  臨界得票率（得票数／全投票数）を満たす上位Ｔ個の移動量を取得し、移動量侯補とする。
［ステップ６］  対象となるすべての線分列に対して処理が終わるまで、［ステップ２］〜［ステップ５］を繰り返す。
【００３７】
なお、この［ステップ４］にて頻度を投票する際に、あらかじめ決められた距離よりも大きな場合は投票せず、処理効率を高めるとしてもよい。また、取得基準の第Ｔ位、及び臨界得票率は、あらかじめ決めておくとしてもよいし、最低の得票数を決めておいて動的に設定するとしてもよい。
【００３８】
移動量算出処理手段６は、前記手順にて算出された移動量の侯補から移動量を決定する。この処理は、図７に示す手順で以下のように行われる。
［ステップ１］  移動量侯補を取得し、臨界移動量（絶対値）以上の侯補を削除する。
［ステップ２］  既に決定されているオブジェクトで、決定された移動量以外の移動量侯補を削除する。
［ステップ３］  同じ線分列を構成するＬ（Ｔｓ，ｊ，ｋ）で、移動量の差が閾値（臨界移動量）Ｄ１以下の組み合わせを算出する。
［ステップ４］  異なる線分列を構成する該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値（臨界移動量）Ｄ２以下の組み合わせを算出する。
［ステップ５］  Ｌ（Ｒｓ（ｎ）、ｊ，ｋ）で、［ステップ３］、［ステップ４］の処理を行い、同様の組み合わせを算出する。
［ステップ６］  これらの組み合わせの中で、元の位置関係と矛盾がない組み合わせを算出する。
［ステップ７］  これらの矛盾のない組み合わせの中で、得票数が最大の組み合わせを算出する。
［ステップ８］  Ｌ（ｉ，ｊ，ｋ）を構成する点毎の移動量を算出する。
【００３９】
なお、臨界移動量（絶対値）、Ｄ１，Ｄ２の値は、あらかじめ決めておくとしてもよい。また、この［ステップ８］で、Ｌ（ｉ，ｊ，ｋ）を構成する点ではなくＬ（ｉ，ｊ，ｋ）を構成する線分列を構成する点とする、として、その移動量を算出してもよい。
【００４０】
以降では、上述した処理手順を実際のデータに即して、具体的に示す。
【００４１】
入出力処理にて、オペレータから処理を受け付け、３次元形状データベースから、処理対象範囲に含まれるオブジェクトの情報を取得してバッファに格納し、未処理のオブジェクトに対して、隣接する他のオブジェクトの情報を算出し、対象オブジェクトの未処理の面に対して、テクスチャ切り出し対象の画像情報、及び撮影情報を取得し、切り出し領域算出処理にて、対象オブジェクトの未処理の面をテクスチャ切り出し対象の画像上に投影した形状（Ｔｓ）を算出し、Ｔｓに隣接する他のオブジェクトを構成する面が投影された形状群（Ｒｓ（ｎ））を算出し、その結果、図８に示すような処理結果が得られたとする。
【００４２】
これに対して、切り出し領域算出処理でテクスチャ切り出し対象画像上に投影された形状Ｔｓを構成する線分列の向きに対するヒストグラムを算出し、この線分列群とここではＸ軸とのなす角が最小となったとして回転角αを算出し、画像特徴量算出処理にて、Ｔｓ，Ｒｓ（ｎ）を含む領域にマージンを加えた領域の画像情報（Ｔｉ）をテクスチャ切り出し対象の画像情報から取得し、Ｔｉを角度α回転した結果、図９に示すような処理結果が得られる。図９に示すように、この状態では、位置情報、姿勢情報を含む撮影情報の精度のため、テクスチャの切り出し領域がずれている。
【００４３】
この画像情報Ｔｉに対して、画像特徴量算出処理にて処理を行い、方向エッジ画像Ｔｅを算出する。例えば、Ｙ軸方向の方向エッジ画像を示すと、図１０のようになる。このＴｅに対して、Ｘ軸方向、Ｙ軸方向毎にスキャンして、或る対象画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合に、その画素の対をエッジ対として算出する。
【００４４】
更に切り出し領域補正処理にて、Ｔｓ，Ｒｓ（ｎ）を構成する線分列を角度α回転し、該線分列をＸ軸方向、Ｙ軸方向のカテゴリで分類し、Ｔｓ，Ｒｓ（ｎ）を構成する線分列をｍ分割し、この線分列をＬ（ｉ，ｊ，ｋ）とする。ここでは、この線分列は、図１１に示すようになったとする。
【００４５】
このＬ（ｉ，ｊ，ｋ）の線分列に対して、Ｘ軸方向、及びＹ軸方向で特徴量投票処理を行う。特徴量投票処理では、まず、Ｘ軸方向のＬ（ｉ，ｊ，ｋ）、及び、その方向と逆方向のＹ軸方向の全エッジ対を取得する。未処理の線分列上の全点を取得し、その全構成点から指定された逆の方向にスキャンして、全エッジ対までの距離を算出し、その距離毎の頻度を投票する。例えば、図１２に示すような場合、距離が−２１，−１８，１０，１２，２４，２５，３８，４３に、各１票ずつ投票されることになる。こうして得られた得票数から、臨界得票率（得票数／全投票数）を満たす上位Ｔ個の移動量を取得し、移動量侯補とする。これらの処理を対象となるすべての線分列に対して行う。また、Ｙ軸方向についても、同様の処理を行う。
【００４６】
移動量侯補の移動量が大きい軸方向を算出し、ここでは、Ｙ軸方向の移動量が大きかったとして、このＹ軸方向のＬ（ｉ，ｊ，ｋ）の線分列でＬ（Ｔｓ，ｊ，ｋ）の線分列の移動量算出処理を行う。移動量算出処理では、まず、移動量侯補を取得し、臨界移動量（絶対値）以上の侯補を削除する。既に決定されているオブジェクトで、決定された移動量以外の移動量侯補を削除し、同じ線分列を構成するＬ（Ｔｓ，ｊ，ｋ）で、移動量の差が閾値（臨界移動量）Ｄ１以下の組み合わせを算出し、異なる線分列を構成する該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値（臨界移動量）Ｄ２以下の組み合わせを算出する。この元の位置関係と矛盾がない場合とは、例えば、投影形状が図１１に示すようなＴｓの場合、Ｌ（Ｔｓ，Ｙ，５）、Ｌ（Ｔｓ，Ｙ，６）で構成される線分列とＬ（Ｔｓ，Ｙ，７）、Ｌ（Ｔｓ，Ｙ，８）で構成される線分列の位置が左右入れ替わらないような場合である。また、Ｌ（Ｒｓ（ｎ），ｊ，ｋ）で、同様の処理を行い、同様の組み合わせを算出する。これらの組み合わせの中で、元の位置関係と矛盾がない組み合わせで、得票数が最大の組み合わせを算出する。この元の位置関係と矛盾がない場合とは、例えば、図１１に示すようなＴｓとＲｓ（２）の場合、Ｌ（Ｔｓ，Ｙ，５）、Ｌ（Ｔｓ，Ｙ，６）で構成される線分列とＬ（Ｒｓ（２），Ｙ，１）、Ｌ（Ｒｓ（２），Ｙ，２）、Ｌ（Ｒｓ（２），Ｙ，３）で構成される線分列の位置が左右入れ替わらないような場合である。こうして、Ｌ（ｉ，ｊ，ｋ）を構成する点毎の移動量を算出する。
【００４７】
更に切り出し領域補正処理にて、Ｌ（ｉ，ｊ，ｋ）に算出された移動量を反映し、Ｘ軸方向についても同様に処理を行う。こうして、Ｔｓを構成する点の移動量を決定し、図１３に示すような補正された切り出し領域が算出される。
【００４８】
最後に、入出力処理にて、処理対象オブジェクトのテクスチャ切り出し領域を算出した結果を３次元形状データベースヘ格納する。
【００４９】
なお、図１で示した装置各部の一部もしくは全部の処理機能を、コンピュータを用いて実現することができること、あるいは、図２〜図７で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク：登録商標）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００５０】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００５１】
【発明の効果】
本発明によれば、３次元形状を有する対象オブジェクトを構成する面ヘテクスチャをマッピングする際、撮影情報等により撮影画像等のテクスチャ切り出し対象画像から低い精度で算出された切り出し領域の形状を、同じくテクスチャ切り出しの対象画像から抽出したエッジ対を利用して補正するようにしたので、該算出されたテクスチャの切り出し領域を高精度で補正することができため、そのオブジェクトの面へ高精度に切り出したテクスチャをマッピングできるようになり、きれいな３次元形状モデルを生成できる効果が得られる。
【００５２】
また、対象オブジェクトの面をテクスチャ切り出し対象画像上に投影した形状を構成する線分列の向きに対するヒストグラムを算出し、該線分列群とＸ軸あるいはＹ軸といった座標軸とのなす角が最小となる回転角を算出するようにしたので、移動量の算出が座標軸方向に帰着できるため、効率の良い非常に高速な処理を実現できる効果が得られる。
【００５３】
また、テクスチャ切り出し対象画像の方向エッジ画像を指定された座標軸方向にスキャンして、或る対象画素と逆方向のエッジ画素までの間隔が臨界画素間隔を満たす場合の画素の対をエッジ対として算出するようにしたので、移動量の推定において画像処理により生じるノイズが軽減でき、効率の良い非常に高速な処理を実現できる効果が得られる。
【００５４】
また、得票数／全投票数で算出される臨界得票率を満たす上位いくつかを、移動量の侯補として選択するようにしたので、移動量の決定において、効率の良い非常に高速な処理を実現できる効果が得られる。
【００５５】
また、既に移動量が決定されたオブジェクトの決定された移動量以外の移動量侯補を削除し、同じ線分列を構成する線分列の移動量の差が或る値以下の組み合わせを算出し、異なる線分列を構成する該組み合わせで元の位置関係と矛盾がなく移動量の差が或る値以下の組み合わせを算出し、隣接するオブジェクトを構成する線分列に対して同様の処理にて組み合わせを算出し、該組み合わせの中で元の位置関係と矛盾がない組み合わせを算出し、該矛盾のない組み合わせの中で得票数が最大の組み合わせを算出するようにしたので、補正後の切り出し領域の矛盾を排除することができ、効率の良い非常に高速な処理を実現し、かつ、きれいな３次元形状モデルを生成できる効果が得られる。
【００５６】
また、算出された切り出し領域を構成する線分を分割した線分を構成する点を利用して、切り出し領域を構成する点の移動量の推定し、切り出し領域を補正するようにしたので、切り出し領域の形状を柔軟に制御できる効果が得られる。更に移動量を推定するための情報も増加するため、効率の良い処理を実現できる効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態例におけるテクスチャ切り出し領域補正方法を実現する装置の構成図である。
【図２】本実施形態例による入出力処理フローを説明する図である。
【図３】本実施形態例による切り出し領域算出処理フローを説明する図である。
【図４】本実施形態例による画像特徴量算出処理フローを説明する図である。
【図５】本実施形態例による切り出し領域補正処理フローを説明する図である。
【図６】本実施形態例による特徴量投票処理フローを説明する図である。
【図７】本実施形態例による移動量算出処理フローを説明する図である。
【図８】本実施形態例における、対象オブジェクトの面及び隣接するオブジェクトの面をテクスチャ切り出し対象画像上に投影した形状群Ｔｓ，Ｒｓ（ｎ）の一例を説明する図である。
【図９】本実施形態例における、テクスチャ切り出し対象画像から取得した前記投影した形状群にマージンを加えた領域の画像情報Ｔｉの一例を説明する図である。
【図１０】本実施形態例における、Ｙ軸方向の方向エッジ画像の一例を説明する図である。
【図１１】（ａ），（ｂ）は、本発明の一実施形態例における、前記投影した形状群を分割した線分列Ｌ（ｉ，ｊ，ｋ）の一例を説明する図である。
【図１２】本発明の一実施形態例における、特徴量投票処理の一例を説明する図である。
【図１３】本発明の一実施形態例における、テクスチャ切り出し領域補正処理の処理結果の一例を説明する図である。
【符号の説明】
１…入出力処理手段
２…切り出し領域算出処理手段
３…画像特徴量算出処理手段
４…切り出し領域補正処理手段
５…特徴量投票処理手段
６…移動量算出処理手段
７…３次元形状データベース
８…画像データベース
【図１】
0003579645.tif 000002
【図２】
0003579645.tif 000003
【図３】
0003579645.tif 000004
【図４】
0003579645.tif 000005
【図５】
0003579645.tif 000006
【図６】
0003579645.tif 000007
【図７】
0003579645.tif 000008
【図８】
0003579645.tif 000009
【図９】
0003579645.tif 000010
【図１０】
0003579645.tif 000011
【図１１】
0003579645.tif 000012
【図１２】
0003579645.tif 000013
【図１３】
0003579645.tif 000014