(57)【要約】【課題】画像に写った物体の三次元形状を復元する形状復元方法及び形状復元装置において、形状の復元精度を高くする。【解決手段】視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元方法であって、前記第１画像を複数の画像領域に分割するステップと、分割された前記画像領域ごとに前記物体の部分的な三次元形状を復元するステップと、前記画像領域ごとに復元された部分的な三次元形状を結合して、前記物体の三次元形状を復元するステップとを備える形状復元方法である。【選択図】        図１
2004178273.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元方法であって、
前記第１画像を複数の画像領域に分割するステップと、
分割された前記画像領域ごとに前記物体の部分的な三次元形状を復元するステップと、
前記画像領域ごとに復元された部分的な三次元形状を結合して、前記物体の三次元形状を復元するステップとを備えることを特徴とする形状復元方法。
【請求項２】
前記第１画像を複数の画像領域に分割するステップは、
前記第１画像上の特徴点、もしくは特徴が類似している点に基づいて画像を分割することを特徴とする請求項１に記載の形状復元方法。
【請求項３】
前記分割された画像領域ごとに前記物体の部分的な三次元形状を復元するステップは、
分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算するステップと、
計算された類似度に基づいて前記画像領域内の三次元形状を抽出するステップと、
分割されたすべての画像領域に対して、前記類似度を計算するステップ及び前記三次元形状を抽出するステップを繰り返し行うステップとを備えることを特徴とする請求項１または請求項２に記載の形状復元方法。
【請求項４】
前記三次元形状を抽出するステップは、
前記計算された類似度を、形状モデルのパラメータ空間に投票した結果に基づいて抽出することを特徴とする請求項３に記載の形状復元方法。
【請求項５】
視差を有する第１画像と第２画像から、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元装置であって、
前記第１画像を複数の画像領域に分割する画像領域分割手段と、
前記画像領域分割手段で分割した画像領域ごとに前記物体の部分的な三次元形状を復元する部分形状復元手段と、
前記部分形状復元手段で復元した部分的な三次元形状を結合して、前記物体の三次元形状を復元する復元形状結合手段とを備えることを特徴とする形状復元装置。
【請求項６】
前記画像領域分割手段は、
前記第１画像上の特徴点、もしくは特徴が類似している点を抽出する特徴点抽出手段を備えることを特徴とする請求項５に記載の形状復元装置。
【請求項７】
前記部分形状復元手段は、
分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算する類似度計算手段と、
前記類似度計算手段で計算された類似度に基づいて前記画像領域内の三次元形状を抽出する部分形状抽出手段と、
分割されたすべての画像領域に対して、前記類似度計算手段及び前記部分形状抽出手段を行わせる繰り返し手段とを備えることを特徴とする請求項５または請求項６に記載の形状復元装置。
【請求項８】
前記部分形状抽出手段は、
前記計算された類似度を、形状モデルのパラメータ空間に投票して多数決をとる投票手段を備えることを特徴とする請求項７に記載の形状復元装置。
【請求項９】
視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元方法をコンピュータに実行させる形状復元プログラムであって、
前記第１画像を複数の画像領域に分割させる手順と、
前記分割された画像領域ごとに前記物体の部分的な三次元形状を復元させる手順と、
前記画像領域ごとに復元された部分的な三次元形状を結合させて、前記物体の三次元形状を復元させる手順とを備えることを特徴とする形状復元プログラム。
【請求項１０】
前記第１画像を複数の画像領域に分割させる手順は、
前記第１画像上の特徴点、もしくは特徴が類似している点に基づいて画像を分割させることを特徴とする請求項９に記載の形状復元プログラム。
【請求項１１】
前記分割された画像領域ごとに被写体表面の三次元形状を復元させる手順は、
分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算させる手順と、
計算させた類似度に基づいて前記画像領域内の三次元形状を抽出させる手順と、分割されたすべての画像領域に対して、前記類似度を計算させる手順及び前記三次元形状を抽出させる手順を繰り返し行わせる手順とを備えることを特徴とする請求項９または請求項１０に記載の形状復元プログラム。
【請求項１２】
前記三次元形状を抽出させる手順は、
前記計算させた類似度を、形状モデルのパラメータ空間に投票した結果に基づいて抽出させることを特徴とする請求項１１に記載の形状復元プログラム。
【請求項１３】
前記請求項９乃至請求項１２のいずれか１項に記載された形状復元プログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、形状復元方法及び形状復元装置、ならびに形状復元プログラム及び記録媒体に関し、特に、建造物の側面の三次元形状を復元する形状復元方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、画像に写った物体の三次元形状を復元する方法には、ステレオ視でのマッチング処理により類似度の情報を取得し、得られた前記類似度の情報を形状モデルのパラメータ空間に投票し、多数決の原理を用いて三次元形状を復元する方法がある。前記投票、多数決の原理を用いて三次元形状を復元する方法としては、例えば、ハフ変換（Ｈｏｕｇｈ変換）を用いる方法がある（例えば、特許文献１を参照。）。
【０００３】
前記ハフ変換を用いる方法では、ステレオ視でのマッチング処理により得られた類似度の情報をハフ変換することにより、画像中で基準となる道路、壁、床等の比較的大きな平面の位置情報を検出する。また、形状を復元する物体は、前記検出した平面よりも手前にあると仮定し、ステレオ視での探索範囲を限定してマッチング処理を行い、物体の三次元形状を復元する。
【０００４】
また、前記ハフ変換を用いる方法の他に、例えば、平面や曲面といった三次元形状モデルを用意する方法が提案されている。
【０００５】
前記三次元形状モデルを用意する方法では、前記ステレオ視でのマッチング処理により三次元座標上の各点の類似度を取得し、得られた前記類似度の情報を前記三次元形状モデルのパラメータで張られる空間に投票し、多数決の原理を用いてパラメータを決定し、物体の三次元形状を復元する。
【０００６】
【特許文献１】
特開平１０‐９６６０７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術では、前記類似度の情報を、どのような画像空間から取得するかについては述べられていない。
【０００８】
前記ハフ変換を用いる方法において、すべての画像空間から前記類似度を取得する場合、基準となる平面は一枚しか検出できないが、その検出した平面が物体中でもっとも奥にある面、言い換えると、物体を撮影した点から最も遠距離の面であるとは限らない。
【０００９】
また、前記画像に写っている物体の形状によっては、基準となりそうな大きな平面が複数箇所にあったり、検出した１枚の平面が前記画像の一部の領域しか占めていないことなどがある。その場合、ステレオ視のマッチング処理の際に探索されなかった範囲に、基準とした平面と同一の面がある可能性もある。
【００１０】
具体的な例として、２階建ての建物を撮影した画像から、前記建物の三次元形状を復元する場合を考えてみる。前記建物の１階と２階で奥行きが異なり、かつ、１階の壁のほうが面積が広い場合、前記ハフ変換を用いる方法では、前記建物の１階の壁が基準となる平面として検出される。そのため、前記建物の２階の壁は、１階の壁より手前にあるとしてマッチング処理を行うことになる。しかしながら、通常の建物では、一般に、２階の壁のほうが１階の壁よりも遠距離にあるので、１階の壁よりも手前にあると仮定して前記建物の形状を復元すると、実際の建物の形状を復元することができない。
【００１１】
以上のようなことから、前記ハフ変換を用いる方法では、基準とする平面を適切に検出することが難しく、三次元形状の復元精度が低いという問題があった。
【００１２】
また、前記三次元形状モデルを用いる方法では、ステレオ視のマッチング処理で得られた類似度の情報をすべて用いて投票を行うと、奥行きの等しい領域が小さい場合、その領域はノイズ（雑音）とみなされる。そのため、小さい領域を復元することが難しく、三次元形状の復元精度が低くなるという問題があった。
【００１３】
また、前記三次元形状モデルを用いる方法において、復元精度を確保するために、例えば、投票に用いる類似度の数を減らそうとすると、画像空間を細かく分割する必要がある。しかしながら、画像空間を細かく分割したときには、分割した空間が、物体上の特徴のない領域だけの場合、その空間の形状復元が難しいという問題があった。
【００１４】
以上のようなことから、前記三次元形状モデルを用いる方法では、形状モデルのパラメータ空間への投票に用いる類似度の情報、すなわち、マッチング処理の結果が適切に分割されていないと、詳細な形状まで復元することができないという問題があった。
【００１５】
本発明の目的は、画像に写った物体の三次元形状を復元する形状復元方法及び形状復元装置において、形状の復元精度を高くすることが可能な技術を提供することにある。
【００１６】
また、前記形状復元方法をコンピュータに実行させる形状復元プログラム及び前記形状復元プログラムが記録された記録媒体を提供することにある。
【００１７】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１８】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、以下の通りである。
【００１９】
第１の発明は、視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元方法であって、前記第１画像を複数の画像領域に分割するステップと、分割された前記画像領域ごとに物体の部分的な三次元形状を復元するステップと、前記部分的な三次元形状を結合して前記物体の三次元形状を復元するステップとを備える形状復元方法である。
【００２０】
前記第１の発明によれば、分割された画像領域ごとに物体の部分的な三次元形状を復元することにより、前記部分的な三次元形状は、他の画像領域の影響を受けずに復元することができる。そのため、前記画像を適切に分割することにより前記物体の奥行き方向の復元精度を確保することができる。
【００２１】
また、分割された画像領域ごとに部分的な三次元形状を復元するので、小さな画像領域も、ノイズと区別して三次元形状を復元することができる。そのため、前記物体上の細かい領域の復元精度を確保することができる。
【００２２】
また、前記第１の発明において、前記第１画像を複数の画像領域に分割するステップは、前記第１画像上の特徴点、もしくは特徴が類似している点に基づいて画像を分割するのが好ましい。このとき、前記特徴点、もしくは特徴が類似している点に基づいて分割することで、奥行きがほぼ同じ領域ごとに画像を分割することが容易である。そのため、前記画像を適切な画像領域に分割することができる。三次元形状を復元した時の復元精度も高くなる。
【００２３】
また、前記第１の発明において、前記分割された画像領域ごとに物体の部分的な三次元形状を復元するステップは、分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算するステップと、計算された類似度に基づいて前記画像領域内の三次元形状を抽出するステップと、分割されたすべての画像領域に対して、前記類似度を計算するステップ及び前記三次元形状を抽出するステップを繰り返し行うステップとを備えることが好ましい。このとき、前記画像領域ごとに類似度を計算し、三次元形状を抽出することができるので、複数の平面や曲面を精度よく復元することができる。
【００２４】
またこのとき、前記三次元形状を抽出するステップは、前記計算された類似度を、形状モデルのパラメータ空間に投票した結果に基づいて抽出することで、精度の低下を防ぐことができる。
【００２５】
第２の発明は、視差を有する第１画像と第２画像から、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元装置であって、前記第１画像を複数の画像領域に分割する画像領域分割手段と、前記画像領域分割手段で分割した画像領域ごとに前記物体の部分的な三次元形状を復元する部分形状復元手段と、前記部分形状復元手段で復元した前記部分的な三次元形状を結合して前記物体の三次元形状を復元する復元形状結合手段とを備える形状復元装置である。
【００２６】
前記第２の発明は、前記第１の発明である形状復元方法を実現するための形状復元装置であり、前記各手段を備える形状復元装置を用いることで、画像に写った物体の表面の三次元形状の復元精度を確保することができる。
【００２７】
また、前記第２の発明において、前記画像領域分割手段は、前記第１画像上の特徴点、もしくは特徴が類似している点を抽出する特徴点抽出手段を設けることにより、前記画像を適切な画像領域に分割することができる。
【００２８】
また、前記第２の発明において、前記部分形状復元手段は、分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算する類似度計算手段と、前記類似度計算手段で計算された類似度に基づいて前記画像領域内の三次元形状を抽出する部分形状抽出手段と、分割されたすべての画像領域に対して、前記類似度計算手段及び前記部分形状抽出手段を行わせる繰り返し手段とを設けることにより、複数の平面や曲面を精度よく復元することができる。
【００２９】
またこのとき、前記部分形状抽出手段は、前記計算された類似度を、形状モデルのパラメータ空間に投票して多数決をとる投票手段を設けることにより、精度の低下を防ぐことができる。
【００３０】
第３の発明は、視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する形状復元方法をコンピュータに実行させる形状復元プログラムであって、前記第１画像を複数の画像領域に分割させる手順と、前記分割された画像領域ごとに前記物体の部分的な三次元形状を復元させる手順と、前記画像領域ごとに復元された部分的な三次元形状を結合させて前記物体の三次元形状を復元させる手順とを備える形状復元プログラムである。
【００３１】
前記第３の発明は、前記第１の発明である形状復元方法をコンピュータに実行させる形状復元プログラムであり、前記各ステップを実行させる手順を設けることにより、画像に写った物体の表面の三次元形状の復元精度を確保することができる。
【００３２】
また、第３の発明において、前記第１画像を複数の画像領域に分割させる手順は、前記第１画像上の特徴点、もしくは特徴が類似している点に基づいて画像を分割させることにより、前記画像を適切な画像領域に分割することができる。
【００３３】
また、前記第３の発明において、前記分割された画像領域ごとに物体の部分的な三次元形状を復元させる手順は、分割された前記画像領域内の局所領域と、前記第２画像上の局所領域との類似度を計算させる手順と、計算させた類似度に基づいて前記画像領域内の三次元形状を抽出させる手順と、分割されたすべての画像領域に対して、前記類似度を計算させる手順及び前記三次元形状を抽出させる手順を繰り返し行わせる手順とを設けることにより、複数の平面や曲面を精度よく復元することができる。
【００３４】
またこのとき、前記三次元形状を抽出させる手順は、前記計算させた類似度を、形状モデルのパラメータ空間に投票した結果に基づいて抽出させることにより、精度の低下を防ぐことができる。
【００３５】
第４の発明は、前記第３の発明の形状復元プログラムが記録された記録媒体である。
前記第４の発明によれば、前記記録媒体に記録されたデータを読み取り可能なコンピュータであれば、前記形状復元プログラムを実行することができる。そのため、専用の形状復元装置を用いることなく、精度の高い三次元形状を復元することができる。
【００３６】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００３７】
【発明の実施の形態】
（実施例１）
図１は、本発明による一実施例の形状復元装置の概略構成を示す模式ブロック図である。
【００３８】
本実施例の形状復元装置１は、視差を有する第１画像と第２画像を用いて、前記第１画像及び第２画像に写っている物体の三次元形状を復元する装置であり、図１に示すように、前記第１画像を複数の画像領域に分割する画像領域分割手段１０１と、前記画像領域分割手段１０１で分割した画像領域ごとに前記物体の部分的な形状を復元する部分形状復元手段１０２と、前記部分形状復元手段１０２で復元した部分的な形状を結合し、物体全体の形状を復元する部分形状結合手段１０３とにより構成されている。
このとき、前記第１画像及び第２画像は、画像取得手段２により取得する。
【００３９】
また、前記部分形状結合手段１０３で結合し、復元した物体全体の三次元形状は、例えば、図１に示したように、復元形状出力手段３で出力される。前記復元形状出力手段３は、例えば、ＣＲＴや液晶ディスプレイ、あるいはプロッタ等である。
【００４０】
以下、本実施例の形状復元装置１を用いた形状復元方法について説明するが、その前に、前記画像取得手段２において取得する画像及び取得方法について説明する。
【００４１】
図２乃至図３は、本実施例の形状復元装置で用いる画像の説明をするための模式図であり、図２は形状を復元するときに用いる第１画像と第２画像の例を示す図、図３（ａ）は画像取得手段の概略構成を示す斜視図、図３（ｂ）は図３（ａ）をｚ軸方向から見た図である。
【００４２】
前記画像取得手段２では、例えば、図２に示したように、視差を有する第１画像４０１と第２画像４０２の２枚の画像を取得する。前記形状復元装置１では、前記第１画像４０１と前記第２画像４０２を用いたステレオ視でのマッチング処理により画像上の各点の３次元座標を求め、その類似度を計算し、前記類似度から画像上の物体の形状を復元する。
【００４３】
前記第１画像４０１と前記第２画像４０２は、例えば、図３（ａ）及び図３（ｂ）に示すように、移動手段５に搭載された第１カメラ６０１及び第２カメラ６０２の２台のカメラで撮影する。
【００４４】
このとき、前記第１カメラ６０１及び前記第２カメラ６０２には、例えば、ラインセンサカメラを用い、同時刻に撮影を開始し、その撮影開始地点を座標系の原点とする。またこのとき、前記移動手段５の移動方向をｘ軸、ｘ軸と垂直で移動手段６から物体７へ向かう方向をｙ軸、ｘｙ平面に垂直な方向をｚ軸とする。
【００４５】
また、前記第１カメラ６０１は、光軸がｙｚ平面から移動方向に角度θだけ傾き、前記第２カメラ６０２は、光軸がｙｚ平面から移動方向と逆向きに角度θだけ傾くように搭載する。またこのとき、前記第１カメラ６０１の光軸と前記第２カメラ６０２の光軸はｙｚ平面で対称になるようにする。
【００４６】
前記第１カメラ６０１及び前記第２カメラ６０２で前記物体７を撮影するときには、前記移動手段５で移動しながら、例えば、ロータリーエンコーダーを用いて、一定距離ごとに画像を取り込む。このとき、例えば、前記第１カメラ６０１から取得した線状の画像を時系列に並べると、図２に示したような、第１画像４０１が得られる。同様に、第２カメラ６０２からは、図２に示したような、第２画像４０２が得られる。なお、図２では、前記各画像の時間軸方向をａ軸、ライン方向をｂ軸とする。また、前記各画像のａ軸とｂ軸は、図２に示したように、前記各画像のａ軸とｘ軸、ｂ軸とｚ軸を一致させている。
【００４７】
またこのとき、前記第１画像４０１上の座標（ｘＡ，ｚＡ）と、前記第２画像４０２上の座標（ｘＢ，ｚＢ）とが同じ地点を撮影しているとすれば、ｚＢ＝ｚＡであり、その地点の三次元座標（ｘ，ｙ，ｚ）は、下記数式１から数式３で求められる。
【００４８】
【数１】
2004178273.tif 000003
【００４９】
【数２】
2004178273.tif 000004
【００５０】
【数３】
2004178273.tif 000005
【００５１】
前記数式１及び数式２において、Ｍは撮影距離の間隔を記述した画像移動量定数である。また、前記数式３において、ｆは焦点距離である。また、前記数式３は、ピンホールカメラモデルを用いて導出した式である。
【００５２】
以下、前記第１画像４０１及び第２画像４０２を用いて、前記各画像に写っている建造物７の三次元形状を復元する方法について説明する。
【００５３】
図４乃至図１１は、本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、図４は形状を復元するための処理手順を示すフローチャート、図５（ａ）及び図５（ｂ）は複数の画像領域に分割する方法を説明するための図、図６及び図７は類似度の計算方法を説明するための図、図８は類似度表を三次元空間にプロットした図、図９及び図１０は部分形状を抽出する方法を説明するための図、図１１は部分形状を結合する方法を説明するための図である。
【００５４】
本実施例の形状復元装置を用いて画像に写った物体の三次元形状を復元するときには、まず、図４に示したように、前記第１画像４０１を、複数の画像領域に分割する（ステップ８０１）。前記複数の画像領域に分割するステップ８０１は、前記形状復元装置１に設けた画像領域分割手段１０１で行う。
【００５５】
前記第１画像４０１を複数の画像領域に分割するには、まず、図５（ａ）に示すように、前記第１画像４０１上の特徴点として、ａ軸方向の縦エッジ４０１ａと、ｂ軸方向の横エッジ４０１ｂを検出する。前記エッジの検出には、例えば、
【文献１】に記載されたエッジ検出オペレーターを適用する。
【００５６】
前記縦エッジ４０１ａ及び横エッジ４０２ｂを検出したら、次に、図５（ｂ）に示すように、前記縦エッジ４０１ａと前記横エッジ４０１ｂで囲まれた領域ごとにラベル付けを行う。このとき、同じラベルの画素の集まりを１つの画像領域Ａｉ（ｉ＝１，２，３，・・・）とする。
【００５７】
前記第１画像４０１にラベル付けをする方法としては、例えば、下記に示すような方法がある。
【００５８】
まず、画像左上の画素から、ａ軸方向に順番にＮｕｍ１というラベルを付けていき、縦エッジ４０１ａに当たったら折り返し、画素をｂ軸方向に１つずらしてＮｕｍ１というラベルをつけていき、横エッジ４０１ｂに当たるまで繰り返す。
【００５９】
前記横エッジ４０１ｂに当たったら、画像左上の画素からａ軸方向に走査し、ラベルのついていない画素を見つけたら、その画素にＮｕｍ２というラベルをつける。その後、前記Ｎｕｍ１というラベルをつけたときと同じようにＮｕｍ２というラベルをつけていく。
【００６０】
前記ラベル付けの操作を、ラベルのついていない画素がなくなるまで繰り返し、前記画像領域Ａｉに分割する。本実施例では、図５（ｂ）に示したように、６つの画像領域Ａｉ（ｉ＝１，２，３，４，５，６）に分割したとする。
【００６１】
このとき、前記縦エッジ４０１ａ及び横エッジ４０１ｂの他に、例えば、斜め方向のエッジが検出されていても、同様の方法でラベル付け及び画像領域Ａｉに分割することができる。
【００６２】
また、前記第１画像４０１複数の画像領域に分割する方法としては、前記エッ
ジ検出オペレーターを適用する方法の他に、例えば、
【文献２】に記載されたような、濃淡値やテクスチャ等の画像上の特徴が類似した領域で画像を分割する方法を用いることもできる。前記文献２に記載された方法では、画像上の特徴が類似した領域、すなわち、繰り返しパターンなどのある特定のパターンを有する画像に対して、対応する各画素の画素値の差の絶対値もしくは二乗をとった値を当該領域内ですべて加算した値が所定の閾値以下となる領域で画像を分割する。
【００６３】
また、前記文献１や前記文献２に記載された方法に限らず、
【文献３】に記載されているような、画素値のガウス曲率を計算し、特徴点として、ガウス曲率が閾値Ｌ以上の値を示す画素の数が、対応付けに十分と思われる数Ｋ個以上含まれるように、画像を分割してもよい。
【００６４】
前記手順により、前記第１画像４０１を複数の画像領域に分割したら、次に、前記第１画像４０１と前記第２画像４０２とのステレオ視のマッチング処理における、前記第１画像４０１上の各画像領域Ａｉに対する探索範囲を限定する。
【００６５】
前記前記第１画像４０１上の各画像領域Ａｉに対する探索範囲を限定するには、図４に示すように、初期化して（ステップ８０２）、第１画像４０１の画像領域Ａｉに対応する第２画像４０２の画像領域Ｂｉを設定する（ステップ８０３）。ここでは、図６に示すように、前記第１画像４０１上の第１画像領域Ａ１に対応する第２画像４０２の画像領域Ｂ１の設定方法について説明する。
【００６６】
前記第２画像４０２上で、前記第１画像４０１の第１画像領域Ａ１と同一の物体が写っている可能性がある領域は、前記第１画像領域Ａ１とｂ軸方向の高さが同じである。
【００６７】
また、前記建造物７は、前記各カメラからの距離が５ｍから１０ｍの範囲内にあるとすると、そのときの視差に当たる画素数は、前記数式２から求められる。そのため、前記視差に当たる画素数の分だけａ軸方向にずらした領域を画像領域Ｂ１とする。
【００６８】
ここで、前記画像移動量定数Ｍを１ｃｍ、カメラ角θを１５度とすると、前記第１画像領域Ａ１の左端の視差は２６７画素分に相当し、右端の視差は５３６画素分になり、図６に示したような、第２画像４０２上の画像領域Ｂ１が決まる。
【００６９】
前記第１画像４０１上の画像領域Ａｉと対応する第２画像４０２上の画像領域Ｂｉが決まったら、前記各画像領域Ａｉ，Ｂｉの類似度を計算する（ステップ８０４）。ここでは、前記第１画像領域Ａ１とそれに対応する画像領域Ｂ１の類似度の計算方法について説明する。
【００７０】
類似度を計算する時には、まず、図７に示すように、前記第１画像領域Ａ１上のＭ画素×Ｎ画素の局所領域を基準画像９Ａとし、前記画像領域Ｂ１上に前記基準画像９Ａとの類似度を計算するための視差候補画像９Ｂを設定する。前記視差候補画像９Ｂの大きさは、前記基準画像９Ａと同じＭ画素×Ｎ画素とする。
【００７１】
このとき、前記基準画像９Ａの中心座標を（ｘＡ，ｚＡ）とすると、前記視差候補画像９Ｂの中心のｂ座標もｚＡとなる。そこで、例えば、図７に示したように、前記視差候補画像９ｂの中心のａ座標をｘＢとし、（ｘＢ，ｚＡ），（ｘＢ＋１，ｚＡ），（ｘＢ＋２，ｚＡ），・・・の各視差候補画像９Ｂと前記基準画像９Ａとの類似度を計算する。
【００７２】
次に、例えば、前記基準画像９Ａの中心座標を（ｘＡ＋１，ｚＡ）あるいは（ｘＡ，ｚＡ＋１）とし、同様の手順で、前記第１画像領域Ａ１上で定義できるすべての基準画像９Ａとその視差候補画像９Ｂの類似度の計算を行う。
【００７３】
またこのとき、前記類似度の計算方法としては、例えば、２つの領域の画素値
の差をとる方法がある。また、その他にも、例えば、
【文献４】に記載された相互相関係数による方法で計算してもよい。
【００７４】
前記類似度の計算が済んだら、中心座標（ｘＡ，ｚＡ）の基準画像９Ａと、中心座標（ｘＢ，ｚＡ）の視差候補画像９Ｂとの類似度を、前記数式１から数式３で算出した三次元座標（ｘ，ｙ，ｚ）と関連付ける。このとき、すべての基準画像と視差候補画像との類似度で、同様に三次元座標との関連付けを行い、類似度表を作成する。
【００７５】
ここで、前記第１画像領域Ａ１に写っているのが、例えば、前記建造物７の２階の壁であるとすると、前記第１画像領域Ａ１と対応する画像領域Ｂ１との類似度を計算した結果では、前記建造物７の２階の壁に当たる部分の類似度が高くなる。そのため、前記類似度表を三次元空間にプロットすると、図８に示すように、前記建造物の２階の壁にあたるところに類似度の高い領域Ｓ１が存在するが、場合によっては、その他の場所にも類似度の高い領域Ｓ２，Ｓ３が存在する。なお、図８では、類似度の高い点ほど黒く表している。
【００７６】
次に、前記類似度表を用いて、前記建造物７の、前記第１画像領域Ａ１に対応する領域の三次元形状を復元する（ステップ８０５）。
【００７７】
次に、例えば、
【文献５】に記載された投票と多数決の原理を利用して形状の抽出を行う。このとき、例えば、平面の形状の抽出には、ｕｘ＋ｖｙ＋ｗｚ＝１という平面の形状モデルを設定し、そのパラメータ（ｕ，ｖ，ｗ）によって張られるパラメータ空間に前記類似度を投票する。そして、多数決、すなわち投票数が閾値以上のパラメータ（ｕ１，ｖ１，ｗ１）を抽出し、物体の表面形状に相当する平面  ｕ１ｘ＋ｖ１ｙ＋ｗ１ｚ＝１  を復元する。
【００７８】
このとき、前記平面の形状モデルは、前記ｘｙｚ直交座標系で設定しても良いし、ｒθφ三次元極座標系で設定してもよい。また、抽出するパラメータに対する投票の数や閾値は、任意に決めてよい。
【００７９】
また、前記形状モデルは、平面に限らず、例えば、前記
【文献５】に記載されたように、球面や円筒面などに設定することもできる。
【００８０】
またこのとき、前記復元された平面は、図９に示すように、三次元空間上に広がる平面Ｐであり、端が決まっていない。そのため、前記類似度表を用いて前記平面の端を決定する。
【００８１】
前記平面Ｐの端を決定する時には、前記抽出した平面Ｐと前記類似度表の各点（ｘ，ｙ，ｚ）の差分をとり、図９に示したように、差分の絶対値が所定の閾値以下となる領域Ｒを抽出する。
【００８２】
このとき、前記類似度表において、閾値を設定し、例えば、閾値以上の類似度を１とし、残りを０とする２値化処理を行っておけば、差分値が０となる領域を抽出すればよくなり、処理が簡単になる。
【００８３】
前記手順により、図１０に示すように、前記第１画像領域Ａ１に写っている物体の平面Ｒ１を三次元空間上に復元することができる。
【００８４】
前記画像領域Ａｉに写っている物体の復元が済んだら、第１画像４０１の画像領域Ａｉのインデックスｉを更新（ステップ８０６）し、形状を復元していない画像領域があるかチェックする（ステップ８０７）。このとき、まだ復元していない画像領域Ａｉ＋１があれば、前記ステップ８０３にもどって復元処理を行い、すべての画像領域の復元処理が終わっていれば次のステップ８０８に進む。
【００８５】
すべての画像領域Ａｉの復元処理が終わったら、それぞれの処理で得られた部分的な三次元形状を結合する（ステップ８０８）。前記部分的な三次元形状の結合は、例えば、前記復元処理で得られた各物体表面の三次元形状を三次元空間上にプロットすればよい。このとき、例えば、前記建造物７の１階の壁と２階の壁は、それぞれ別の処理で復元しているので、図１１に示すように、前記１階の壁Ｒ４の面積のほうが前記２階の壁Ｒ１の面積よりも広い場合でも、１階の壁Ｒ４のほうが手前にくるように復元することができる。そのため、前記特許文献１に記載された方法のような問題は起こらない。
【００８６】
以上説明したように、本実施例の形状復元装置及び復元方法によれば、形状を復元するための基の画像を複数の画像領域に分割し、分割した画像領域ごとに三次元形状を復元し、それらを結合することにより、復元した三次元形状の奥行き方向の精度の低下を防ぐことができる。
【００８７】
また、分割した画像領域ごとに三次元形状を復元するので、小さい画像領域を復元する時に、大きい画像領域の影響を受けることなく復元できる。そのため、小さい画像領域の形状も精度よく復元することができる。
【００８８】
また、前記画像領域に分割する時に、画像上の特徴点、あるいは特徴が類似した点に基づいて分割することにより、同じ奥行きの領域ごとに分割しやすい。そのため、奥行きが異なる複数の平面や曲面、あるいは不均一なテクスチャが含まれていても、それぞれの平面を安定して復元することができる。
【００８９】
また、本実施例では、画像に写った物体として、建造物を挙げたが、これに限らず、一般の物体の三次元形状の復元に適用できる。
【００９０】
また、本実施例の形状復元方法をプログラム化すれば、前記形状復元装置としてコンピュータを用いることができる。そのため、専用の装置を用いなくても精度の良い形状復元を行える。このとき、前記形状復元のプログラムは、メモリカードやハードディスク、ＣＤ−ＲＯＭなどの記録媒体に記録することも、ネットワークを通して提供（ダウンロード）することもできる。
【００９１】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【００９２】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
画像に写った物体の三次元形状を復元する形状復元方法及び形状復元装置において、形状の復元精度を高くすることができる。
また、前記形状復元方法をコンピュータに実行させる形状復元プログラム及び前記形状プログラムが記録された記録媒体を提供することができる。
【参考文献】
【文献１】画像処理標準ハンドブック，  財団法人画像情報教育振興協会，  ｐｐ．１７６‐１８３，  １９９７
【文献２】画像処理標準ハンドブック，  財団法人画像情報教育振興協会，  ｐｐ．２５０‐２５２，  １９９７
【文献３】微分幾何学に基づく距離画像分割のためのハイブリッド手法，  情報処理学会論文誌，  Ｖｏｌ．３０，  Ｎｏ．８，  ｐｐ．９４４‐９５３，  Ａｕｇ．１９８９
【文献４】画像処理標準ハンドブック，  財団法人画像情報教育振興協会，  ｐｐ．２５３‐２５４，  １９９７
【文献５】コンピュータビジョン，  新技術コミュニケーションズ，  ｐｐ．１４９‐１６５，  １９９９
【図面の簡単な説明】
【図１】本発明による一実施例の形状復元装置の概略構成を示す模式図である。
【図２】本実施例の形状復元装置で用いる画像の説明をするための模式図であり、形状を復元するときに用いる第１画像と第２画像の例を示す図である。
【図３】本実施例の形状復元装置で用いる画像の説明をするための模式図であり、図３（ａ）は画像取得手段の概略構成を示す斜視図、図３（ｂ）は図３（ａ）をｚ軸方向から見た図である。
【図４】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、形状を復元するための処理手順を示すフローチャートである。
【図５】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、図５（ａ）及び図５（ｂ）は複数の画像領域に分割する方法を説明するための図である。
【図６】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、類似度の計算方法を説明するための図である。
【図７】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、類似度の計算方法を説明するための図である。
【図８】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、類似度表を三次元空間にプロットした図である。
【図９】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、部分形状を抽出する方法を説明するための図である。
【図１０】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、部分形状を抽出する方法を説明するための図である。
【図１１】本実施例の形状復元方法を用いた形状復元方法を説明するための模式図であり、部分形状を結合する方法を説明するための模式図である。
【符号の説明】
１…形状復元装置、１０１…画像領域分割手段、１０２…部分形状復元手段、１０３…部分形状結合手段、２…画像取得手段、３…復元形状出力手段、４０１…第１画像、４０２…第２画像、５…移動手段、６０１…第１カメラ、６０２…第２カメラ、７…建造物。
【図１】
2004178273.tif 000006
【図２】
2004178273.tif 000007
【図３】
2004178273.tif 000008
【図４】
2004178273.tif 000009
【図５】
2004178273.tif 000010
【図６】
2004178273.tif 000011
【図７】
2004178273.tif 000012
【図８】
2004178273.tif 000013
【図９】
2004178273.tif 000014
【図１０】
2004178273.tif 000015
【図１１】
2004178273.tif 000016