(57)【要約】【解決課題】  レンジセンサによるサンプリング間隔が広い場合でも、画像同士の位置合わせが可能であり、複雑な形状の対象物を正確に計測する。【解決手段】  ａ）レンジセンサを用い、異なる複数の方向から対象物を計測し、夫々について対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成する工程と、ｂ）前記各点群データを処理し、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出する工程と、ｃ）前記エッジを特徴線に変換する工程と、ｄ）前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力する工程と、を有する。【選択図】      図２
2006214893.tif 000002
【特許請求の範囲】
【請求項１】
ａ）  レンジセンサを用い、異なる複数の方向から対象物を計測し、夫々について対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成する工程と、
ｂ）  前記各点群データを処理し、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出する工程と、
ｃ）  前記エッジを特徴線に変換する工程と、
ｄ）  前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力する工程と、
を有することを特徴とする対象物測定方法。
【請求項２】
請求項１記載の方法において、
前記（ｃ）工程は、複数のエッジが、ある直線に対して閾値以内で一致する場合には、それらのエッジを統合化して１本の特徴線に変換するものである
ことを特徴とする方法。
【請求項３】
請求項１記載の方法において、
前記（ｄ）工程は、
２方向から取得したそれぞれの特徴線の集合に対して、同一の位置における特徴線であるかどうかを探索する工程と、
前記で得られた特徴線のペアから、位置合わせのための幾何変換を演算する工程と、
を有することを特徴とする方法。
【請求項４】
請求項１記載の方法において、
前記（ｄ）工程は、前記異なる複数の方向から計測した対象物のデータに、前記幾何変換を適用して三次元形状データを生成する工程を有するものであることを特徴とする方法。
【請求項５】
コンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラムであって、
記憶媒体と、
この記憶媒体に格納され、前記コンピュータシステムに、レンジセンサを用い異なる複数の方向から対象物を計測された情報に基づいて、対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成させる点群データ取得部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを処理させ、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出させる特徴線取得部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記エッジを特徴線に変換させる特徴線処理部と、
この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力させる幾何変換出力部と、
を有することを特徴とするコンピュータソフトウエアプログラム。
【請求項６】
請求項５記載のコンピュータソフトウエアプログラムにおいて、
前記特徴線取得部は、複数のエッジが、ある直線に対して閾値以内で一致する場合には、それらのエッジを統合化して１本の特徴線に変換するものである
ことを特徴とするコンピュータソフトウエアプログラム。
【請求項７】
請求項５記載のコンピュータソフトウエアプログラムにおいて、
前記幾何変換出力部は、
２方向から取得したそれぞれの特徴線の集合に対して、同一の位置における特徴線であるかどうかを探索し、得られた特徴線のペアから、位置合わせのための幾何変換を演算するものであることを特徴とするコンピュータソフトウエアプログラム。
【請求項８】
請求項５記載のコンピュータソフトウエアプログラムにおいて、
前記幾何変換出力部は、前記異なる複数の方向から計測した対象物のデータに、前記幾何変換を適用して三次元形状データを生成する工程を有するものであることを特徴とするコンピュータソフトウエアプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、レンジセンサを用いて対象物を複数の方向から計測することで、当該対象物の三次元形状データを得る対象物測定方法およびそれを実行するためのコンピュータソフトウエアプログラムに関する。
【背景技術】
【０００２】
一般に、実空間の建造物を仮想空間上に復元する有効な手段の一つとして、レンジセンサの利用が挙げられる。レンジセンサは、センサ位置から物体表面の各点までの奥行き方向の距離をデジタルデータとして測定するための測定装置である。レンジセンサから距離の情報を含んだ画像を得ることで、物体形状を３次元空間上の点群として獲得することができる。
【０００３】
ところで、レンジセンサから得られた点群には、オクルージョンに関する問題があることが知られている。オクルージョンに関する問題とは、撮像方向により、撮像対象の一部が他の部分の陰に隠れてしまい，点群データとして獲得することができない問題をいう。オクルージョンの問題を解決するための一つの考え方として、複数の異なる位置から対象物の測定を行い、それらを３次元空間上で位置合わせすることにより統合することが考えられる。
【０００４】
この位置合わせの手法として、得られた点群の座標を直接利用して、点群間の最適な位置を計算し位置を合わせる手法と、特徴点や特徴線を用いて間接的に位置計算を適用して位置を合わせる手法が従来提案されている。点群を直接利用して位置を計算する手法においては、点群の座標を直接利用して最適な位置合わせを行う。このため、点や面等のように位置合わせの基準になるものが必要となり、通常は基準点としてマーカーを配置しなければならないという欠点がある。このマーカーを用いる場合、他の方向から測定した同一のマーカー同士が一致するように条件を課し、位置合わせを計算する必要がある。
【０００５】
一方、特徴点や特徴量に基づいた位置合わせを行う手法は、許容誤差を持った同一平面上にのる点群をグループ化して点群を領域分けし、平面同士の交線から幾何学的な特徴線を抽出し、平面の法線ベクトルと特徴線を用いて位置合わせを行うものである。ここで特徴量を用いて位置合わせを行う場合は、基準点として方向ベクトルや特徴線等を用いる。この特徴量に基づいた位置合わせではマーカーを必要としないために、マーカーを配置できないような部分や対象物を表現する際に有効である。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記特徴線を用いた位置合わせは、はっきりした直線的な特徴を持つオフィスビルのような建造物や対象物については有効であるものの、寺社や教会のような多数の凹凸等の複雑な形状を有する対象物には有効でないという問題がある。
【０００７】
すなわち、この手法では、点群の測定誤差が大きい場合や、サンプリング間隔が形状の複雑度に比べて広い場合など、意図した平面形状が得られないときには、領域の分け方が変化し、その結果得られる特徴線も変化してしまう。このような場合、複数の方向から取得した点群から特徴線を求めた場合に、それぞれの点群から得られる特徴線が３次元空間上で一致するものとはならない。例えば測定した方向のサンプリング間隔が広い場合、実際の表面形状にある細かな凹凸の部分が領域分けされず、抽出される特徴線が少なくなる。このまま位置合わせを行うと、一致する特徴線が少なくなり、位置合わせが不可能になる場合がある。一方、サンプリング間隔を狭くしてしまうと測定データ多くなり、コンピュータで扱えるデータ量を超えてしまうなどの問題が生じたり、広い範囲の測定が行えない等の問題がある。
【０００８】
従って、この発明の目的は、レンジセンサによるサンプリング間隔が広い場合でも、画像同士の位置合わせが可能であり、複雑な形状の対象物を正確に計測できる計測方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、この発明の第１の主要な観点によれば、レンジセンサを用い、異なる複数の方向から対象物を計測し、夫々について対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成する工程と、前記各点群データを処理し、隣り合うピクセル同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出する工程と、前記各点群データを、前記検出したエッジを用いて位置合わせすることで、前記対象物の幾何学形状を出力する工程とを有することを特徴とする対象物測定方法が提供される。
【００１０】
本発明によれば、従来の手法とは異なる手法によって特徴量を抽出することによって、前述の問題点を解決する新しい手法が提供される。すなわち、本発明の一実施形態では、まず初めに、測定して得られる距離画像の各ピクセルとの対応関係を持った３次元座標値である点群から、エッジ検出した画像を作成し特徴線を抽出する。次に、抽出した特徴線を３次元空間上で線分化する。最終的な位置合わせでは、異なる方向から得られた互いに対応する線分どうしが３次元空間上で重なるようなペアを選択し、最適な幾何変換を誤差評価により求める。
【００１１】
本発明によれば、形状の表面が粗い建造物や、精度の悪いデータに対しても位置合わせ可能とするために、許容誤差を考慮するトレラントモデリング手法で線分化した特徴線を用いる。また本手法では、サンプリング間隔が広い場合でも多くの特徴線を抽出可能であり、位置合わせも可能である。そのため、広範囲にわたって測定可能であることや、測定データが少なくて済む等の利点がある。
【００１２】
また、本発明の第２の主要観点によれば、コンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラムであって、記憶媒体と、この記憶媒体に格納され、前記コンピュータシステムに、レンジセンサを用い異なる複数の方向から対象物を計測された情報に基づいて、対象物の測定点までの奥行き方向の距離の情報を含む点群データを生成させる点群データ取得部と、この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを処理させ、隣り合う点同士の奥行き方向の距離の差が所定以上の点群を連結してエッジとして検出させる特徴線取得部と、この記憶媒体に格納され、前記コンピュータシステムに、前記エッジを特徴線に変換させる特徴線処理部と、この記憶媒体に格納され、前記コンピュータシステムに、前記各点群データを、前記検出した特徴線を用いて位置合わせすることで、前記対象物の幾何変換を出力させる幾何変換出力部と、を有することを特徴とするコンピュータソフトウエアプログラムが提供される。
【００１３】
このような構成によれば、上記第１の観点に係る方法を実行できるコンピュータソフトウエアプログラムが提供される。
【００１４】
なお、本発明の他の特徴と顕著な効果は、次の実施形態を参照することで、当業者に明らかとなる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態を、実在する建造物や地形等を３次元データ化する場合を例にとって説明する。
【００１６】
図１は、本発明の一実施形態におけるレンジセンサの配置図である。
【００１７】
この実施形態では、撮像対象物１は日本の寺院の門である。そして、この撮像対象物１を異なる撮像方向から撮像できるように、第１〜第４のレンジセンサ２ａ〜２ｄが配置されている。各レンジセンサ２ａ〜２ｄは、この実施形態の対象物撮像システム４に接続されている。この実施形態におけるレンジセンサは、三次元レーザースキャナを備え、撮像対象物で反射したレーザを検出することで、対象物表面までの奥行き方向の距離のデータを取得できるように構成されたものである。レンジセンサは、現在公知のものでよく、また、同様の機能を有するものであれば将来利用されることになるいかなるレンジセンサであってもよい。
【００１８】
図２は、この対象物撮像システム４を示す概略構成図である。
【００１９】
このシステム４では、ＣＰＵ５、ＲＡＭ６，レンジセンサ用インタフェース７、キーボードやマウス等の入出力デバイス８が接続されてなるバス９に、プログラム格納部１０とデータ格納部１１が接続されてなる。
【００２０】
プログラム格納部は、ＯＳ等の基本プログラム１２と、レンジセンサ２ａ〜２ｄからの画像信号を受け取り点群データを出力する点群データ取得部１３と、各点群データからエッジを構成する点群を特定し、各点群データの特徴線を得る特徴線取得部１４と、この特徴線を三次元空間上の線分に変換し、これを統合・最適化する特徴線処理部１５と、この特徴線を利用して異なるレンジセンサで得た線群同士の位置合わせを行う位置合わせ処理部１６と、前記位置合わせに基づいて各点群データの幾何変換を出力する幾何変換出力部１７と、を有する。そして、これらの各構成要素により処理された点群データ、特徴線データ及び幾何変換データは、前記データ格納部１１に格納されるようになっている。
【００２１】
なお、このシステム４は、実際には汎用コンピュータでよく、前記プログラム格納部１０やデータ格納部１１は、ハードディスク等の外部記憶装置でよい。前記各構成要素１３〜１７は、コンピュータソフトウエアの形で前記プログラム格納部１０に格納され、上記ＣＰＵ５によって適宜ＲＡＭ６上に呼び出され実行されることで、本発明の構成要素として機能するようになっている。
【００２２】
以下、このシステムの構成を、その動作と共に説明する。図３は、この処理工程を示すフローチャートである。なお、図中のＳ１〜Ｓ６は、以下のステップＳ１〜Ｓ６に対応する。
【００２３】
点群データの取得
【００２４】
前記点群データ取得部４は、第１、第２のレンジセンサ２ａ，２ｂを用いて、撮像対象１を異なる方向から測定し点群データを得る（ステップＳ１）。点群は、レンジセンサ２ａ，２ｂから得られる画像の各ピクセルと３次元座標値との対応関係を持つ。
【００２５】
特徴線の抽出
【００２６】
次に特徴線取得部１４が、前記点群データから特徴線を抽出する。
【００２７】
この場合、まず、点群データからエッジ検出を行う（ステップＳ２）。このエッジ検出は、隣り合う点間で奥行き方向の距離の段差が閾値以上のものを検出することで行う。この方法を、本発明では、Ｄｅｐｔｈ  Ｅｄｇｅ法と呼ぶ。
【００２８】
すなわち、特徴線を利用して画像間の位置合わせを行う場合、測定したそれぞれの方向から、３次元空間上で一致する特徴線ができるだけ多く得られることが望ましい。しかし、従来の画像処理における特徴検出方法は、パターンマッチングによる方法であり、この方法をもとに特徴線を抽出した場合、形状の表面にある細かな凹凸等により、その形状を特徴付ける特徴線にノイズが発生するため、必要な特徴線がうまく抽出されない場合も生じる。この特徴検出は閾値を調整することで行うが、このとき、閾値を調整して多くの特徴線を抽出するようにするほど、ノイズの発生は顕著となる。また、閾値を小さくするなどして逆にノイズの発生を抑えるようにした場合には、抽出される特徴線の数が減少し、異なる方向からの特徴線で一致するものが得られる可能性が低くなってしまう。
【００２９】
これに対して本発明では、ノイズの発生をできるだけ抑え、かつ、異なる方向からの特徴線で一致するもの、特に、位置合わせに有用なものができるだけ多く得られるよう、点群の奥行き方向の情報を用いて特徴線を求める。すなわち、本発明では、ＤｅｐｔｈＥｄｇｅを定義する。Ｄｅｐｔｈ  Ｅｄｇｅは隣接するピクセルの奥行き値の差分が大きな部分に対応する特徴線である。各ピクセルの位置(ｉｘ、ｊｙ)は点群の１点(ｘ、ｙ、ｚ)に対応しているため、前記特徴線取得部１４は、各ピクセルに対応する三次元座標値のz値に対して閾値を適用することでエッジを検出する。図４は、このようにして得られた画像である。
【００３０】
特徴線の線分化
【００３１】
次に、特徴線処理部１５は、前記特徴線を線分化する（ステップ３）。
【００３２】
点群から抽出した特徴線は、画像上のピクセルと奥行き値を単位として表現されている。そこで、以下に述べる処理により、この特徴線を３次元空間上での線分に変換する。ここでは、線分を決定する要素として四方向の連結ピクセル数Ｃｄ(１≦ｄ≦４)を各ピクセルに与える。四方向とは図５に示すように、２次元画像上での右方向から左斜め下まで４５度づつ回転した方向である。各方向ｄに対するＣｄは、その方向に連続するピクセルの数であり、線分を構成する点の数となる。前記特徴線処理部１５は、次のアルゴリズムを適用することにより、各ピクセルのＣｄを決定する。
【００３３】
(１)  初めにＣｄの初期化を行う。あるピクセルＰ(ｉｘ、ｊｙ)がエッジ部分であれば、そのすべての方向ｄについてＣｄ＝１とし、そうでなければＣｄ＝０とする。
【００３４】
(２)  画像の左上隅のピクセルからＣｄを探索する。例えばｄ＝１、つまり探索方向を右側としたときに、あるピクセルＰ(ｉｘ、ｊｙ)から線分Ｌ１の作成を開始し、線分の端点とする。そしてＰ(ｉｘ、ｊｙ)の右側に隣接するピクセルＰ(ｉｘ＋１、ｊｙ)の連結成分数をＣ'１とする。このとき、Ｃ'１の数が１であり、３次元空間上での２点間の距離Ｄｖが閾値Ｄｉsよりも短い場合、Ｃ'１＝１＋Ｃ１とし、着目しているピクセルＰ(ｉｘ、ｊｙ)のＣ１を０とする。
【００３５】
(３)  次に参照するピクセルをＰ(ｉｘ＋１、ｊｙ)とし、同様に右隣ピクセルの連結成分数と３次元空間上での２点間距離を判定していく。もし、注目しているピクセルＰ(ｉｘ＋ｎ、ｊｙ)の右隣ピクセルの連結成分数が０だったり、２点間の距離Ｄｖが閾値Ｄｉsよりも大きい場合には、連結成分数の加算は行わず、線分作成も終了する。このとき点Ｐ(ｉｘ、ｊｙ)、Ｐ(ｉｘ＋ｎ、ｊｙ)を線分Ｌ１の端点とする。また、線分を構成する点の数はＰ(ｉｘ＋ｎ、ｊｙ)の連結成分数となり、この場合は(ｎ＋１)個となる。そして、新たなエッジ部分のピクセルを探索し、同様の処理を繰り返し行う。
【００３６】
以下同様に、(１)、(２)、(３)で述べた一方向での線分化アルゴリズムを四方向全てに適用することで、特徴線の線分化を行う。求められた線分の情報は特徴線データとしてデータ格納部１１に格納される。
【００３７】
線分の統合化
【００３８】
次に、特徴線処理部１５は、特徴線から変換した線分の統合化を行う（ステップＳ４）。
【００３９】
すなわち、上記で作成した線分は、画像上において一定方向の成分しか抽出されないので、図６に示した線分Ａ、Ｂ、Ｃ、Ｄのような場合には、不連続な線分として作成されてしまう。前記特徴線処理部１５は、線分Ａ、Ｂ、Ｃ、Ｄを統合して一つの線分とするために、線分が乗る３次元空間上の無限直線を導出し、任意の２つの線分が次に述べる２つの条件を同時に満たすか否かを判断し、満たす場合その２つの線分を統合する。
【００４０】
(１)  その２つの線分Ｌ１、Ｌ２が、一方の線分を構成する点Ｐｉが他方のいずれかの点と画像上で８方向近傍に隣接し、さらに３次元空間上での２点間の距離が閾値Ｄｉsよりも小さい場合。
【００４１】
(２)  図７に示すように、３次元空間上で二つの線分をまとめた新たな線分がのる無限直線Ｌ１２（ｔ）から半径R内に線分Ｌ１とＬ２を構成する全ての点が存在する場合。
【００４２】
上記２つの条件を満たす場合、特徴線処理部１５は、以下の方法で３次元空間上の無限直線を導出する。すなわち、まず、線分上の点がのる無限直線をＬ（ｔ）とし、線分を構成する任意の点ＰｉからＬ（ｔ）までの距離をｄ(Ｐｉ、Ｌ（ｔ）)とする。そして、無限直線Ｌ（ｔ）と誤差のある点群Ｐｉとの距離が最小になるような無限直線を定義する。
【００４３】
この定義のため、この実施形態では、式（１）に示すような、無限直線と点群の距離の二乗和を表す評価式（ＥＬ）を導入する。
【数１】
2006214893.tif 000003
【００４４】
ここで、ｎは線分を構成する点の数である。特徴線処理部１５は、最小二乗法により近似解を算出して、ＥＬを最小にする無限直線Ｌ（ｔ）を決定するものである。Ｌ（ｔ）の初期値は線分の中点と、線分の端点を結んだ直線の傾きを用いる。線分を統合化した後には、構成する点の数が非常に少ない線分も多数存在する。この場合、位置合わせに有効な線分であるか、または無効なノイズであるかの判断が難しい。そこで本発明では、線分を構成する点の数を基準として、線分を降順に並べ、上位の数十個を位置合わせに用いる。
【００４５】
このようにして統合化された線分の情報は、特徴線データとしてデータ格納部１１に格納される。
【００４６】
線分の最適化
【００４７】
次に、特徴線処理部１５は、線分の最適化処理を行う（ステップＳ５）。
【００４８】
本発明における位置合わせ手法では、線分群の中から選択した幾つかの線分が、より正確に形状の特徴を表していることが求められる。そこで位置合わせに用いる線分について、隣接する他のエッジ部分の点との統合化により、線分の最適化を実現する。
【００４９】
線分を最適化した後には、線分を構成する頂点数が増加する。具体的には以下の手順で最適化を行う。
【００５０】
(１)  Ｄｅｐｔｈ  Ｅｄｇｅ画像上で線分Ｌを構成する全ての点Ｐｉに隣接するエッジ部分の中で、２点間の距離が最も近い点Ｐ'を探索する。
【００５１】
(２)  点Ｐ'を含めた新しい線分Ｌ'がのる無限直線Ｌ'（ｔ）から、半径R内にＬ'を構成する全ての点が存在するならば、点Ｐ'を線分Ｌに加える。
【００５２】
(１)、(２)の操作を隣接するエッジ部分が無くなるまで線分毎に繰り返し行う。
【００５３】
このようにして、線分の最適化が行われ、その情報は特徴線データとして前記データ格納部１１に格納される。
【００５４】
位置合わせ
【００５５】
次に、位置合わせ処理部１６が、上記で求められた線分を利用し、複数のセンサ位置から獲得した点群どうしの相対的な位置関係を導出する（ステップＳ６）。
【００５６】
この位置合わせは、逐次的に二組の線分群の間で行う。すなわち、はじめに任意の二方向から得られる線分群間で位置合わせを行い、その二つの線分群を合成し、その後、残りの方向の線分群から一つずつを選び、位置合わせと合成を行っていく。
【００５７】
二方向からの線分群に関する位置合わせでは、一方の座標系を他方の座標系に移す３次元幾何変換を考え、二方向からの線分群間で対応する線分同士が３次元空間上でできるだけ一致するような最適な幾何変換を求める。具体的には、線分ペアに対する誤差評価関数を定義し、その値が最小となる幾何変換を最小二乗法により求める。このとき、一般には、できるだけ多くの線分ペアを選んだほうが精度の高い位置合わせが可能であると言える。
【００５８】
しかし、先に述べたように、各方向から得られる線分群が許容誤差を含み、かつ、十分な数の線分が得られない場合には、二方向からの線分群間でうまく対応する線分ペアを見つけること自体が困難である場合が多い。そこで本発明では、選択する線分のペアを最低二組選択する。ただし、ペア同士が平行にならないように選択する。また、例えば、太い円柱の中心軸方向のシルエットに対応する線分のように、測定方向によって出現の仕方が異なる線分は、位置合わせの対象としては用いないようにする。次に、選択した線分ペア以外の線分間の３次元空間上での対応関係に基づく評価値も算出し、その値も考慮に入れた幾何変換の決定を行う。本発明の位置合わせアルゴリズムでは、選択した線分ペアの最適な幾何変換を以下の４段階のステップを繰り返すことにより決定する。
【００５９】
ステップ  Ａ．初期位置設定
【００６０】
ステップ  Ｂ．回転移動変換の決定
【００６１】
ステップ  Ｃ．平行移動変換の決定
【００６２】
ステップ  Ｄ．位置合わせ後の評価
【００６３】
また、ステップＡ、Ｂ、Ｃでは重み付けのパラメータ（後述）を持つ。そして、ステップＤの評価に基づき、ステップＡからステップＤを繰り返すことで最適な重み付けのパラメータを求める。全ての幾何変換を決定した後はその幾何変換を用いて、二方向からの線分群の位置合わせを行う（ステップＥ）。
【００６４】
以下、図８のフローチャートに基づいて各工程を詳しく説明する。
【００６５】
ＳＴＥＰ  Ａ：初期位置設定
【００６６】
本実施例では最小二乗法により定式化された方程式の解法としてＮｅｗｔｏｎ法を利用する。しかしＮｅｗｔｏｎ法では、初期値によっては解が発散してしまうことがある。そこでこのテップでは、回転移動、及び平行移動の変換を決定する前処理としてＮ個のペアから二組選び、それらが近づくように初期位置を設定する。初期位置を設定することによって、解の発散を防ぐ。初期位置を設定するアルゴリズムは、二つの測定方向にそれぞれ右手系の座標軸を決定し、アフィン変換を適用して二つの座標軸を一致させる。
【００６７】
座標軸の決定手法は以下のように定義される。すなわち、一つの方向から測定した位置合わせに用いる二組の線分ペアＤＬ１、ＤＬ２がそれぞれのる無限直線をＤＬ１（ｔ）、ＤＬ２（ｔ）とする。このとき、座標軸の原点Ｇを２直線の交点、または最近点とする。そして、Y軸を直線ＤＬ１（ｔ）の傾きｖ１とする。次にｖ１と直線ＤＬ２（ｔ）の傾きｖ２の外積の方向をZ軸とし、最後にｖ１とＺ軸との外積の方向をX軸とする。
【００６８】
以上の操作を、もう一方の方向から得られた二つの線分に対しても行い、最後に各座標軸が一致するようにアフィン変換を行う。
【００６９】
ＳＴＥＰ  Ｂ：回転移動変換の決定
【００７０】
このステップＢでは、位置合わせに選択した線分の各ペアがそれぞれ平行となるような変換を決定する。一方から測定したときのセンサの位置を原点とした座標系において、各軸の回転角度をＲｘ、Ｒｙ、Ｒｚとし、それぞれの回転行列を用いて回転移動を行う。
【００７１】
選択した複数の線分ペアにおいて、一組の線分がのる無限直線をＬ１（ｔ）、Ｌ２（ｔ）とし、無限直線Ｌ１が通る点をＰとする。無限直線Ｌ１（ｔ）とＬ２（ｔ）を平行にする場合を考える。上述したように、無限直線Ｌ１（ｔ）上の点ＰからＬ２（ｔ）までの距離はｄ(Ｐ、Ｌ（ｔ）)で表される。よって、回転後の線分の端点Ｐ'１、Ｐ'２からＬ２（ｔ）までの距離、及び点Ｐ'０から遠くに離れた点Ｐ'３、Ｐ'４からＬ２（ｔ）までの距離を用いて式(２)、(３)を定義する。図９より二つの無限直線が平行である条件式は式(４)となる。
【数２】
2006214893.tif 000004
【数３】
2006214893.tif 000005
【数４】
2006214893.tif 000006
【００７２】
よって、誤差評価関数ＥＲは式(５)となる。
【数５】
2006214893.tif 000007
【００７３】
ただし、重み付けのパラメータαは式(６)を満たす。
【数６】
2006214893.tif 000008
【００７４】
式(４)を最小にする変換を最小二乗法により求める。次の平行移動の変換を決定する場合にも、誤差評価関数を用いて同様に求める。
【００７５】
ＳＴＥＰ  Ｃ：平行移動変換の決定
【００７６】
本ステップでは平行移動を行い、線分Ｌ１、Ｌ２がそれぞれのる無限直線Ｌ１（ｔ）、Ｌ２（ｔ）間の距離を最短にするような変換を決定する。平行移動量をＴｘ、Ｔｙ、Ｔｚとすると、変換後の点Ｐ'は次のようになる。
【数７】
2006214893.tif 000009
【００７７】
図９に示すように、線分Ｌ１を平行移動した後の無限直線をＬ'１（ｔ）とする。上記と同様に、Ｌ'１（ｔ）上の点Ｐ'１、Ｐ'２、Ｐ'３、Ｐ'４を用いて、位置合わせに選択したペア間の距離が最小となる条件式は式(１０)となる。
【数８】
2006214893.tif 000010
【数９】
2006214893.tif 000011
【数１０】
2006214893.tif 000012
【００７８】
よって、誤差評価関数ＥＴは式(１１)となる。
【数１１】
2006214893.tif 000013
【００７９】
ただし、重み付けのパラメータβは式(１２)を満たす。
【数１２】
2006214893.tif 000014
【００８０】
ＳＴＥＰ  Ｄ：位置合わせ後の評価
【００８１】
位置合わせの各ステップでは重み付けのパラメータを用いており、位置合わせ後の線分を評価することにより設定する。
【００８２】
この評価ステップでは、まず初めに、位置合わせを行う二つの線分群から考えうる全てのペアについて、一組ずつ線分間を誤差評価する。このとき、各ステップで求めた幾何変換に対応する誤差評価値の総和を、式(１３)で定義されるＥとする。
【数１３】
2006214893.tif 000015
【００８３】
そして、誤差評価値の総和Ｅを基に、以下の二つの基準値を用いて位置合わせ後の線分を評価する。
【００８４】
(１)考えうる全てのペアにおいて、一致するペアの総数(ｃｎｔ)。ただし、ある一組のペアに対する誤差評価の総和Ｅ'が閾値ＥｍＡx以下であれば、そのペアが一致していると判断する。
【００８５】
(２)上記で幾何変換を決定する際に、式(１３)で定義される、位置合わせに用いたN組の線分ペアを誤差評価した総和Ｅ。
【００８６】
重み付けパラメータの設定法
【００８７】
上記では重み付けのパラメータα、βを用いた。このパラメータの具体的な設定法としては、まず始めに、初期値として全パラメータの値を０.５とする。次に、パラメータα、βの順に、以下のアルゴリズムを繰り返し適用することにより、最適なパラメータ値を決定していく。なお、以下では、パラメータαについて記しているが、βについても同様である。
【００８８】
(１)  α＝０.５として前記ステップＡ〜Ｄを一度行い、初期値となるＥ０とｃｎｔ０を導出する。
【００８９】
(２)  式(１４)、及び式(１５)で定義されるα１とα２について、一致するペア数ｃｎｔ１、ｃｎｔ２及び誤差評価値の総和Ｅ１、Ｅ２を求める。ただし、Δαを刻み幅とし、ｋは反復回数である。
【数１４】
2006214893.tif 000016
【数１５】
2006214893.tif 000017
【００９０】
(３)  初期値であるｃｎｔ０と、(２)で求めたｃｎｔ１、ｃｎｔ２を比較し、最もペア数が多い場合のパラメータを選び、その値を新たな初期値とする。
【００９１】
(４)  もしも、初期値が更新されないか、α１、α２について式(１６)を満たす場合は終了し、そうでなければkを一つ増やし本節の処理(２)へ進む。
【数１６】
2006214893.tif 000018
【００９２】
ただし、σは微小値とする。
【００９３】
幾何変換の出力
【００９４】
ついで、前記幾何変換出力部１７が、前記位置合わせ処理部で求めた初期位置設定、回転移動変換及び平行移動変換を幾何変換として出力する。このことで、前記レンジセンサで取得した点群データを一つの三次元画像データとして統合することができる。なお、この実施形態においては、この幾何変換出力部１７は、上記４つのレンジセンサで得た点群データを前記幾何変換で変換した後の三次元画像データを出力するようになっている。
【実施例１】
【００９５】
以下、その実施例を説明する。
【００９６】
１  計測環境
【００９７】
この実施例においては、岩手県盛岡市志波城跡にある、平成９年に復元が完成した外郭南門を計測した。復元された外郭南門は、奈良県奈良市にある平城身や跡朱雀門に次ぐ大規模な門であり、間口が１５ｍ、高さが１１.１ｍある。
【００９８】
使用機器は、ＲＩＥＧＬ社製のＬＭＳ-Ｚ２１０を用いた。ＬＭＳ−Ｚ２１０の主なスペックは以下の通りである。
【００９９】
測定距離範囲:２ｍ〜３５０ｍ
【０１００】
ラインスキャニング範囲:±４０度
【０１０１】
フレームスキャニング範囲:０度〜３３３度
【０１０２】
２  測定データ
【０１０３】
レンジセンサは３種類の画像を出力することができる。レンジセンサから建造物までの距離をＲＧＢで表示した距離画像。レーザを照射した点の光度反射強度をグレースケールで表示した受光強度画像。レーザ照射点のＲＧＢを表示したカラー画像。また、レンジセンサは画像の各ピクセルに対応した３次元座標値を点群として出力することができる。
【０１０４】
３  実験結果
【０１０５】
図１０と図１１では、外郭南門の表側を正面と右側から測定し、本実施形態で提案した特徴線を線分化する手法を適用した結果をそれぞれ示す。図中の黒線は線分である。
【０１０６】
線分化に用いた閾値は、Ｄｉｓ＝２.０、Ｒ＝１.０とした。図から分かるように、形状の輪郭や壁の端などのはっきりとした特徴線が線分化されている。
【０１０７】
図１２（ａ）、（ｂ）では、特徴線を線分化した後、最適化を適用する前後の例を示す。ただし、各線分は２次元画像上に逆変換した。図１２（ｂ）の点線で囲まれた領域に注目すると、線分の長さが増加しているのが分かる。
【０１０８】
図１０と図１１に示した線分を用いて、位置合わせを行った結果を図１３、図１４に示す。ただし、一致すると予想されるペアが少なかったために、幾何変換を決定する際に用いたペアを二組とし、手動で選択した。図１３では位置合わせ後の線分を示し、黒い線分、白い線分はそれぞれ正面と右側から測定したときの線分である。また、線が太い部分は選択した線分である。図１４では位置合わせ後の点群を示した。位置合わせが完了するまでに約９秒かかった。
【０１０９】
本発明では、複数方向から測定して得られた点群を位置合わせする手法を提案した。まず、点群を用いてエッジ検出を行い、特徴線をエッジ部分として抽出した。そして、その特徴線を３次元空間上で閾値を用いることにより、許容誤差を考慮した線分に変換した。また、線分はエッジ検出画像を用いて最適化した。最後に、位置が合うと予想される線分のペアを選択し、それらが最適な位置に移されるような幾何変換を自動的に求めることで位置合わせを実現した。位置合わせのアルゴリズムは初期位置設定、回転移動変換の決定、平行移動変換の決定、位置合わせ後の評価の４段階に分けられる。
【０１１０】
なお、本発明は、上記一実施形態に限定されるものではなく、発明の要旨を変更しない範囲で種々変形可能である。
【０１１１】
例えば、上記一実施形態では、線分ペアの自動選択するようにしているが、オペレータが位置合わせを行う特徴線となる線分を手動で決定するようにしてもよい。また、上記の例では、レンジセンサを４つ利用したが、これに限定されるものではなく、１つのレンジセンサを順に４つの場所に配置して画像を取得するようにしてもよい。また、数も４つに限定されず、２つ以上であればよい。
【図面の簡単な説明】
【０１１２】
【図１】本発明の一実施形態に係る機器構成を示す模式図。
【図２】同じく、概略構成を示す模式図。
【図３】同じく、処理を示すフローチャート。
【図４】同じく、Ｄｅｐｔｈ−Ｅｄｇｅ画像を示す図。
【図５】同じく、連結ピクセルの方向を示す図。
【図６】同じく、不連続な線分の処理を説明するための模式図。
【図７】同じく、線分の統合化の処理を説明するための模式図。
【図８】同じく、点群同士の位置合わせを示すフローチャート。
【図９】同じく、２つの線分の位置合わせを説明するための模式図。
【図１０】同じく、特徴線の線分化を説明するための模式図。
【図１１】同じく、特徴線の線分化を説明するための模式図。
【図１２】同じく、線分の最適化を説明するための模式図。
【図１３】同じく、位置合わせ後の線分を示す模式図。
【図１４】同じく、位置合わせ後の点群を示す模式図。
【符号の説明】
【０１１３】
１…撮像対象物
２ａ〜２ｄ…第１〜第４のレンジセンサ
４…対象物撮像システム
５…ＣＰＵ
６…ＲＡＭ
７…レンジセンサ用ＩＦ
８…入出力デバイス
９…バス
１０…プログラム格納部
１１…データ格納部
１２…基本プログラム
１３…点群データ取得部
１４…特徴線取得部
１５…特徴線処理部
１６…位置合わせ処理部
１７…幾何変換出力部
【図１】
2006214893.tif 000019
【図２】
2006214893.tif 000020
【図３】
2006214893.tif 000021
【図４】
2006214893.tif 000022
【図５】
2006214893.tif 000023
【図６】
2006214893.tif 000024
【図７】
2006214893.tif 000025
【図８】
2006214893.tif 000026
【図９】
2006214893.tif 000027
【図１０】
2006214893.tif 000028
【図１１】
2006214893.tif 000029
【図１２】
2006214893.tif 000030
【図１３】
2006214893.tif 000031
【図１４】
2006214893.tif 000032