(57)【特許請求の範囲】
【請求項１】
位置データが明らかとなっている計測点を少なくとも３つ以上含むステレオ画像に対して、その計測点の内の少なくとも一部を区分点とし、定められた複数の区分点の内の少なくとも３つの区分点に基づき探索領域を設定する設定部と、
上記設定部により設定された探索領域に基づき、それぞれのステレオ画像上の対応する探索領域同士の画像に対して相関処理を施す演算部と、
上記演算部による相関結果から、任意の位置の点の座標を測定する測定部
とを備え、
上記設定部は、上記演算部による相関処理の結果から得られた相関係数の低い領域内の計測点を新たな区分点に選定した上で、新たな探索領域をステレオ画像上に設定し、
上記演算部は、この新たな探索領域同士の画像に対して相関処理を施すように構成されていることを特徴とするステレオ画像測定装置。
【請求項２】
請求項１記載のステレオ画像測定装置において、
上記設定部は、前記少なくとも３つの区分点に基づき探索領域を組み替えることで新たな探索領域を設定することを特徴とするステレオ画像測定装置。
【請求項３】
請求項１記載のステレオ画像測定装置において、
上記設定部は、得られた区分点又は計測点のうち隣接する３つの点が形成する三角形を包含する包含四角形を探索領域として各ステレオ画像に設定することを特徴とするステレオ画像測定装置。
【請求項４】
請求項１乃至３のいずれかに記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、区分点からの距離に応じて、各データブロックの位置または移動ステップを設定するように構成されていることを特徴とするステレオ画像測定装置。
【請求項５】
請求項１乃至４のいずれかに記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、区分点からの距離に応じて、各データブロックの大きさを設定するように構成されていることを特徴とするステレオ画像測定装置。
【請求項６】
請求項１乃至４のいずれかに記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、区分点付近において複数の大きさのデータブロックを設定して、相関結果を得て、その相関結果に応じて各データブロックの大きさを決定するように構成されていることを特徴とするステレオ画像測定装置。
【請求項７】
請求項１乃至４のいずれかに記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックと設け、探索領域の大きさに応じて、各データブロックの大きさを決定するように構成されていることを特徴とするステレオ画像測定装置。
【請求項８】
請求項１乃至７のいずれかに記載のステレオ画像測定装置において、
上記設定部は、設定された探索領域に基づき、その領域より小さいデータブロックを設定し、上記演算部は、一方のステレオ画像のデータブロックに相当するブロックをテンプレートとし、他方のステレオ画像を該テンプレートと同じ縦位置で走査して、計算された相関値により該テンプレートに対応するデータブロックを探索することを特徴とするステレオ画像測定装置。
【請求項９】
請求項１乃至８のいずれかに記載のステレオ画像測定装置において、
さらに、ステレオ画像をグラフィック表示する表示部を有し、表示部で表示されたグラフィック表示に基づき判明する追加測定が必要な領域に応じて、更なる区分点を選択し、
上記設定部がさらなる新たな探索領域を設定し、
上記演算部は、この新たな探索領域同士の画像に対して相関処理を施すように構成されていることを特徴とするステレオ画像測定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像測定装置に係り、特に、デジタル写真測量により得られたステレオ画像から三次元画像を計測する測定装置に関する。
【０００２】
【従来の技術】
従来、デジタル写真による測量法において、取得されたデジタル画像より三次元計測及び解析は、以下のように行なう。まず、写し込まれた数点の基準点をもとに標定処理し、立体視を可能とする。さらに得られた複数画像をステレオマッチングの処理を行い、三次元座標を算出することにより、三次元画像を解析する。特にステレオマッチングでは、確実に三次元データを得る為に、疎密探索画像相関処理法等を利用している。また、トータルステーションやＧＰＳ等の測量機を利用して三次元計測を行なっていた。ここに、疎密探索画像相関処理法とは、最初から解像度の高い画像で相関処理を行なわず、解像度の低い画像から次第に高い画像へと相関処理を段階的に行なっていくものである。こうすることで局所的な間違いを減らし、信頼性をあげることができる。（高木幹雄、下田陽久監修、画像解析ハンドブックｐ７０９参照）。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の方法では、解像度の異なる各画像に対しても、画像相関処理を行なわなければならず、その演算に多大な時間がかかる。また、従来では、測定に間違えが生じた場合、その個所をもう一度オペレータによって指定し直し画像相関処理を施す、という繰り返し作業が必要であり、計測と修正に手間と時間がかかった。また、従来では、災害現場や緊急性等を要する現場を三次元計測及び解析しなければならない場合、現地においてトータルステーション等で計測する時間が無かったり、計測不可能であったり、現場の写真しかとれなかった、等ということがあった。
【０００４】
本発明は、以上の点に鑑み、ステレオ画像にて高速かつ信頼性が高い三次元計測を可能にせしめ、更に、計測漏れや計測に間違えがあった場合等も簡単に修正可能な測定装置を提供することを目的とする。そして、本発明は、災害や緊急性を要する現場等、現地において迅速に計測を有する場合や計測がむずかしい場合等でも、数点の基準点計測とステレオ画像を撮影するだけで高信頼性で高速な三次元計測及び解析を行うことができる測定装置を提供することを目的とする。
【０００５】
また、本発明は、画像相関処理を効率良く行なうことを可能とし、解析処理の信頼性及び高速化を達成することを目的とする。また、本発明は、立ち入ることの出来ないような危険な個所等の従来計測不能であった領域においても、高速かつ非接触で三次元計測を可能とすることを目的とする。
【０００６】
本発明の解決手段によると、
位置データが明らかとなっている計測点を少なくとも３つ以上含むステレオ画像に対して、その計測点の内の少なくとも一部を区分点とし、定められた複数の区分点の内の少なくとも３つの区分点に基づき探索領域を設定する設定部と、
上記設定部により設定された探索領域に基づき、それぞれのステレオ画像上の対応する探索領域同士の画像に対して相関処理を施す演算部と、
上記演算部による相関結果から、任意の位置の点の座標を測定する測定部
とを備え、
上記設定部は、上記演算部による相関処理の結果から得られた相関係数の低い領域内の計測点を新たな区分点に選定した上で、新たな探索領域をステレオ画像上に設定し、
上記演算部は、この新たな探索領域同士の画像に対して相関処理を施すように構成されていることを特徴とするステレオ画像測定装置を提供する。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を図面により説明する。
【０００８】
Ａ．ハードウェア
図１に、本発明の測定装置の全体ブロック図を示す。
本システムは、測量機１、測定装置２、カメラ３を備える。測定装置２は、基準点捜索部１０、探索領域設定部２０、演算部３０、表示部４０、測定部５０、バス６０を備える。これら基準点捜索部１０、探索領域設定部２０、演算部３０、表示部４０、測定部５０は、例えばパーソナルコンピュータ上に搭載され、バス６０により相互に接続される。
【０００９】
測量機１は、現地にて基準点数点を計測するものである。あらかじめ基準点数点が含まれているステレオ画像を入手して計測する場合は必要ない。カメラ３は、画像の取得するもので、例えば、デジタルカメラやフィルムカメラ、等を利用することができる。カメラ３を備えなくても、あらかじめ、基準点数点が写し込まれている画像を入手、解析してもよい。
【００１０】
基準点捜索部１０は、あらかじめ測量機１により計測されている基準点と画像との対応付けを行なう。探索領域設定部２０は、基準点捜索部１０により対応付けされた基準点から、画像相関処理をする際の探索領域の設定、基準データブロックや捜索データブロックの各ブロックを設定する。演算部３０は、標定計算や、探索領域設定部２０で設定された探索領域について画像相関処理（ステレオマッチング）を行なう。表示部４０は、立体視可能とするステレオモニタ、あるいは、パソコンのモニタ等である。立体モニタを使用すれば、より詳細な正確な三次元計測や、計測結果の確認が可能となる。表示部４０は、撮影されたステレオ画像や、相関処理の結果から得られた相関係数値、相関処理の結果から取得された三次元座標により作成した点や等高線、鳥瞰図、オルソ画像等をグラフィック表示する。表示部４０により、グラフィック表示を行い確認又は追加計測させる方法は、例えば、視覚的に計測結果を適切に判断したい場合や、相関係数の信頼性が高くない対象物等に利用することができる。なお、グラフィック表示は、リアルタイムで行なうことができる。
【００１１】
測定部５０は、相関処理の結果、相関結果が悪かった場合、追加計測を行なわせる。測定部５０による追加計測には、相関係数を表示して相関の少ない部分の追加計測を行なう方法がある。また、この他に、各点の三次元座標をもとにした点、等高線、ワイヤーフレームモデル、面を貼ったサーフェスモデル、あるいは、画像を貼り付けた鳥瞰図やオルソ画像等を作成して、グラフィック表示し、表示された画像の不具合点につき追加計測を行なわせる方法がある。また、相関係数を画面上に表示して、画像の確認又は修正する方法は、相関係数の低いエリアを表示し、その画面に基づいてマニュアルあるいは半自動で計測修正する方法と、相関係数を利用して、所定の閾値以下のエリアについて自動計測をする方法等がある。
【００１２】
つぎに、マニュアル又は半自動で計測を行なう場合と自動で計測を行なう場合について、詳細に説明する。
【００１３】
Ｂ．現地作業
まず、現地での作業について説明する。図２に、現地作業についてのフローチャートを示す。仮に、現地にて計測から始める場合は、このフローチャートのステップを現地作業として行なう。既に基準点が含まれたステレオ画像を入手してある場合は、このステップは必要無い。
【００１４】
ステップＳ１０で、まず、最初に現地にて計測したい領域のステレオ画像を撮影する。図３に、ステレオ画像の説明図を示す。この図に示されるように、オーバーラップした２枚のステレオ画像（左画像Ｌ、右画像Ｒ）を撮影する。ステップＳ２０で、次に、測量機１において、３点以上の基準（標定）点をステレオ撮影した左右画像双方に含まれる領域で計測する。基準点は３点以上で良いが、６点以上とすれば、標定処理（後述のステップＳ４０参照）がより安定して行われ、後の解析が信頼性の高いものとなる。従って、ここでは、一例として、６点で説明する。すなわち、図３の左右画像がオーバーラップした領域中、６点を基準（標定）点Ｃ１〜Ｃ６として、測量機１により計測する。次にステレオ画像データと測量機により測定された基準点座標値を、オフィス等のステレオ画像測定装置のある場所へ転送する。転送には、画像を記憶するメモリ媒体を使ったり、電話回線等で送信したりすることができる。
【００１５】
Ｃ．前処理
つぎに、図４に、前処理についてのフローチャートを示す。画像データと基準点座標値をステレオ画像測定装置に入力したら、この図に示すように、以下の前処理を実行する。
【００１６】
まず、ステップＳ３０で、表示部４０のディスプレイ上に、転送されたステレオ画像を表示し、操作者はそれを確認する。ステップＳ４０では、表示部４０に表示した左右画像上で、測量機１により計測した基準（標定）点を計測（対応づけ）する。すなわち、この例では、測量機１で計測されている点Ｃ１〜Ｃ６を、今度は左画像Ｌ、右画像Ｒ上でそれぞれ標定する。ステップＳ５０では、ステップＳ４０で計測された基準点をもとに標定処理を行い、偏位が修正された画像を作成する。すなわち、縦の視差が除去された立体視（計測）可能な画像を作成する。ステップＳ６０で、表示部４０のディスプレイ上にステップＳ５０で作成した計測（立体視）可能なステレオ画像を表示する。
【００１７】
ステップＳ７０で、操作者は、表示を見ながら、特に計測（図化）したいところや、境界線、段差のある所などをマウス等ポインティングデバイスを使い計測（図化）を行なう。この計測（図化）作業は、ステレオモニタがあれば、立体視をしながら計測する。あるいは、パソコンのモニタ上に左右画像をそれぞれ表示し、左右画像双方で対応点と思われるところをポインティング（計測）していってもよい。あるいは、半自動相関処理等を使って、左画像上で指示した個所を右画像上で自動的に相関処理を行なって探索、対応点を指し示す様にしてもよい。この処理を利用すれば、計測（図化）作業は大変容易なものになる。この計測（図化）作業は、必ずしもこのステップで実行しなくともよい。しかし、これを実行しておけば、より信頼性の高い計測が可能となり、修正作業も結果的に少なく済む。
【００１８】
Ｄ．基本測定フロー
つぎに、図５に、オフライン計測についてのフローチャートを示す。なお、ステップＳ８０〜Ｓ１１０までの処理は、マニュアル又は半自動で計測する場合であっても、コンピュータ処理によって自動的に行われる。
【００１９】
ステップＳ８０では、ステップＳ４０又はステップＳ７０で計測された計測点を相互に接続し、三角形を作成する。図６に、計測点による三角形の作成についての説明図を示す。この例では、計測点Ｃ１〜Ｃ６から点同士を接続し、三角形をつくった場合である。この場合、点同士を接続して、三角形で無く四角形としても良いが、三角形の方が一層領域内を細かく分類できるので（三角形だと４点で２つの平面を構成できるが、四角形だと１平面しか構成できない）、精度及び信頼性を向上させることが可能となる。このような、ランダムな点から３次元座標を内挿する方法として不整三角網（Ｔｒｉａｎｇｕｌａｔｅｄ  Ｉｒｒａｇｕｌｅｒ  Ｎｅｔｗｏｒｋ、ＴＩＮ）がある。ＴＩＮは、三角形を構成単位とするメッシュを生成するものである。ＴＩＮについての詳細は、「伊理正夫、腰塚武志：計算幾何学と地理情報処理、ｐｐ１２７」、Ｆｒａｎｚ  Ａｕｒｅｎｈａｍｍｅｒ、杉原厚吉訳：Ｖｏｒｏｎｏｉ図、一つの基本的な幾何データ構造に関する概論、ＡＣＭ  Ｃｏｍｐｕｔｉｎｇ  Ｓｕｒｖｅｙｓ、  Ｖｏｌ．２３、ｐｐ３４５−４０５」等を参照。
【００２０】
ステップＳ９１では、基準点捜索部１０は、一方の画像、例えば左画像から、基準データブロック（テンプレート）に関するデータを検出する。例えば、このデータは、３つの区分点で形成される三角形と、その三角形を含む四角形等である。ステップＳ９２では、テンプレートの区分点からの距離等によりテンプレートの位置や大きさを決定する。ステップＳ９３で、画像上で計測された左画像のテンプレートから、画像相関処理を行なう為の探索領域を探索領域設定部２０にて決定する。ステップＳ９４では、他方の画像、例えば右画像に関して決定された探索領域について、左画像のテンプレートを用いてスキャンする。テンプレート及び探索領域の設定及びスキャンに関しては、後述する。
【００２１】
そして、ステップＳ１００で、分割された各領域に対して、演算部３０にてテンプレートと探索領域との画像相関処理を行なう。すなわち、相関の大きなものを求めることで左画像に対応する右画像の対応点を求め（又は、右画像に対応する左画像の対応点を求め）、その三次元座標を算出する。なお、画像相関処理（ステレオマッチング）は、残差逐次検定法（ＳＳＤＡ法）や相互相関係数法などがある。
【００２２】
ここでは、自動測定に向いている相互相関係数法を説明する。
（相互相関係数による方法）
図７に、入力画像とテンプレート画像についての説明図を示す。図に示すようにＮ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下式の相関係数ｒが最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。
【００２３】
ここで、図８は、３×３画素における例を示す図である。この例の場合、左画像のテンプレート画像Ｔと同じ又は相関値の大きい比較画像Ｉを右画像から同一ライン（エピポーライン）上で探索する。すなわち、それぞれの画素に対応して上式を計算する。これを画素をひとつずつまたは所定数ずつシフトして、相関値の高いものを求める。
【００２４】
【数１】
0004441050.tif 000002
【００２５】
本発明では、一例として、基準データブロックを左画像からテンプレート画像とし、右画像の探索領域内の捜索データブロックを単位として探索を行い、左画像の基準データブロック（テンプレート）に対して右画像の一致部分である捜索データブロックを探索する。一致部分は、相互相関係数が最大になる（１に近くなる）点とする。
【００２６】
以上の相関処理により、左右画像の対応点が求まるので、ステレオ法の原理により、各測定点における三次元座標値を計算する。ここで、図９に、ステレオ法についての説明図を示す。
【００２７】
（ステレオ法）
簡単のために、同じカメラを２台使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。
２つの光軸間距離（基線長）をＬとする。
【００２８】
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ
ｙ１＝ｙ２＝ａｙ／ｚ                −−−（５）
ｘ２−ｘ１＝ａＬ／ｚ
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。カメラ１による撮影画像を左画像、カメラ２による画像を右画像としたとき、画像相関処理により、左画像ｘ１の位置に対するｘ２の位置が求まる（類似度の一番高い点）。従って、▲３▼式よりｚを求め、これを用いて▲１▼式、▲２▼式よりｘ、ｙが求められる。
【００２９】
再び、計測についてのフローチャートに戻り説明する。ステップＳ１１０で、求められた左右画像の相関結果を表示部４０に表示する。この場合、捜索データブロックを探索した結果、一番大きな相関係数（類似度が高い点）をそのデータブロックでの類似点として、それら相関結果を画像上に表示する。
【００３０】
図１０に、相関結果の表示についての説明図を示す。例えば、図１０（ａ）のＥ１領域や図１０（ｂ）に示されるように、相関係数の低かったエリア又は点があれば、それらは強調して表示される。表示方法は、実際の相関係数値を色別等に表示してもよいし、しきい値を数段階設けて表示してもよい。ステップＳ１２０で、表示された結果が満足行くものであれば終了する。
【００３１】
つぎに、追加測定フローについて説明する。ステップＳ１３０では、表示された結果が満足いかなければ、ステップＳ１５０に進む。ステップＳ１５０で、相関結果の満足いかない領域について、その部分をマニュアル・半自動によって追加計測もしくは相関結果から測定点の選択をする。なお、ここでは、オフラインであるので、追加計測では、既に測量機１で測定されたデータを用いる。例えば、図１０に示されている相関係数の低いエリアＥ１内のポイントについて、マニュアルあるいは半自動でステレオモニタあるいはパソコンのモニタを見ながらマウス等ポインティングデバイスを使い、指定し、指定された領域について追加計測を行なう。追加計測では、ポイント的に図化（計測）してもよいし、対象物によって境界線等の線状に図化（計測）してもよい。あるいは、他の方法として、図１０に示されている相関係数の低いエリアＥ１内のあるポイントについて相関係数が高く、比較的正しい計測点があれば、それをディスプレイ上で選択し追加測定点とすることもできる。また、測量機等で計測した点の内、基準点で使っていない点があれば、それらを測定点として選択してもよい。例えば、図１１に追加測定点についての説明図を示す。図中、Ｃ７は増やした測定点を示す。この結果、エリアＥ１０、Ｅ１１、Ｅ１２が追加される。あるいは、上記二つの方法の両方を行なってもよい。更に、相関係数の悪くなかった領域に対しても、表示部４０で確認した相関結果が正しくなければ、その領域について上記作業を行なう。それら作業により更に確実な計測がなされる。
【００３２】
次にステップＳ８０へ移る。ステップＳ８０で、追加計測した測定点を加え、三角形を作成する。図１１に、測定点の追加についての説明図を示す。すなわち、図１１で示された、追加点Ｃ７により、もう一度測定点の接続をし直す。この場合、図示のように追加点に対し更に詳細な三角形をつくってもよいし、前の接続点にかかわらずもう一度全部三角形を作り直してもよい。
【００３３】
また、ステップ１５０で、追加計測を行なわなかったり、選択可能な点が無かった場合等は、三角形を組み替える。図１２に、三角形の組み替えについての説明図を示す。例えば、図１２（ａ）のように三角形を作成していた場合、図１２（ｂ）のように組み替えることができる。この他に、ステップＳ１５０で線状に計測した点を追加選択すれば、その分細かく三角形を作成することになり、より信頼性、密度ともに高いものとなる。
【００３４】
以下上述と同様にステップＳ９１以降の処理を実行し、ステップＳ１００で、新しい領域について、画像相関処理を行なう。この場合、更に詳細な三角形を作成した場合は、新たに追加された三角形領域のみ画像相関処理を行なう。ステップＳ１１０で、相関結果を表示部に表示する。ステップＳ１２０で、結果が良好であれば、終了する。ステップＳ１３０で、表示された結果が満足できない場合は、再び追加測定に進む。ステップＳ１５０で、さらに追加測定を行いたい領域に対して、モニタを見ながら追加計測する。以下手順は、上記ステップＳ８０以降と同様であり、満足出来るまで繰り返す。
【００３５】
仮にいくら追加計測を行なっても改善されない場合又は追加計測をしない場合は、ステップＳ１４０へ進む。ステップＳ１４０で、例えば図１１のＥ１０の領域がどうしても良い結果が得られないときは、Ｃ１、Ｃ２、Ｃ７の計測点からなる平面Ｅ１０の平面方程式から標高値を内挿する。例えば、Ｅ１０領域内のＣ８を求めたいとき、Ｃ８の座標値を（ｘ８、ｙ８、ｚ８）とすれば、Ｃ８の標高値ｚ８は、
ｚ８＝−（ａｘ８＋ｂｙ８＋ｄ）／ｃ        −−−（６）
により算出する。（係数ａ、ｂ、ｃ、ｄは、Ｃ１、Ｃ２、Ｃ７の３次元座標値より算出する）。
【００３６】
Ｅ．自動計測
次に、自動計測について説明する図１３に、代表点の三次元座標の自動計測についてのフローチャートを示す。また、図１４に、自動計測される代表点についての説明図を示す。現地計測する場合は、図２と同様の処理が実行され、また、前処理は図４のフローの処理手順と同じである。また、図４中、ステップＳ７０は行なっても行なわなくとも良い。前処理又はステップＳ１５０の後、又はステップＳ１５０の処理において、自動測定が開始される。
【００３７】
ステップＳ２００で、撮影された左右画像のオーバーラップ部分が探索領域であり、図１４にオーバーラップ部分が示され、この領域が、複数にわけられる。そして、この分割された各領域の中心付近の点（探索データブロック）を選び、その点に対して左右画像の対応点を求めるように画像相関処理を実行する。この画像相関処理は、疎密探索による画像相関処理を利用することにより、より確実に行なえる。また、画像の区分されたデータブロック周辺の探索のみで良いので、高速度に処理可能である。相関処理の結果、相関係数の低いところは除外して、相関係数の高い対応点を求める（例えば相関係数０．８以上等とすることができる）。仮に最初に探索した点（データブロック）で適切な対応点が無ければ、その周辺に点（探索データブロック）の位置を変更して探索する。このようにして、各領域について代表点１点の三次元座標を求める。図では、４×４の領域に区分したが、どのように分けても、また相関処理を行なう点を中心とせずとも、その領域中であればよい。
【００３８】
ステップＳ２１０で、ステップＳ２００の計測結果を表示部４０のディスプレイ上に表示する。ここで問題が無ければ、次のフローへ進む。仮に間違えや不足等あれば、ここのステップで修正する。修正は、修正領域のデータブロックの位置を変えて行う。この作業は、自動、マニュアル、あるいは、半自動で可能である。あるいは、確認せずとも、次のステップへ行ってもよい。但し、ここで確認しておけば、後の修正作業が容易となる。
【００３９】
次に図１５に、オンライン自動計測についてのフローチャートを示す。これら処理もコンピュータによる自動処理である。図１３のステップＳ２１０の後に、これらの処理に移る。ステップＳ２２０で、先に各領域について自動計測した点を接続し三角形を作成する。なお、ステップＳ４０又はステップＳ７０で計測（図化）した点を追加して接続しても良い。ステップＳ９０〜Ｓ２６０、Ｓ２８０の各処理は、それぞれ図４のステップＳ９０〜Ｓ１１０、Ｓ１４０のそれと同様である。表示結果が満足行くものであれば終了する。
【００４０】
ステップＳ２７０では、上記ステップで表示された相関結果にもとづき追加自動測定を行なうか判断する。自動修正計測する場合は、ステップＳ３００へ移る。ステップＳ３００で、ステップＳ２４０の画像相関処理を行なった後、相関係数値にしきい値を設け、そのしきい値以下の相関係数が含まれる点は選択追加対象からはずす。しきい値に関しては、はじめから例えば０．５以下というように固定にしてもよいし、対象物によって決めても良い。このようにして、比較的相関係数の高い点を選択又は追加自動計測する。追加計測選択点は、相関係数の低い三角形領域の三角形の重心位置、あるいは、相関係数の低い領域の中心（重心）とすることができる。そして、その点近辺の相関係数の高い点、又は、その周辺につき疎密探索画像相関処理を実行すればよい。更に確実にするには、その両者を行なって、どちらも同じ対応点となっていれば、その点を追加測定点として選択する。もし、測量機等で計測して利用していない点が領域内であれば、それら点を自動選択してもよい。
【００４１】
以下に三角形の重心位置及び相関係数の低い領域の重心の求め方について説明する。
まず、三角形の重心は、例えば、図１０（ａ）の三角形Ｅ１（Ｃ１，Ｃ２，Ｃ５）内の相関係数が低かった場合、その三角形の重心Ｃ７（図１１参照）を次の計測点として以下の要領で求める。Ｃ１、Ｃ２、Ｃ５の座標値をＣ１（Ｘ１、Ｙ１、Ｚ１）、Ｃ２（Ｘ２、Ｙ２、Ｚ２）、Ｃ５（Ｘ５、Ｙ５、Ｚ５）、とした場合
Ｘ＝（Ｘ１＋Ｘ２＋Ｘ５）／３      −−−（７）
Ｙ＝（Ｙ１＋Ｙ２＋Ｙ５）／３      −−−（８）
を次の計測選択点Ｃ７のＸＹ座標とする。
【００４２】
あるいは、図１０（ｂ）で示される相関係数の低いエリアの分布からその重心を求めてもよい（例、モーメント法）。モーメント法では、次式により求められたｘｇ、ｙｇを追加計測選択点のＸ、Ｙ座標とする。追加計測選択点は１点でなくとも、複数点あってもよい。
ｘｇ＝｛Σｘ＊｛１−ｃｏｒ（ｘ、ｙ）｝｝／Σ｛１−ｃｏｒ（ｘ、ｙ）｝    −−−（９）
ｙｇ＝｛Σｙ＊｛１−ｃｏｒ（ｘ、ｙ）｝｝／Σ｛１−ｃｏｒ（ｘ、ｙ）｝    −−−（１０）
（ｘｇ、ｙｇ）：重心位置の座標、ｃｏｒ（ｘ、ｙ）：（ｘ、ｙ）座標上の相関値
【００４３】
次にステップＳ２２０へ移る。ステップＳ２２０以降は、上述の追加測定フローと同様の処理であり、さらに、上記Ｓ２２０以降同様の処理を満足出来るまで繰り返す。仮にいくら追加選択計測を行なっても改善されない場合は、ステップＳ２８０へ進む。ステップＳ２８０で、例えば図１１のＥ１０の領域がどうしても良い結果が得られないときは、Ｃ１、Ｃ２、Ｃ７の計測点からなる平面Ｅ１０の平面方程式から標高値を内挿する。
【００４４】
Ｆ．グラフィック表示による修正
図１６に、グラフィック表示についてのフローチャートを示す。
次に、相関処理の結果からグラフィック表示を行い確認、修正する方法について説明する。即ち、図５中ステップＳ１１０（又は図１５中ステップＳ２５０）を以下の処理とすることで実現することができる。
【００４５】
まず、ステップＳ１０２で、求められた各点の三次元座標を接続して三角形を作成する。ステップＳ１０６で、三次元座標をもとに、グラフィック表示画像を作成する。必要に応じ、三次元座標の各点やそれらを接続したもの、等高線、あるいは三角形上に面や画像を貼った鳥瞰図を作成する。三角形上に画像を貼った図は、正射投影画像でも良い。必要なければ（視覚的に判断できれば）、これら処理を施さずとも（例えば三角形を接続しただけのものでも）良い。三次元座標が視覚的にあらわせるものなら何でもよい。これらをステレオモニタあるいはパソコンのモニタ等に適切に判断可能なグラフィック表示画像を表示する。ステップＳ１０６では、作成された画像を表示部４０に表示する。表示方法としては、三角形を重ね合せ表示する、あるいは相関係数を重ね合せ表示する等、状況により判断しやすいものを表示すればよい。
【００４６】
また、ステップＳ１０２〜Ｓ１０６で作成・表示された鳥瞰画像等において、間違っていたり、不自然と思われる領域について追加計測を行なうことができる。図１７に、グラフィック表示についての説明図を示す。例えば、図１７（ａ）に示される三角形を接続したものを表示するだけでも、実際の状況と違っていれば、その表示から悪い個所が判断可能となる。例えば、得られた三次元座標値が、本来、図１７（ａ）のＦ１であるはずなのに、間違えて図１７（ｂ）のＦ１’に移動してしまった場合、明らかに誤りが確認できる。更に図１７（ｂ）に面や画像を貼り付けて表示すれば、実際と違うことが一層明確に強調される。更に、相関係数値と重ね合せ表示すれば、仮に相関係数の低いエリアと悪い領域が一致していれば、より一層修正エリアが明確になる。この場合、図１７（ｂ）のＦ１周辺のエリアをマニュアルあるいは半自動で追加計測すればよい。
【００４７】
Ｇ．探索領域設定方法
次に、探索領域設定部２０による、探索領域、基準データブロック、及び捜索データブロックの設定及びスキャンについて説明する。探索領域の設定方法としては次のように例示され、順に説明する。
１．探索領域の設定：包含四角形
２．探索領域の大きさから各データブロックを設定する
３．基準点からの距離に応じて、各データブロックの位置、移動ステップを設定する
４．基準点からの距離に応じて、各データブロックの大きさを設定する
５．基準点の相関値より各データブロックの大きさを設定する
【００４８】
１．探索領域の設定：包含四角形
図１８に、探索領域の設定についての説明図（１）を示す。
基本的に左右画像の探索領域は、ステップＳ３０により相互標定が行われているので、縦視差がほぼ除去され、図中左右画像の各点ＣＬ１、ＣＲ１は、エピポーララインＰ１上に、ＣＬ２、ＣＲ２はＰ２上に、ＣＬ３、ＣＲ３はＰ３上にある。図に示されるように、測量機により計測した点から作成した三角形を左画像上でＣＬ１、ＣＬ２、ＣＬ３、右画像上でＣＲ１、ＣＲ２、ＣＲ３としたとき、探索領域を各三角形を包含する四角形領域とする。ここで例えば、領域内の左画像Ｔを基準データブロック（テンプレート）として、この画像に対応する位置を右画像から探索したい場合について説明する。この場合、捜索データブロックを含む右画像を捜索領域Ｓとして縦視差が除去されていればエピポーララインＰ３上で探索を行なう。もし、縦視差の除去が不完全であれば、対応するエピポーラライン周辺も探索することとなる。これら処理を、各基準点を含む包含四角形領域内の各ラインで行なう。図のように設定すると、隣接する三角形と重複領域ができるが、その分基準点以外の三角形領域を間違いなく確実に探索できる。
【００４９】
ここで、図１９に探索領域についての説明図を示す。図１８の三角形の内側の領域を探索領域としても良いが、基準点以外の対応点はその三角形領域内にあるかどうか不確実である。従って、図１９に示すように、三角形の領域を含む領域を探索領域と設定すれば効率的となる。
【００５０】
図２０に、探索領域の設定についての説明図（２）を示す。
図２０に示されるように、各基準データブロック（テンプレート）Ｔ１、Ｔ２に対応する捜索データブロックの位置を探索する際、ラインＰ３上の捜索領域にオーバーラップした各テンプレートに対するサーチエリアＳ１、Ｓ２を設けてもよい。ここでは、一例として、基準データブロックＴ１、Ｔ２の中心から所定範囲のエリアをサーチエリアＳ１、Ｓ２としたものである。こうすれば、明らかに各基準点から近い方のエリアが効率的に探索でき、オーバーラップさせることで信頼性が高められる。サーチエリアは各テンプレートに対し複数設定してよい。更に、基準点の右画像の対応点ＣＲ１、ＣＲ２、ＣＲ３の近傍のサーチエリアは小さく、離れるにしたがって大きく設定してもよい（なお、適宜最低値又は最高値を設定してもよい）。また、探索領域内のデータブロックに対する捜索領域（サーチエリア）の大きさは、後述する各データブロックの位置、移動ステップ、大きさによって適宜決めればよい。こうすれば、三角形を含む範囲を効率良く探索することが可能となる。
【００５１】
２．探索領域の大きさから各データブロックを設定する
図２１に、探索領域の大きさの所定についての説明図を示す。
図２１（ａ）に示すように、計測点によって探索領域である各三角形の大きさが異なるため、それぞれの三角形領域にあった大きさのデータブロックとするものである。例えば、前述したように探索領域として設定した包含四角形（図１８参照）を基準に各データブロックを決定する。この外接四角形に対し、１／ｋ  の大きさをデータブロックとする。係数ｋは、あらかじめ固定としてもよいし、求めたい精度と領域の大きさにより適宜決定してもよい。他の例として、図２１（ｂ）に示されるように、三角形の内接円の半径ｒを求め、そのｒあるいは、ｒの１／２、１／３等をデータブロックサイズとしてもよい。ｒは次式によって求められる。
ｒ＝√｛（ｓ−ｏ）（ｓ−ｐ）（ｓ−ｑ）／ｓ｝  −−−（１１）
但し、ｓ＝１／２（ｏ＋ｐ＋ｑ）            −−−（１２）
ｏ、ｐ、ｑは三角形の３辺のそれぞれの長さであり、これらは、３点の計測座標により計算する。
データブロックサイズの求めかたはこれにこだわらず、各三角形の大きさに応じたものであれば良い。
【００５２】
３．基準点からの距離に応じて、各データブロックの位置、移動ステップを設定する
図２２に、探索領域の設定についての説明図（３）を示す。
３．１  基準データブロックに対する捜索データブロックの位置
図２２（ａ）に示されているように、例えば、左画像上のＴ１をテンプレート（基準データブロック）として、それと同一画像を右画像上から探索したい場合、Ｔ１の位置を基準点ＣＬ１、ＣＬ３からの距離ａ、ｂに応じて右画像からエピポーララインＰ３上でＣＲ１、ＣＲ３からａ、ｂに配分した点Ｓ１をサーチエリアの中心として、ライン上を所定の範囲内で探索する。こうすることで、Ｔ１の対応点として推定されるＳ１領域近傍の探索を行なえるので、効率良く短時間で処理が行なえるようになる。
【００５３】
３．２    探索領域内の位置及び移動ステップ
例えば、図２２（ｂ）に示されるように、３．１で設定されたサーチエリアの中心から、両側に離れるほど移動ステップを粗くしていくことにより、探索がさらに効率良く成される。すなわち推定される領域の中心近くは密に、離れるほど粗くしていくことにより、より効率的な探索がなされる。粗くしていく比率は、単純に係数を設定してもよいし、三角形の重心位置（３．２．１参照）あるいは基準点２点と近い方の比からの距離に比例して変えていってもよい（３．２．２参照）。
【００５４】
３．２．１    三角形重心法
三角形の重心位置から各データブロックの位置及び移動ステップを決める方法について説明する。図２３に、三角形の重心とデータブロックについての説明図を示す。
図２３（ａ）に示されているように、三角形の重心位置Ｇは各基準点より等距離となるが、重心以外の点Ｔと基準点までの距離は、重心から基準点までの距離より短くなる距離がある。これより、重心位置をデータブロックの最大のサイズとして、各基準点に近づく程ステップを小さくしていく。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、Ｔ（ｘ、ｙ）としたとき、各点のＴからの距離は、以下のようになる。
Ｔ−Ｃ１：Ｌ１＝√｛（ｘ−ｘ１）２＋（ｙ−ｙ１）２｝    −−−（１３）
Ｔ−Ｃ２：Ｌ２＝√｛（ｘ−ｘ２）２＋（ｙ−ｙ２）２｝    −−−（１４）
Ｔ−Ｃ３：Ｌ３＝√｛（ｘ−ｘ３）２＋（ｙ−ｙ３）２｝    −−−（１５）
また、各点の重心位置Ｇからの距離は、
Ｇ−Ｃ１＝Ｇ−Ｃ２＝Ｇ−Ｃ３＝Ｌｇ
＝√｛（ｘｇ−ｘ１）２＋（ｙｇ−ｙ１）２｝  −−−（１６）
式（１３）〜（１５）で求められた、距離Ｌ１、Ｌ２、Ｌ３の中から最小となるものを求め、その距離と重心までの距離の比を求め、移動ステップを決定する。例えば、重心位置Ｇのステップサイズを最大としてＳＧＴ、最小のステップサイズをＳＭＩＮとすれば、テンプレート位置から最小距離Ｌ（図２３（ａ）ではＬ２）の点のステップサイズは、
ステップサイズ＝Ｌ／Ｌｇ×（ＳＧＴ−ＳＭＩＮ）＋ＳＭＩＮ    −−−（１７）
とする。
【００５５】
３．２．２  近い法の基準点２点の比からの距離法：
各基準点からのＴまでの距離（近い方の２点）に応じて比例配分し、探索する距離に応じてステップサイズを可変とする。例えば、式（１３）〜（１５）の距離の小さい方２つの距離の比より決定する。図２３（ａ）のように、Ｌ２＜Ｌ３＜Ｌ１  のときは、Ｌ２＝Ｌ３  となる点を最大ステップ巾ＳＭＡＸとして、
ステップ＝Ｌ２／Ｌ３×ＳＭＡＸ    −−−（１８）
とすればよい。
尚、探索領域内の位置及び移動ステップの決め方はこの方法にはこだわるものでない。
【００５６】
４．基準点からの距離に応じて、各データブロック、捜索領域の大きさを設定する
４．１  各基準点からデータブロックとする画像位置の距離を求め、その距離の比に応じてデータブロックサイズを可変にする。図２３（ｂ）に示されているように、三角形の重心位置Ｇは各基準点より等距離となるが、重心以外の点Ｔと基準点までの距離は、重心から基準点までの距離より短くなる距離が存在する。これより、重心位置のデータブロックを最大のサイズとして、各基準点に近づく程エリアを小さくしていく。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、Ｔ（ｘ、ｙ）としたとき、各点のＴからの距離は、式（１３）〜（１５）より同様に求められる。また、各点の重心位置Ｇからの距離は、式（１６）より求められる。そして、距離Ｌ１、Ｌ２、Ｌ３の中から最小となるものをみつけ、その距離と重心までの距離の比を求め、データブロックサイズを決定する。
例えば、重心位置ＧのデータブロックサイズをＧＴ、データブロック位置から最小距離Ｌ（図２３（ｂ）ではＬ２）の点のデータブロックサイズをＣＴ（図２３（ｂ）ではＣ２のデータブロック）とすると、
データブロックサイズ＝Ｌ／Ｌｇ×（ＧＴ−ＣＴ）＋ＣＴ    −−−（１９）
とする。
【００５７】
また、データブロックの縦横の巾は、縦視差が標定処理によってすでにほぼ除去されていれば、縦方向は可変とせず一定、横方向だけでも良い。このようにすることで、基準点の近傍は、対応点がそばにあるという前提でデータブロックを小さく、遠く離れるにしたがってそばにあるかどうか不確実となるのでデータブロックを大きくして効率良く確実に対応点を得ることができる。
尚、データブロックサイズの決め方はこの方法にはこだわるものでない。このようにすれば、効率的に速く探索が可能となる。
【００５８】
５．基準点の相関値より各データブロックの大きさを設定する
図２４に、データブロックの大きさについての説明図を示す。
各三角形の頂点（基準点）は、計測された点であるので、すでに対応づけが成されている。従って、この各点における各種テンプレート（基準データブロック）サイズに対する相関係数を求め（図２４（ａ）に示すように）、一番高い相関値を示したテンプレートをテンプレート画像とする。この求められたテンプレートサイズの画像で各基準点に近いエリア内を探索するようにする。各基準点で求まったテンプレートサイズを、その探索する位置に応じて変える。
【００５９】
例えば、一例として、各基準点で求められたサイズと各基準点からの距離（近い方の２点）に応じて比例配分し、探索する距離に応じてサイズを可変とする（図２４（ｂ）参照）。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、テンプレートＴ（ｘ、ｙ）としたとき、求めるテンプレートサイズは、式（１３）〜（１５）より求まる。従って求められた小さい方２つの距離の比より決定する。例えば、図２４（ｂ）のように、Ｌ２＜Ｌ３＜Ｌ１のときは、ＣＬ２とＣＬ３のテンプレートサイズをＬ２：Ｌ３の比より分割、Ｔのサイズとする。
【００６０】
尚、データブロックの縦横の巾は、縦視差が標定処理によってすでにほぼ除去されていれば、縦方向は可変とせず一定、横方向だけでも良い。
【００６１】
【発明の効果】
本発明によると、以上のように、ステレオ画像にて高速かつ信頼性が高い三次元計測を可能にせしめ、更に、計測漏れや計測に間違えがあった場合等も簡単に修正可能な測定装置を提供することができる。そして、本発明によると、災害や緊急性を要する現場等、現地において迅速に計測を有する場合や計測がむずかしい場合等でも、数点の基準点計測とステレオ画像を撮影するだけで高信頼性で高速な三次元計測及び解析を行うことができる測定装置を提供することができる。
【００６２】
また、本発明によると、画像相関処理を効率良く行なうことを可能とし、解析処理の信頼性及び高速化を達成することができる。また、本発明によると、立ち入ることの出来ないような危険な個所等の従来計測不能であった領域においても、高速かつ非接触で三次元計測を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の測定装置の全体ブロック図。
【図２】現地作業についてのフローチャート。
【図３】ステレオ画像の説明図。
【図４】前処理についてのフローチャート。
【図５】オフライン計測についてのフローチャート。
【図６】計測点による三角形の作成についての説明図。
【図７】入力画像とテンプレート画像についての説明図。
【図８】３×３画素における例を示す図。
【図９】ステレオ法についての説明図。
【図１０】相関結果の表示についての説明図。
【図１１】追加測定点についての説明図。
【図１２】三角形の組み替えについての説明図。
【図１３】代表点の三次元座標の自動計測についてのフローチャート。
【図１４】自動計測される代表点についての説明図。
【図１５】オンライン自動計測についてのフローチャート。
【図１６】グラフィック表示についてのフローチャート。
【図１７】グラフィック表示についての説明図。
【図１８】探索領域の設定についての説明図（１）。
【図１９】探索領域についての説明図。
【図２０】探索領域の設定についての説明図（２）。
【図２１】探索領域の大きさの所定についての説明図。
【図２２】探索領域の設定についての説明図（３）。
【図２３】三角形の重心とデータブロックについての説明図。
【図２４】データブロックの大きさについての説明図。
【符号の説明】
１  測量機
２  測定装置
３  カメラ
１０  基準点捜索部
２０  探索領域設定部
３０  演算部
４０  表示部
５０  測定部
６０  バス
【図１】
0004441050.tif 000003
【図２】
0004441050.tif 000004
【図３】
0004441050.tif 000005
【図４】
0004441050.tif 000006
【図５】
0004441050.tif 000007
【図６】
0004441050.tif 000008
【図７】
0004441050.tif 000009
【図８】
0004441050.tif 000010
【図９】
0004441050.tif 000011
【図１０】
0004441050.tif 000012
【図１１】
0004441050.tif 000013
【図１２】
0004441050.tif 000014
【図１３】
0004441050.tif 000015
【図１４】
0004441050.tif 000016
【図１５】
0004441050.tif 000017
【図１６】
0004441050.tif 000018
【図１７】
0004441050.tif 000019
【図１８】
0004441050.tif 000020
【図１９】
0004441050.tif 000021
【図２０】
0004441050.tif 000022
【図２１】
0004441050.tif 000023
【図２２】
0004441050.tif 000024
【図２３】
0004441050.tif 000025
【図２４】
0004441050.tif 000026