(57)【要約】【課題】正確なステレオマッチングを可能ならしめる。【解決手段】ＴＬＳ（Ｔｈｒｅｅ　ｌｉｎｅ　ｓｅｎｓｏｒ）で地上面を走査して、都市地上面Ａの前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを得る。それぞれの画像をテクスチャ解析して複数の領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋに分割する。領域Ｒｎｋ上の特徴点を抽出し、前方視画像Ｐｆにおけるこの特徴点に対する視線ベクトルＶｆを算出する。レーザスキャナにより取得した都市地上面Ａの三次元データと視線ベクトルＶｆとの交点の有無を調査する。交点が存在しないことを確認して、領域Ｒｎｋをエピポーラライン上に投影して領域マッチングを行う。さらに、領域Ｒｆｋ、Ｒｎｋ近傍の直線エッジを抽出する。領域Ｒｆｋ、Ｒｎｋの近傍にマッチング範囲を絞って直線エッジのマッチングを行う。このとき、領域Ｒｆｋ、Ｒｎｋそれぞれと直線エッジとの位置関係に基づいて対応する直線エッジを検索する。【選択図】　図９
2004030461.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいて前記オブジェクト群の三次元データを取得するステレオマッチング方法を行う際に、前記ステレオ画像から抽出したエッジをマッチングするエッジマッチング方法であって、
各前記ステレオ画像を複数の領域に分割する領域分割ステップと、
一つの前記ステレオ画像における前記領域と、他の前記ステレオ画像における前記領域とをマッチングする領域マッチングステップと、
前記領域近傍のエッジを抽出するエッジ抽出ステップと、
マッチングされた前記領域それぞれの近傍におけるエッジ同士をマッチングするエッジマッチングステップとを含む
ことを特徴とするエッジマッチング方法。
【請求項２】
前記領域マッチングステップにおいて、
予め取得された前記領域の三次元データに基づいて、前記マッチングがなされる
ことを特徴とする請求項１記載のエッジマッチング方法。
【請求項３】
前記領域マッチングステップにおいて、
前記領域の面積と形状とのうち少なくとも一方に基づいて、前記マッチングがなされる
ことを特徴とする請求項１記載のエッジマッチング方法。
【請求項４】
前記領域マッチングステップにおいて、更に、
前記領域の濃度分布に基づいて、前記マッチングがなされる
ことを特徴とする請求項２又は３に記載のエッジマッチング方法。
【請求項５】
前記エッジ抽出ステップにおいて抽出されるエッジが直線エッジであり、
前記エッジマッチングステップにおいて、直線エッジの長さ、直線エッジの傾き及び直線エッジ両側の平均濃度に基づいて、前記マッチングがなされる
ことを特徴とする請求項１ないし４のいずれか１項に記載のエッジマッチング方法。
【請求項６】
互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいて前記オブジェクト群の三次元データを取得するステレオマッチング方法において、
一つの前記ステレオ画像から特徴点を抽出する特徴点抽出ステップと、
他の前記ステレオ画像における投影中心点の三次元座標を始点とし、予め取得された前記特徴点の三次元座標を終点とする視線ベクトルを算出する視線ベクトル算出ステップと、
前記視線ベクトルと、予め取得された前記オブジェクト群の三次元データとの交点の存在から、前記特徴点が他の前記ステレオ画像における隠蔽部にあることを判断する隠蔽部判断ステップとを含み、
前記隠蔽部判断ステップで前記特徴点が他の前記ステレオ画像における隠蔽部にあると判断された場合に、一つの前記ステレオ画像と、更に他の前記ステレオ画像とを用いて前記特徴点の三次元座標を算出する
ことを特徴とするステレオマッチング方法。
【請求項７】
請求項１ないし５のいずれか１項に記載のエッジマッチング方法をコンピュータに実行させる
ことを特徴とするエッジマッチングプログラム。
【請求項８】
請求項７記載のエッジマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
請求項６記載のステレオマッチング方法をコンピュータに実行させる
ことを特徴とするステレオマッチングプログラム。
【請求項１０】
請求項９記載のステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、エッジマッチング方法、エッジマッチングプログラム、エッジマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に「記録媒体」という。）、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来のステレオマッチング法は、一つのステレオ画像中のエッジをマッチングするにあたって、他のステレオ画像で検出されたエッジ群全体から対応するエッジを検索するものであった。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のステレオマッチング法には次のような問題点があった。すなわち、一般に画像中には類似のエッジが存在するので、正確なエッジマッチングするのが困難である。また、一つのステレオ画像中の特徴点が他のステレオ画像における隠蔽部にある（他のステレオ画像を撮像する際の特徴点に対する視線ベクトルがオブジェクトに遮られる）ために、特徴点をマッチングできないことがある。その結果、正確なステレオマッチングができなくなってしまうという問題点があった。
【０００４】
本発明は、上記問題を解決するためになされたものであり、正確なステレオマッチングを可能ならしめるエッジマッチング方法、ステレオマッチング方法等を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明のエッジマッチング方法は、互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいてオブジェクト群の三次元データを取得するステレオマッチング法を行う際に、ステレオ画像から抽出したエッジをマッチングするエッジマッチング方法であって、各ステレオ画像を複数の領域に分割する領域分割ステップと、一つのステレオ画像における領域と、他のステレオ画像における領域とをマッチングする領域マッチングステップと、領域近傍のエッジを抽出するエッジ抽出ステップと、マッチングされた領域それぞれの近傍におけるエッジ同士をマッチングするエッジマッチングステップとを含むことを特徴とする。
【０００６】
画像中で検出される数が少なくかつそれぞれが際立った特徴量を有する領域同士のマッチングは、エッジマッチングと比較して少ない計算量でより正確に行うことができる。このような領域マッチングの結果を利用してエッジマッチングの範囲を絞ることにより、正確なエッジマッチングを可能ならしめる。また、エッジマッチングの範囲を絞ることにより、計算量も軽減することができる。さらに、マッチングされた領域との位置関係を利用してエッジマッチングすることで更にエッジマッチングの正確性を向上させることができる。
【０００７】
本発明のエッジマッチング方法は、領域マッチングステップにおいて、予め取得された領域の三次元データに基づいて、マッチングがなされることが好適である。
【０００８】
また、本発明のエッジマッチング方法は、領域マッチングステップにおいて、領域の面積と形状とのうち少なくとも一方に基づいて、マッチングがなされることが好適である。
【０００９】
また、本発明のエッジマッチング方法は、領域マッチングステップにおいて、更に、領域の濃度分布に基づいて、マッチングがなされることが好適である。
【００１０】
ステレオマッチング法以外の方法で取得された領域の三次元データ又は領域の面積及び形状に基づいてマッチングがなされることにより、大まかな領域マッチングを少ない計算量で行うことができる。これと領域の濃度に基づく領域マッチングとを組み合わせた多段階マッチングを行うことにより、マッチングの正確性を向上させることができる。
【００１１】
本発明のエッジマッチング方法は、エッジ抽出ステップにおいて抽出されるエッジが直線エッジであり、エッジマッチングステップにおいて、直線エッジの長さ、直線エッジの傾き及び直線エッジ両側の平均濃度に基づいて、マッチングがなされることが好適である。
【００１２】
直線エッジをマッチングすることにより、対応するエッジを検索するのが容易になる。また、直線エッジの長さ、直線エッジの傾き及び直線エッジ両側の平均濃度に基づいてマッチングがなされることにより、より正確にエッジマッチングすることができる。
【００１３】
上記課題を解決するために、本発明のステレオマッチング方法は、互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいてオブジェクト群の三次元データを取得するステレオマッチング法において、一つのステレオ画像から特徴点を抽出する特徴点抽出ステップと、他のステレオ画像における投影中心点の三次元座標を始点とし、予め取得された特徴点の三次元座標を終点とする視線ベクトルを算出する視線ベクトル算出ステップと、視線ベクトルと、予め取得されたオブジェクト群の三次元データとの交点の存在から、特徴点が他のステレオ画像における隠蔽部にあることを判断する隠蔽部判断ステップとを含み、隠蔽部判断ステップで特徴点が他のステレオ画像における隠蔽部にあると判断された場合に、一つのステレオ画像と、更に他のステレオ画像とを用いて特徴点の三次元座標を算出することを特徴とする。
【００１４】
他のステレオ画像における特徴点に対する視線ベクトルと、ステレオマッチング法以外の方法で取得された領域の三次元データとの交点の有無を調査することにより、機械的に特徴点がこのステレオ画像における隠蔽部にあることを判断できる。特徴点が隠蔽部にある場合には更に他のステレオ画像を用いて特徴点のステレオマッチングをすることにより、正確なエッジマッチングを可能ならしめる。
【００１５】
【発明の実施の形態】
以下、添付図面を参照して、本発明のエッジマッチング方法、エッジマッチングプログラム、エッジマッチングプログラムを記録した記録媒体、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録した記録媒体の好適な実施形態について詳細に説明する。
【００１６】
まず、本実施形態のエッジマッチング方法及びステレオマッチング方法を適用した三次元鳥瞰データ取得方法Ａを説明する。三次元鳥瞰データ取得方法Ａは、都市上空を飛行する航空機から撮像した都市地上面のステレオ画像から、都市地上面の三次元データを取得するものである。ステレオ画像の撮像装置としては、ＴＬＳ（Ｔｈｒｅｅ　ｌｉｎｅ　ｓｅｎｓｏｒ）が用いられる。ＴＬＳとは、３つのリニアＣＣＤをそれぞれが同一の飛行方向線上に配置されるように航空機に搭載したものであり、３つのリニアＣＣＤが、それぞれ、都市地上面の前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像する。すなわち、ＴＬＳを走査することにより、同一範囲の都市地上面を互いに異なる方向から撮像したステレオ画像（前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂ）を得ることができる（図９を参照）。三次元鳥瞰データ取得方法Ａでは、直下視画像Ｐｎと前方視画像Ｐｆの組又は直下視画像Ｐｎと後方視画像Ｐｂの組を用いてステレオマッチングすることにより、撮像された都市地上面の三次元データを取得する。以下にその手順を説明する。
【００１７】
図１及び２は、三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示すフローチャートである。まず、ＴＬＳにより都市地上面Ａの前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像すると共に、それぞれの撮像時におけるリニアＣＣＤの投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する（Ｓ１０２）。投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する方法としては、ＧＰＳなどを用いることができる。なお、以下に現れる三次元座標は、特段の説明がない限り、同一の座標系に基づいているものとする。
【００１８】
前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂのそれぞれについて、テクスチャ解析をした上、複数の領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋ；ｋ＝１〜ｍに分割する（Ｓ１０４）。テクスチャ解析は、画像中で巨視的に濃度（画素値）が均一に分布している部分を検出することにより行われる。その具体的手法としては、領域拡張法、レベルライジング法などがある。
【００１９】
領域Ｒｎｋ；ｋ＝ｘ近傍の直線エッジを抽出する（Ｓ１０６）。ここで、直線エッジ抽出の詳細な手順を説明する。図３は、直線エッジ抽出の詳細な手順を示すフローチャートである。まず、画像中のエッジ（濃度変化の激しい部分であって、変化部分が線状に連なるところ）を検出する（Ｓ３０２）。その具体的手法としては、Ｃａｎｎｙ法などがある。なお、直線エッジとは、概ね直線上に並ぶ変化部分に相当する画素の連なりにおいて、直線からの微小なずれを修正したものをいうものとする。
【００２０】
検出されたエッジに直線テンプレートを当て嵌める（Ｓ３０４）。図８は、直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。直線テンプレートが当て嵌められる型枠は３ピクセル×３ピクセルで構成され、型枠中で変化部分に相当する画素が線状に連なっていると仮定した場合、直線テンプレートとしては、２２．５°ずつ角度が異なる８つの方向性のものλ１〜８が適用される。図８に示す型枠と直線テンプレートλ１〜８との対応関係に従って、型枠ごとに直線テンプレートλ１〜８が当て嵌められる。
【００２１】
当て嵌めた直線テンプレートで表現された直線の統合（直線化修正）が行われる（Ｓ３０６）。ここでは、隣り合う二つの直線テンプレートが角度差２２．５°でずれている場合に、かかる直線テンプレートで表現された直線を統合する。
【００２２】
領域Ｒｎｋ；ｋ＝ｘ近傍の直線エッジ群における特徴点を抽出する（Ｓ１０８）。具体的には、直線エッジの両端を特徴点とする。
【００２３】
各特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する（Ｓ１１０）。ここで、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を説明する。図４は、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【００２４】
まず、レーザスキャンにより都市地上面の三次元データ（３Ｄレーザデータ曲面）を算出する（Ｓ４０２）。図１０は、レーザスキャナが実行される様子を示す図である。上空を飛行する航空機から地上面のランダムポイントに向けてレーザ光を発し、ランダムポイントで散乱したレーザ光が戻ってくるまでの時間から、航空機に搭載されたレーザスキャナ装置とランダムポイントとの距離を算出し、さらにレーザ光を照射する際のレーザスキャナ装置の三次元座標及びレーザ光の照射角度からランダムポイントの三次元座標を算出する。この処理を繰り返しつつ、地上面を走査することにより地上面の三次元データを得ることができる。ただし、一般に、ここで得られる三次元座標はステレオマッチング法に比べて間隔の大きい離散値であり、この離散値を補間して地上面の大まかな三次元データ（３Ｄレーザデータ曲面）を得る。
【００２５】
前方視画像Ｐｆを撮像する際の特徴点に対する視線ベクトルＶｆを算出する（Ｓ４０４）。具体的には、前方視画像Ｐｆの投影中心点Ｃｆの三次元座標を始点とし、レーザスキャナで得られる特徴点の三次元座標を終点とするベクトルを算出し、これを視線ベクトルＶｆとする。
【００２６】
都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとに交点があるか判断する（Ｓ４０６）。図９は、都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。ここで交点が存在することは、前方視画像Ｐｆの投影中心点Ｃｆから特徴点を見たときに、視線が他の地上物によって遮られることを意味する。そこで、交点があるときには、特徴点は前方視画像Ｐｆの隠蔽部にあると判断する（Ｓ４０８）。他方、交点がないときには、特徴点は前方視画像Ｐｆの隠蔽部にないと判断する（Ｓ４０９）。Ｓ１１０において、各特徴点について以上の処理を繰り返す。
【００２７】
いずれの特徴点も前方視画像Ｐｆの隠蔽部にないと判断されたときには、領域Ｒｎｋを前方視画像Ｐｆに投影して領域マッチングを行う（Ｓ１１２）。他方、いずれかの特徴点が前方視画像Ｐｆの隠蔽部にあると判断されたときには、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択し、領域Ｒｎｋを後方視画像Ｐｂに投影して領域マッチングを行う（Ｓ１１３）。片方のステレオ画像における隠蔽の存在は正確なステレオマッチングを妨げる原因の一つとなる。しかし、本実施形態では、上記のように都市地上面の三次元データ（３Ｄレーザデータ曲面）と視線ベクトルＶｆとの交点の有無を調査することにより、機械的に隠蔽の存在を検出することができる。さらに、前方視画像Ｐｆに隠蔽の存在が検出されたとき、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択することでステレオマッチングの正確性が向上する。
【００２８】
以下にＳ１１２、２０２、２０４、２０６及び２０８の処理（前方視画像Ｐｆをステレオ画像に選択したときの処理）を説明するが、これらの処理はＳ１１３、２０３、２０５、２０７及び２０９の処理（後方視画像Ｐｂをステレオ画像に選択したときの処理）と同一であるので、Ｓ１１３、２０３、２０５、２０７及び２０９の説明は省略する。Ｓ１１２における領域マッチングの詳細な手順を説明する。図５は、領域マッチングの詳細な手順を示すフローチャートである。
【００２９】
まず、領域Ｒｎｋ中心点の前方視画像Ｐｆ上におけるエピポーララインを算出する（Ｓ５０２）。エピポーララインとは、対象画像とエピポーラ面（対象画像の投影中心点及び対象点が切り出された画像における対象点に対する視線ベクトルを含む面）との交線を指す。Ｓ５０２においては次のようにしてエピポーララインが算出される。（１）直下視画像Ｐｎ上における領域Ｒｎｋ中心点の二次元座標と投影中心点Ｃｎとの相対位置関係から、領域Ｒｎｋ中心点の三次元座標を算出する。（２）領域Ｒｎｋ中心点、投影中心点Ｃｎ及び投影中心点Ｃｆの三次元座標を含む平面の三次元データを算出し、これをエピポーラ面とする。（３）投影中心点Ｃｆと前方視画像Ｐｆとの相対位置関係から、前方視画像Ｐｆの三次元データを算出する。（４）エピポーラ面と前方視画像Ｐｆとの交線の三次元データを算出し、これをエピポーララインとする。
【００３０】
エピポーラライン上に領域Ｒｎｋ中心点が乗るように、領域Ｒｎｋを前方視画像Ｐｆに投影する（Ｓ５０４）。
【００３１】
領域Ｒｎｋ中心点をエピポーララインに沿って移動させつつ、領域Ｒｎｋとエピポーラライン上の各領域Ｒｆｋとの領域形状マッチング係数Ｒを算出する（Ｓ５０６）。領域形状マッチング係数Ｒは、二つの領域の大きさ及び形状の類似性並びに二つの領域の重なり度合いを示す相関係数であり、次の式（１）に表される。
【数１】
2004030461.tif 000003
Ｎｎ：領域Ｒｎｋが占める画素数
Ｎｆ：領域Ｒｆｋが占める画素数
Ｎｏ：領域Ｒｎｋと領域Ｒｆｋとがオーバーラップする範囲の画素数
【００３２】
式（１）に表されるように、領域形状マッチング係数Ｒの分母をＮｎ（領域Ｒｎｋが占める画素数）でなく、Ｎｎ（領域Ｒｎｋが占める画素数）とＮｆ（領域Ｒｆｋが占める画素数）との積とすることにより、この相関係数が、領域Ｒｎｋにおけるオーバーラップの程度だけを示すものではなく、領域Ｒｆｋにおいてどれだけの程度でオーバーラップされているかも示すものとなる。
【００３３】
図１１は、領域形状マッチング係数Ｒの算出結果の例を示す図である。図１１において、ｘ方向にエピポーラライン上にある各領域Ｒｆｋの領域番号ｋを示す。ｙ軸方向に領域Ｒｎｋ中心点のエピポーラライン上における位置を示す。ｚ軸方向に領域形状マッチング係数Ｒを示す。それぞれの領域番号ｋについて領域形状マッチング係数Ｒのピークが存在するが、そのピークのうち最も高いピークを検出する。最も高いピークを有する領域Ｒｆｋが領域Ｒｎｋに対応すると判断し、かつこのピークが現れるエピポーラライン上の位置に領域Ｒｎｋ中心点があるときに領域Ｒｎｋと領域Ｒｆｋがマッチングされると判断する（Ｓ５０８）。このように、領域中心点のエピポーラライン上にマッチング範囲を限定することにより、計算量を軽減させると共にマッチングの正確性を向上させることができる。また、領域形状マッチング係数Ｒを用いた領域マッチング（領域の面積及び形状に基づく領域マッチング）により、大まかな領域マッチングを少ない計算量で行うことができる。
【００３４】
Ｓ５０８で検出された最大ピークが現れるエピポーラライン上の位置の付近で領域Ｒｎｋを動かしつつ、投影した領域Ｒｎｋとこれと重なった領域との画素値相関係数Ｓを算出する（Ｓ５１０）。画素値相関係数Ｓは、二つの領域における濃度分布の類似性を示す相関係数であり、次の式（２）に表される。
【数２】
2004030461.tif 000004
ｌ：領域Ｒｎｋの前方視画像Ｐｆにおけるｘ方向の大きさ（ピクセル）
ｍ：領域Ｒｎｋの前方視画像Ｐｆにおけるｙ方向の大きさ（ピクセル）
ｆ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における前方視画像Ｐｆの画
素値
ｎ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における領域Ｒｎｋの画素値
【００３５】
画素値相関係数Ｓのピークを検出し、このときの領域Ｒｎｋの位置において領域マッチングなされたものとする（Ｓ５１２）。このように、多段階の領域マッチングを行うことにより、マッチングの正確性を向上させることができる。また、画素値相関係数Ｓを用いた領域マッチング（領域の濃度分布に基づく領域マッチング）により、投影した領域とこれに対応する領域とを正確に重ね合わせることができる。
【００３６】
領域Ｒｆｋ近傍の直線エッジを抽出する（Ｓ２０２）。直線エッジ抽出の具体的手順はＳ１０６と同一である。
【００３７】
Ｓ１０６で抽出された領域Ｒｎｋ近傍の直線エッジを前方視画像Ｐｆに投影し、直線エッジマッチングを行う（Ｓ２０４）。ここで、直線エッジマッチングの詳細な手順を説明する。図７は、直線エッジマッチングの詳細な手順を示すフローチャートである。まず、投影された直線エッジと方向性の近い直線エッジを検索する（Ｓ７０２）。ただし、検索される範囲は、Ｓ１１２でマッチングされた領域の近傍周囲に限定される。
【００３８】
さらに、投影された直線エッジと長さの近い直線エッジを絞り込み検索する（Ｓ７０４）。
【００３９】
マッチングされた領域Ｒｆｋ、領域Ｒｎｋそれぞれとの位置関係に基づき対応する直線エッジを絞り込み検索する（Ｓ７０６）。
【００４０】
直線エッジ両側の平均濃度に基づき対応する直線エッジを絞り込み検索する（Ｓ７０８）。このように、Ｓ１１２でマッチングされた領域の近傍にマッチング範囲を限定することにより、すなわち領域マッチングを行った後に領域マッチングの結果を利用してエッジマッチングの範囲を限定することにより、少ない計算量で正確にマッチングすることができる。また、エッジを直線化修正した上でエッジマッチングすることにより、対応するエッジを検索するのが容易になる。加えて、多段階の直線エッジマッチングを行うことにより、マッチングの正確性を向上させることができる。
【００４１】
Ｓ１０８と同様に領域Ｒｆｋ近傍の直線エッジの特徴点を抽出する（Ｓ２０６）。
【００４２】
Ｓ１０８及びＳ２０６で得られた直線エッジの特徴点のマッチングをする（Ｓ２０８）。
【００４３】
マッチングされた各特徴点の三次元座標を算出する（Ｓ２１０）。ここで、前方視画像Ｐｆと直下視画像Ｐｎにおいてマッチングされた特徴点の三次元座標算出方法を説明する。図１２は、ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。理論的には前方視画像Ｐｆにおける特徴点に対する視線ベクトルと、直下視画像Ｐｎにおける特徴点に対する視線ベクトルとの交点の三次元座標を算出することにより特徴点の三次元座標を得ることができる。しかし、現実には投影中心点の測定誤差などの原因により視線ベクトルが交わらないことがある。そこで、視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点を特徴点の三次元位置とする。
【００４４】
以下に、特徴点の三次元座標を算出する具体的手順を示す。（１）まず、前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｆ（Ｘｆｐ，Ｙｆｐ，Ｚｆｐ）を算出する。視線ベクトルＥｆは、次の式（３）に表される。
【数３】
2004030461.tif 000005
（Ｘｆｃ，Ｙｆｃ，Ｚｆｃ）：投影中心点Ｃｆの三次元座標
（Ｖｆｘ，Ｖｆｙ，Ｖｆｚ）：前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトル
ｔｆ：パラメータ
【００４５】
（２）直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｎ（Ｘｎｐ，Ｙｎｐ，Ｚｎｐ）を算出する。視線ベクトルＥｎは、次の式（４）に表される。
【数４】
2004030461.tif 000006
（Ｘｎｃ，Ｙｎｃ，Ｚｎｃ）：投影中心点Ｃｎの三次元座標
（Ｖｎｘ，Ｖｎｙ，Ｖｎｚ）：直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトル
ｔｎ：パラメータ
【００４６】
（３）視線ベクトル間の距離が最も近くなるときのパラメータｔｆ、ｔｎを算出し、これから視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの三次元座標を得る。
【００４７】
（４）視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点の三次元座標を算出する。Ｓ２１０において以上の計算を繰り返して各特徴点の三次元座標を算出する。
【００４８】
Ｓ２０８の結果から直線エッジの三次元データを取得する。このようにして三次元線分群が得られる（Ｓ２１２）。
【００４９】
領域Ｒｎｋの三次元データを算出する（Ｓ２１４）。その具体的方法としては、直線エッジの特徴点と領域Ｒｎｋとを紐付ける方法、あるいは領域Ｒｎｋの領域全体、縁部又は角部を領域Ｒｎｋの特徴点とし、ステレオマッチングによりこの特徴点の三次元座標を算出する方法などが考えられる。ここで算出する領域Ｒｎｋの三次元データは大まかなものでよい。
【００５０】
すべての領域ＲｎｋについてＳ１０８からＳ２１４までの処理が完了した場合にはＳ２２２に進む。未処理の領域Ｒｎｋが存在する場合には領域Ｒｎｋ；ｋ＝ｘ＋１近傍の直線エッジを抽出した上で（Ｓ２１５）、Ｓ１０８に戻る（Ｓ２１６）。
【００５１】
上記の処理で得られた三次元線分群及び領域の三次元データを３Ｄワークスペース（三次元座標系）に投影する（Ｓ２１８）。
【００５２】
領域の三次元データを覆うように三次元線分群を再構成する（Ｓ２２０）。三次元線分群は上記の処理により高い精度で求めることができるが、都市の鳥瞰図を得る上では意味のないものも含まれている。しかし、領域の三次元データを参考にして三次元線分群を再構成することにより、オブジェクトとして意味のあるデータを生成することができる。
【００５３】
再構成された三次元線分群で構成される領域に建物屋上面のテンプレートを当て嵌め、建物屋上面を設定する（Ｓ２２２）。
【００５４】
得られた建物屋上面と地表面とつなぐ側壁を形成させることによりソリッド化して、建物セグメントを得る（Ｓ２２４）。
【００５５】
近接する建物セグメントをクラスタリングして、建物オブジェクトを得る（Ｓ２２６）。以上の手順を踏むことにより、都市地上面Ａの三次元データを得ることができる。
【００５６】
次に、領域マッチングの別の実施形態を説明する。図６は、領域マッチング（Ｓ１１２の処理）の別の実施形態における手順を示すフローチャートである。まず、レーザスキャナの測定結果から領域Ｒｆｋ及び領域Ｒｎｋの平均高さを算出する（Ｓ６０２）。上記に説明したレーザスキャナをＴＬＳに近接して設置することにより、前方視画像Ｐｆ、直下視画像Ｐｎ上のランダムポイントの高さ情報を得ることができる。
【００５７】
前方視画像Ｐｆにおける領域Ｒｎｋ中心点のエピポーララインを算出する（Ｓ６０４）。
【００５８】
領域Ｒｎｋの平均高さと、エピポーラライン上の領域Ｒｆｋの平均高さとを比較して領域Ｒｎｋに対応する領域Ｒｆｋを検出する（Ｓ６０６）。
【００５９】
Ｓ６０６で検出された領域Ｒｆｋと重なるように領域Ｒｎｋを前方視画像Ｐｆに投影する。さらに、その周辺で領域Ｒｎｋを移動させつつ、領域Ｒｎｋとこれに対応する領域Ｒｆｋとの画素値相関係数Ｓを算出する（Ｓ６０８）。
【００６０】
画素値相関係数Ｓのピークを検出し、このときの領域Ｒｎｋとこれに対応する領域Ｒｆｋとの位置関係において領域マッチングなされたものとする（Ｓ６１０）。このように、領域形状マッチング係数Ｒを用いた大まかな領域マッチングに代えて、レーザスキャナの測定結果で得られた領域の高さ情報に基づいて大まかな領域マッチングを行っても、Ｓ５０２〜５１２の領域マッチング方法と同様の効果を得ることができる。
【００６１】
なお、上記の実施形態では、上空から地上に向けてＴＬＳ走査するものであったが、建物オブジェクト群の側方から水平方向にステレオ画像の撮像を行うことによって建物オブジェット群側壁の三次元データを取得し、これから都市地上面の三次元データを取得してもよい。
【００６２】
次に、本発明の実施形態に係るエッジマッチングプログラム３及びエッジマッチングプログラム３を記録した記録媒体１３について説明する。図１３は、エッジマッチングプログラム３及びエッジマッチングプログラム３を記録した記録媒体１３の構成図である。エッジマッチングプログラム３は、その構成要素として、領域分割モジュール３２、領域マッチングモジュール３４、エッジ抽出モジュール３６及びエッジマッチングモジュール３８を含んで構成される。エッジマッチングプログラム３を後述のコンピュータに適用することにより、上記のエッジマッチング方法が実行される。
【００６３】
次に、本発明の実施形態に係るステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４について説明する。図１４は、ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。ステレオマッチングプログラム４は、その構成要素として、特徴点抽出モジュール４２、視線ベクトル算出モジュール４４、隠蔽部判断モジュール４６及びステレオ画像選択モジュール４８を含んで構成される。ステレオマッチングプログラム４を後述のコンピュータに適用することにより、上記のステレオマッチング方法が実行される。
【００６４】
図１５は、エッジマッチングプログラム３又はステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。コンピュータ５は、物理的構成要素として、中央処理装置（ＣＰＵ）５２、オペレーティングシステムを常駐させた作業用メモリ５４、読み取り装置５６、ディスプレイ５７及び入力装置５８を備える。
【００６５】
記録媒体１３又は記録媒体１４が読み取り装置５６に挿入されると、記録媒体１３又は記録媒体１４に記録された情報が読み取り装置５６からアクセス可能となり、エッジマッチングプログラム３又はステレオマッチングプログラム４が、コンピュータ５によって実行される。
【００６６】
【発明の効果】
以上説明したように、本発明により、正確なステレオマッチングを可能ならしめるエッジマッチング方法、ステレオマッチング方法等を提供することができる。
【図面の簡単な説明】
【図１】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第１のフローチャートである。
【図２】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第２のフローチャートである。
【図３】直線エッジ抽出の詳細な手順を示すフローチャートである。
【図４】特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【図５】領域マッチングの詳細な手順を示すフローチャートである。
【図６】領域マッチングの別の実施形態における手順を示すフローチャートである。
【図７】直線エッジマッチングの詳細な手順を示すフローチャートである。
【図８】直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。
【図９】都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。
【図１０】レーザスキャナが実行される様子を示す図である。
【図１１】領域形状マッチング係数Ｒの算出結果の例を示す図である。
【図１２】ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。
【図１３】エッジマッチングプログラム３及びエッジマッチングプログラム３を記録した記録媒体１３の構成図である。
【図１４】ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。
【図１５】エッジマッチングプログラム３又はステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。
【符号の説明】
１３、１４…記録媒体、３…エッジマッチングプログラム、３２…領域分割モジュール、３４…領域マッチングモジュール、３６…エッジ抽出モジュール、３８…エッジマッチングモジュール、４…ステレオマッチングプログラム、４２…特徴点抽出モジュール、４４…視線ベクトル算出モジュール、４６…隠蔽部判断モジュール、４８…ステレオ画像選択モジュール、５…コンピュータ、５２…ＣＰＵ、５４…作業用メモリ、５６…読み取り装置、５７…ディスプレイ、５８…入力装置。
【図１】
2004030461.tif 000007
【図２】
2004030461.tif 000008
【図３】
2004030461.tif 000009
【図４】
2004030461.tif 000010
【図５】
2004030461.tif 000011
【図６】
2004030461.tif 000012
【図７】
2004030461.tif 000013
【図８】
2004030461.tif 000014
【図９】
2004030461.tif 000015
【図１０】
2004030461.tif 000016
【図１１】
2004030461.tif 000017
【図１２】
2004030461.tif 000018
【図１３】
2004030461.tif 000019
【図１４】
2004030461.tif 000020
【図１５】
2004030461.tif 000021