(57)【要約】【課題】ステレオ視により三次元情報を抽出する際、同一センサで複数回の撮影を行わずに三次元情報を抽出することができ、また抽出に使用するパラメータ設定の自動化を容易に行えるようにする。【解決手段】パラメータ設定手段７からは、ＳＡＲセンサでの収集位置Ａ１と観測エリア３の距離、光学センサでの収集位置１３と観測エリア３の距離、ＳＡＲセンサでの収集位置Ａ１と光学センサでの収集位置Ｂ２の距離等の各種観測パラメータと、収集位置ＡからのＳＡＲ画像４と収集位置Ｂからの光学センサ画像５中に存在する複数の特徴点の対応情報をオペレータが手動入力する。画像処理手段８では、２枚の画像４、５中の複数の特徴点について、パラメータ設定手段７から与えられた情報を元にした三角関数演算を行い、２枚の二次元画像４、５中の特徴点の三次元情報を抽出する。【選択図】　　　　図４
2004021427.tif 000002
【特許請求の範囲】
【請求項１】
同一観測エリアを異なる収集位置から観測して得た複数の二次元画像を用い、ステレオ視による三次元情報を抽出する装置において、
上記二次元画像としてＳＡＲ画像と光学センサ画像を入力され、これらに関する各種観測パラメータと両画像に存在する複数の特徴点の対応情報を与えるパラメータ設定手段と、
このパラメータ設定手段から与えられた情報に基づき、ステレオ視による所要の三次元情報を得られるように、上記ＳＡＲ画像と光学センサ画像の複数の特徴点について三角関数演算を行う画像処理手段とを
備えたことを特徴とするステレオ視による三次元情報抽出装置。
【請求項２】
上記光学センサ画像の光学レンズによる歪を光学画像歪補正手段により補正して上記パラメータ設定手段に入力するようにしたことを特徴とする請求項１記載のステレオ視による三次元情報抽出装置。
【請求項３】
上記ＳＡＲ画像と光学センサ画像の輝度を輝度補正手段により補正して上記パラメータ設定手段に入力するようにしたことを特徴とする請求項１または２記載のステレオ視による三次元情報抽出装置。
【請求項４】
上記ＳＡＲ画像と光学センサ画像の特徴点を抽出し、輪郭線を出力するエッジ検出手段を介して上記ＳＡＲ画像と光学センサ画像をパラメータ設定手段に入力するようにしたことを特徴とする請求項１ないし３のいずれか一つに記載のステレオ視による三次元情報抽出装置。
【請求項５】
上記エッジ検出手段と上記パラメータ設定手段との間に輪郭線を比較して形状を認識するパターン照合手段を挿入したことを特徴とする請求項４記載のステレオ視による三次元情報抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数の二次元画像から三次元情報を抽出するステレオ視による三次元情報抽出装置に関するものである。
【０００２】
【従来の技術】
従来から、航空機等に搭載した複数のセンサで取得した二次元画像から、画像中の構造物の高さや標高データ等の高度情報を抽出し三次元情報を取得するために、図５に示すような装置が用いられている。
図５において、１はＳＡＲ（Ｓｙｎｔｈｅｔｉｃ　Ａｐｅｒｔｕｒｅ　Ｒａｄａｒ）センサでの収集位置Ａ、１３はＳＡＲセンサでの収集位置Ｃ、３は観測エリア、４は収集位置ＡからのＳＡＲ画像、１４は収集位置ＣからのＳＡＲ画像、７はパラメータ設定手段、８は画像処理手段、９は観測エリアの三次元情報である。
【０００３】
上記装置において、三次元情報は、２枚のＳＡＲ画像を用いて数値計算を行うことにより抽出される。図５において、収集位置ＡからのＳＡＲ画像４と、収集位置ＣからのＳＡＲ画像１４を、画像処理手段８に入力する。また、パラメータ設定手段７からは、ＳＡＲセンサでの収集位置Ａ１と観測エリア３の距離、ＳＡＲセンサでの収集位置Ｃ１３と観測エリア３の距離、ＳＡＲセンサでの収集位置Ａ１とＳＡＲセンサでの収集位置Ｂ１３の距離等の各種観測パラメータと、２枚のＳＡＲ画像４、１４中に存在する複数の特徴点の対応情報を入力する。画像処理手段８では、２枚のＳＡＲ画像４、１４中の複数の特徴点について、パラメータ設定手段７から与えられた情報を元にした三角関数演算を行い、２枚のＳＡＲ画像４、１４中の特徴点の三次元情報を抽出する。このようにしてステレオ視により三次元情報を抽出している。
【０００４】
【発明が解決しようとする課題】
従来のステレオ視による三次元情報抽出装置は以上のように構成されているので、同一センサより得られた画像からしか三次元情報が抽出できないという問題点があった。このため、航空機等で三次元情報を得るためには、同一地域を複数回飛行する必要があった。
また、パラメータ設定時には、オペレータが複数の画像を比較しながら、各画像中の特徴点の対応情報を入力しなければならず、パラメータ設定の自動化が困難であるという問題点があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、ステレオ視により三次元情報を抽出する際、同一センサで複数回の撮影を行わずに三次元情報を抽出することができ、また抽出に使用するパラメータの自動化が容易に行えることを目的とするものである。
【０００６】
【課題を解決するための手段】
この発明は、同一観測エリアを異なる収集位置から観測して得た複数の二次元画像を用い、ステレオ視による三次元情報を抽出する装置において、上記二次元画像としてＳＡＲ画像と光学センサ画像を入力され、これらに関する各種観測パラメータと両画像に存在する複数の特徴点の対応情報を与えるパラメータ設定手段と、このパラメータ設定手段から与えられた情報に基づき、ステレオ視による所要の三次元情報を得られるように、上記ＳＡＲ画像と光学センサ画像の複数の特徴点について三角関数演算を行う画像処理手段とを備えている。
【０００７】
また、この発明は、上記光学センサ画像の光学レンズによる歪を光学画像歪補正手段により補正して上記パラメータ設定手段に入力するようにしている。
【０００８】
また、この発明は、上記ＳＡＲ画像と光学センサ画像の輝度を輝度補正手段により補正して上記パラメータ設定手段に入力するようにしている。
【０００９】
また、この発明は、上記ＳＡＲ画像と光学センサ画像の特徴点を抽出し、輪郭線を出力するエッジ検出手段を介して上記ＳＡＲ画像と光学センサ画像を上記パラメータ設定手段に入力するようにしている。
【００１０】
さらに、この発明は、上記エッジ検出手段と上記パラメータ設定手段との間に輪郭線を比較して形状を認識するパターン照合手段を挿入している。
【００１１】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を示す図１について説明する。図１において、１はＳＡＲセンサでの収集位置Ａ、２は光学センサでの収集位置Ｂ、３は観測エリア、４は収集位置ＡからのＳＡＲ画像、５は収集位置Ｂからの光学センサ画像、６は光学画像歪補正手段、７はパラメータ設定手段、８は画像処理手段、９は観測エリアの三次元情報である。
【００１２】
次に動作について説明する。図１において、収集位置Ｂからの光学センサ画像５に含まれる光学レンズにより生じた歪を補正する光学画像歪補正手段６に入力する。収集位置ＡからのＳＡＲ画像４と、光学レンズによる歪を補正した収集位置Ｂからの光学センサ画像５を、パラメータ設定手段７に入力する。また、パラメータ設定手段７からは、ＳＡＲセンサでの収集位置Ａ１と観測エリア３の距離、光学センサでの収集位置１３と観測エリア３の距離、ＳＡＲセンサでの収集位置Ａ１と光学センサでの収集位置Ｂ２の距離等の各種観測パラメータと、収集位置ＡからのＳＡＲ画像４と収集位置Ｂからの光学センサ画像５中に存在する複数の特徴点の対応情報をオペレータが手動入力する。画像処理手段８では、２枚の画像４、５中の複数の特徴点について、パラメータ設定手段７から与えられた情報を元にした三角関数演算を行い、２枚の二次元画像４、５中の特徴点の三次元情報を抽出する。このようにしてステレオ視により三次元情報を抽出することができる。
【００１３】
なお、上記パラメータ設定手段７は、画像収集時の観測条件等のパラメータ（ＳＡＲ画像であれば、目標までの距離、分解能等、光学画像であれば焦点位置、焦点距離等）を保持すると共に、複数の画像間で同一位置と推定される座標位置の対応情報を保存する機能を有するものであればよく、計算機及びソフトウエアで構成できる。
【００１４】
また、画像処理手段８はソフトウエアで構成され、ステレオ視の計算で必要なセンサ間の距離、焦点距離等は、画像収集時の観測条件から与えられ、視差については複数の画像間で同一位置と推定される座標位置の対応情報から与えられる。
【００１５】
実施の形態２．
上記実施の形態１では、収集位置ＡからのＳＡＲ画像４と光学レンズによる歪を補正した収集位置Ｂからの光学センサ画像５をパラメータ設定手段７に直接入力していたが、図２のように、実施の形態１に示すパラメータ設定手段７の前段に画像の輝度を変更する輝度補正手段１０を挿入することにより、収集位置ＡからのＳＡＲ画像４と収集位置Ｂからの光学センサ画像５中に存在する複数の特徴点の対応情報をオペレータが入力する際の負担を低減することができる。
【００１６】
実施の形態３．
また、図３のように、実施の形態２に示す輝度補正手段１０の後段に、画像中の特徴点を検出し輪郭線を出力するエッジ検出手段１１を挿入することにより、収集位置ＡからのＳＡＲ画像４と収集位置Ｂからの光学センサ画像５中に存在する複数の特徴点を直線で結んだ輪郭線を得ることができ、オペレータが入力する際の負担を低減することができる。
【００１７】
実施の形態４．
また、図４のように、実施の形態３に示すエッジ検出手段１１とパラメータ設定手段７との間に輪郭線の比較を行い形状を認識するパターン照合手段１２を挿入して、パターン照合手段１２において複数画像中のエッジ情報について相関値計算を行い、相関値が閾値より高ければ同一物と認識し、座標位置の対応情報を抽出するようにすれば、オペレータによる位置指定を行なう必要がなくなり、オペレータによる入力を行わずに三次元情報を抽出することができる。
【００１８】
【発明の効果】
この発明は、同一観測エリアを異なる収集位置から観測して得た複数の二次元画像を用い、ステレオ視による三次元情報を抽出する装置において、上記二次元画像としてＳＡＲ画像と光学センサ画像を入力され、これらに関する各種観測パラメータと両画像に存在する複数の特徴点の対応情報を与えるパラメータ設定手段と、このパラメータ設定手段から与えられた情報に基づき、ステレオ視による所要の三次元情報を得られるように、上記ＳＡＲ画像と光学センサ画像の複数の特徴点について三角関数演算を行う画像処理手段とを備えているので、ＳＡＲ画像と光学センサ画像を用いてステレオ視により三次元情報を抽出でき、同一センサで複数回の撮影を行わずに三次元情報を抽出することができる。
【００１９】
また，この発明によれば、光学画像歪補正手段や輝度補正手段、エッジ検出手段を介してＳＡＲ画像と光学センサ画像をパラメータ設定手段に入力しているので、オペレータがパラメータを入力する際の負担を軽減することができる。
【００２０】
さらに、エッジ検出手段とパラメータ設定手段との間に輪郭線を比較して形状を認識するパターン照合手段を挿入しているので、抽出に使用するパラメータの自動設定を容易に行うことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示すブロック構成図である。
【図２】この発明の実施の形態２を示すブロック構成図である。
【図３】この発明の実施の形態３を示すブロック構成図である。
【図４】この発明の実施の形態４を示すブロック構成図である。
【図５】従来装置のブロック構成図である。
【符号の説明】
１　ＳＡＲセンサでの収集位置Ａ
２　光学センサでの収集位置Ｂ
３　観測エリア
４　収集位置ＡからのＳＡＲ画像
５　収集位置Ｂからの光学センサ画像
６　光学画像歪補正手段
７　パラメータ設定手段
８　画像処理手段
９　観測エリアの三次元情報
１０　輝度補正手段
１１　エッジ検出手段
１２　パターン照合手段
【図１】
2004021427.tif 000003
【図２】
2004021427.tif 000004
【図３】
2004021427.tif 000005
【図４】
2004021427.tif 000006
【図５】
2004021427.tif 000007