(57)【要約】【課題】  無人機の移動中にＧＰＳ電波が途絶えた場合、ＩＮＳの誤差推定を行うことができなくなり、その結果、無人機の位置・姿勢角の検出を正常に行えなくなる。位置・姿勢角の正常な検出を目的とし、ＧＰＳのリンクが途絶した場合のＧＰＳに代わる、位置・姿勢角校正手段を備えた画像処理装置を得る。【解決手段】  無人機に搭載されている画像取得手段を用いて、移動中に取得した画像の画像データベースを作成し、ＧＰＳのリンクが途絶した場合に画像データベースを参照する。そして画像データベース中の画像と現在の画像の相関値を計算し、相関の高い画像を参照値として座標変換を施し無人機の位置・姿勢角の誤差推定値を計算する。得られた位置・姿勢角の誤差推定値をＧＰＳ／ＩＮＳ計算に入力し、位置・姿勢角を検出する。【選択図】  図１
2008304260.tif 000002
【特許請求の範囲】
【請求項１】
特定地域上空を複数回飛行する機体に搭載され、
測位衛星からの電波を受信して前記機体の位置を測位する位置検出手段が出力する位置情報と、前記機体の角速度や加速度を計測する慣性情報検出手段が出力する慣性情報とを複合処理して前記機体の位置と姿勢角を算出する複合計算測位部と、
地上を撮影する撮影手段と、前記撮影手段が撮影した撮影画像と前記複合計算測位部が算出した前記機体の位置と姿勢角とを関連付け前記撮影画像を貼り合わせて特定地域のパノラマ画像を生成して記憶する画像記憶手段とからなる画像生成部と、を備えた画像処理装置であって、
前記位置検出手段が機体の位置を測位できない場合において、前記画像生成部は、前記撮影手段が撮影する撮影画像と生成された前記パノラマ画像とを照合することで前記機体の位置を推定し、複合計算測位部は推定された機体の位置と前記慣性情報検出手段からの慣性情報とを複合処理して、前記機体の位置と姿勢角を算出することを特徴とする画像処理装置。
【請求項２】
前記画像生成部は、前記撮影手段が撮影する撮影画像と前記パノラマ画像との一致度を調べる画像相関計算を行い、画像の一致度を表す相関値が予め定めた設定値以上のエリアを前記パノラマ画像の中から抽出すると、当該エリアの４隅の位置座標を取得し、前記４隅の位置座標に基づき前記機体の位置を推定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記位置検出手段は撮影手段が撮影した撮影画像の中に予め位置が判っているランドマークを検出すると、前記ランドマークの位置に基づき前記機体の位置を推定することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像生成部は、複合計算測位部が出力する前記位置と姿勢角を用いて前記撮影画をオルソ変換してオルソ画像を取得し、前記オルソ画像を貼り合わせて前記パノラマ画像を生成することを特徴とする請求項１乃至３のいずれか記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、空撮画像を用いて例えば軽飛行機や小型ヘリコプターなどの小型飛行機の位置と姿勢角を補正し特定地域上空の画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
高い高度を飛行する航空機や人工衛星による航空測量は広範囲の情報を一度に取得することが可能である。そして、航空測量の際に撮像した空撮画像を用いることにより、複数枚の空撮画像を合成して広範囲な地表域を覆うモザイク画像を生成することができる。このため、航空測量には、モザイク画像を用いて地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）を構築するなど、多くの需要がある。また、都市防災管理に用いられることが多い地理情報システムとして、時空間対応の地理情報システム（ＳｐａｔｉａｌＴｅｍｐｏｒａｌ  ＧＩＳ）がある。
しかしながら、航空機や人工衛星による航空測量は一般にコストが高い。運用コストの削減や高解像度の画像の取得といった要求に応えるため、燃料費やメンテナンスコストが低く且つ低高度で飛行可能な小型ヘリコプターや軽飛行機、更にはこれらの機体に慣性センサや計算機を搭載して自律化したＵＡＶ（Ｕｎｍａｎｎｅｄ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ）などの小型の飛行体（以下、小型飛行機とする）を用いることが検討されている（例えば、特許文献１参照）。小型飛行機は対地高度が低いため空撮画像に写る撮像範囲が狭く、所望のエリアの空撮画像を一度の撮影で取得することはできない。このため、小型飛行機に搭載した高解像度デジタルカメラにより撮影した画像と、撮影時の小型飛行機の位置と姿勢角とを関連付けしておき、撮影した複数の画像をオーバラップさせて表示することで、所望のエリアの地形情報を取得することができる。
【０００３】
従来、小型飛行機の位置と姿勢角を検出する技術として、高利用性と連続性を持つ慣性センサと、時間とともに増大する慣性センサによる測定誤差を推定して除去することを目的としたＧＰＳとを複合したＧＰＳ／ＩＮＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ／Ｉｎｅｒｔｉａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓｙｓｔｅｍ）複合測位が用いられている（例えば、非特許文献１参照）。
また、ＧＰＳが利用できない悪条件下でも精度よく撮影対象のグローバル座標を測量する装置等が提案されている（例えば、特許文献２参照）。
また、ＧＰＳと自律航法とを用いた測量システムにおいて、ＧＰＳ電波が受信できない場所でも所定の精度をもって位置測定が行えるようにする測量システムが提案されている（例えば、特許文献３参照）。
【０００４】
【特許文献１】特願２００７−１７８０６号公報
【特許文献２】特開２００５−９１２９８号公報
【特許文献３】特開２００５−６２０８３号公報
【非特許文献１】航空宇宙技術研究所報告「搬送波位相ＤＧＰＳ／ＩＮＳ複合航法アルゴリズムの開発」  ＮＡＬ−１４１６  ＩＳＳＮ：０３８９−４０１０
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、衛星からの微弱な電波を利用するＧＰＳはその連続性に問題がある。例えば山岳部や山間部、ビルの谷間などＧＰＳ電波が遮断され易い難い場所の航空測量では、ＧＰＳ電波が受信できている時にはＧＰＳ／ＩＮＳ複合測位でのＩＮＳの誤差を推定し除去することが可能であるが、ＧＰＳ電波が受信できなくなった時にはＩＮＳ誤差が蓄積され、ＩＮＳの誤差推定と除去が完全に行えなくなるという課題があった。このため、小型飛行機の位置と姿勢角に基づき空撮画像を合成して生成する地表の画像の精度が劣化するという課題があった。
【０００６】
この発明は係る課題を解決するためになされたものであり、測量を目的とした小型飛行機が測量中にＧＰＳ衛星からのＧＰＳ電波が途絶えた場合であっても、小型飛行機が撮影する画像に基づきその位置と姿勢角を補正して、特定地域上空の画像を取得する画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明による画像処理装置は、特定地域上空を複数回飛行する機体に搭載され、測位衛星からの電波を受信して前記機体の位置を測位する位置検出手段が出力する位置情報と、前記機体の角速度や加速度を計測する慣性情報検出手段が出力する慣性情報とを複合処理して前記機体の位置と姿勢角を算出する複合計算測位部と、地上を撮影する撮影手段と、前記撮影手段が撮影した撮影画像と前記複合計算測位部が算出した前記機体の位置と姿勢角とを関連付け前記撮影画像を貼り合わせて特定地域のパノラマ画像を生成して記憶する画像記憶手段とからなる画像生成部と、を備えた画像処理装置であって、前記位置検出手段が機体の位置を測位できない場合において、前記画像生成部は、前記撮影手段が撮影する撮影画像と生成された前記パノラマ画像とを照合することで前記機体の位置を推定し、複合計算測位部は推定された機体の位置と前記慣性情報検出手段からの慣性情報とを複合処理して、前記機体の位置と姿勢角を算出するようにした。
【発明の効果】
【０００８】
この発明によれば、ＧＰＳ衛星などの測位衛星からの測位用電波が受信できない状況であっても小型飛行機の位置と姿勢角の補正が可能であり、小型飛行機に搭載する撮像装置が撮影した空撮画像を合成することにより、精度の高い特定地域上空の画像を取得できる。
【発明を実施するための最良の形態】
【０００９】
以下の実施の形態では、小型飛行機として無人航空機（ＵＡＶ：Unmanned Aerial Vehicleともいう）を例にとり説明する。なお、この無人航空機には自律飛行を行うためのオートパイロット計算部等の各種計算部が搭載されているが、ここでは発明の要旨とする部分のみを説明する。また測位システムとしてＧＰＳを例にとり説明するが、Ｇａｌｉｌｅｏ（ガリレオ）等のＧＰＳ以外の測位システムであってもよい。
【００１０】
実施の形態１．
以下、図を用いてこの発明に係る実施の形態１について説明する。
図１は、実施の形態１に係る画像処理装置３０の構成図である。無人飛行機５０に搭載される画像処理装置３０は、ＧＰＳ／ＩＮＳ計算部１４と、所望のエリアの画像を取得する画像生成部１５とから構成される。
【００１１】
図１において、ＧＰＳ／ＩＮＳ計算部１４は、無人航空機５０の角速度や加速度等の慣性情報を計測する姿勢角検出装置１と、図示しない測位衛星（ＧＰＳ衛星）からの電波を受信して無人飛行機５０の位置を取得する位置検出装置２と、姿勢角検出装置１が出力する慣性情報９０を用いて速度情報を更新する速度更新計算部４と、速度更新計算部４が出力する速度情報と補正データを用いて無人飛行機５０の位置を更新して、更新した位置と速度を出力する位置更新計算部５と、慣性情報９０を用いて無人飛行機５０の姿勢角を更新する姿勢角更新計算部６と、位置更新計算部５や姿勢角更新計算部６が算出する無人航空機５０の位置、速度、姿勢角の誤差を推定して出力するフィルタ計算部１１と、フィルタ計算部１１が推定する各誤差情報に基づき各々の値を補正するバイアス補正部７と姿勢角補正部８と速度補正部９と位置補正部１０とから構成されている。
【００１２】
また、自己位置補正部１５は、ＧＰＳ／ＩＮＳ計算部１４が出力する無人飛行機５０の位置、速度、姿勢角の情報をもとに画像取得装置３が撮影した画像をオルソ変換してオルソ画像を生成し、オルソ画像を地表面での位置情報を関連付けて保存し、また、過去に得られたオルソ画像と合成してパノラマ合成画像を生成する画像データベース１２と、画像データベース１２の画像データと画像取得装置３が撮影した撮影画像の一致度を調べる画像相関計算を行い、無人航空機５０の位置、速度、姿勢角を推定する画像相関計算部１３とから構成される。
ここで画像取得装置３は、例えば汎用の高解像度デジタルカメラである。また、オルソ変換については後で説明する。なお、上記ＧＰＳ／ＩＮＳ計算部は複合計算測位部と対応し、上記姿勢角検出装置は慣性情報検出手段に対応する。また、上記画像取得装置は撮影手段に対応し、上記画像情報データベースは画像記憶手段に対応する。
【００１３】
次に、無人航空機５０が自律飛行し画像取得装置３が適宜地表の撮影を行うことで、地上の所望のエリアのパノラマ画像を取得する動作について説明する。
図２は、無人航空機を用いた飛行経路と所望エリアの空撮画像との関係を説明する図である。自律飛行は手動飛行に比べて正確に飛行経路を辿ることができる。そのため、図２に示すように無人航空機５０は近い飛行経路で複周回飛行することができ、各周回の近接地点で撮像したそれぞれの静止画像（図２の周回１画像、周回２画像、周回３画像）を取得することができる。無人航空機５０は、ＧＰＳや慣性センサの出力を元に、風等の外乱を抑制しながら、あらかじめ設定した所望のエリア上空の円または楕円軌道（飛行経路）を再現性良く旋回することが可能である。
【００１４】
無人航空機５０の画像取得装置３は空撮画像の取得を行う。無人航空機５０は低空飛行するため、市販のデジタルカメラを用いても高解像度の地表面の静止画像を得ることができる。画像取得装置３は無人航空機５０の機体（無人航空機）に固定しておく。画像取得装置３を機体に固定することにより、無人航空機５０の位置、姿勢角と画像取得装置３の位置、姿勢角とを対応付けることができる。
以下では、画像取得装置３の位置、姿勢角は無人航空機５０の位置、姿勢角と同じとし、画像取得装置３の姿勢角に対応する座標系をカメラ座標系とする。ここでは、カメラ座標系において、Ｘ軸を無人航空機５０の長手方向に中心軸にとり、Ｚ軸をＸ軸が水平方向を向いた状態での鉛直上方にとり、Ｙ軸を左手系の３軸直行座標系を構成するように設定する。また、世界座標系（例えば地球中心座標系ＷＧＳ−８４）から機体軸への変換に必要となるオイラー角(α、β、γ)により、無人航空機５０の姿勢角を定義する。すなわち、カメラ座標軸（Ｘ、Ｙ、Ｚ）周りの回転角を各々（α,β,γ）＝（ロール角、ピッチ角、ヨー角）とする。
【００１５】
位置検出装置２は、飛行中の機体の位置を測位する。位置検出装置２として例えばＧＰＳ受信機を用いる。
姿勢角検出装置１は、飛行中の機体の姿勢角を検出する。姿勢角検出装置１として例えばジャイロや加速度計などの慣性センサを用いる。
【００１６】
次に、ＧＰＳ／ＩＮＳ計算部１４の動作について説明する。ＧＰＳ／ＩＮＳ計算部１４は、位置検出装置２からの時系列の位置データ８０と、姿勢角検出装置１からの時系列の慣性情報９０とを用い、フィルタ計算部１１において複合処理することにより、精度向上した機体の位置、速度および姿勢角を算出して出力する。フィルタ計算部１１では、例えばカルマンフィルタにより複合処理を行い、各種の誤差推定値を算出して補正を行うようにする。
姿勢角検出装置１は、計測した慣性情報９０の加速度情報を速度更新計算部４に出力し、また、慣性情報９０の角速度情報を姿勢角更新計算部６に出力する。速度更新計算部４は飛行中の機体の速度を計算して位置更新計算部５に出力する。
位置更新計算部５は、加速度情報に基づき機体の位置と速度を算出し、算出した位置と速度を出力する。算出した機体の位置と速度はフィルタ計算部１１に対してフィードバックされる。
姿勢角更新計算部６は、角速度情報により機体の姿勢角を算出し、算出した姿勢角を出力する。算出した機体の姿勢角はフィルタ計算部１１に対してフィードバックされる。
フィルタ計算部１１は、位置検出装置２からの位置データ８０と、位置更新計算部５からの機体の位置と速度のデータと、姿勢角更新計算部６からの機体の姿勢角のデータとを入力して、姿勢角検出装置１のバイアス誤差推定値（例えば、累積されるジャイロセンサのセンサ誤差の推定値）、位置誤差の推定値、速度誤差の推定値、姿勢角誤差の推定値を各々算出する。バイアス補正部７、姿勢角補正部８、速度補正部９、位置補正部１０の各々は、フィルタ計算部１１からの上記誤差推定値により、姿勢角検出装置が出力する加速度と角速度、位置更新計算部の位置と速度、姿勢角更新計算部６が出力する姿勢角を補正する。
【００１７】
一方、画像情報データベース１２は、画像取得装置３が撮影した空撮画像のデータと、ＧＰＳ／ＩＮＳ計算部１４で算出した飛行状態情報のデータ（各撮影時の機体の位置情報、速度情報、の姿勢角情報）とを時刻同期をかけて、画像情報１００として時系列に記憶する。時刻同期の方法としては、例えばＧＰＳ時間を基準にしてそれぞれのデータの取得タイミングに合わせて記録する等の手法が用いられる。
【００１８】
図３に、画像情報１００の一例を示す。画像取得装置３が撮影した各画像（画像１、画像２、・・・、画像ｎ）は、各々の撮影時の機体の位置情報（Ｘ、Ｙ、Ｚ）と、各撮影時の機体の姿勢角情報（ロール角α、ピッチ角β、ヨー角γ）と、撮影時刻とに関連付けられて、画像情報データベース１２に記憶される。
【００１９】
画像情報データベース１２はその内部に画像処理部１２１を有する。画像処理部１２１は画像情報データベース１２に記憶された各々の画像にオルソ変換を施し、オルソ画像として画像情報データベース１２に記憶する。オルソ画像は正射投影画像とも言われ、中心投影された画像を補正処理して正射投影した画像に変換した画像であり、あたかも真上から撮影したような画像のことをいう。また、複数のオルソ画像を部分的に重ね合わせたものをオルソモザイク画像、あるいはパノラマ合成画像という。
【００２０】
画像処理部１２１は、数１の回転並進式を用いて、撮影した画像の画像変換（オルソ変換）を行う。
【００２１】
【数１】
2008304260.tif 000003
【００２２】
数１で示した回転並進式は、画像の回転に加えて画像の平行移動を行う。図４は、カメラ座標系と世界座標系（例えばＷＧＳ−８４）との関係を示した図である。
図４において、画像処理部１２１は、まず、カメラの姿勢に対応するカメラ座標系Ｘ−Ｙ−Ｚ（原点０）で表され撮像面に写る空撮画像を地表面をＸ’−Ｙ’平面とする世界座標系Ｘ’−Ｙ’−Ｚ’（原点０）に投影して、鉛直方向からみた撮像範囲を表す画像を生成する。そして、Ｔｘ、Ｔｙ、Ｔｚ分だけ平行移動する。平行移動量Ｔｘ、Ｔｙ、Ｔｚは、図４の関係図において、数１による画像投影後に、長方形（または正方形）の画像範囲の中央に撮像範囲が位置するように、また、長方形（または正方形）の画像範囲と撮像範囲との間の余白部分が少なくなるように平行移動後のカメラ中心０（０ｘ'、０ｙ'、０ｚ'）を定めるとよい。オルソ変換を行うことにより、あたかもレベルフライトする航空機や人工衛星から撮影したような空撮画像を得ることができる。
【００２３】
画像処理部１２１は、変換後のオルソ画像と、オルソ画像（長方形または正方形）の中心となる位置座標（オルソ画像に写された地形画像の中心位置座標）とを、オルソ画像情報１０１として画像情報データベース１２に記憶する。オルソ画像情報１０１の一例を図５に示す。
【００２４】
パノラマ合成画像は、このオルソ画像情報１０１（オルソ画像と、オルソ画像の世界座標系における中心位置座標）に基づき、オルソ画像を世界座標系に順次重ね合わせられるようにして作成される。図６は、パノラマ合成画像とオルソ画像との関係を示した図である。
【００２５】
このようにして、無人飛行機５０がＧＰＳ電波を受信できている間は、蓄積するＩＮＳの誤差推定と除去を行って無人飛行機５０の高精度な位置情報と姿勢角情報を得て、所望のエリアの精度の高いパノラマ画像を取得することができる。
【００２６】
次に、無人航空機５０が飛行中にＧＰＳ電波が途絶えた場合に、無人飛行機５０が位置と姿勢角を補正し所望のエリアのパノラマ画像を取得するまでの動作について、フロー図を用いて説明する。
前で述べたように、移動中にＧＰＳ電波が受信できない状況では、ＧＰＳ／ＩＮＳ計算部１４は累積するＩＮＳのセンサ誤差を除去できず、このため撮像取得装置が撮像した空撮画像と地上の位置との対応に誤差が生じて、パノラマ合成画像の精度が劣化するという問題が生じる。
【００２７】
図７は、ＧＰＳ衛星からのＧＰＳ電波が、上空の衛星と無人飛行機５０との位置関係等により受信できない状況において、位置検出装置２が出力する位置情報によらず無人飛行機５０の位置、姿勢角を補正する動作を説明するフロー図である。
ここではパノラマ合成画像生成の一例として、図８のように過去にパノラマ合成画像を取得済みのエリアの近傍のエリア（図８の点線で示したエリア）の画像を新たに取得することを想定する。
【００２８】
図７において、画像相関計算部１３は、位置検出装置２が出力する測位結果を検知している。画像相関計算部１３は、ＧＰＳ電波の受信状況等により、位置検出装置２からの測位結果の出力がないことを検知すると（図７のＳ１０１）、画像生成部１５による補正動作を開始する。
画像相関計算部１３は、画像情報データベース１２に対して画像取得装置３が撮影した空撮画像をデータベースに記憶する指示信号を出力する（Ｓ１０２）。
次に、画像相関計算部１３は、画像取得装置３が撮影する空撮画像とパノラマ合成画像との間で画像相関計算を行い、画像の一致の度合いを示す相関値の計算を行う（Ｓ１０３）。画像相関計算は例えば画像間差分等の一般的な画像処理の手法を用いることができる。相関値の計算をする際、現在の絶対位置・姿勢角情報（ＧＰＳ／ＩＮＳ計算部１４が出力する位置、姿勢角の直近データ）をもとに、現在の取得画像の地表面における位置を推定し、この推定位置を相関値計算時の初期位置とする。この初期位置を中心として、北方向、東方向、地表面法線を軸とした回転方向に、予め設定した値分だけ画像をバイアス・回転させ、その都度相関値を計算する。
次に、得られた相関値の中で最も大きい相関値と予め設定した設定値との比較を行う。相関値が設定値以上である場合（Ｓ１０４）には、撮影した空撮画像が、既に合成し作成されているパノラマ合成画像の中の一部のエリアを撮影した空撮画像であり、画像が一致する地点であるとして、空撮画像が一致したパノラマ合成画像内のエリアの四隅の位置座標を抽出する（Ｓ１０５）。
ここで、Ｓ１０５で得た一致エリアの四隅の位置座標を［Ｘｉ、Ｙｉ、０］（ｉ＝１〜４）と置く。また、求める機体位置座標を［Ｐ１、Ｐ２、Ｐ３］、求める姿勢角ベクトルを［Ｄ１、Ｄ２、Ｄ３］と置く。また姿勢角とカメラの四隅の方向への単位ベクトルを関係付けるカメラパラメータを［Ｃｉｊ］（ｉ＝１〜４、ｊ＝１〜３、ｉは四隅・ｊは方向に対応するインデックス）とする。カメラパラメータ［Ｃｉｊ］は、機体へのカメラの取り付け角度やカメラの視野角に依存するパラメータであり、予め計測しておくことにより既知の値となる。以上諸量の関係式を数２に示す。
【００２９】
【数２】
2008304260.tif 000004
【００３０】
数２の計算式では計算上の未知係数として［Ｕｉ］を用いる。既知の量を［Ｘｉ、Ｙｉ、Ｃｉｊ］とすると、これら既知量を用いることで、数２に示す方程式を［Ｐ１、Ｐ２、Ｐ３、Ｄ１、Ｄ２、Ｄ３、Ｕｉ］について解くことができる。
以上より機体の位置、姿勢角を算出する。（Ｓ１０６）
次に、画像相関計算部１３は、算出した位置、姿勢角をフィルタ計算部１１に出力する（Ｓ１０７）。
フィルタ計算部１１は、画像相関計算部１３からの位置、姿勢角のデータを、ＧＰＳ電波受信可能時に位置検出装置２が出力する位置のデータの代替として入力し、前に説明したフィルタ計算を行い、誤差推定値を算出する。
【００３１】
一方、Ｓ１０５において相関値が条件を満たさない時は、画像取得装置３はパノラマ合成画像にないエリアを撮影しているものとみなし、画像相関計算部１３は、位置、姿勢角をフィルタ計算部１１に出力せず、フィルタ計算部１１は誤差推定を行わない。
無人航空機５０による撮影を継続する場合は再びＳ１０１に戻り、Ｓ１０１〜Ｓ１０８の処理ステップを繰り返す。
なお、Ｓ１０１においてＧＰＳ電波を受信できる状況であれば、通常通り、位置検出装置２は測位した位置をフィルタ計算部１１に出力する（Ｓ１０８）。
【００３２】
このように、実施の形態１では、ＧＰＳ電波の受信時には、姿勢角検出装置１と位置検出装置２とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により補正した位置のデータを用いて、パノラマ合成画像を取得する。
一方、ＧＰＳ電波の受信ができない時には、画像相関計算部は、撮影した空撮画像と既にあるパノラマ合成画像との相関を調べ、相関が高いときには相関が高いパノラマ合成画像の位置座標から、無人航空機５０の位置、姿勢角を算出し、フィルタ計算部に出力するようにした。そして、姿勢角検出装置１と画像相関計算部１３とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により精度の高い位置、速度、姿勢角のデータを得られるようにした。
これにより、ＧＰＳ電波の受信ができない時であっても、機体の位置と姿勢角の補正が可能であり、精度の高いパノラマ画像を取得することができる。
【００３３】
実施の形態２．
実施の形態１では、画像取得装置が取得した空撮画像とパノラマ合成画像との相関を計算したが、画像取得装置から得られた空撮画像に、予め絶対位置が判っているランドマークが撮影されていた場合には、ランドマークの絶対位置をもとに無人航空機の位置と姿勢角を推定できる。実施の形態２では、空撮画像に写っているランドマークの絶対位置をもとに無人航空機の位置と姿勢角を推定する。
【００３４】
図９は、この発明の実施の形態１に係る画像処理装置３０の構成を示す図である。実施の形態２の画像生成部１５は、予め絶対位置が判っているランドマークとその絶対位置とが関連付けられたデータが格納されたランドマークデータベース１６と、ランドマーク一致計算部１７を備える。ランドマークは、例えば、高層ビルや橋、空港、グランドなど外観に特徴があるものである。なお、実施の形態１と同一あるいは相当する部分については同一番号を付してその説明を省略する。
【００３５】
図１０は、実施の形態２におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。
図１０において、画像相関計算部１３は、位置検出装置２が出力する測位結果を検知している。画像相関計算部１３は、ＧＰＳ電波の受信状況等により、位置検出装置２からの測位結果の出力がないことを検知すると（Ｓ２０１）、画像生成部１５による補正動作を開始する。
画像相関計算部１３は、ランドマークデータベース１６に対して画像取得装置３が撮影した空撮画像をデータベースに記憶する指示信号を出力する（Ｓ２０２）。
図１０において、実施の形態２では空撮画像の中からランドマークを検索し（Ｓ２０３）、ランドマークが写っている場合は、ランドマークデータベース１６よりそのランドマークの絶対位置を抽出する（Ｓ２０４）。  
画像生成部１５は、Ｓ２０５で得たランドマークの絶対位置から、無人航空機５０の位置、姿勢角を算出する（Ｓ２０５）。
ここで、Ｓ２０５で得たランドマークの絶対位置座標を［Ｘｉ、Ｙｉ、０］（ｉ＝１〜４）と置く。また、求める機体位置座標を［Ｐ１、Ｐ２、Ｐ３］、求める姿勢角ベクトルを［Ｄ１、Ｄ２、Ｄ３］と置く。画像上のランドマークの位置座標を画素点［Ｇｉ、Ｈｉ］とおくと、姿勢角と画素点方向への単位ベクトルを関係付けるカメラパラメータ［Ｃｉｊ］（ｉ＝１〜４、ｊ＝１〜３、ｉはランドマーク番号・ｊは方向に対応するインデックス）は、画素点［Ｇｉ、Ｈｉ］の関数として書き表される（数３）。以上の諸量の関係式を数３に示す。
【００３６】
【数３】
2008304260.tif 000005
【００３７】
また、数３の計算式では計算上の未知係数として［Ｕｉ］を用いる。既知の量を［Ｘｉ、Ｙｉ、Ｇｉ、Ｈｉ］とし、これらを用いると、数３に示す方程式を［Ｃｉｊ、Ｐ１、Ｐ２、Ｐ３、Ｄ１、Ｄ２、Ｄ３、Ｕｉ］について解くことができる。
以上より機体の位置、姿勢角を算出する（Ｓ２０６）。
【００３８】
このように実施の形態２では、ＧＰＳ電波の受信ができない時に、ランドマーク一致計算部１７はオルソ画像中に予め絶対位置が判っているランドマークが撮影されているか否かを判定し、ランドマークが撮影されている場合にはそのランドマークの絶対位置から無人航空機５０の位置、姿勢角を算出し、フィルタ計算部に出力するようにした。そして、姿勢角検出装置１と画像相関計算部１３とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により精度の高い位置、速度、姿勢角のデータを得られるようにした。
これにより、ＧＰＳ電波の受信ができない時であっても、位置と姿勢角の補正が可能であり、精度の高いパノラマ画像を取得することができる。
【図面の簡単な説明】
【００３９】
【図１】実施の形態１に係る画像処理の構成を示す図である。
【図２】実施の形態１における無人航空機を用いた飛行経路と所望のエリアの空撮画像との関係を説明する図である。
【図３】実施の形態１における画像情報１００の一例を示す図である。
【図４】実施の形態１におけるカメラ座標系と世界座標系との関係を示した図である。
【図５】実施の形態１におけるオルソ画像情報１０１の一例を示す図である。
【図６】実施の形態１におけるパノラマ合成画像とオルソ画像との関係を示した図である。
【図７】実施の形態１におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。
【図８】実施の形態１における画像を取得するエリアを説明する図である。
【図９】実施の形態２に係る画像処理装置の構成を示す図である。
【図１０】実施の形態２におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。
【符号の説明】
【００４０】
１  姿勢角検出装置、２  位置検出装置、３  画像取得装置、４  速度更新計算部、５  位置更新計算部、６  姿勢角更新計算部、７  バイアス補正部、８  姿勢角補正部、９  速度補正部、１０  位置補正部、１１  フィルタ計算部、１２  画像データベース、１４  ＧＰＳ／ＩＮＳ計算部、１５  画像生成部、１６ランドマークデータベース、１７ランドマーク一致計算部、３０  画像処理装置、５０  無人航空機、８０  位置データ、９０  慣性情報、１００  画像情報、１０１  オルソ画像情報、１２１  画像処理部
【図１】
2008304260.tif 000006
【図２】
2008304260.tif 000007
【図３】
2008304260.tif 000008
【図４】
2008304260.tif 000009
【図５】
2008304260.tif 000010
【図６】
2008304260.tif 000011
【図７】
2008304260.tif 000012
【図８】
2008304260.tif 000013
【図９】
2008304260.tif 000014
【図１０】
2008304260.tif 000015