(57)【特許請求の範囲】
【請求項１】
飛しょう体より取得した画像から目標物を抽出する方法であって、
上記目標物の種別と対応付けて管理される該種別毎の目標物抽出方法により該画像から目標物を自動抽出処理し、
該自動抽出処理における個々の目標物抽出処理の正確度を自己評価して個別抽出確度情報を算出し、
上記算出された個別抽出確度情報を正規化し、
上記自動抽出処理により種別が複数抽出され、一つの目標物の抽出結果に種別の重複がある場合には、該重複抽出結果の正規化された個別抽出確度情報を比較して正確度が高い抽出結果を採用し、該抽出結果を表示することを特徴とする目標物抽出方法。
【請求項２】
飛しょう体より取得した画像から目標物を抽出・表示する装置であって、
目標物の種別と該種別毎に目標物抽出方法とを対応付けて管理する手段と、
種別に対応づけられる抽出方法を用いて画像から目標物を自動抽出する抽出手段と、
該自動抽出処理における個々の目標物の抽出処理の正確度を自己評価して個別抽出確度情報として算出する手段と、
上記算出された個別抽出確度情報を正規化する手段と、
上記自動抽出処理による抽出結果の一つの目標物における種別の重複を判定する手段と、
上記重複判定手段により種別の重複が認められ、種別が複数抽出された目標物の抽出結果の上記正規化された個別抽出確度情報を比較して正確度が高い抽出結果の目標物を採用する手段と、
上記自動抽出された目標物を表示手段に表示する手段とを有することを特徴とする目標物抽出装置。
【請求項３】
上記表示する手段は、上記個別抽出度情報が所定の値以上の上記目標物を表示することを特徴とする請求項２に記載の目標物抽出装置。
【請求項４】
上記表示する手段は、抽出された上記目標物を該目標物の存在する範囲で切り出して表示することを特徴とする請求項２又は３の何れかに記載の目標物抽出装置。
【請求項５】
上記自動抽出を行う目標物の種別に応じて該種別の目標物が存在する可能性の高い領域を示す地図データの種別を設定管理する手段を更に有し、
上記存在可能性領域について上記自動抽出を行うことを特徴とする請求項２乃至４の何れかに記載の目標物抽出装置。
【請求項６】
更に、ユーザからの指示入力を受けつけるインターフェイス手段を有し、上記入力インターフェイスを介して入力された目標物の位置情報又はパラメータから、目標物の領域を計算推定する手段を更に有することを特徴とする請求項２乃至５の何れかに記載の目標物抽出装置。
【請求項７】
上記抽出手段は上記管理される全ての種別について各々対応付けられる抽出方法に基づいた自動抽出を実行することを特徴とする請求項２に記載の目標物抽出装置。
【請求項８】
更に、インターフェイスを介して複数種別の目標物の種別の入力を受けることを特徴とする請求項１記載の目標物抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、衛星画像や航空写真など飛しょう体より取得した空中画像を解析して、地物や移動物体などの目標物を抽出・表示する方法に係り、特に、画像処理技術や画像認識技術を利用して効率的な抽出処理を実現し、かつ目標物の種別を限定せず、汎用的な抽出処理を可能とする技術に関わる。
【０００２】
【従来の技術】
従来は、航空機専用や船舶専用など、特定種別専用の目標物自動抽出システムが利用されてきた。それらを用いて複数種別の目標物を空中画像から自動抽出しようとすると、図１１に示す様に、抽出する目標物の種別をあらかじめ特定してから、種別Ａ専用の抽出処理１１００や種別Ｂ専用の抽出処理１１０１など、該種別専用の複数の抽出処理を各々実行する必要があった。
【０００３】
また、一般に、撮影時の環境条件や目標物の特性によっては、画像データのみからでは自動抽出処理に十分な情報が得られないことがある。例えば空中画像では、太陽の反射や影、または大気中の水蒸気などの影響を受けたり、あるいは画像の解像度が十分でない、さらには画像が白黒であるといった制約などを受けることがある。また、目標物についても、正午近く強い太陽の照り返しが反射する海域の波間に浮かぶレジャーボートや、建材の素材や色により輝度が全く異なる住宅密集地の家屋など、精度の良い自動抽出が困難であるものも多い。そこで、抽出漏れを防ぐため、目標物である可能性が少しでもある領域は全て抽出する、という方針が採用されることが多かった。すなわち、抽出結果に誤りが含まれることがあった。図１２は、その様な自動抽出処理結果の例である。図１２（ａ）は船舶の自動抽出結果の例１２００で、船舶１２０３を正しく抽出した結果１２０４と、誤って航空機１２０１を抽出してしまった結果１２０２が得られた様子である。また、図１２（ｂ）は航空機の自動抽出結果の例１２１０で、航空機１２０１を正しく抽出した結果１２１１と、誤って船舶１２０３を抽出してしまった結果１２１２が得られた様子である。
【０００４】
一方、ユーザーの手動抽出により、目標物の種別に関わらず、汎用的な抽出処理が可能なシステムも利用されてきた。例えば、図１３に示す様な一般的な画像処理システムなどである。図１３（ａ）は目標物検出の例１３００で、ユーザーの目視確認１３０１などにより画面１３０２上で目標物１３０３を検出し、発見した目標物について手動抽出していく。図１３（ｂ）はポリゴン構成点入力による手動抽出手段の例１３１０で、目標物１３０３の構成点１３１１を順に指示入力し、手動抽出結果１３１２を得た様子である。
【０００５】
【発明が解決しようとする課題】
衛星画像などの空中画像は撮影範囲が広いため、一画像中に複数種別の目標物が多数写っている場合がある。ここで、あらかじめ目標物の種別が分かっていれば、従来の種別専用目標物抽出システムにより自動抽出処理が可能である。しかしながら、ユーザーの興味が特定地域の監視などにある場合、目標物の種別を特定せず、監視地域に侵入した全ての移動物体などを抽出する必要がある。図１１に示した様な従来の特定種別専用の目標物自動抽出システムは、その様な汎用的な目標物自動抽出には対応してなかった。
【０００６】
また、上記した様に、抽出漏れを防ぐため、目標物である可能性が少しでもある領域は全て抽出する、という方針が採用されることがあった。ここで、目標物が実際に存在している部分の画像は特徴的な領域となっていることが多く、従来の特定種別専用システムを用いて複数種別について抽出処理を行った場合、図１２に示した様に一方の正しい抽出結果が他方の誤った抽出結果となるなど、各種別の抽出結果の相互に誤りが含まれることがあった。これにより、例えば、多数の空中画像から複数種別の複雑な目標物を大量に抽出しようとした場合、それら全ての抽出結果には膨大な量の誤りが含まれる可能性があり、一つ一つ確認・修正作業するにはユーザーへの負荷が大き過ぎた。
【０００７】
また、図１３に示した様な画像処理システムを用いれば汎用的な手動抽出が可能だが、その反面、操作に手間がかかり、処理が非効率的であった。
【０００８】
そこで本発明では、上記の様な問題を解決し、様々な種別の目標物について、汎用的かつ効率的な自動抽出処理を実現することを課題とする。さらに、種別毎に別個になっていた抽出結果をまとめ、総合的な判断に基づく抽出処理の認識率向上を課題とする。
【０００９】
また、人手による手動抽出処理の際、作業担当者毎に抽出範囲が微妙に異なってしまい、抽出結果の品質にバラツキがでてしまう。ここで、近年、抽出された目標物を切り出して目標物画像データとし、それを画像キーとして画像データベースに登録された他の画像データと比較照合を行うマルチメディア情報検索や、画像の特徴解析処理などが盛んになりつつある。よって、自動抽出だけでなく、手動抽出処理であっても抽出範囲や処理精度を均一とし、できるだけ一定品質の目標物画像を得ることが重要である。
【００１０】
そこで本発明では、上記の様な課題を解決し、計算機による自動抽出結果や、複数の作業担当者が分担して手動抽出した結果であっても、均一な品質の抽出結果を得ることを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明は、地物や移動物体など目標物の種別や形状に応じて最適な抽出方法や抽出パラメータを設定管理し、自動抽出における抽出方法や抽出パラメータ、あるいは手動抽出インターフェイス手段などを目標物に合わせて選択的に用いることで、汎用的かつ目標物に適した効率的な抽出処理を実現する。
【００１２】
また本発明は、自動抽出処理における個々の目標物抽出処理の正確さを自己評価して個別抽出確度情報を算出して正規化する手段と、異種目標物抽出処理における抽出結果の重畳を判定する手段と、個別抽出確度情報を比較して確度が高い抽出結果を採用する手段とを備える。これら手段を組み合わせることで、目標物種別をあらかじめ特定せずに自動抽出処理を行い、逆に抽出結果の目標物種別を推定する機能を実現する。
【００１３】
また、上記自動抽出処理の過程で、複数種別の目標物に関する抽出結果を比較して統合し、ユーザーに提示する前にあらかじめ適切に選定することで、総合的な判定による認識精度向上を実現する。これにより、抽出漏れを防ぐため若干過剰気味の抽出処理を行いながらも、誤りが少ない目標物自動抽出結果を得ることを可能とする。すなわち、ユーザーの抽出結果確認・修正にかかる作業量を削減することができ、衛星画像など広範囲を撮影した空中画像であっても、実用的な自動抽出処理を実現する。
【００１４】
また本発明は、上記個別抽出確度情報を総合して全体抽出確度情報を算出する手段と、それら抽出確度情報を表示する手段とを備える。これにより、個々の目標物抽出処理や空中画像全体における抽出処理が適切に行われたかを判断する基準を提供し、ユーザーの抽出結果確認作業を支援する。
【００１５】
さらに本発明は、地図データベースを活用し、目標物の種別毎に存在可能性が高い領域を管理して、抽出処理範囲を適切に限定する手段を備える。これにより、誤認識などの削減による抽出処理の精度向上や、自動抽出した目標物の種別推定の精度向上を実現する。
【００１６】
また本発明は、手動抽出に必要なパラメータのいくつかを入力することで、それ以外のパラメータを画像解析処理により計算推定する手動抽出インターフェイス手段を備える。これにより、少ない手順で効率的な目標物手動抽出を実現し、さらに均一な品質の抽出結果を得ることを可能とする。
【００１７】
【発明の実施の形態】
以下、本発明の一実施例について詳細に説明する。
【００１８】
図１は、本発明の一実施形態である目標物抽出・表示装置の機能構成の例を示した図である。目標物抽出・表示装置は、処理管理部１１０、自動抽出部１２０、表示部１３０、手動抽出部１４０、データベース部１５０、の５つの機能からなる。
【００１９】
処理管理部１１０は、家屋や航空機など抽出する目標物の種別を設定管理する目標物種別設定管理手段１１１と、目標物の種別に応じて最適な抽出方法や抽出パラメータを設定管理する最適抽出手法・パラメータ設定管理手段１１２と、目標物の種別に応じて該目標物が存在する可能性の高い領域を地図データ種別と対応付けて設定管理する存在可能性領域設定管理手段１１３からなる。各種設定の登録はユーザーの指定により行うが、処理管理データ１５７などにあらかじめ用意しておいた初期値を利用しても良い。
【００２０】
自動抽出部１２０は、目標物の存在を検出し該目標物の目標物パラメータを計算推定して抽出処理を自動で行う自動抽出手段１２１と、上記抽出処理における処理の正確さを自己評価し個別抽出確度情報や全体抽出確度情報などの抽出確度情報（ＡＯＥ：Ａｃｃｕｒａｃｙ ｏｆ Ｅｘｔｒａｃｔｉｏｎ）を算出する抽出確度情報算出手段１２２と、複数の抽出結果の重畳を判定し、抽出確度情報を比較してより正確な抽出結果を採用する抽出結果比較判定登録手段１２３と、存在可能性領域設定管理手段１１３に管理されている情報に基づき地図データ１５５や地図属性データ１５６を用いて、抽出処理範囲を限定するマスク処理を行ったり抽出パラメータなどを変更する地図処理手段１２４からなる。
【００２１】
表示部１３０は、空中画像を表示する空中画像表示手段１３１と、抽出確度情報を表示する抽出確度情報表示手段１３２と、地図情報を表示する地図表示手段１３３と、空中画像や地図情報や抽出結果などの属性情報を表示する属性表示手段１３４からなる。
【００２２】
手動抽出部１４０は、マウスやキーボードなどの入力インターフェイス手段よりユーザーからの操作入力を受け付ける操作入力部１４１と、該操作入力部より入力されたパラメータから、目標物の抽出に必要な他の未入力パラメータを画像処理技術を用いて計算推定する画像処理部１４２と、上記抽出処理における処理の正確さを自己評価し個別抽出確度情報を算出する抽出確度情報算出手段１４３からなる。
【００２３】
データベース部１５０は、抽出処理を行なう空中画像１５１と、該空中画像に関する撮影情報などの空中画像属性データ１５２と、抽出処理により抽出登録される目標物画像１５３と、該目標物画像に関する撮影情報や位置情報、目標物パラメータなどの目標物属性データ１５４と、海岸線や道路境界線などの地図データ１５５と、該地図データの種別などデータ内容や関連情報を記述した地図属性データ１５６と、抽出処理における抽出方法や抽出パラメータなどの情報を格納管理する処理管理データ１５７からなる。ここで、目標物画像１５３については、直接画像データとして格納管理しないで、目標物が写っている空中画像と画像上での位置などの情報をメタデータとして目標物属性データ１５４のみで管理し、必要に応じて該メタデータを参照して元空中画像から目標物画像１５３を切り出して利用しても良い。
【００２４】
これら５つの機能は、データの流れを通じ、連携して抽出処理を行なう。すなわち、処理管理部１１０はデータベース部１５０から処理管理データ１５７を取得し１００、あるいは処理管理部１１０で新たに設定したパラメータ等を処理管理データ１５７としてデータベース部１５０に格納する１０１。自動抽出部１２０や表示部１３０や手動抽出部１４０では、処理管理部１１０にて管理されている抽出パラメータ等を用いて適切な処理を行なう１０２。自動抽出部１２０では、自動抽出処理を行なう空中画像１５１をデータベース部１５０から取得して自動抽出処理を行ない１０３、抽出結果を表示部１３０に渡して表示処理を行なったり１０４、あるいはデータベース部１５０に登録格納する１０７。また、自動抽出処理を行なわず、空中画像１５１を直接表示部１３０に渡して表示処理することもできる１０３。手動抽出部１４０は、表示部１３０にて表示された画像上で手動抽出処理を行ない１０５、手動抽出結果を表示部１３０に返して表示処理を行なったり１０６、あるいはデータベース部１５０に登録格納する１０７。
【００２５】
以上、目標物抽出・表示装置の一構成例について説明したが、これ以外にも、自動抽出部１２０やデータベース部１５０をサーバとし、表示部１３０や手動抽出部１４０や処理管理部１１０などをクライアントとすることで、クライアント／サーバ構成のシステムが実現できる。該構成により、大規模な目標物抽出・表示装置の実装が可能となり、また既存データベースシステムなどとの連携も可能となる。
【００２６】
続いて、図２から図５を用いて自動抽出処理の詳細について説明する。
【００２７】
図２は、目標物種別指定型の自動抽出処理のフロー図である。
【００２８】
図２（ａ）は、自動抽出処理全体のフロー図である。空中画像の入力２００に対し、まず目標物の種別を設定し２０１、該種別の目標物抽出に最適な抽出手段を選択する２０２。また、地図データを用いて目標物が存在する可能性の高い領域を特定し、該領域毎にマスク処理して抽出処理範囲を限定したり、処理パラメータなどを変更する２０３。続いて、図２（ｂ）に後述する自動抽出処理を実行する２０４。さらに、図７に後述する全体抽出確度情報を算出し２０５、抽出結果を出力して処理を終了する２０６。
【００２９】
ここで、目標物種別設定２０１については、既に登録されている設定を初期値としてそのまま利用するなど、処理を行なう度にユーザーは毎回設定しなくても良い。あるいは、空中画像入力２００と同時に目標物種別もパラメータ入力しても良い。また、最適抽出手段選択２０２については、通常は処理管理部１１０より設定を取得して選択実行するが、ユーザーが直接設定しても良い。
【００３０】
また、既に処理管理部１１０に最適抽出手段が登録されている目標物を抽出する際には、目標物種別設定２０１を行うことで処理管理部１１０の最適抽出手法・パラメータ設定管理手段１１２により自動的に最適な抽出手段の選択２０２が可能となるが、最適抽出手段が未登録の目標物種別については、ユーザーが抽出手段を直接選択するか、あるいは最適抽出手法・パラメータ設定管理手段１１２に対し抽出手段を登録する必要がある。
【００３１】
一方、図２（ｂ）は、図２（ａ）に示した自動抽出処理２０４の詳細処理フロー図である。まず画像処理技術など用いて、ノイズ除去や目標物強調などの前処理を行う２１０。続いて目標物の存在を検出して、目標物存在位置を得る２１１。さらに検出された全ての目標物について２１２、詳細な画像解析処理を行ない、目標物パラメータを計算推定して抽出処理を行う２１３。最後に該抽出処理の個別抽出確度情報を算出して２１４、抽出処理を終了する。
【００３２】
ここで、目標物パラメータ抽出については、自動抽出処理に適した画像認識技術などを用いた目標物抽出機能を用意して抽出処理しても良いが、図９に後述する手動抽出インターフェイス手段を適用することで、機能の共通化が可能となる。その際、自動抽出手段が行なうべき処理は、ユーザーが手入力すべき情報を画像処理技術や画像認識技術により自動で計算推定して、それを手動抽出インターフェイスに渡すだけとなる。
【００３３】
以上の処理により、様々な目標物種別に適した自動抽出処理を、一つのシステム上で汎用的に実現することができる。
【００３４】
図３は、図２で述べた目標物種別指定型の自動抽出処理を拡張した、全目標物種別対応型の自動抽出処理のフロー図である。
【００３５】
空中画像の入力２００に対し、まず全ての目標物種別について３００、自動抽出処理を行なう。すなわち、各種別に最適な抽出手段を選択し２０２、地図を用いた抽出処理対象範囲の限定などマスク処理を行ない２０３、自動抽出処理を実行して２０４、全体抽出確度情報を算出する２０５。これら処理は図２（ａ）に示した手順と同様であり、また自動抽出処理２０４も図２（ｂ）と同じ処理である。以上の自動抽出処理を複数回実行して得られた全ての抽出結果について３０１、まず抽出結果の重複判定を行なう３０２。重複がある場合、複数の種別として抽出されているため、正しい種別を推定する。すなわち、重複する全ての抽出結果について３０３、個別抽出確度情報の比較判定を行なう３０４。個別抽出確度情報は正規化されているため、異なる種別の抽出処理についても正確度を比較でき、最も確度が高い抽出結果を採用する３０５。また、重複が無い場合はそのまま抽出結果とし３０６、最後に抽出結果を出力して処理を終了する２０６。
【００３６】
また、ここでは種別毎の抽出３００を行なってから各抽出結果について種別推定３０１を行なうループ処理について説明したが、逆に、各目標物に対して複数種別の抽出を実行していくループ処理にしても良い。その際、まず抽出確度情報を算出し比較することで、確度の高い結果が得られる種別の抽出処理のみを行なえば、処理量や誤抽出結果を減らすこともできる。
【００３７】
以上の処理により、複数種別の目標物が写っている空中画像や、目標物の種別が特定できない監視業務などにおいても、自動抽出処理による効率的な目標物抽出が可能となる。
【００３８】
図４は、図３で説明した全目標物種別対応型の自動抽出処理の処理例を示した図である。
【００３９】
図４（ａ）は、複数種別の目標物が写っている空中画像について、これら目標物の種別を自動推定して自動抽出した結果を画面表示した例４００である。目標物４０１の抽出結果４０２には、抽出処理が適切に行われた場合には「○」、失敗の可能性がある場合には「△」、失敗の可能性が高い場合には「×」など記号表示された個別抽出確度情報と、各抽出結果における推定目標物種別の文字列４０３が表示されている。ここで、ＩＤ１の目標物は「Ａｉｒｐｌａｎｅ」、ＩＤ３の目標物は「Ｓｈｉｐ」という特定種別の目標物として抽出された結果の例である。一方、ＩＤ２の目標物については、抽出確度情報が高い「Ａｉｒｐｌａｎｅ」と、抽出確度情報が低い「Ｓｈｉｐ」という、複数種別の目標物として抽出された結果の例である。この様に、ユーザーの判断を支援するため、確度の低い抽出結果４０４と推定目標物種別４０５も表示したり、あるいは一定以上の確度の抽出結果のみを表示しても良い。
【００４０】
また、目標物種別推定にあたり、各種別の目標物が存在する可能性が高い領域を地図データより取得し、種別推定の精度向上を図っている。図４（ｂ）は、海岸線の地図データ４１１より作成した、船舶存在可能性領域４１２の例４１０である。これにより、船舶の自動抽出処理は海域のみで実行され、陸域で船舶抽出処理を行った場合に発生するであろう誤認識を確実に削減することができる。また図４（ｃ）は、同様にして作成した、航空機存在可能性領域４１４の例４１３である。これにより、航空機の自動抽出処理は、陸上、海上を問わず、全ての領域について実行される。
【００４１】
また、図４（ｄ）は、上記存在可能性領域を考慮して複数種別の目標物を抽出した結果について、目標物種別毎の個別抽出確度情報を表示した一覧表４２０である。各目標物で最も高い個別抽出確度情報の欄にはアンダーラインを、また、存在可能性領域のマスク処理により抽出されなかった欄には「＊．＊」を記述してある。ＩＤ１の目標物については、船舶存在可能性領域４１２からはずれており、船舶としての抽出処理は行われていないことが分かる。また、ＩＤ２とＩＤ３の目標物については、航空機と船舶の両方として抽出処理されている。ＩＤ２の目標物については、両個別抽出確度情報とも比較的高い数値となっており、ユーザーの判断を必要とする可能性があるため、画面上に複数種別の抽出結果４０４を表示している。この様に、個別抽出確度情報の一覧表は、表示してユーザーの確認作業を支援しても良いし、あるいは一覧表自体は表示せず、その内容に基づいた抽出結果のみを表示しても良い。
【００４２】
以上述べた様に、目標物種別に適した地図データを用いて抽出処理範囲を適切に限定することで、画像処理技術だけでは区別できない目標物種別の推定機能を含む抽出処理が可能となる。また、ノイズや類似物などの誤認識を確実に削減することもでき、抽出処理作業の効率化に大きく寄与する。これら目標物種別と地図データ種別の対応関係は、処理管理部１１０の存在可能性領域設定管理手段１１３により管理され、データベース部１５０の処理管理データ１５７として格納し、再利用される。
【００４３】
図５は、自動抽出結果の利用例を示した図である。抽出結果からは、目標物の存在する範囲を切り出した目標物画像１５３や、目標物の存在位置などに関する目標物属性データ１５４を得ることができ、以下に述べる様な方法で利用される。
【００４４】
図５（ａ）は、抽出結果５００を空中画像５０１上に表示する例で、全体のコンテキストの中で目標物の存在やその位置、向きなどを示すことができる。これにより、個別の抽出結果のみを表示する場合に比べ、総合的な確認が可能となる。
【００４５】
また図５（ｂ）は、複数の抽出結果５００を目標物画像リスト５０２として一覧表示する例で、複数の抽出処理が適切に行われたか、効率良く確認できる。さらに、目標物の大きさによって適切な画像処理を行ない、拡大・補間・縮小した目標物画像を表示すれば、視覚判読効果の高い一覧表示が可能となる。さらに、画像リストだけではなく、文字情報による一覧表示も可能であり、それら両者を組み合わせることで、効果的な表示インターフェイスが実現できる。
【００４６】
また図５（ｃ）は、抽出結果５００を目標物画像５０３として個別に表示する例で、抽出処理が適切に行われたかを詳細に確認できる。さらに、小型の目標物を拡大したり、逆に大型の目標物を縮小して表示することで、効率的な確認作業や修正作業を支援するインターフェイスなどが実現できる。
【００４７】
また図５（ｄ）は、抽出結果５００を目標物画像データや目標物属性データとして、データベース部１５０に直接登録処理する例である。これにより、大量の空中画像を一度に自動抽出処理にかけ、抽出結果をデータベースに格納しておき、後で確認するといった形態の利用が可能となる。
【００４８】
また図５（ｅ）は、抽出結果より二次情報を生成して提供する例である。具体的には、抽出結果の位置を判定し、特定の領域内にあった場合には警報５０４を発したり、あるいは抽出処理レポートや抽出処理結果に関する各種属性データ５０５などを提供できる。
【００４９】
以上、自動抽出部による自動抽出結果を例に説明したが、手動抽出部による手動抽出結果に関しても、同様の表示や利用が可能である。
【００５０】
続いて、図６と図７を用いて抽出確度情報の表示例について詳細に説明する。
【００５１】
図６は、各目標物の抽出処理における処理の正確度を自己評価して算出した、個別抽出確度情報の表示利用例である。
【００５２】
図６（ａ）は、抽出元の空中画像６００上に抽出結果を枠線で表示し、各抽出結果について個別抽出確度情報を記号で併記する例である。抽出処理が適切に行われた抽出結果６０１には「○」記号６０２を、失敗の可能性がある抽出結果６０３には「△」記号６０４を、失敗の可能性が高い抽出結果６０５には「×」記号６０６などと表示した例である。あるいは、空中画像とは別の表示インターフェイス手段に個別抽出確度情報を表示しても良い。その際、別々に表示される各抽出結果と個別抽出確度情報を対応付けるため、抽出結果と個別抽出確度情報表示インターフェイスに各々識別子などを表示して対応付けても良い。
【００５３】
また、図６（ｂ）は、抽出結果６０１や属性データ６１１などを一覧表示し、各抽出結果について個別抽出確度情報を記号で併記する例６１０である。あるいは、画像を表示せず、文字情報のみで一覧表を作成して表示することもできる。
【００５４】
また、図６（ｃ）は、抽出結果６０１や個別属性データ６２１などを個別表示し、該抽出結果について個別抽出確度情報を記号で併記する例６２０である。個々の抽出結果を詳細に確認する場合などに有効な方法である。
【００５５】
以上、個別抽出確度情報を表示利用する例について述べたが、表示以外にも、目標物属性データ１５４などとしてデータベース部１５０に直接登録することもできる。
【００５６】
図７は、全体抽出確度情報の表示利用例である。全体抽出確度情報は、上記した個別抽出確度情報を総合して算出するもので、空中画像全体における目標物抽出処理の正確度を示す情報である。
【００５７】
図７（ａ）は、全体抽出確度情報７００を画面インターフェイス７０１上に表示する例である。空中画像７０２や抽出結果７０３、そして全体抽出確度情報７００を同時に見ることが出来るため、総合的な処理内容の確認が可能である。
【００５８】
また、図７（ｂ）は、全体抽出確度情報を一覧表示する例７０４である。例えば、複数の画像を一度に抽出処理した場合や、データベースに登録されている複数空中画像の抽出結果などを確認したい場合、この様に一覧表示することで、効率良く全体状況を把握できる。
【００５９】
また、図７（ｃ）は、全体抽出確度情報を用いて、二次的な情報７０５をユーザーに提示７０６する例である。例えば、抽出処理プログラムに空中画像からの目標物抽出を実行させた場合、抽出処理プログラムからユーザーに対して処理終了などのメッセージを表示することが多い。その際、修正が必要な抽出結果が含まれている可能性がある場合に注意を促すメッセージを表示したり、あるいは処理結果Ｒｅｐｏｒｔなどを表示することができる。また、空中画像の空中画像属性データ１５２として、データベース部１５０に直接登録することもできる。
【００６０】
以上、個別抽出確度情報と全体抽出確度情報を別個に利用する例について説明したが、両抽出確度情報を併用しても良い。例えば、図６（ａ）の様に空中画像上の抽出結果について個別抽出確度情報６０２を示し、さらに図７（ａ）の様にその空中画像自体にも全体抽出確度情報７００を示す、などの利用である。また、目標物種別により異なる抽出手法が採用されることもあり、抽出確度情報は適切な統計処理により０．０〜１．０などの値に正規化しておく。これにより、異なる種別の目標物抽出処理結果であっても、抽出結果同士の正確度比較が可能となり、図３で述べた全目標物種別対応型の自動抽出処理が可能となる。また、自動抽出処理の正確度に関して抽出確度情報を算出して利用する例を中心に説明したが、後述する手動抽出処理の正確度に関する抽出確度情報についても同様である。また、抽出確度情報を記号表示する例について説明したが、記号の代わりに抽出結果の枠の表示色を変えたり、文字列や数値などとして表示することもできる。抽出確度情報と表示内容の対応例を表１に示す。
【００６１】
【表１】
0003978979.tif 000002
【００６２】
以上述べた抽出確度情報により、抽出処理に対するユーザーの判断を支援する情報を提供できるだけでなく、抽出結果の目標物種別推定も可能となる。
【００６３】
続いて、図８から図１０を用いて、手動抽出処理について詳細に説明する。
【００６４】
図８は、目標物種別指定型の手動抽出処理のフロー図である。具体的には、目視で検出した目標物を手動抽出したり、あるいは満足な結果が得られなかった自動抽出結果を手動で修正する、といった場合における処理の手順を示したものである。
【００６５】
図８（ａ）は、目標物毎に種別を設定して手動抽出を行なう場合の処理の流れである。空中画像の入力２００に対し、全ての目標物について８００、まず種別を設定し２０１、該種別の抽出に適した抽出手段を選択して２０２、図９に後述する手動抽出処理を行ない８０１、該抽出処理における個別抽出確度情報を算出し８０２、抽出結果を出力して処理を終了する２０６。以上の手順により、様々な種別の目標物が写っている空中画像についても、手動抽出が可能となる。
【００６６】
一方、図８（ｂ）は、全目標物について一括して種別設定を行なう場合の処理の流れである。空中画像の入力２００に対し、まず目標物の種別を設定し２０１、該種別の抽出に適した抽出手段を選択する２０２。続いて、全ての目標物について８００、図９に後述する手動抽出処理を行ない８０１、該抽出処理における個別抽出確度情報を算出し８０２、抽出結果を出力して処理を終了する２０６。以上の手順により、ある種別の目標物が多数写っている空中画像からも、効率の良い手動抽出処理が可能となる。
【００６７】
ここで、目標物種別設定２０１については、処理を行なう度に毎回設定しなくても良い。すなわち、既に処理管理部１１０に登録されている設定情報や、データベース部１５０の処理管理データ１５７など、あらかじめ登録された設定を初期値としてそのまま利用しても良い。また、既に処理管理部１１０に最適抽出手段が登録されている目標物を抽出する際には、目標物種別設定２０１を行うことで処理管理部１１０の最適抽出手法・パラメータ設定管理手段１１２により自動的な最適抽出手段選択２０２が可能となるが、最適抽出手法が未登録の目標物種別については、ユーザーが抽出手段を直接選択するか、あるいは最適抽出手法・パラメータ設定管理手段１１２に抽出手段を登録する。
【００６８】
以上の処理により、様々な目標物種別に適した手動抽出処理を、一つのシステム上で汎用的に実現することができる。
【００６９】
続いて、図９を用いて、図８の手動抽出処理８０１について詳細に説明する。図９は、手動抽出インターフェイス手段とそれを用いた手動抽出処理の実施例を示した図である。
【００７０】
これらは、図１に示した手動抽出部１４０の操作入力部１４１と画像処理部１４２の連携により、半自動的な抽出処理を実現する。すなわち、操作入力部１４１は、ユーザーから画面上での位置の指定や目標物パラメータの入力等を受け付ける。また、画像処理部１４２は、エッジ認識などの画像解析処理を行い、入力パラメータを元にその他のパラメータを計算推定する機能を提供する。計算推定されたパラメータは操作入力部１４１に渡され、ユーザー操作の初期値として自動入力される。該初期値が正しい場合、ユーザーはパラメータを入力する必要がなく、目標物パラメータは全て抽出され、手動抽出処理は完了となる。また、該初期値が不適切な場合であっても、ユーザーはパラメータの若干の微調整を行うだけで、手動抽出処理は完了となる。
【００７１】
例えば、図９（ａ）は、ガスタンクや樹木など、円形領域をなす目標物９０１の手動抽出の実施例９００である。ユーザーはまず中心点９０２を画面上で指示入力する。続いて、画像処理部１４２は該入力点９０２を中心とする円の半径を次第に拡大して、画像との一致度が最も高い半径を探索し９０３、得られた円領域９０４を抽出結果とする。該半径が不適切な場合には、マウス操作やキーボード入力など、手動で半径を微調整する。場合によっては、中心点９０２の位置を移動して微調整しても良い。
【００７２】
また、図９（ｂ）は、船舶など、中心線を特定しやすく、かつ左右対称構造をなす単純な形状の目標物９１１の手動抽出の実施例９１０である。ユーザーはまず始点９１２と終点９１３を画面上で指示して、中心線９１４を入力する。続いて、画像処理部１４２は該中心線９１４から矩形を次第に広げていき、画像との一致度が最も高い矩形幅を探索し９１５、得られた矩形領域９１６を抽出結果とする。該矩形幅が不適切な場合には、マウス操作やキーボード入力など、手動で幅を微調整する。場合によっては、中心線９１４の位置を移動して微調整しても良い。
【００７３】
また、図９（ｃ）は、航空機など、中心線を特定しやすく、かつ左右対象構造をなす複雑な形状の目標物９２１の手動抽出の実施例９２０である。最適抽出手法・パラメータ設定管理手段１１２では、典型的な目標物の形状を記述した目標物テンプレート９２２を用意しておく。ユーザーはまず始点９２３と終点９２４を画面上で指示して、中心線９２５を入力する。続いて、画像処理部１４２は該中心線９２５からテンプレートを次第に広げていき、画像との一致度が最も高いテンプレート幅を探索し９２６、得られたテンプレート領域９２７を抽出結果とする。該テンプレート幅が不適切な場合には、マウス操作やキーボード入力など、手動でテンプレート幅を微調整する。場合によっては、中心線９２５の位置を移動したり、テンプレート９２２自体を修正して微調整しても良い。
【００７４】
また、図９（ｄ）は、大型の車両など、四隅を特定しやすい矩形領域をなす目標物９３１の手動抽出の実施例９３０である。ユーザーはまず始点９３２と終点９３３を画面上で指示して、対角線９３４を入力する。続いて、画像処理部１４２は該対角線９３４を直径とする円９３５を求め、該円９３５に内接しつつ該対角線９３４をなす矩形の中から、画像との一致度が最も高い矩形を探索し９３６、得られた矩形領域９３７を抽出結果とする。該矩形が不適切な場合には、マウス操作やキーボード入力など、手動で矩形の角度を微調整する。場合によっては、対角線９３４の位置を移動して微調整しても良い。
【００７５】
また、図９（ｅ）は、道路や突堤など、細長い帯状の領域をなす目標物９４１の手動抽出の実施例９４０である。ユーザーはまず骨格線９４２を構成する複数の骨格点９４３を画面上で指示入力する。続いて、画像処理部１４２は該骨格線９４２の各線分を広げていき、画像との一致度が最も高い帯幅９４５を探索し９４４、得られた帯状領域９４６を抽出結果とする。該帯幅が不適切な場合には、マウス操作やキーボード入力など、手動で帯幅を微調整する。場合によっては、骨格点の位置を移動して微調整しても良い。
【００７６】
これら手動抽出インターフェイス手段を用いることで、効率的な操作入力が可能になり、大量の空中画像や目標物を扱うことが可能となる。また、画像処理を用いて幅など特定が難しい目標物パラメータを自動算出するため、複数の人員で分担して作業した場合などでも抽出パラメータに個人差が少なく、抽出結果の品質が均一となる。これにより、抽出結果画像同士の比較照合や特徴解析など、抽出結果の有効かつ正確な二次利用が可能となる。
【００７７】
ここで、図１に示した処理管理部１１０では、上記した様な目標物と抽出ツールの対応関係などを管理し、目標物に適した手動抽出ツールを利用可能とする。また、データベース部１５０では上記対応関係などを処理管理データ１５７として格納管理し、処理管理部１１０からの要求に応じて適切に情報を提供する。また、それら管理情報の柔軟な登録変更を可能とすることで、本発明の目的の一つである汎用性を高めることができる。
【００７８】
図１０は、手動抽出処理の様子を示した図である。
【００７９】
図１０（ａ）は、表示された空中画像１０００上で操作入力を行ない、手動抽出処理を行なう例である。全体状況を確認しながらの操作入力が可能となり、複数の目標物抽出であっても均一な処理結果を得やすい。一方、図１０（ｂ）は、空中画像の一部を部分的に拡大した部分拡大画像１００１上で操作入力を行ない、手動抽出処理を行なう例である。拡大の際に適切な画像処理技術で画素を補間することで、より詳細な目標物の指定が可能となり、正確な手動抽出が可能となる。
【００８０】
【発明の効果】
本発明によれば、目標物の種別に応じて最適な抽出処理方法や抽出パラメータを管理でき、それらを用いて適切な自動抽出処理や効率的な手動抽出処理が可能となる。また、抽出処理の正確さを自己評価して抽出確度情報として提供することで、抽出処理が適切に行なわれたかを効率良く確認できる。さらに、異なる種別の目標物抽出結果における正確度をも一律に比較することができ、抽出した目標物の種別推定が可能となる。また、該種別推定により、目標物種別を特定しない汎用的な自動抽出処理が、一つの抽出処理システム上で実現可能となる。さらに、地図データベースを活用し、目標物の種別に応じて存在可能性が高い領域を管理し、抽出処理範囲などを適切に限定することで、抽出処理の精度向上や、目標物種別推定の精度向上が可能となる。
【００８１】
また、本発明によれば、画像処理によりパラメータを自動算出する手動抽出インターフェイス手段を用いて、目標物種別毎に最適な抽出処理を行うことで、少ない操作手順で効率的な目標物の手動抽出処理が可能となる。これにより、十分な情報が得られない画像からの自動抽出で、誤った抽出結果が多数含まれている場合などでも、効率の良い修正作業が可能となる。さらに、画像処理技術を用いたパラメータ自動算出により、複数人員による分担作業などを行っても、均一な品質の抽出結果が得られる。これにより、抽出結果を画像キーとして画像データベースにマルチメディア検索を行なうなど、抽出結果の有効かつ正確な二次利用が可能となる。
【００８２】
これらの効果より、多種多様な種別の目標物を汎用的に扱いながら、効率の良い抽出処理システムを実現できる。これにより、目標物抽出処理におけるユーザーの負荷を軽減できる。また、空中画像を用いた地域監視業務など、高度な応用業務も可能となる。
【図面の簡単な説明】
【図１】本発明における機能構成例である。
【図２】本発明における目標物種別指定型自動抽出処理のフローである。
【図３】本発明における全目標物種別対応型自動抽出処理のフローである。
【図４】本発明における全目標物種別対応型自動抽出処理例である。
【図５】本発明における自動抽出処理結果の利用例である。
【図６】本発明における個別抽出確度情報の表示例である。
【図７】本発明における全体抽出確度情報の表示例である。
【図８】本発明における目標物種別指定型手動抽出処理のフローである。
【図９】本発明における手動抽出インターフェイス手段例である。
【図１０】本発明における手動抽出処理例である。
【図１１】従来の自動抽出処理のフローである。
【図１２】従来の自動抽出処理結果例である。
【図１３】従来の手動抽出処理例である。
【符号の説明】
１００…処理管理データ取得、１０１…処理管理データ格納、１０２…抽出パラメータ取得、１０３…空中画像データ取得、１０４…自動抽出結果、１０５…表示結果、１０６…手動抽出結果、１０７…抽出結果格納、１１０…処理管理部、１１１…目標物種別設定管理手段、１１２…最適抽出手法・パラメータ設定管理手段、１１３…存在可能性領域設定管理手段、１２０…自動抽出部、１２１…自動抽出手段、１２２…抽出確度情報算出手段、１２３…抽出結果比較判定登録手段、１２４…地図処理手段、１３０…表示部、１３１…空中画像表示手段、１３２…抽出確度情報表示手段、１３３…地図表示手段、１３４…属性表示手段、１４０…手動抽出部、１４１…操作入力部、１４２…画像処理部、１４３…抽出確度情報算出手段、１５０…データベース部、１５１…空中画像、１５２…空中画像属性データ、１５３…目標物画像、１５４…目標物属性データ、１５５…地図データ、１５６…地図属性データ、１５７…処理管理データ、
２００…空中画像、２０１…目標物種別設定、２０２…最適抽出手段選択、２０３…地図マスク処理、２０４…自動抽出処理、２０５…全体抽出確度情報算出、２０６…抽出結果、２１０…前処理、２１１…目標物検出、２１２…全目標物、２１３…目標物パラメータ抽出、２１４…個別抽出確度情報算出、
３００…全目標物種別、３０１…全抽出結果、３０２…抽出結果の重複判定、３０３…全重複抽出結果、３０４…個別抽出確度情報の比較、３０５…抽出結果確定登録処理、３０６…抽出結果確定登録処理、
４００…全目標物種別対応型自動抽出処理結果例、４０１…目標物、４０２…抽出結果、４０３…文字列、４０４…確度の低い抽出結果、４０５…推定目標物種別、４１０…船舶存在可能性領域表示例、４１１…海岸線地図データ、４１２…船舶存在可能性領域、４１３…航空機存在可能性領域表示例、４１４…航空機存在可能性領域、４２０…個別抽出確度情報の一覧表示例、
５００…抽出結果、５０１…空中画像、５０２…目標物画像リスト、５０３…目標物画像個別表示、５０４…警報、５０５…属性データ、
６００…空中画像、６０１…正しい抽出結果、６０２…正しい個別抽出確度情報、６０３…誤りの可能性がある抽出結果、６０４…誤りの可能性がある個別抽出確度情報、６０５…誤りの可能性が高い抽出結果、６０６…誤りの可能性が高い個別抽出確度情報、６１０…一覧表示、６１１…属性データ一覧表示、６２０…個別表示、６２１…個別属性データ、
７００…全体抽出確度情報、７０１…画面インターフェイス、７０２…空中画像、７０３…抽出結果、７０４…一覧表示、７０５…二次的な情報、７０６…情報提示、
８００…全目標物、８０１…手動抽出処理、８０２…個別抽出確度情報算出、
９００…円形領域手動抽出例、９０１…目標物、９０２…中心点、９０３…半径探索、９０４…抽出結果、９１０…矩形領域手動抽出例、９１１…目標物、９１２…始点、９１３…終点、９１４…中心線、９１５…矩形幅拡大、９１６…抽出結果、９２０…テンプレート手動抽出例、９２１…目標物、９２２…テンプレート、９２３…始点、９２４…終点、９２５…中心線、９２６…テンプレート幅探索、９２７…抽出結果、９３０…矩形領域手動抽出例、９３１…目標物、９３２…始点、９３３…終点、９３４…対角線、９３５…円、９３６…内接矩形探索、９３７…抽出結果、９４０…帯領域手動抽出例、９４１…目標物、９４２…骨格線、９４３…骨格点、９４４…帯幅探索、９４５…帯幅、９４６…抽出結果、
１０００…空中画像、１００１…部分拡大画像、
１１００…種別Ａ専用自動抽出処理、１１０１…種別Ｂ専用自動抽出処理、
１２００…船舶自動抽出例、１２０１…航空機目標物、１２０２…誤抽出結果、１２０３…船舶目標物、１２０４…正しい抽出結果、１２１０…航空機自動抽出例、１２１１…正しい抽出結果、１２１２…誤抽出結果、
１３００…目視検出例、１３０１…目視確認、１３０２…画面、１３０３…目標物、１３１０…ポリゴン構成点入力手動抽出例、１３１１…構成点、１３１２…手動抽出結果。
【図１】
0003978979.tif 000003
【図２】
0003978979.tif 000004
【図３】
0003978979.tif 000005
【図４】
0003978979.tif 000006
【図５】
0003978979.tif 000007
【図６】
0003978979.tif 000008
【図７】
0003978979.tif 000009
【図８】
0003978979.tif 000010
【図９】
0003978979.tif 000011
【図１０】
0003978979.tif 000012
【図１１】
0003978979.tif 000013
【図１２】
0003978979.tif 000014
【図１３】
0003978979.tif 000015