(57)【要約】【課題】照合用画像を絞り込んだ上で画像照合処理を行い、対象画像に写る検査対象物の位置を短時間で、かつ精度良く特定するための技術を提供する。【解決手段】地理位置情報特定システムは、検査対象物が写った対象画像に対する照合用画像と、前記照合用画像の位置情報と、前記照合用画像の属性情報とを含む第１データベースと、前記検査対象物の属性情報である絞り込み条件を用いて、前記第１データベースから前記照合用画像を検索する検索部と、前記対象画像と前記検索された照合用画像とを比較し、前記対象画像と類似する照合用画像と当該類似する照合用画像の前記位置情報とを前記第１データベースから抽出する類似画像特定部と、を備える。【選択図】図１
2017102672.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物が写った対象画像に対する照合用画像と、前記照合用画像の位置情報と、前記照合用画像の属性情報とを含む第１データベースと、
前記検査対象物の属性情報である絞り込み条件を用いて、前記第１データベースから前記照合用画像を検索する検索部と、
前記対象画像と前記検索された照合用画像とを比較し、前記対象画像と類似する照合用画像と当該類似する照合用画像の前記位置情報とを前記第１データベースから抽出する類似画像特定部と、
を備える地理位置情報特定システム。
【請求項２】
請求項１に記載の地理位置情報特定システムにおいて、
前記検査対象物の代表的な画像である代表照合画像の属性情報を含む第２データベースと、
前記対象画像と類似する前記代表照合画像の前記属性情報を取得する属性情報推定部と、
を更に備え、
前記検索部は、前記絞り込み条件として、前記属性情報推定部によって取得された前記代表照合画像の前記属性情報を使用することを特徴とする地理位置情報特定システム。
【請求項３】
請求項２に記載の地理位置情報特定システムにおいて、
前記絞り込み条件として、前記属性情報推定部によって取得された前記代表照合画像の前記属性情報を表示する画面を表示する表示部を更に備え、
前記検索部は、前記画面に対する前記絞り込み条件を確定する入力を受け取った後に、検索処理を実行することを特徴とする地理位置情報特定システム。
【請求項４】
請求項３に記載の地理位置情報特定システムにおいて、
前記画面は、前記絞り込み条件を修正するインターフェースを備えることを特徴とする地理位置情報特定システム。
【請求項５】
請求項１に記載の地理位置情報特定システムにおいて、
前記検査対象物の属性情報と、前記検査対象物の位置情報とを含む第３データベースと、
前記絞り込み条件を用いて前記第３データベースから前記検査対象物の前記位置情報を取得する位置推定部と、
をさらに備え、
前記検索部は、前記絞り込み条件として、前記位置推定部によって取得された前記検査対象物の前記位置情報を使用することを特徴とする地理位置情報特定システム。
【請求項６】
請求項５に記載の地理位置情報特定システムにおいて、
前記第３データベースは、前記検査対象物の分布の形状に関する情報を更に含み、
前記検索部は、前記検査対象物の前記位置情報及び前記形状に関する情報で特定される空間に存在する前記照合用画像を前記第１データベースから検索することを特徴とする地理位置情報特定システム。
【請求項７】
請求項５に記載の地理位置情報特定システムにおいて、
前記検索部は、前記絞り込み条件として、前記位置推定部によって取得された前記検査対象物の前記位置情報の周辺情報も更に使用することを特徴とする地理位置情報特定システム。
【請求項８】
請求項１に記載の地理位置情報特定システムにおいて、
前記対象画像と、前記類似する照合用画像と、前記類似する照合用画像の前記位置情報とを表示する画面を表示する表示部を更に備えることを特徴とする地理位置情報特定システム。
【請求項９】
請求項８に記載の地理位置情報特定システムにおいて、
前記画面は、前記類似する照合用画像の中から所望の照合用画像を選択できるインターフェースを備えることを特徴とする地理位置情報特定システム。
【請求項１０】
請求項９に記載の地理位置情報特定システムにおいて、
前記対象画像と、前記選択された照合用画像の前記位置情報と、前記選択された照合用画像の前記属性情報とを関連付けて前記第１データベースに登録する登録部を更に備えることを特徴とする地理位置情報特定システム。
【請求項１１】
プロセッサ及び記憶部を備える情報処理システムで実行される地理位置情報特定方法であって、前記記憶部は、検査対象物が写った対象画像に対する照合用画像と、前記照合用画像の位置情報と、前記照合用画像の属性情報とを含む第１データベースを格納しており、
前記プロセッサが、前記検査対象物の属性情報である絞り込み条件を用いて、前記第１データベースから前記照合用画像を検索するステップと、
前記プロセッサが、前記対象画像と前記検索された照合用画像とを比較し、前記対象画像と類似する照合用画像と当該類似する照合用画像の前記位置情報とを前記第１データベースから抽出するステップと、
を含む地理位置情報特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地理位置情報特定システム及び地理位置情報特定方法に関する。
【背景技術】
【０００２】
近年、国内において、1960年代の高度成長期に整備された道路や橋梁、トンネルなどの社会インフラ設備の多くが、耐用年数とされる50年を超え、老朽化に際し必要な保守・更新作業が増加している。現在、多くの作業では技術をもった作業員が現地において目視確認を行っている。例えば、交通インフラ施設に関しては、作業員が道路構造物や橋梁の塗装面のひび割れ、鉄筋の露出、鉄道軌道の摩耗、信号・架線の異常等を現地で目視確認し、損傷箇所や補修が必要な箇所を発見している。現地での目視確認では、対象の設備が点在している場合に作業員の移動に時間がとられることや、作業員が鉄道路線上などから点検を行う際に危険が伴うといった課題がある。対象となる設備の数が多く、財源や人材の確保が厳しくなる中、現地作業を軽減する業務改善への要望が高い。
【０００３】
改善への取り組みとして、近年、無人飛行機(Unmanned Aerial Vehicle、以下UAV)や移動計測車両による測量システム(Mobile Mapping System、以下MMS)が撮影した画像データの利用が有望視されている。たとえば、何万枚と設置された太陽光発電パネルについて、UAVが撮影した画像データを解析することで温度といった情報を自動計算し、正常値と比較し異常を検知することで、作業員による実機点検を代替する手法が提案されている。また高速道路の橋梁について、UAVが撮影した画像データを用いて状態を確認することで、従来の車線規制を行ったうえで専用車両に乗った作業員が目視確認する、という作業の置き換えが検証されている。このような、現地作業を軽減する画像データを用いた設備の点検手法は、労力・時間・費用といった作業コストを削減できる。また、作業員の安全を確保できるといったメリットがあり、利用価値が高い。
【０００４】
上記のような画像データを用いた点検手法では、撮影した設備（以下、検査対象物）の場所を特定することが必要となる。そのためには、撮影機器に付随したGPS機能から撮影地点の地理的な位置情報（以下、地理位置情報）を取得したり、又は、機器を搭載した移動体の加速度センサが検出した値から移動距離を導出することで撮影地点の地理位置情報を取得する場合が多い。例えば、特許文献１では、携帯情報端末のGPS機能を用いて設備の位置情報を管理システムが開示されている。
【０００５】
しかしながら、トンネル内・高架道路の下など電波を受信できずGPS機能を利用できない場所での撮影や、GPS・加速度センサをもたない撮影機器を用いた場合など、状況によって撮影地点の地理位置情報を取得できないことがある。また、撮影地点の地理位置情報を取得できたとしても、検査対象物が実際に立地している場所とは異なる位置に特定される可能性がある。
【０００６】
このような正確な撮影地点が不明な画像データから検査対象物の地理位置情報を特定する方法として、当該画像データ（対象画像）と、あらかじめ用意した地理位置情報が分かっている多数の画像データ（照合用画像）との間で類似度を計算する方法がある。例えば、対象画像とある照合用画像の類似度が高い場合、同じ検査対象物を撮影していると判定され、当該照合用画像の地理位置情報を検査対象物の位置として取得する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−０８９２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像データを用いた社会インフラ設備の点検作業では、画像データ内に存在する検査対象物の地理位置情報を特定する方法が望まれているが、この手法を実用化して業務へ導入するには、点検対象となる設備が多数ある場合でも、従来の現地での点検作業と同等以上に設備の地理位置情報を正確に、また比較的短時間で取得することが求められる。
【０００９】
しかしながら、上記の画像照合により地理位置情報を特定する方法では、多数の照合用画像が存在すると、類似度の計算及び判定には多くの処理時間を要する。また、照合用画像データの数が増加するにともない、実際には検査対象物は異なっているが類似度が高いため同一と誤って判定されるケースが増加する可能性もある。
【００１０】
そこで、本発明は、照合用画像を絞り込んだ上で画像照合処理を行い、対象画像に写る検査対象物の位置を短時間で、かつ精度良く特定するための技術を提供する。
【課題を解決するための手段】
【００１１】
例えば、上記課題を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例をあげるならば、検査対象物が写った対象画像に対する照合用画像と、前記照合用画像の位置情報と、前記照合用画像の属性情報とを含む第１データベースと、前記検査対象物の属性情報である絞り込み条件を用いて、前記第１データベースから前記照合用画像を検索する検索部と、前記対象画像と前記検索された照合用画像とを比較し、前記対象画像と類似する照合用画像と当該類似する照合用画像の前記位置情報とを前記第１データベースから抽出する類似画像特定部と、を備える地理位置情報特定システムが提供される。
【００１２】
また、他の例によれば、プロセッサ及び記憶部を備える情報処理システムで実行される地理位置情報特定方法が提供される。前記記憶部は、検査対象物が写った対象画像に対する照合用画像と、前記照合用画像の位置情報と、前記照合用画像の属性情報とを含む第１データベースを格納している。当該地理位置情報特定方法は、前記プロセッサが、前記検査対象物の属性情報である絞り込み条件を用いて、前記第１データベースから前記照合用画像を検索するステップと、前記プロセッサが、前記対象画像と前記検索された照合用画像とを比較し、前記対象画像と類似する照合用画像と当該類似する照合用画像の前記位置情報とを前記第１データベースから抽出するステップと、を含む。
【発明の効果】
【００１３】
本発明によれば、照合用画像を絞り込んだ上で画像照合処理を行い、対象画像に写る検査対象物の位置を短時間で、かつ精度良く特定することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例を示すシステム構成図である。
【図２】代表的照合用画像テーブルの構成例である。
【図３】代表的照合用画像テーブルに登録される設備の例である。
【図４】設備位置情報テーブルの構成例である。
【図５】設備位置情報テーブルに格納されている位置情報の分布例である。
【図６】照合用画像データベースに格納されている画像の例である。
【図７】照合用画像情報テーブルの構成例である。
【図８】図７の照合用画像情報テーブルに登録されている位置情報を対象エリアでポイントした例である。
【図９】照合用画像特徴点テーブルの構成例である。
【図１０】本発明に係る検査対象物の地理位置情報特定処理のフローチャートの例である。
【図１１】検査対象物に関する属性情報の推定結果の表示画面の例である。
【図１２】設備位置情報テーブルを用いて空間検索対象を絞り込んだイメージ図である。
【図１３】特徴量を用いて類似画像を抽出する処理の例である。
【図１４】対象画像の検査対象物と同一と推定される設備の照合用画像データの表示例である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本発明の実施例について説明する。添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図において共通の構成については同一の参照番号が付されている場合がある。
【００１６】
以下の実施例は、画像データ内に存在する地理位置情報が不明な検査対象物の地理位置情報を特定するシステムに関する。
【００１７】
本願発明者は、上記課題を検討した結果、撮影地点が不明な画像データ（対象画像）と、あらかじめ用意した地理位置情報が分かっている画像データ（照合用画像）とを照合する方法について次の知見を得るに至った。
【００１８】
対象画像と照合用画像とを照合する方法では、全ての照合用画像と対象画像の間で類似度を計算するのではなく、事前にある程度照合用画像を絞り込むことが有用である。照合用画像を絞り込む条件として、照合用画像に付随する属性情報が、対象画像の属性情報と合っているかを判定することが考えられる。例えば、対象画像が交通インフラに関する設備を撮影した画像データである場合、検査対象物は道路や鉄道路線に沿って分布していることが多い。そのため、道路や鉄道路線といった設備に近接した位置を撮影した画像データであるという条件、又は検査対象物の設備規格が分布する場所という条件で、照合用画像データの数を絞り込むことにより、画像類似度のみによる地理位置情報の特定と比べ、誤検知率が低くなる。また、このような空間検索や属性検索にかかる処理時間は、従来の類似度のみを用いた判定にかかる処理時間に比べ短い。以下では、可能性のある設備の立地場所や撮影日時などを条件として、照合用画像を絞り込む技術を説明する。
【００１９】
図１は、本発明の実施形態の一例を示すシステム構成図である。地理位置情報特定システムは、コンピュータなどの情報処理システムで構成され、例えば、地理位置情報特定サーバ１００と、利用者端末１２０とから構成される。
【００２０】
地理位置情報特定サーバ１００は、記憶部１０１と、通信部１０２と、ＣＰＵ（プロセッサ）１０３と、メモリ１０４と、データベース１１０〜１１４とを備える。
【００２１】
記憶部１０１は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置である。記憶部１０１は、本発明の機能を提供する各モジュールのプログラムを格納する。具体的には、記憶部１０１は、設備種類推定部１０５と、位置推定部１０６と、特徴量計算部１０７と、類似画像特定部１０８と、空間検索部１０９とを格納する。
【００２２】
ＣＰＵ１０３は、必要に応じて各モジュールのプログラムをメモリ１０４に読み込ませ、各種処理を実行する。したがって、以下の説明において、図１の記憶部１０１に格納されたモジュールを主語として処理内容を説明した場合、プロセッサを主語とした説明としてもよい。通信部１０２は、インターネット等を介して他の装置と通信を行う。
【００２３】
なお、ＣＰＵ１０３によって実行されるプログラムは、不揮発性の記憶媒体又はネットワークを介して地理位置情報特定サーバ１００に提供される。このため、地理位置情報特定サーバ１００は、記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）を読み込むインターフェースを備えてもよい。
【００２４】
設備種類推定部１０５は、代表照合画像に基づき対象画像データに写る検査対象設備の設備種類及び設備規格の推定を行う。
【００２５】
位置推定部１０６は、検査対象設備の設備種類及び設備規格に基づき、空間検索をおこなう領域を特定する。
【００２６】
特徴量計算部１０７は、画像から特徴点を抽出し、特徴量を算出する。ここで、特徴点とは、画像データ間で対応の取り易い点である。一例として、特徴点は、画像データ中で濃淡の変化が大きい場所である。なお、特徴点としては、他の公知の技術で抽出できる点を使用してもよい。特徴量とは、特徴点周りの領域から算出される当該領域の画像上の特徴を表わすデータである。ここでは、特徴量は、特徴点周りの領域における画素値から導出したベクトル量で表される。特徴量の算出は、公知の技術を利用することができる。
【００２７】
類似画像特定部１０８は、特徴量を用いて２つの画像に写る検査対象物が同一（類似）か否かを判定する。類似画像特定部１０８は、二つの画像データ間で特徴量を比較することによって、対応している点を検出し、対応点の数により画像データの類似度を判定する。
【００２８】
空間検索部１０９は、位置推定部１０６によって特定された空間検索を行う領域と交差する位置情報を、照合用画像情報テーブル７００中の位置情報７０４にもつ照合用画像の画像IDを特定する。
【００２９】
地理位置情報特定サーバ１００とネットワークで接続された利用者端末１２０は、一般的なコンピュータで構成され、入力部１２１と、表示部１２２と、通信部１２３と、ＣＰＵ１２４と、メモリ１２５と、記憶部１２６とを備える。
【００３０】
入力部１２１は、ユーザからの入力を受け付けるキーボード、マウスなどのユーザインターフェースである。表示部１２２は、ディスプレイなどのユーザインターフェースである。通信部１２３は、インターネット等を介して他の装置と通信を行う。
【００３１】
記憶部１２６は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置である。記憶部１２６は、地理位置情報特定サーバ１００とやり取りするための各種プログラムを格納する。ＣＰＵ１２４は、必要に応じて各プログラムをメモリ１２５に読み込ませ、各種処理を実行する。
【００３２】
次に、データベース１１０〜１１４について説明する。データベース１１０〜１１４は、記憶部１０１に格納されていてもよいし、地理位置情報特定サーバ１００の外部の記憶装置に格納されていてもよい。
【００３３】
なお、本実施例において、本システムが使用する情報は、データ構造に依存せず、どのようなデータ構造で表現されていてもよい。以下は、テーブル形式の情報を例として示しているが、例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体を用いて情報を格納することができる。
【００３４】
代表照合画像データベース１１０は、本発明を利用する分野、業務において検査対象となる設備について、設備を象徴する代表照合用画像の属性情報及び特徴量を格納する。設備位置情報データベース１１１は、検査対象となりえる設備の属性情報及び地理位置情報を格納する。照合用画像データベース１１２は、検査対象となりえる設備を撮影した様々な照合用画像を格納する。照合用画像情報データベース１１３は、照合用画像データベース１１２に登録された各照合用画像の撮影日時及び撮影された地理位置情報を格納する。照合用画像特徴点データベース１１４は、照合用画像データベース１１２に登録された各照合用画像に写る設備の特徴点情報を格納する。なお、照合用画像に関する情報は、この例のように複数のデータベース１１２〜１１４で管理されてもよいし、１つのデータベースに統合して管理されてもよい。
【００３５】
図２は、代表照合画像データベース１１０に格納されている、代表照合画像テーブル２００の例である。代表照合画像テーブル２００には、本発明を利用する分野、業務において検査対象となる設備の種類と規格ごとに用意した代表的な画像（代表照合画像）における特徴量が登録されている。
【００３６】
代表照合画像テーブル２００は、レコードを一意に特定するための分類コード２０１と、設備種類２０２と、設備規格２０３と、対象設備の代表画像における当該設備の特徴量２０４とをカラムとして含む。なお、この例では、代表照合画像データベース１１０は、代表照合画像の特徴量を格納しているが、これに限定されず、代表照合画像自体を格納していてもよい。この場合、代表照合画像から特徴量をその都度計算すればよい。
【００３７】
図３は、検査対象となる設備の例である。図３に例示するように、設備種類２０２が送電塔の場合、送電塔には４種類の規格がある。規格ごとに送電塔の形は異なるため、特徴量２０４は異なる。よって、代表照合画像テーブル２００には、規格がＡの送電塔の特徴量、規格がＢの送電塔の特徴量、規格がＣの送電塔の特徴量、及び規格がＤの送電塔の特徴量がそれぞれ登録される。他の設備の種類についても同様に、規格ごとに特徴量が代表照合画像テーブル２００に登録される。
【００３８】
図４は、設備位置情報データベース１１１に格納されている、設備位置情報テーブル４００の例である。設備位置情報テーブル４００は、レコードを一意に特定するための参照コード４０１と、検査対象の名称４０２と、設備種類４０３と、設備規格４０４と、検査対象の位置情報４０５と、形式４０６とをカラムとして含む。
【００３９】
設備位置情報テーブル４００では、検査対象のエリアに存在する検査対象物が、設備種類と設備規格でグループ分けされている。位置情報４０５には、各グループに属する全ての検査対象物の位置情報がリストアップされている。
【００４０】
形式４０６は、設備種類の特性に応じて、設備の分布の形状に関する情報を格納する。例えば、送電塔の分布域など、ある領域を指定する場合、形式４０６には「領域」が格納される。また、電線の分布や電車、道路の路線といった線状につながる設備の場合、形式４０６には「ライン」が格納され、ある規格の設備が点在する場合、形式４０６には「ポイント」が格納される。
【００４１】
このように分類することで、空間検索部１０９は、形式４０６が「領域」の場合、位置情報４０５で特定される領域内及びその周辺を検索対象の空間として、空間検索を実行する。また、空間検索部１０９は、形式４０６が「ライン」の場合、位置情報４０５から成るライン及びその周辺を検索対象の空間として、空間検索を実行する。また、空間検索部１０９は、形式４０６が「ポイント」の場合、位置情報４０５のポイントの周辺を検索対象として、空間検索を実行する。
【００４２】
図５は、設備位置情報データベース１１１に格納されている設備の位置の分布例５００を示す。分布例５００内の白丸は、規格Ａの送電塔の分布を示す。
【００４３】
図６は、照合用画像データベース１１２に格納されている画像の例である。照合用画像データベース１１２には、検査対象エリアに存在する検査対象物に関する多数の照合用画像が登録されている。なお、図６では、図示省略されているが、各照合用画像は、画像ＩＤと関連付けて照合用画像データベース１１２に格納されている。
【００４４】
図７は、照合用画像情報データベース１１３に格納されている照合用画像情報テーブル７００の例である。照合用画像情報テーブル７００は、照合用画像データベース１１２に登録されている照合用画像のそれぞれについての属性情報を格納する。照合用画像情報テーブル７００は、画像を一意に特定する画像ＩＤ７０１と、画像が撮影された撮影日７０２と、撮影時刻７０３と、位置情報７０４とをカラムとして含む。
【００４５】
図８は、図７に示した照合用画像情報テーブル７００の情報を対象エリア内でポイントした例８００を示す。
【００４６】
図９は、照合用画像特徴点データベース１１４に格納されている照合用画像特徴点テーブル９００の例である。照合用画像特徴点テーブル９００は、画像を一意に特定する画像ＩＤ９０１と、照合用画像から導出された特徴量９０２とをカラムとして含む。
【００４７】
画像ＩＤ９０１は、照合用画像データベース１１２の画像ＩＤ及び照合用画像情報テーブル７００の画像ＩＤ７０１と対応している。特徴量９０２は、照合用画像の中の特徴点ごとに、特徴点周りの領域における画素値から導出したベクトル量である。特徴点の数については、画像ごとに異なる。画像９０３は、ある送電塔の照合用画像の特徴点の一例である。
【００４８】
図１０は、本発明に係る検査対象物の地理位置情報特定処理のフローチャートの例である。
【００４９】
利用者端末１２０は、まず、ユーザにより地理位置情報を推定したい検査対象物が写った画像（以下、対象画像）の選択を受け付ける（Ｓ１００１）。利用者端末１２０の通信部１２３は、対象画像のデータを地理位置情報特定サーバ１００に送信する（Ｓ１００２）。
【００５０】
地理位置情報特定サーバ１００の通信部１０２は、利用者端末１２０から対象画像を受信する（Ｓ１００３）。特徴量計算部１０７は、受信した対象画像から特徴点を抽出し、各特徴点について特徴量を算出する（Ｓ１００４）。
【００５１】
類似画像特定部１０８は、算出された特徴量と、代表照合画像テーブル２００に登録された代表照合画像の特徴量２０４とを比較することにより類似度を算出する。類似画像特定部１０８は、代表照合画像テーブル２００中で、例えば、算出した類似度が最も高いレコードを抽出する。設備種類推定部１０５は、抽出されたレコードの設備種類２０２と設備規格２０３を取得する（Ｓ１００５）。設備種類推定部１０５は、抽出したレコードの設備種類２０２と設備規格２０３の情報を、受信した対象画像に写る検査対象物の設備種類と設備規格の推定結果として出力する。なお、設備種類推定部１０５は、算出した特徴量とある設備の種類の特徴量との類似度がある所定の値より高いが、設備の規格が特定できるほど代表照合画像テーブル２００内の特定のレコードとの類似度が高くない場合、設備の種類のみ出力し、設備の規格が特定できなかった旨を出力してもよい。
【００５２】
通信部１０２は、対象画像に写る検査対象物に関する推定結果（設備種類及び設備規格）を利用者端末１２０に送信する（Ｓ１００６）。利用者端末１２０の通信部１２３は、検査対象物に関する推定結果を受信し（Ｓ１００７）、その推定結果を表示部１２２に表示する（Ｓ１００８）。
【００５３】
図１１は、利用者端末１２０における検査対象物に関する推定結果の表示画面の例である。画面上に、利用者が選択した対象画像と、設備の推定結果として、設備の立地条件などが表示される。画面１１０１は、対象画像設定部１１０２と、対象画像表示部１１０３と、推定結果表示部１１０４と、条件設定部１１０５とを備える。
【００５４】
対象画像設定部１１０２は、対象画像のファイルのパス等が表示される領域であり、ユーザは、例えば参照ボタンを用いて、対象画像を選択することができる。対象画像表示部１１０３は、対象画像が表示される領域である。推定結果表示部１１０４は、検査対象物に関する推定結果（設備種類及び設備規格）が表示される領域である。なお、設備種類推定部１０５において、設備の種類は特定できたが、設備の規格が特定できなかった場合には、設備の規格の欄にはそのことが分かるように表示してもよい。条件設定部１１０５は、絞り込み条件の追加の条件を設定する領域である。図１１の例では、絞り込みの追加の条件として、照合用画像の撮影日時を設定することができる。利用者端末１２０は、検索続行の指示を送信する処理において、追加の条件を地理位置情報特定サーバ１００に送信してもよい。この後、地理位置情報特定サーバ１００は、指定された追加の条件に従って、照合用画像の絞り込みを行う検索処理を実行してもよい。
【００５５】
また、画面１１０１は、推定結果表示部１１０４の内容を修正するインターフェースを備えてもよい。例えば、地理位置情報特定サーバ１００にて推定した結果（設備の種類、設備の規格）が異なる、又は、地理位置情報特定サーバ１００にて設備の種類及び設備の規格推定できなかった場合に、ユーザが設備の種類及び設備の規格の一覧から正しい情報をプルダウンで選べるようにしてもよい。利用者端末１２０は、その結果を地理位置情報特定サーバ１００に送信し、地理位置情報特定サーバ１００が、ユーザによって修正された内容に基づき処理を続行させるようにしてもよい。上記の構成によれば、地理位置情報特定サーバ１００の推定結果に誤りがある、又は、推定結果が得られなかった場合でも、正しい属性情報に修正して処理を続行することができ、検索精度を上げることができる。
【００５６】
ユーザは、画面１１０１上の推定結果表示部１１０４の内容を確認し、問題がなければ検索続行ボタン１１０６を押下し、推定結果表示部１１０４の内容を絞り込み条件として確定させる。利用者端末１２０は、検索続行ボタン１１０６への押下の情報を受け取ると（Ｓ１００９）、通信部１２３が、地理位置情報特定サーバ１００に検索続行の指示を送信する（Ｓ１０１０）。
【００５７】
なお、ユーザは、処理を中断する場合、キャンセルボタン１１０７を押下する。この場合は、利用者端末１２０の通信部１２３は、地理位置情報特定サーバ１００に処理の中断の指示を送信し、地理位置情報特定サーバ１００の処理が終了する。
【００５８】
地理位置情報特定サーバ１００の通信部１０２は、利用者端末１２０から指示を受け付ける（Ｓ１０１１）。地理位置情報特定サーバ１００が検索続行の指示を受け取ると、位置推定部１０６は、設備位置情報テーブル４００から、設備種類推定部１０５で推定した設備の種類及び設備の規格と設備種類４０３及び設備規格４０４が一致するレコードを特定し、そのレコードの位置情報４０５及び形式４０６を取得する（Ｓ１０１２）。例えば、設備種類推定部１０５で推定した設備の種類が「送電塔」であり、設備の規格が「Ａ」の場合、位置推定部１０６は、参照コード４０１が「３」のレコードの位置情報４０５及び形式４０６を取得する。
【００５９】
図１２は、設備位置情報テーブル４００を用いて空間検索対象を絞り込んだイメージ図である。プロット図１２０１は、空間検索対象を絞り込む前の、全ての照合用画像の被写体の位置をプロットした図である。プロット図１２０２は、設備種類推定部１０５で推定した設備の種類が「送電塔」であり、設備の規格が「Ａ」の場合に、Ｓ１０１２で取得された位置情報４０５をプロットした図である。このように、本実施例によれば、属性情報を用いて検索対象の空間を限定することで、照合用画像を絞り込むことが可能となる。
【００６０】
また、設備種類推定部１０５で推定した結果、設備の種類は「送電塔」であったが、設備の規格を推定できなかった場合、位置推定部１０６は、参照コードが「１」のレコード、すなわち、設備種類４０３が「送電塔」であり、かつ、設備規格が「Ａｌｌ」となっているレコードの位置情報４０５及び形式４０６を取得する。
【００６１】
空間検索部１０９は、取得した位置情報４０５及び形式４０６のデータに基づき、照合用画像情報テーブル７００を検索し、照合用画像を特定する（Ｓ１０１３）。具体的には、形式４０６が「ポイント」の場合、空間検索部１０９は、位置情報４０５に設定されている座標の周辺を空間検索の対象とし、照合用画像情報テーブル７００から、その空間内に存在する位置情報７０４を有するレコードの画像ＩＤ７０１を取得する。
【００６２】
例えば、設備種類が「送電線」で設備規格が「Ａ」の場合、形式４０６は「ライン」である。そのため、空間検索部１０９は、照合用画像情報テーブル７００から、Ｓ１０１２にて取得した位置情報４０５で指定された位置を結んだライン及びその周辺を含む空間内に存在する位置情報７０４を有するレコードの画像ＩＤ７０１を取得する。
【００６３】
また、別の例として、設備種類が「送電塔」で設備規格が「Ａｌｌ」の場合、形式４０６は「領域」である。そのため、空間検索部１０９は、照合用画像情報テーブル７００から、Ｓ１０１２にて取得した位置情報４０５で指定された空間（例えば、座標で囲まれた領域）内に存在する位置情報７０４を有するレコードの画像ＩＤ７０１を取得する。以上の構成によれば、より効果的かつ正確に、検査対象物の位置情報の推定が可能になる。なお、空間検索として、位置情報４０５に指定された内容の周辺まで含むのは、道路や鉄道路線の増設などにより設備が若干移動されている場合に対応するためである。また、位置情報には多少の誤差もあり、その誤差も許容するためである。
【００６４】
なお、Ｓ１０１３において、空間検索部１０９は、画面１１０１の条件設定部１１０５に指定された撮影日時の情報を用いて、取得される画像ＩＤ７０１をさらに絞り込んでもよい。
【００６５】
特徴量計算部１０７は、Ｓ１０１３にて取得した画像ＩＤ７０１で特定される照合用画像の特徴量を照合用画像特徴点テーブル９００の特徴量９０２から取得する。類似画像特定部１０８は、対象画像の特徴量と、取得した特徴量９０２とを比較することにより類似度を算出する。類似画像特定部１０８は、算出した類似度が所定の閾値より高い場合、その照合用画像が対象画像に写った検査対象物と同一であると推定し、その照合用画像を照合用画像データベース１１２から抽出する（Ｓ１０１４）。また、類似画像特定部１０８は、抽出された照合用画像に対応する撮影日７０２、撮影時刻７０３、及び位置情報７０４を、照合用画像情報テーブル７００から抽出する。
【００６６】
図１３は、Ｓ１０１４における、特徴量を用いて類似画像を抽出する処理の例である。対象画像１３０１と照合用画像１３０２を比較した場合、２つの画像間で対応する特徴点が多数ある。そのため、類似画像特定部１０８は、対象画像１３０１の検査対象物と照合用画像１３０２に写る設備は同一であると推定する。一方で、対象画像１３０３と照合用画像１３０４を比較した場合、２つの画像間で対応する特徴点が少ない。そのため、類似画像特定部１０８は、対象画像１３０３の検査対象物と照合用画像１３０４に写る設備は異なるものであると推定する。どの程度の対応特徴点がある場合に同一と推定するかについては任意であるが、照合用画像を設備種類や設備規格で絞り込んだ後であるため、最初のＳ１００５よりも、類似度の判定条件を厳しく設定してもよい。なお、ここで用いた局所的な特徴点による画像データの類似度を判定する方法では、画像データ間のスケール・回転・変形・色調の違いがあっても類似度を判定できる。そのため、地理位置情報を特定したい検査対象物が存在する対象画像と照合用画像との間に、検査対象物と撮影機器間の距離や画像データの撮影角、太陽高度、天候といった違いがあってもかまわない。
【００６７】
通信部１０２は、Ｓ１０１４にて抽出された照合用画像を利用者端末１２０に送信する（Ｓ１０１５）。このとき、通信部１０２は、抽出された照合用画像に対応する撮影日７０２、撮影時刻７０３、及び位置情報７０４の情報も利用者端末１２０に送信する。利用者端末１２０の通信部１２３は、照合用画像、属性情報、地理位置情報などを受信する（Ｓ１０１６）。表示部１２２は、対象画像に写った検査対象物と推定される設備の候補として、受信した照合用画像、属性情報、地理位置情報などを画面上に表示する（Ｓ１０１７）。
【００６８】
図１４は、利用者端末１２０に表示される画面の例である。画面１４０１は、対象画像設定部１４０２と、対象画像表示部１４０３と、候補画像表示部１４０４とを備える。対象画像設定部１４０２と対象画像表示部１４０３は、図１１の対象画像設定部１１０２と対象画像表示部１１０３と同様であるため、説明を省略する。
【００６９】
候補画像表示部１４０４は、対象画像と同一の検査対象物が写っていると推定される候補画像１４０５を表示する領域である。候補画像表示部１４０４には、各候補画像の情報１４０６（ここでは、撮影日時及び位置情報）も表示される。なお、候補画像表示部１４０４に表示される複数の候補画像は、例えば、地理位置情報特定サーバ１００側で算出された類似度の高い順で表示されてもよい。候補画像表示部１４０４は、チェックボタン１４０７を備える。ユーザは、チェックボタン１４０７を用いて、対象画像と同一の検査対象物が写っている画像（所望の画像）を、複数の候補画像の中から選択することができる。ユーザは、チェックボタン１４０７によって画像を選択した後、決定ボタン１４０８を押下する。これにより、選択された画像の情報（例えば、位置情報、設備情報など）が、対象画像に写る検査対象物の情報として、当該情報を使用するシステム又はアプリケーションに登録できる。なお、ユーザがキャンセルボタン１４０９を押下した場合は、対象画像に写る検査対象物の位置情報や設備情報などは確定されず、処理が終了する。
【００７０】
なお、位置情報を特定した対象画像を新たに照合用画像として登録してもよい。例えば、利用者端末１２０は、決定ボタン１４０８を押下したとき、どの照合用画像が選択されたかの情報を地理位置情報特定サーバ１００に送信してもよい。地理位置情報特定サーバ１００は、当該情報を受信し、対象画像を新たに照合用画像として登録する登録部を備えてもよい。登録部は、対象画像と当該選択された照合用画像の情報（例えば、地理位置情報、属性情報（設備の種類、規格）など）を関連付けた新たなデータを、データベース１１２〜１１４に登録する。検査対象物は時間が経つにつれて変化する（例えば、劣化、汚れなど）場合があり、時間が経つにつれて類似画像の特定の精度が落ちる可能性がある。上記の構成によれば、最新の対象画像を照合用画像として新たに登録することで、類似画像の特定の精度が落ちることがなく、その結果、位置情報を特定する際の精度を維持することができる。
【００７１】
以上のように、本実施例の地理位置情報特定システムは、ホストシステム（地理位置情報特定サーバ１００）と、ホストシステムとネットワークで接続されたホスト端末（利用者端末１２０）とを備える。ホストシステムは、設備の種類や特定の規格の設備を象徴する代表的照合用画像データの特徴点を格納した代表照合画像データベース１１０と、対象となる設備の種類や設備の規格といった属性情報を含んだ設備の分布に関する地理位置情報を格納した設備位置情報データベース１１１と、様々な場所に存在する検査対象物を撮影した画像データが格納されている照合用画像データベース１１２と、照合用画像データ内に存在している検査対象物の地理位置情報や照合用画像データを一意に特定する画像データIDおよび撮影日時などの属性情報を含んだ照合用画像情報データベース１１３と、照合用画像データ内に存在している検査対象物の特徴点情報を格納した照合用画像特徴点データベース１１４とを備える。ホストシステムは、ホスト端末で指定された対象画像に対して絞り込み条件となる、設備の属性情報（種類、規格など）を推定する属性情報推定部（設備種類推定部１０５）と、判定された絞り込み条件に関わる地理位置情報を取得する位置推定部（位置推定部１０６）と、位置推定部から取得された地理位置情報及びホスト端末から入力された撮影日時の条件によって照合用画像データベース１１２の照合用画像を検索する検索部（空間検索部１０９）と、画像データの特徴点を抽出し、特徴量を計算する特徴量計算部（特徴量計算部１０７）と、特徴量を用いて対象画像と照合用画像との間の類似度を計算し、類似度を判定する類似画像特定部（類似画像特定部１０８）とを備える。ホスト端末は、絞り込み条件特定処理部によって自動で導出される絞り込み条件や、対象画像と類似していると判定された候補画像データ及びその候補画像の位置情報などを表示する。
【００７２】
本実施例における検査対象物の地理位置情報特定システムにより、以下のような効果を期待することができる。
（１）画像データ内に存在する、正確な地理位置情報が不明な検査対象物について、その地理位置情報を特定することができる。
（２）対象設備や対象設備と関連して分布する設備の位置情報といった外部情報から照合用画像データを絞り込んだ上で、類似度の高い画像データを抽出することで、従来の方法と比べて精度良く、かつ短時間で画像データ内に存在する検査対象物の地理位置情報を特定することができる。
【００７３】
本実施例をUAVやMMSに搭載された機器が撮影した画像データに適用することで、例えば撮影機器の画像データの位置情報を、GPS機能や加速度センサから求めるよりも高精度に、また、リアルタイムに近いほどの短時間で取得することができる。この適用例によれば、UAV,MMSの自律走行や遠隔走行操作の実用化に貢献することができる。UAVおよび自動運転車の利用が今後拡大するとみられる中で、本技術を活用できる範囲は広い。また、警察などの捜査機関が撮影した画像データの位置情報の特定などにも適用できると考えられる。
【００７４】
上記の例では、検査対象物を絞り込む条件として、設備の種類、設備の規格、設備の地理位置情報、照合用画像の撮影日、照合用画像の時間など各種の情報を使用しているが、これに限定されない。照合用画像に対する絞り込み条件は、検査対象物を特定するための何らかの属性情報であればよい。上記の例以外にも、設備の管理組織、インフラ（鉄道、道路など）の路線名称、撮影機器の移動記録などの属性情報を、絞り込み条件として用いることができる。
【００７５】
また、上記の例では、設備位置情報データベース１１１が、各設備の位置情報を格納しているが、このような形式に限定されない。設備位置情報データベース１１１は、各設備の位置が限定できる情報であれば、どうような情報が格納されていてもよい。例えば、検査対象物が交通インフラに関する設備である場合を想定する。この場合には、設備位置情報データベース１１１が、例えば、各設備自体の位置情報を格納するのではなく、交通インフラ（道路又は鉄道路線）の位置情報を格納していてもよい。交通インフラに関する設備の場合、検査対象物は道路や鉄道路線に沿って分布しているため、交通インフラの位置情報から照合用画像を絞り込むことができる。この場合、位置推定部１０６は、道路又は鉄道路線示すライン状の位置情報を取得する。そして、空間検索部１０９は、ライン状の道路又は鉄道路線及びその周辺を空間検索の対象として設定し、その区間内で照合用画像を照合用画像データベース１１２から抽出してもよい。
【００７６】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
【００７７】
上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。また、上記の各構成、機能等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
【００７８】
上述の実施例において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【符号の説明】
【００７９】
１００      …地理位置情報特定サーバ
１０１      …記憶部
１０２      …通信部
１０３      …ＣＰＵ
１０４      …メモリ
１０５      …設備種類推定部
１０６      …位置推定部
１０７      …特徴量計算部
１０８      …類似画像特定部
１０９      …空間検索部
１１０      …代表照合画像データベース（第２データベース）
１１１      …設備位置情報データベース（第３データベース）
１１２      …照合用画像データベース（第１データベース）
１１３      …照合用画像情報データベース（第１データベース）
１１４      …照合用画像特徴点データベース（第１データベース）
１２０      …利用者端末
１２１      …入力部
１２２      …表示部
１２３      …通信部
１２４      …ＣＰＵ
１２５      …メモリ
１２６      …記憶部
【図１】
2017102672.tif 000003
【図２】
2017102672.tif 000004
【図３】
2017102672.tif 000005
【図４】
2017102672.tif 000006
【図５】
2017102672.tif 000007
【図６】
2017102672.tif 000008
【図７】
2017102672.tif 000009
【図８】
2017102672.tif 000010
【図９】
2017102672.tif 000011
【図１０】
2017102672.tif 000012
【図１１】
2017102672.tif 000013
【図１２】
2017102672.tif 000014
【図１３】
2017102672.tif 000015
【図１４】
2017102672.tif 000016