(57)【要約】【課題】  ユーザの入力した情報に基づいて、ユーザが要求する要求を精度よく検索することができる情報検索装置および情報検索方法を提供する。【解決手段】  情報検索装置は、キーワードを含む入力情報から複数の位置情報を取得する検索対象決定部と、検索対象決定部が取得した複数の位置情報付与済データの位置情報を用いて複数のエリアを決定する分析エリア生成部と、分析エリア生成部が決定したエリア毎のエリア特徴量を算出する特徴量算出部と、入力情報から入力特徴量を取得する入力特徴量計算部と、入力特徴量とエリア毎のエリア特徴量とを比較し、類似度の高いエリアを表示する結果表示部とを有する。【選択図】  図８
2020201560.tif 000002
【特許請求の範囲】
【請求項１】
キーワードを含む入力情報から複数の位置情報を取得する検索対象決定部と、
前記検索対象決定部が取得した複数の位置情報付与済データの位置情報を用いて複数のエリアを決定する分析エリア生成部と、
前記分析エリア生成部が決定したエリア毎のエリア特徴量を算出する特徴量算出部と、
前記入力情報から入力特徴量を取得する入力特徴量計算部と、
前記入力特徴量と前記エリア毎のエリア特徴量とを比較し、類似度の高いエリアを表示する結果表示部とを有することを特徴とする情報検索装置。
【請求項２】
請求項１記載の情報検索装置において、
前記エリア特徴量は、前記分析エリア生成部が決定したエリアの衛星画像に撮影された複数の項目の面積割合に基づいて算出されることを特徴とする情報検索装置。
【請求項３】
請求項１記載の情報検索装置において、
前記エリア特徴量は、前記分析エリア生成部が決定したエリアから投稿されたＳＮＳ文書に含まれる単語の出現回数に基づいて算出されることを特徴とする情報検索装置。
【請求項４】
画像データを含むファイルと、前記画像データの位置情報とを対応して格納する位置情報付与済ＤＢと、都市名と位置情報とを対応して格納する地名ＤＢと、キーワードと各項目の特徴量とを対応して格納する学習済みモデルＤＢとを格納する記憶装置と、
キーワードを含む入力情報から、1又は複数の都市名を検索し、検索した都市名と前記地名ＤＢから1又は複数の位置情報を取得し、
特定された前記位置情報から少なくとも一つの分析エリアを決定し、
前記分析エリア内の複数の位置情報付与済データのファイルを取得し、前記ファイルに含まれるデータから複数のエリア特徴量を計算すると共に、
前記入力情報と前記学習済みモデルＤＢに基づいて、入力特徴量を取得し、
前記入力特徴量と前記複数のエリア特徴量を比較し、類似度の高いエリア順に表示するよう制御する処理部を有することを特徴とする情報検索装置。
【請求項５】
情報検索装置における情報検索方法であって、
前記情報検索装置の記憶装置に、画像データを含むファイルと、前記画像データの位置情報とを対応して格納する位置情報付与済ＤＢと、都市名と位置情報とを対応して格納する地名ＤＢと、キーワードと各項目の特徴量とを対応して格納する学習済みモデルＤＢとを格納し、
前記情報検索装置の処理部は、キーワードを含む入力情報から、1又は複数の都市名を検索し、検索した都市名と前記地名ＤＢから1又は複数の位置情報を取得し、前記取得した位置情報と前記位置情報付与済ＤＢに基づいて、複数の位置情報取得済データのファイルを特定し、
特定された前記位置情報取得済データの位置情報から複数の分析エリアを決定し、
前記複数の分析エリア内の複数の位置情報付与済データのファイルを取得し、前記ファイルに含まれるデータから複数のエリア特徴量を計算すると共に、
前記入力情報と前記学習済みモデルＤＢに基づいて、入力特徴量を取得し、
前記入力特徴量と前記複数のエリア特徴量を比較し、類似度の高いエリア順に表示することを特徴とする情報検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報検索装置および情報検索方法に関し、特に衛星画像検索装置および衛星画像検索方法に関する。
【背景技術】
【０００２】
近年、高解像度の衛星画像を利用するため、クラウド上に構築するアーカイブ利用基盤が開発されている。アーカイブ利用基盤には、非常に多くの衛星画像が格納されるため、ユーザの望む画像を効率よく検索することが望まれている。
【０００３】
ユーザの主観的な検索意図を画像検索に精度よく反映させる技術が特許文献１に開示されている。
この特許文献１には、画像検索によりヒットした多数の画像の内、ユーザに指定された複数の画像間の関連性に基づき新たなクエリを生成することで、ユーザの検索意図を高精度で画像検索に反映させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３８２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザが、単語、もしくは、文章を入力してデータを検索する場合、検索されるデータは入力された内容と関連性の高い順に、ユーザに情報を提示することが望ましい。
【０００６】
特許文献１では、情報の１つの形態として、画像に関する検索方法が記載されており、画像を処理することで入力との関連性を推定する。しかし、画像の処理による関連性の抽出は、抽出したい関連事項毎に入力情報等を変更する必要があり、改善の余地がある。
【０００７】
そこで、本発明は、ユーザの入力した情報に基づいて、ユーザが要求する情報を精度よく検索することができる情報検索装置および情報検索方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するための情報検索装置の一態様は、キーワードを含む入力情報から複数の位置情報を取得する検索対象決定部と、検索対象決定部が取得した複数の位置情報付与済データの位置情報を用いて複数のエリアを決定する分析エリア生成部と、分析エリア生成部が決定したエリア毎のエリア特徴量を算出する特徴量算出部と、入力情報から入力特徴量を取得する入力特徴量計算部と、入力特徴量とエリア毎のエリア特徴量とを比較し、類似度の高いエリアを表示する結果表示部とを有する。
【発明の効果】
【０００９】
本発明によれば、ユーザが要求する情報を精度よく検索することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例の画像検索装置の機能ブロック図である。
【図２】実施例の位置情報付与済ＤＢの一例を示す図である。
【図３】実施例の地名ＤＢの一例を示す図である。
【図４】実施例の学習済みモデルＤＢの一例を示す図である。
【図５】実施例のエリアに関するエリア特徴量ＤＢの一例を示す図である。
【図６】実施例のエリアに関するエリア特徴量ＤＢの他の例を示す図である。
【図７】実施例のエリアを説明するための図である。
【図８】実施例の画像検索処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を、図面を用いて説明する。なお、今後位置情報を付与された情報の事を、位置情報付与済データと記載する。また、位置情報とは、緯度、経度、高度もしくは緯度、経度、高度の一部で記録されたものであり、点、線、もしくは、領域で表現されたものである。領域は多角形を表現するポリゴンデータであっても良い。１つの位置情報付与済データに、複数の位置情報を付与することも可能である。
【００１２】
以下の説明において、「Ｉ／Ｆ部」は、例えば１以上のＮＩＣ（Network Interface Card）である。
【００１３】
また、以下の説明において、「メモリ部」は、１以上のメモリであり、典型的には主記憶デバイスでよい。メモリ部における少なくとも１つのメモリは、揮発性メモリであってもよいし不揮発性メモリであってもよい。
【００１４】
また、以下の説明において、記憶装置は、典型的には、不揮発性の記憶デバイス、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）である。
【００１５】
また、以下の説明において、ＣＰＵは、１以上のプロセッサからなる処理部である。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
【００１６】
また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。
【００１７】
また、以下の説明において、「ｘｘｘテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。
【００１８】
また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
【００１９】
また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサ部によって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、処理部とされてもよい。
【００２０】
プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【００２１】
また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。
【００２２】
以下、図面を参照して実施例を説明する。実施例は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではない。
【実施例】
【００２３】
実施例では、位置情報付与済データとして衛星画像、検索の入力として文章を用いて説明する。例えば、ニュースから関連する衛星画像を閲覧する場合、位置情報に関して国名しか存在しない場合、本発明の画像検索装置を用いて、当該国内を撮影した衛星画像から閲覧すべきものを提示する状況を想定している。ただし、衛星画像及び文章に限ったものではない。
【００２４】
図１は、実施例の画像検索装置の機能ブロックを示す図である。
画像検索装置１００は、処理部であるＣＰＵ１１０、各種プログラムを格納し、ＣＰＵ１３０の一次利用記憶領域となるメモリ１２０、各種データベース（以下、ＤＢ）を格納する記憶装置１３０、ネットワーク（図示せず）を介して他の装置と接続するためのインタフェースＡ（Ｉ／Ｆ）１４０、ディスプレイ等の表示装置１６０に接続するためのインタフェースであるインタフェースＢ（Ｉ／Ｆ）１５０とを有する。
【００２５】
メモリ１２０は、ＣＰＵ１１０が実行するプログラムと、ＣＰＵ１１０が使用するデータを記憶する。ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行する。
【００２６】
メモリ１２０に格納されるプログラムとして、検索対象決定部１２１、分析エリア生成部１２２、周辺位置情報付与済データを取得するデータ取得部１２３、特徴量算出部１２４、入力特徴量計算部１２５、エリア点数計算部１２６、結果表示部１２７を有する。各プログラムの動作については、後述する。
【００２７】
記憶装置１３０には、位置情報付与済ＤＢ１３１、地名ＤＢ１３２、学習済みモデルＤＢ１３３、エリア特徴量ＤＢ１３４と、を格納する。各ＤＢの内容については、後述する。
【００２８】
図２は、実施例の位置情報付与済ＤＢの一例を示す図である。
位置情報付与済ＤＢ１３１は、衛星画像等のデータを格納するファイル名２０１、ファイルに格納される、衛星画像の取得位置を示す位置情報２０２、衛星画像の取得日２０３、衛星画像のデータ形式２０４、衛星画像の取得媒体２０５が対応して管理される。ファイル名２０１、位置情報２０２、取得日２０３等、各行のエントリーに対応して示されたデータを位置情報付与済データと呼ぶ。
【００２９】
尚、ファイル名２０１は、衛星画像のファイルや新聞記事やＳＮＳでの投稿を纏めた文書データのファイルを示す。つまり、ファイル名２０１は、本実施例の特徴量を計算する対象となるデータを格納するファイルである。ファイル名２０１に示されるファイルに格納される衛星画像が大きい場合、所定の大きさになるように分割する。所定の大きさとしては、例えば、１Ｋｍ四方のエリアに分割する。衛星画像が小さい場合、中心点を示す位置情報を中心に所定の大きさとなるように複数の衛星画像を合成して所定のエリアとする。
【００３０】
位置情報２０２は、データ２０１の各ファイルに関連する点、線、もしくは、領域の情報が格納される。各ファイルに関連する情報とは、例えば、ファイルが衛星画像である場合、衛星画像の領域を示す座標等の情報である。
【００３１】
取得日２０３は、ファイルが取得された日時を示す情報が格納される。データ形式２０４は、ファイルのデータ形式であって、文書や画像等が入力される。センサ・取得媒体２０５は、ファイルを取得した媒体に関する情報が格納される。
【００３２】
図３は、実施例の地名ＤＢの一例を示す図である。
地名ＤＢ１３２には、都市名３０１、位置情報３０２、取得日３０３が対応して管理される。
【００３３】
例えば、都市名３０１「Ａ市」の位置情報３０２が「Ｘ1、Ｙ1、Ｈ1」といった座標データで管理される。座標データは、緯度、経度、高度等を含む。座標データは多角形情報としてポリゴンデータで与えられても良い。取得日３０３は、都市名に対する位置情報が登録された日時を登録する。都市名３０１は、都市名以外に地名等、ユーザが認識できる情報であればよく、ユーザが情報を検索する際、例えば、衛星画像を検索する際に入力されるキーワードを含む文書から検索されるニュースや記事に含まれる都市や地域などの情報である。
【００３４】
図４は例の学習済みモデルＤＢの一例を示す図である。
学習済みモデルＤＢ１３３は、キーワード４０１、項目４０２、入力特徴量Ａ４０３が対応して管理される。キーワード４０１は、衛星画像を検索したいユーザから入力情報として入力されるキーワードであり、図４では、「発電所」が入力され、発電所を含む衛星画像を検索する。ユーザから入力される情報は、キーワードの他、文書等であっても良く、入力された文書からキーワードを抽出して用いても構わない。
【００３５】
項目４０２は、キーワードに対応して管理される項目であって、「発電所」に対して、「建物」、「海」等のように、発電所に関連付けられる衛星画像に含まれる項目を深層学習により抽出する。入力特徴量Ａ４０３は、各項目に対応する特徴量であって、例えば、衛星画像における各項目が占める面積割合である。図４の例では、発電所には、「建物」が２０パーセント、「海」が４０パーセント含まれることを学習によって得ていることを示している。機械学習を用いた手法の場合は、事前に学習した値を学習済みモデルＤＢに保存しておく。
【００３６】
図５は、実施例のエリア特徴量ＤＢの一例を示す図である。
エリアの特徴量ＤＢ１３４はエリア、位置情報５０１、項目５０２、エリア特徴量Ｂ５０３が対応して管理されている。位置情報５０１は、例えば、エリアの中心位置を示す座標データである。項目５０２は、位置情報によって特定されるエリアに含まれるエリア特徴量Ｂを示す情報として、例えば「建物」、「海」等が含まれる。エリア特徴量Ｂは、各項目の特徴量として、例えば、エリアに占める面積割合等が格納される。図５の例では、発電所には、「建物」が２０パーセント、「海」が４０パーセント含まれることを画像解析等により求めていることを示している。
【００３７】
図６は、実施例のエリア特徴量ＤＢの他の例を示す図である。
図５に示したエリア特徴量Ｂが衛星画像に対するものであるのに対し、図６はＳＮＳで投稿された文書データを対象としている。
【００３８】
エリアの特徴量ＤＢ１３４−１は位置情報６０１、項目６０２、エリア特徴量Ｃ６０３が対応して管理されている。エリアの特徴量ＤＢ１３４−１を、発電所の現場で投稿されているＳＮＳを例に説明する。位置情報６０１は、例えば、エリアの中心位置を示す座標データである。項目６０２は、位置情報によって特定されるエリアで投稿されているＳＮＳ等の文書に含まれる単語として、例えば「弁当」、「休み時間」が格納される。エリア特徴量Ｃは、各項目の特徴量として、例えば、エリアに投稿されている文書で出現する各項目の出現回数が格納される。
【００３９】
図７は、実施例のエリアの概念を説明するための図である。
図７の例では、エリア７０１がポリゴンデータとして与えられている例を示しており、図２のＦｉｌｅ３のデータに該当する。エリア７０１と位置情報付与済ＤＢの位置情報７０２の大きさは、図７に示すように必ずしも一致するとは限らない。そこで、エリア７０１に含まれる位置情報付与済データが複数必要なり、これを位置情報付与済データ群と呼ぶ。位置情報付与済ＤＢに格納されているｆｉｌｅ３のデータが大きく、衛星画像が大きい場合、所定の大きさとなるように（エリア７０１と一致する大きさとなるように）、衛星画像を分割する。尚、エリア７０１の大きさは、ユーザによって適宜設定可能である。
【００４０】
また、位置情報付与済みデータが図２のＦｉｌｅ１のデータのように、エリアではなく地点で与えられる場合、当該地点から一定の領域に収まるエリアをデータ周辺エリアにしてもよい。
【００４１】
図８は、実施例の画像検索処理を説明するフローチャートである。ここでは、発明の理解を容易にするため、ユーザが発電所に関する衛星画像を検索する場合を例にとって、説明を行うが、これに限定されるものではない。
【００４２】
検索対象決定部１２１では、ユーザの入力情報から位置情報を取得する（Ｓ８０１）。
【００４３】
このステップでは、まず、ユーザが「発電所」をキーワードとして入力し、「発電所」というキーワードからニュース、文書等をＷＥＢ検索し、キーワードにヒットしたＷＥＢ情報から都市名等を検索する。
【００４４】
検索した都市名から地名ＤＢ１３２を参照し、都市名３０１に対応する位置情報３０２を取得する。地名ＤＢに示される位置情報３０２は、通常広範であるため、この位置情報３０２に該当する位置情報付与済ＤＢ１３１内の位置情報２０２は複数存在する。
【００４５】
また、キーワードから特定される都市が広い場合や複数の都市がニュース等に含まれる場合、位置情報は通常複数取得される。キーワードからユーザの要求する衛星画像を取得するためには、このような複数の都市や都市内の複数のエリアからユーザの要求する衛星画像を精度よく検索し、ユーザに提供する必要がある。
【００４６】
次に、分析エリア生成部１２２は、当該位置情報を用いて、各位置情報の属する所定の大きさのエリアを複数決定する（Ｓ８０２）。このエリアの事をデータ周辺エリアと呼び、所定の大きさとして、例えば、１Ｋｍ四方である。入力特徴量Ａと比較するため、位置情報付与済データの位置情報に含まれるエリアの大きさ（座標）のエリアを、入力特徴量を求めた際のエリアの大きさに合わせる。そのため、所定の大きさは、ユーザによって適宜変更して設定される。
【００４７】
データ周辺エリアはポリゴンの周辺情報を含むため、当該ポリゴンデータより、大きいエリアをデータ周辺エリアにしてもよい。もちろん、当該ポリゴンデータより、小さいエリアをデータ周辺エリアにしてもよい。また、位置情報がポイント情報の場合は、ポイントから一定の半径に収まるエリアをデータ周辺エリアにしてもよい。また、緯度経度の差が一定の範囲内に収まる格子状のエリアをデータ周辺エリアにしてもよい。
【００４８】
次に、データ取得部１２３は、決定したエリアに属する位置情報を有する位置情報付与済みデータを取得する（Ｓ８０３）。
【００４９】
複数の衛星画像からユーザの要求する衛星画像の候補を絞り込むため、位置情報付与済データに観測日が含まれている場合は、観測日もしくは期間を設定することで、最終的に表示される位置情報付与済データを絞ることができる。観測日は位置情報付与済データの関連する時間情報であればよい。例えば、観測日ではなく、位置情報付与済DBが取得した日でもよい。あるいは、位置情報付与済データの形式、あるいは、タグ情報で選択することもできる。タグ情報としては、例えば、観測センサ名、もしくは、文章情報ならば、文章を作成したメディアをラベルにすることもできる。また、位置情報、時間データ、データ形式、タグ名はデータから取得することも考えられる。
【００５０】
また、位置情報付与済データが衛星画像ファイルの場合は、１つの位置情報付与済データが表現するエリアが広すぎる場合が存在するので、ユーザが最大エリアサイズを設定して、１つの衛星画像を分割して、検索対象として扱うこともできる。例えば、文章に含まれるキーワードが自動車に関する場合と、発電所の場合とでは、前者の車の方が、より詳細に閲覧する必要があるため、小さいエリアを提示した方がよく、最大ポリゴンサイズを小さくした方がよい。
【００５１】
データ取得部１２３は、データ周辺エリアとなる格子状エリアを含まれる複数のデータ２０１をエリア内位置情報付与済データ群として取得することとなる。複数のデータには、格子状エリアに含まれる複数の衛星画像や、格子状エリアの一部を構成する衛星画像の他、格子状エリアの衛星画像や、格子状エリアを含む衛星画像や格子状エリアの一部を含む衛星画像の異なる撮影時間で撮影されたものを含む。つまり、格子状エリア７０１に関する複数の衛星画像が選択されることとなる。
【００５２】
例えば、位置情報付与済データとして、低解像度の衛星画像を使う場合が考えられる。一般的に、低解像度の衛星画像は、１枚での撮影範囲が、高解像度の衛星画像の撮影範囲より、大きいことが多い。もちろん、位置情報付与済データとして、データ周辺エリアを決めた位置情報付与済データを用いてもよい。
【００５３】
次に、ステップＳ８０４で、特徴量算出部１２４は、位置情報付与済データ群をエリア特徴量に変換する。例えば、ステップＳ８０２で決定されたエリアを含む複数の衛星画像から決定されたエリアに相当する領域の特徴量とエリア特徴量Ｂとして算出する。
【００５４】
特徴量算出部１２４では、ステップＳ８０３で取得した位置付与済情報群を図５に示したエリア特徴量Ｂに変換する。例えば、格子状エリアに含まれる「建物」「海」等の各項目の面積割合を示すエリア特徴量Ｂを取得する。ステップＳ８０１で複数の都市名が抽出された場合、各都市の位置情報に対応する複数の位置情報付与済データが取得され、同じようにエリア特徴量Ｂが算出される。
【００５５】
同一エリア内位置情報付与済データ群として複数の衛星画像を取得した場合、例えば、取得日２０３の異なる複数の衛星画像が抽出された場合、最後の取得日を有する位置情報付与済データを選択する。また、同一エリアを同じ取得日で異なる衛星から取得した複数の衛星画像がある場合、撮影それぞれの画像からエリア特徴量を算出し、項目毎の平均値を算出することで、エリア内位置情報付与済データ群をエリア特徴量Ｂとして算出する。
【００５６】
項目としては、森林、農地、建物、海、湖、裸地、道路などでも良い。その他、衛星画像で長さを計測できる対象物としては、例えば、道路、川でも良い。
【００５７】
このエリア特徴量Ｂは、エリア内に含まれる、船、車、飛行機、建物、タンク、クレーン、野球場の個数等でもよい。当該対象物を検出する手法としては、様々な手法が提案されている。例えば、機械学習を用いたSSD（Single Shot MultiBox Detector）、YOLOなどの手法が存在する。
【００５８】
また、車など図形的な特徴が事前に分かっている場合は、機械学習ではないルールベースの手法も提案されている。
【００５９】
また、当該個数、面積、長さは位置付与済情報群の面積及び周囲の長さなどで規格化することも可能である。例えば、面積ではなく画像内における割合の方がよいこともある。具体的には、例えば、火力発電所の場合は、海岸沿い、かつ、１つの建物が大きいため、海岸の面積割合が高く、かつ、建物面積が高く、建物の個数は少ないという特徴が出る。
【００６０】
次に、ステップＳ８０５で、入力特徴量計算部１２５は、図５に示した学習済みモデルＤＢ１３３を参照して、入力される「発電所」等のキーワードに対する入力特徴量Ａを取得する。図５に示した学習済みモデルは、複数のキーワードの夫々に対して各項目の特徴量Ａを事前に学習して記憶しておく。学習済みモデルＤＢ１３３は、例えば、機械学習を用いたU-Net、DeepLabなどの手法を用いてキーワードに対応する入力特徴量Ａを学習済みモデルとして記憶する。
【００６１】
次に、ステップＳ８０６で、エリア点数計算部１２６が、エリア特徴量Ｂと入力特徴量Ａの関連度、もしくは、類似度を計算する。これも機械学習ベースの手法として、Siamese Neural Networksが提案されており、これらを用いればよい。もちろん、同じ長さの特徴量に変換している場合は、例えば、内積の大きさなどで類似度を点数化してもよいステップＳ８０５は、予め入力されるキーワード毎に事前に学習しておけば処理を省略することができる。要は、ステップＳ８０６の比較前に計算されていればよい。
【００６２】
次に、ステップＳ８０７で、結果表示部１２７が、表示装置１６０に、当該エリア点数の高い位置付与済情報から表示するよう制御する。もちろん、位置の近い者は除去するなどのアルゴリズムをいれてもよい。
【００６３】
入力特徴量Ａ、エリア特徴量Ｂは画像だけではなく、文章、信号データから取得することも可能である。文章の場合は、単語の個数及び割合でもよい。文書からエリア特徴量Ｃを算出した例を図６に示している。
【００６４】
例えば、入力となる文章と関連度の高い単語の数は特徴量として用いることができる。文章から、特徴量を出力する機械学習としては、様々な手法が提案されており、例えば、word2vecを用いたSVM（Support Vector Machine）やLSTM（Long Shot Term Memory）が存在する。もちろん、ルールベースの計算方法でもよい。
【００６５】
また、位置情報をもつ文章データとして、SNS(Social Networking Service)も活用できる。例えば、当該関連度の高い単語を含む投稿数が特徴量となる。もしくは、単語関係なく、データ周辺エリア内の投稿数そのものも特徴量となる。
【００６６】
信号情報から取得できる特徴量としては、例えば、船の個数、飛行機の個数などが考えられる。また、経済指標なども特徴量として使用することができる。どの特徴量に変換するかは、データ形式によって決定される。また、特徴量を計算する際に、各位置付与済情報の計算の重みを変えてもよい。例えば、データ周辺エリア決定に用いた位置付与済情報の結果を強調するような計算をしてもよい。
【００６７】
特徴量の種類は時間を考慮する場合と、時間を考慮しない場合が存在する。時間を考慮せずに扱う特徴量としては、例えば、各位置付与済情報群特徴量の平均、分散、最大値、中央値などの統計値が考えられる。
【００６８】
ラベルデータで選択したうえでの統計も可能である。時間を考慮した場合では、連続する時間の特徴量の差分、もしくは、連続する複数の特徴量で生成される特徴量も考えられる。また、一定期間内の変化も特徴量として使うことが可能である。例えば、１年で増えた建物の面積などは有効な指標である。時間を考慮した場合と考慮しない場合の２通り存在するが、もちろん、両方の特徴量を用いてよい。そして、この結果できた特徴量をデータ周辺エリア特徴量と呼ぶ。
【００６９】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００７０】
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。
【００７１】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【００７２】
以上、本実施例によると、ユーザが要求する情報を精度よく検索することができる。
【００７３】
また、ユーザが衛星画像から所望の衛星画像を入手するため、所望の衛星画像に関連する文書等の入力画像を入力するだけで、所望の衛星画像を検索し、効率よくユーザに提示することができる。
【符号の説明】
【００７４】
１００：画像検索装置、
１１０：ＣＰＵ、
１２０：メモリ、
１２１：検索対象決定部、
１２２：分析エリア生成部、
１２３：データ取得部、
１２４：特徴量算出部、
１２５：入力特徴量計算部、
１２６：エリア点数計算部、
１２７：結果表示部、
１３０：記憶装置、
１３１：位置情報付与済ＤＢ、
１３２：地名ＤＢ、
１３３：学習済みモデルＤＢ、
１３４：エリア特徴量ＤＢ。
【図１】
2020201560.tif 000003
【図２】
2020201560.tif 000004
【図３】
2020201560.tif 000005
【図４】
2020201560.tif 000006
【図５】
2020201560.tif 000007
【図６】
2020201560.tif 000008
【図７】
2020201560.tif 000009
【図８】
2020201560.tif 000010