(57)【要約】  【課題】高速に画像検索を行うことが可能な画像検索システムを提供する。  【解決手段】画像検索システムでは、クエリ画像（８１）からクエリ画像（８１）の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像（８３）を生成し、注目度画像（８３）から注目度に基づいて興味領域（Ｄ）を生成し、クエリ画像（８１）から興味領域（Ｄ）に対応する領域（Ｄ’）を切り出して特定カテゴリクエリ画像（８５）を生成し、複数の参照画像が記録されているデータベースから特定カテゴリクエリ画像（８５）に対応する参照画像を検索する。【選択図】図１
2018124740.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成部と、
前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成部と、
前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成部と、
複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索部と、
を有する画像検索システム。
【請求項２】
前記画像検索システムは、前記クエリ画像のサイズを縮小するクエリ画像縮小部をさらに有し、
前記注目度画像生成部は、前記クエリ画像縮小部によって縮小された前記クエリ画像から前記注目度画像を生成する、
請求項１に記載の画像検索システム。
【請求項３】
前記注目度画像生成部は、前記特定のカテゴリを含む複数のカテゴリに属する物体が撮影された画像を用いて学習した深層畳み込みニューラルネットワークを用いる、
請求項１に記載の画像検索システム。
【請求項４】
前記興味領域生成部は、
前記注目度画像から前記注目度が所定の閾値以上である１つ以上の注目領域を抽出する注目領域抽出部と、
前記注目領域抽出部によって抽出された１つ以上の注目領域から１つ以上の注目領域を選択する注目領域選択部と、
前記注目領域選択部によって選択された全ての注目領域に外接する長方形状の領域を興味領域として設定する興味領域設定部と、
を備える、
請求項１に記載の画像検索システム。
【請求項５】
前記注目領域選択部は、前記注目領域抽出部によって抽出された全ての注目領域を選択する、
請求項４に記載の画像検索システム。
【請求項６】
前記注目領域選択部は、前記注目領域抽出部によって抽出された１つ以上の注目領域の内、最大の面積を有する注目領域を選択する、
請求項４に記載の画像検索システム。
【請求項７】
前記注目領域選択部は、前記注目領域抽出部によって抽出された１つ以上の注目領域の内、所定の閾値以上の面積を有する注目領域を選択する、
請求項４に記載の画像検索システム。
【請求項８】
クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成ステップと、
前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成ステップと、
前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成ステップと、
複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索ステップと、
を有する画像検索方法。
【請求項９】
コンピュータに、
クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成機能と、
前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成機能と、
前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成機能と、
複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索機能と、
を実現させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大量の参照画像の中からクエリ画像に対応する参照画像を検索する画像検索システム、画像検索方法及び画像検索プログラムに関する。
【背景技術】
【０００２】
従来、大量の参照画像の中からクエリ画像に対応する参照画像を検索し、クエリ画像に撮影された物体を特定する特定物体認識が行われている。画像検索では、事前準備として、特定の物体が撮影された画像を多種多様な物体について大量に準備して参照画像とし、当該参照画像をデータベースに記録しておく。さらに、各参照画像について、参照画像の特徴を示す特徴量を算出し、当該特徴量を各参照画像に対応付けてデータベースに記録しておく。画像検索を行う場合には、撮影装置によって撮影された画像をクエリ画像とする。そして、クエリ画像について特徴量を算出し、クエリ画像の特徴量と各参照画像の特徴量とを比較して、クエリ画像の特徴量と最も一致度の高い特徴量を有する参照画像を対応する参照画像として選択する。選択された参照画像に撮影された物体がクエリ画像に撮影された物体であるといえ、クエリ画像に撮影された物体が特定されることになる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１１３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、撮影装置によって撮影可能な画像のサイズが大きくなっている。このような大きなサイズの画像をクエリ画像として画像検索を行う場合には、特徴量の算出ないし参照画像の選択に時間を要し、実用的な時間内で画像検索を実行することが困難となる。
本発明の目的は、高速に画像検索を行うことが可能な画像検索システム、画像検索方法及び画像検索プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明の第１実施態様は、クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成部と、前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成部と、前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成部と、複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索部と、を有する画像検索システムである。
【０００６】
本実施態様では、クエリ画像の各位置に特定のカテゴリに属する物体が存在する可能性を示す注目度に基づいて興味領域を生成し、クエリ画像から興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成し、当該特定カテゴリクエリ画像に基づいて参照画像の検索を行っている。このため、参照画像の検索処理を高速で行うことができ、画像検索を高速で行うことが可能となっている。
【０００７】
本発明の第２実施態様は、前記画像検索システムは、前記クエリ画像のサイズを縮小するクエリ画像縮小部をさらに有し、前記注目度画像生成部は、前記クエリ画像縮小部によって縮小された前記クエリ画像から前記注目度画像を生成する、画像検索システムである。
【０００８】
本実施態様では、縮小されたサイズの小さなクエリ画像に基づいて注目度画像の生成を行っている。このため、注目度画像の生成処理を高速で行うこができ、画像検索をさらに高速で行うことが可能となっている。
【０００９】
本発明の第３実施態様は、クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成ステップと、前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成ステップと、前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成ステップと、複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索ステップと、を有する画像検索方法である。
本実施態様では、第１実施態様と同様の効果を奏する。
【００１０】
本発明の第４実施態様は、コンピュータに、クエリ画像から前記クエリ画像の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像を生成する注目度画像生成機能と、前記注目度画像から前記注目度に基づいて興味領域を生成する興味領域生成機能と、前記クエリ画像から前記興味領域に対応する領域を切り出して特定カテゴリクエリ画像を生成する特定カテゴリクエリ画像生成機能と、複数の参照画像が記録されているデータベースから前記特定カテゴリクエリ画像に対応する参照画像を検索する参照画像検索機能と、を実現させる画像検索プログラムである。
本実施態様では、第１実施態様と同様の効果を奏する。
【発明の効果】
【００１１】
本発明では、高速に画像検索を行うことが可能となっている。
【図面の簡単な説明】
【００１２】
【図１】本発明の各実施形態の画像検索方法の概要を示す模式図。
【図２】本発明の第１実施形態の画像検索システムを示すブロック図。
【図３】本発明の第１実施形態のニューラルネットワーク部を示す模式図。
【図４】本発明の第１実施形態の画像検索方法を示すフロー図。
【図５】本発明の第１実施形態の画像検索方法を示すフロー図。
【図６】本発明の第２実施形態の興味領域生成ステップを示すフロー図。
【図７】本発明の第３実施形態の興味領域生成ステップを示すフロー図。
【発明を実施するための形態】
【００１３】
図１を参照して、本発明の各実施形態の画像検索方法の概要を説明する。
本概要説明については、各実施形態の理解に資することを目的として、基本的な概念のみを示すものであり、本発明の画像検索方法については、様々な変形態様が考えられ、本概要説明において示される処理方法に限定されるものではない。
【００１４】
各実施形態の画像検索方法については、大量の参照画像からクエリ画像に対応する参照画像を検索する際に、クエリ画像に前処理を施して、参照画像の検索処理を高速で行えるようにするものである。前処理においては、認識対象である特定のカテゴリに属する物体が存在する可能性の高い領域をクエリ画像から切り出し、切り出した画像に基づいて参照画像の検索処理を行う。
【００１５】
具体的には、図１に示されるように、まず、クエリ画像８１から、クエリ画像８１の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像８３を生成する。そして、生成された注目度画像８３から、注目度に基づいて注目領域ａ，ｂを抽出し、抽出した注目領域ａ，ｂに基づいて興味領域Ｄを生成する。注目領域ａ，ｂの決定方法、興味領域Ｄの設定方法としては、様々な方法を用いることが可能であり、その具体例を各実施形態で説明する。続いて、クエリ画像８１から興味領域Ｄに対応する領域Ｄ´を切り出して、特定カテゴリクエリ画像８５を生成する。このようにして生成された特定カテゴリクエリ画像８５に基づいて参照画像の検索処理を行う。
【００１６】
図２乃至図５を参照し、本発明の第１実施形態について説明する。
図２及び図３を参照し、本実施形態の画像検索システムについて説明する。
図２に示されるように、本実施形態の画像検索システムは画像を撮影する撮影部１０を有する。撮影部１０としては、モバイルデバイスのカメラや車両の車載カメラ等が用いられる。撮影部１０は比較的サイズの大きな画像を撮影する。画像のサイズの大小とは画素数の多寡を示す。撮影部１０によって撮影された画像がクエリ画像８１となる。
【００１７】
画像検索システムは、データベース部６０に記録されている大量の参照画像からクエリ画像８１に対応する参照画像を検索する演算制御部１２を有する。演算制御部１２は以下に述べる各機能を有する。なお、演算制御部１２に当該各機能を実現させるためのプログラムについても本願発明の範囲に含まれる。
【００１８】
演算制御部１２は、クエリ画像８１のサイズを縮小するクエリ画像縮小部１５を有する。クエリ画像８１は、以下に述べる注目度画像生成部２０による注目度画像８３の生成に適したサイズに適宜縮小される。画像のサイズの縮小においては、複数の画素を、当該複数の画素の画素値の平均の画素値を有する単一の画素に置換する等、適宜の粗視化を行う。このため、画像のサイズの縮小により解像度は低下することになる。
【００１９】
演算制御部１２は、クエリ画像縮小部１５によって縮小されたクエリ画像８１から、特定のカテゴリについての注目度を表す注目度画像８３を生成する注目度画像生成部２０を有する。注目度とは、クエリ画像の各位置において、所定のカテゴリに属する物体が存在する可能性を示すものである。このような注目度画像を生成する方法としては、例えば、B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, 「Learning Deep Features for Discriminative Localization」 Computer Vision and Pattern Recognition (CVPR), 2016に記載された技術を用いることができる。
【００２０】
注目度画像生成部２０は、様々なカテゴリについての注目度を算出するニューラルネットワーク部２１と、特定のカテゴリについての注目度を表す注目度画像８３を描画する画像描画部２２と、を有する。
【００２１】
カテゴリとしては、ＤＶＤ／ＣＤジャケット、ポスター、道路標識等の様々なカテゴリが用いられる。特定のカテゴリについては、画像検索システムの目的に応じて適宜選択される。例えば、ＤＶＤ／ＣＤジャケットの撮影された画像から、撮影されているＤＶＤ／ＣＤを特定し、当該ＤＶＤ／ＣＤの内容等の関連情報を得るような画像検索システムでは、特定のカテゴリとしてＤＶＤ／ＣＤジャケットのカテゴリが選択される。また、道路標識の撮影された画像から、撮影されている道路標識を特定し、速度規制、一方通行等の当該道路標識の内容を得るような画像検索システムでは、特定のカテゴリとして道路標識が選択される。
【００２２】
図３に示されるように、ニューラルネットワーク部２１では、深層畳込ニューラルネットワークが用いられる。深層畳込ニューラルネットワークは、入力層２３、多数の中間層２４、全結合層２８及び出力層２９を積層することにより形成されており、中間層２４は、畳込層２５、活性化層２６及びプーリング層２７を積層することにより形成されている。
【００２３】
深層畳込ニューラルネットワークは、画像が入力される入力層２３を有する。
そして、深層畳込ニューラルネットワークは多数の中間層２４を有する。
中間層２４は、画像の各位置における特徴を抽出する畳込層２５を有する。即ち、畳込層２５は、式（１）に示されるように、各ユニットｌについて、画像の所定の位置（ｉ，ｊ）における前層からの入力ｘに対して、入力ｘの全ユニットについての重み付け和Σαｘにバイアスβを付加して、次層への出力ｙとする。
【数１】
2018124740.tif 000003
【００２４】
中間層２４は、収束性や学習速度の向上に寄与する活性化層２６を有する。活性化層２６は、式（２）に示されるように、各ユニットｌについて、畳込層２５からの入力ｘに対する活性化関数ｆからの応答を次層への出力ｙとする。活性化関数としてはＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）を用いる。なお、活性化関数としては、シグモイド関数等、その他の適宜の関数を用いてもよい。
【数２】
2018124740.tif 000004
【００２５】
中間層２４は、画像における局所的な変動を捨象して情報を圧縮するプーリング層２７を有する。即ち、プーリング層２７は、式（３）に示されるように、各ユニットｌについて、ｍ個の要素を包含する小領域Ｍ内において、活性化層２６からの入力ｘの平均値をとる平均プーリングを行う。なお、プーリング方法としては、最大プーリング等、その他の適宜のプーリング方法を用いてもよい。
【数３】
2018124740.tif 000005
【００２６】
そして、深層畳込ニューラルネットワークは、各カテゴリｃについて注目度を算出する全結合層２８を有する。即ち、全結合層２８は、式（４）に示されるように、各カテゴリｃについて、前層からの入力ｘの全ユニットについての重み付き和Ｓ（＝Σωｘ）を算出する。
【数４】
2018124740.tif 000006
そして、全結合層２８は、式（５）に示されるように、重み付き和Ｓの入力に対するソフトマップ関数の応答を各カテゴリｃについての注目度Ｐとする。
【数５】
2018124740.tif 000007
さらに、深層畳込ニューラルネットワークは、各カテゴリｃについての注目度Ｐを画像描画部２２に出力する出力層２９を有する。
【００２７】
深層畳込ニューラルネットワークでは、上述した重みα，ω及びバイアスβ等のパラメーターについては、各カテゴリｃに属する物体の撮影された多数の画像を用いた学習により、予め決定されている。即ち、理想的な出力Ｑと実際の出力Ｒとの乖離については、式（６）に示される交差エントロピーＥによって測定される。
【数６】
2018124740.tif 000008
当該交差エントロピーＥが極小化されるように、式（７）に示されるように、誤差逆伝搬法を用いて、重みα，ωないしバイアスβ等のパラメーターを順次更新して、パラメーターを決定する。
【数７】
2018124740.tif 000009
【００２８】
図２に示されるように、注目度画像生成部２０は、ニューラルネットワーク部２１から入力されたカテゴリｃについての注目度Ｐから、特定のカテゴリＣについての注目度Ｐを表す注目度画像８３を描画する画像描画部２２を有する。
注目度画像生成部２０で生成される注目度画像８３は縮小されたクエリ画像８１と同一のサイズとなる。
【００２９】
演算制御部１２は、クエリ画像８１の縮小率に基づいて、注目度画像８３のサイズを縮小前のクエリ画像８１と同一のサイズに拡大する注目度画像拡大部３５を有する。画像のサイズの拡大においては、単一の画素を、当該画素の画素値と同一の画素値を有する複数の画素に置換する等、適宜の補完を行う。
【００３０】
演算制御部１２は、拡大された注目度画像８３から、注目度に基づいて興味領域Ｄを生成する興味領域生成部４０を有する。
即ち、興味領域生成部４０は、所定の閾値以上の注目度を有する１つ以上の領域を注目領域ａ，ｂとして抽出する注目領域抽出部４１を有する。興味領域生成部４０は、注目領域抽出部４１で抽出された１つ以上の注目領域ａ，ｂから１つ以上の注目領域ａ，ｂを選択する注目領域選択部４２を有する。本実施形態では、注目領域選択部４２は注目領域抽出部４１で抽出された全ての注目領域ａ，ｂを選択する。興味領域生成部４０は、選択された全ての注目領域ａ，ｂに外接する長方形状の領域を興味領域Ｄとして設定する興味領域設定部４３を有する。当該興味領域Ｄについては、クエリ画像８１の対応する領域において、特定のカテゴリに属する物体が存在する可能性が高い領域を示すものである。
【００３１】
演算制御部１２は、クエリ画像８１から興味領域Ｄに対応する領域を切り出して、特定カテゴリクエリ画像８５を生成する特定カテゴリクエリ画像生成部４５を有する。画像の切出しとは、画像のサイズの拡縮を伴うことなく、画像の一部を分離することを示す。このため、画像の切出しによって画像のサイズ自体は小さくなるものの、画像のサイズが縮小されるわけではなく、解像度が低下することはない。
【００３２】
演算制御部１２は、特定カテゴリクエリ画像８５を縮小する特定カテゴリクエリ画像縮小部５０を有する。特定カテゴリクエリ画像８５のサイズは、以下に述べる参照画像検索部５２による参照画像の検索に適したサイズに適宜縮小される。
【００３３】
演算制御部１２は、データベース部６０に記録されている多量の参照画像から、特定カテゴリクエリ画像８５に対応する参照画像を検索する参照画像検索部５２を有する。
参照画像検索部５２は、特定カテゴリクエリ画像８５の特徴量を算出する特徴量算出部５５を有する。即ち、特徴量算出部５５は、特定カテゴリクエリ画像８５からエッジを抽出してエッジ画像を生成し、エッジ画像から複数の特徴点を検出する特徴点検出部５６を有する。特徴量算出部５５は、各特徴点における局所特徴量を抽出する局所特徴量抽出部５７を有する。局所特徴量としてはＳＩＦＴ特徴量が用いられ、ＳＩＦＴ特徴量はＮ次元ベクトルとして得られる。特徴量算出部５５は、ＳＩＦＴ特徴量をバイナリコードに変換するバイナリ変換部５８を有する。バイナリ変換部５８は、式（８）に示されるように、ＳＩＦＴ特徴量ｖを二値によって表現されるバイナリコードｈに変換する。ここで、ｄは変換後のバイナリコードのサイズ、ｗは、Ｎ行ｄ列の行列であり、Ｎ次元における半径１の超球上の点から、正規分布に従ってランダムサンプリングをして得られるベクトルである。
【数８】
2018124740.tif 000010
【００３４】
一方、データベース部６０は、大量の参照画像が記録されている参照画像記録部６１を有する。参照画像としては、多種多様なカテゴリについて、カテゴリ毎に、当該カテゴリに属する物体が撮影された画像が多数記録されている。例えば、カテゴリとして、ＤＶＤ／ＣＤジャケット、ポスター、道路標識等が用いられ、ＤＶＤ／ＣＤジャケットのカテゴリに属する物体として、様々な種類のＤＶＤ／ＣＤジャケット、道路標識のカテゴリに属する物体として、速度規制、一方通行等の様々な道路標識が用いられる。
【００３５】
データベース部６０は、各参照画像について算出された特徴量が各参照画像と対応付けられて記録されている特徴量記録部６２を有する。特徴量としては、特徴量算出部５５によって算出される特徴量と同様、各特徴点におけるＳＩＦＴ特徴量をバイナリ変換したバイナリコードが用いられる。
【００３６】
データベース部６０は、各参照画像に関連する関連情報が各参照画像と対応付けられて記録されている関連情報記録部６３を有する。関連情報としては、例えば、参照画像がＤＶＤ／ＣＤジャケットである場合には、当該ＤＶＤ／ＣＤの内容、映画ＤＶＤであれば監督や出演者の情報、音楽ＣＤであれば作曲者や演奏者の情報が用いられる。また、参照画像が交通標識である場合には、制限速度や一方通行等の当該交通標識の内容が用いられる。
【００３７】
そして、参照画像検索部５２は、データベース部６０に記録されている多数の参照画像から、特定カテゴリクエリ画像８５に対応する参照画像を選択する参照画像選択部６５を有する。即ち、参照画像選択部６５は、特定カテゴリクエリ画像８５の各特徴点の特徴量と全参照画像の全特徴点の特徴量とを比較し、特定カテゴリクエリ画像８５の特徴点の特徴量と最も一致度の高い特徴量を有する参照画像の特徴点を、当該特定カテゴリクエリ画像８５の特徴点に対応する特徴点として選択する。ここで、両バイナリコードの不一致度を示すハミング距離が最も小さくなる特徴量が最も一致度の高い特徴量とされる。そして、参照画像選択部６５は、全参照画像の内、特定カテゴリクエリ画像８５の特徴点に対応する特徴点の数が最も多い参照画像を、当該特定カテゴリクエリ画像８５に対応する参照画像として選択する。
【００３８】
クエリ画像８１に撮影されている物体と、特定カテゴリクエリ画像８５に対応する参照画像に撮影されている物体は同一種類の物体であるといえ、参照画像に撮影されている物体の種類は予め特定されているから、クエリ画像８１に撮影されている物体の種類が特定されることになる。
画像検索システムは、選択された参照画像に対応付けられた関連情報を読み出す関連情報読出部７０を有する。
【００３９】
画像検索システムは、読み出された関連情報に基づいて出力を行う出力部７５を有する。出力部７５は、例えば、モバイルデバイスのカメラでＤＶＤ／ＣＤジャケットが撮影された場合には、当該モバイルデバイスの画面に当該ＤＶＤ／ＣＤの関連情報を表示し、車載カメラで道路標識が撮影された場合には、当該道路標識の内容に基づいて車両を自動制御する。
【００４０】
図４及び図５を参照し、本発明の第１実施形態の画像検索方法について説明する。
撮影ステップ（Ｓ１０）
撮影ステップ（Ｓ１０）では、比較的サイズの大きな画像を撮影する。本実施形態では、モバイルデバイスのカメラによりＤＶＤ／ＣＤジャケットが撮影されており、画像のサイズは４０００×３０００画素である。撮影された画像がクエリ画像８１となる。
【００４１】
クエリ画像縮小ステップ（Ｓ１５）
クエリ画像縮小ステップ（Ｓ１５）では、クエリ画像８１を縮小する。クエリ画像８１は、以下に述べる注目度画像生成ステップ（Ｓ２０）における注目度画像８３の生成に適したサイズに適宜縮小される。本実施形態では、クエリ画像８１のサイズを４０００×３０００画素から２５６×２５６画素まで縮小している。
【００４２】
注目度画像生成ステップ（Ｓ２０）
注目度画像生成ステップ（Ｓ２０）では、上述したように深層畳込ニューラルネットワークを用いて、縮小したクエリ画像８１から注目度画像８３を生成する。注目度画像８３のサイズは、縮小したクエリ画像８１のサイズと同一であり、本実施形態では２５６×２５６画素である。
【００４３】
注目度画像拡大ステップ（Ｓ２５）
注目度画像拡大ステップ（Ｓ２５）では、クエリ画像８１の縮小率に基づいて、注目度画像８３を縮小前のクエリ画像８１と同一のサイズに拡大する。本実施形態では、注目度画像８３のサイズを２５６×２５６画素から４０００×３０００画素まで拡大する。
【００４４】
興味領域生成ステップ（Ｓ３０）
興味領域生成ステップ（Ｓ３０）では、拡大された注目度画像８３から注目度に基づいて興味領域Ｄを生成する。即ち、注目領域抽出ステップ（Ｓ３１）では、注目度画像８３において所定の閾値以上の注目度を有する１つ以上の注目領域ａ，ｂを抽出する。そして、注目領域選択ステップ（Ｓ３２）では、抽出された全ての注目領域ａ，ｂを選択する。興味領域設定ステップ（Ｓ３３）では、選択された全ての注目領域ａ，ｂに外接する長方形状の領域を興味領域Ｄに設定する。
【００４５】
特定カテゴリクエリ画像生成ステップ（Ｓ３５）
特定カテゴリクエリ画像生成ステップ（Ｓ３５）では、クエリ画像８１から興味領域Ｄに対応する領域Ｄ´を切り出して、特定カテゴリクエリ画像８５を生成する。本実施形態では、クエリ画像８１のサイズが４０００×３０００画素であるのに対して、特定カテゴリクエリ画像８５のサイズは２０００×１８００画素である。
【００４６】
特定カテゴリクエリ画像縮小ステップ（Ｓ４０）
特定カテゴリクエリ画像縮小ステップ（Ｓ４０）では、特定カテゴリクエリ画像８５を縮小する。特定カテゴリクエリ画像８５のサイズは、以下に述べる参照画像検索ステップ（Ｓ４２）における参照画像の検索に適したサイズに適宜設定される。本実施形態では、特定カテゴリクエリ画像８５のサイズは２０００×１８００画素から３２０×２４０画素まで縮小される。
【００４７】
参照画像検索ステップ（Ｓ４２）
参照画像検索ステップ（Ｓ４２）において、特徴量算出ステップ（Ｓ４５）では、特定カテゴリクエリ画像８５の特徴量が算出される。即ち、特徴量算出ステップ（Ｓ４６）において、特徴点検出ステップ（Ｓ４６）では、特定カテゴリクエリ画像８５からエッジを抽出してエッジ画像を生成し、エッジ画像から複数の特徴点を検出する。局所特徴量抽出ステップ（Ｓ４７）では、各特徴点においてＳＩＦＴ特徴量を抽出する。バイナリ変換ステップ（Ｓ４８）では、ＳＩＦＴ特徴量をバイナリコードに変換する。
【００４８】
参照画像検索ステップ（Ｓ４２）において、参照画像選択ステップ（Ｓ５０）では、データベースに記録されている多数の参照画像から、特定カテゴリクエリ画像８５に対応する参照画像を選択する。即ち、検索画像の各特徴点のバイナリコードと、データベースに記録されている全参照画像の全特徴点のバイナリコードとを比較し、ハミング距離が最も近い参照画像の特徴点を、当該特定カテゴリクエリ画像８５の特徴点に対応する特徴点として選択する。そして、全参照画像の内、特定カテゴリクエリ画像８５の特徴点に対応する特徴点の数が最も多い参照画像を、特定カテゴリクエリ画像８５に対応する参照画像として選択する。
【００４９】
本実施形態の画像検索システム及び画像検索方法は以下の効果を奏する。
本実施形態の画像検索システム及び画像検索方法では、縮小されたクエリ画像８１に基づき、深層畳込ニューラルネットワークを用いてクエリ画像８１の各位置において特定のカテゴリに属する物体が存在する可能性を示す注目度を表す注目度画像８３を生成している。そして、縮小前のクエリ画像８１と同じサイズに拡大した注目度画像８３に基づいて、クエリ画像８１において特定のカテゴリに属する物体の存在する可能性の高い興味領域Ｄを生成し、クエリ画像８１から当該興味領域Ｄに対応する領域Ｄ´を特定カテゴリクエリ画像８５として切り出し、当該特定カテゴリクエリ画像８５に基づいて参照画像の検索を行っている。このため、クエリ画像８１よりも小さなサイズの特定カテゴリクエリ画像８５に基づいて、参照画像の検索処理を行うこととなるため、画像検索を高速で行うことが可能となっている。さらに、縮小されたサイズの小さなクエリ画像８１に基づいて、注目度画像８３の生成を行っているため、深層畳込ニューラルネットワークを用いた注目度画像８３の生成処理を高速で行うことができ、画像検索をさらに高速で行うことが可能となっている。なお、特定カテゴリクエリ画像８５のサイズはクエリ画像８１のサイズよりも小さくなっているが、特定カテゴリクエリ画像８５はクエリ画像８１から切り出されて生成されており、特定カテゴリクエリ画像８５の解像度はクエリ画像８１の解像度から低下しているわけではない。このため、クエリ画像８１をそのまま用いて画像検索を行った場合と同程度の検索精度が実現されている。
【００５０】
本実施形態では、縮小したクエリ画像に基づいて注目度画像を生成しているが、充分な演算能力を有するコンピュータを用いる場合には、クエリ画像を縮小することなく、クエリ画像をそのまま用いて、注目度画像の生成を行うようにしてもよい。
【００５１】
また、本実施形態では、縮小されたクエリ画像から注目度画像を生成し、注目度画像を拡大した後に拡大した注目度画像から興味領域を生成し、クエリ画像から興味領域に対応する領域を切り出して、特定カテゴリクエリ画像を生成している。しかしながら、注目度画像を拡大する前に興味領域を生成し、クエリ画像の縮小率に基づいて興味領域を拡大して、クエリ画像から拡大した興味領域に対応する領域を切り出し、特定カテゴリクエリ画像を生成するようにしてもよい。
【００５２】
図６を参照し、本発明の第２実施形態について説明する。
図６に示されるように、本実施形態の画像検索方法において、興味領域生成ステップ（Ｓ６０）では、注目領域抽出ステップ（Ｓ６１）は第１実施形態と同様である。注目領域選択ステップ（Ｓ６２）では、注目領域抽出ステップ（Ｓ６１）で抽出された１つ以上の注目領域ａ，ｂ，ｃの内、最大の面積を有する注目領域ａを選択する。また、興味領域設定ステップ（Ｓ６３）は第１実施形態と同様である。
【００５３】
図７を参照し、本発明の第３実施形態について説明する。
図７に示されるように、本実施形態の画像検索方法において、興味領域生成ステップ（Ｓ６５）では、注目領域抽出ステップ（Ｓ６６）は第１実施形態と同様である。注目領域選択ステップ（Ｓ６７）では、注目領域抽出ステップ（Ｓ６６）で抽出された１つ以上の注目領域ａ，ｂ，ｃの内、所定の閾値以上の面積を有する注目領域ａ，ｂを選択する。また、興味領域設定ステップ（Ｓ６８）は第１実施形態と同様である。
【符号の説明】
【００５４】
１５  クエリ画像縮小部
２０  注目度画像生成部
４０  興味領域生成部
４１  注目領域抽出部
４２  注目領域選択部
４３  興味領域設定部
４５  特定カテゴリクエリ画像生成部
５２  参照画像検索部
８１  クエリ画像
８３  注目度画像
８５  特定カテゴリクエリ画像
ａ，ｂ，ｃ  注目領域
Ｄ  興味領域
【図１】
2018124740.tif 000011
【図２】
2018124740.tif 000012
【図３】
2018124740.tif 000013
【図４】
2018124740.tif 000014
【図５】
2018124740.tif 000015
【図６】
2018124740.tif 000016
【図７】
2018124740.tif 000017