(57)【要約】【課題】各分割領域の特徴量の変化が小さい画像について他の画像との類似性の判定の精度を向上させること。【解決手段】第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する。【選択図】図５
2019012427.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
処理をコンピュータに実行させることを特徴とする画像照合プログラム。
【請求項２】
前記分割領域を相対的に多く含む前記第１の領域について特定された前記関係に対する重みを大きくして、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
ことを特徴とする請求項１記載の画像照合プログラム。
【請求項３】
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
処理をコンピュータが実行することを特徴とする画像照合方法。
【請求項４】
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出する抽出部と、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定する第１の特定部と、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定する第２の特定部と、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定する第３の特定部と、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する判定部と、
を有することを特徴とする画像照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合プログラム、画像照合方法及び画像照合装置に関する。
【背景技術】
【０００２】
２つの画像について、類似している部分（部分画像）を判定する技術が有る。このような技術は、例えば、複数の画像（例えば、ドライブレコーダによって撮像された画像）の中から、或る画像（例えば、特定の標識を示す画像）を含む画像の検索に利用可能である。
【０００３】
２つの画像（画像Ａ、画像Ｂ）について、類似する部分画像の有無の判定は、以下のように行われる。
【０００４】
まず、画像Ａ及び画像Ｂのそれぞれを、一定区画（例えば、４８×４８画素）の局所矩形に分割する。画像Ａ及び画像Ｂのそれぞれの局所矩形のうち、特徴点を含む局所矩形から、局所特徴量（例えば、ＢＲＩＥＦ（Binary  Robust  Independent  Elementary  Features）特徴）を抽出する。以下、画像Ａの各局所矩形を「局所矩形ａ」といい、画像Ｂの各局所矩形を「局所矩形ｂ」という。ＢＲＩＥＦ特徴とは、局所矩形内において、予めランダムに定められたＮ組（たとえば、１２８組）の画素のペアを各ビットに割り当て、各ペアの画素値の差（第１画像値−第２画素値）が＋の場合１をビット値とし、−の場合０をビット値とするＮビットのバイナリ値である。
【０００５】
続いて、特徴点を含む各局所矩形ａについて、局所特徴量の距離が閾値以下の局所矩形ｂを探索し、局所矩形ａと局所矩形ｂとのペア（対応点）を生成する。なお、局所特徴量の距離が閾値以下の局所矩形ｂが複数有る局所矩形ａについては、当該距離が最小の局所矩形ｂが選択される。また、局所特徴量の距離は、ＢＲＩＥＦ特徴については、ビット列であるので、異なるビットの数と定義することができ、最小値は０、最大値はＮとなる。
【０００６】
続いて、対応点ごとに、画像Ｂにおける画像Ａの存在位置（中心）を推定する。画像Ａの横幅をｗａ、高さをｈａとし、画像Ｂの横幅をｗｂ、高さをｈｂとした場合に、或る対応点の局所矩形ａの画像Ａにおける位置が（ｘａ，ｙａ）であり、当該対応点の局所矩形ｂの画像Ｂにおける位置が（ｘｂ，ｙｂ）であれば、画像Ａの存在位置（ｘｖ，ｙｖ）は、以下の計算で得られる。
ｘｖ＝ｘｂ−ｘａ＋（ｗａ／２）
ｙｖ＝ｙｂ−ｙａ＋（ｈａ／２）
つまり、当該対応点に係る局所矩形ａが当該対応点に係る局所矩形ｂに一致するように画像Ａを画像Ｂに重ねたとき（画像Ａの図柄が合うように画像Ｂに重ねたとき）の、画像Ｂ座標における画像Ａの中心点の位置が（ｘｖ，ｙｖ）である。
【０００７】
上記により計算される存在位置は、正しい対応点について正解となるため、対応点ごとに、計算される存在位置に対して投票が行われ、多数決によって最終的な存在位置が決定される。例えば、対応点ごとに、計算される存在位置を含む一定区画（例えば、４局所矩形四方）に対して、一定数が投票される。これにより、画像Ａと画像Ｂとのある程度の差に対してロバストな類似度計算が可能となる。
【０００８】
画像Ａと画像Ｂとが類似する画像を含む場合、各対応点における画像Ａと画像Ｂとの位置関係（平行移動の大きさ）が同じ場合が多く、一カ所に投票が集中し、画像Ａと画像Ｂとが類似する画像を含まない場合、各対応点における画像Ａと画像Ｂとの位置関係がばらばらになるため、投票箇所が分散する。
【０００９】
そこで、投票対象とされた空間（画素）から、投票数の最大値を検出し、当該最大値が、予め設定された閾値を超えたら、当該最大値に係る位置に投票を行った対応点に係る部分同士は類似していると判定される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４−０３０１８８号公報
【特許文献２】特開２０１５−１１８６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、局所特徴量の変化が小さいのっぺりした画像では、どの局所矩形の局所特徴量も同じような値になってしまう。その結果、正しい対応点を特定することができず、適切な投票、ひいては適切な類似判定が困難となる。
【００１２】
図１は、不適切な投票の例を示す図である。図１には、画像Ａの局所矩形の一部として、局所矩形Ｒａ１〜Ｒａ５（以下、それぞれを区別しない場合「局所矩形Ｒａ」という。）が示され、画像Ｂの局所矩形の一部として局所矩形Ｒｂ１〜Ｒｂ５（以下、それぞれを区別しない場合「局所矩形Ｒｂ」という。）が示されている。
【００１３】
図１より明らかなように、各局所矩形Ｒａ及び各局所矩形Ｒｂのそれぞれの画素値の分布は同じである。したがって、各局所矩形の局所特徴量は同じとなる。したがって、対応点を探索する場合、局所矩形Ｒｂは、いずれの局所矩形Ｒａとも対応点を構成する。このような状況において、或る局所矩形Ｒａとの対応点について、相対的に左上の局所矩形ｂを優先して選択することとした場合、各局所矩形Ｒａに対する対応点は、全て局所矩形Ｒｂ１となる。
【００１４】
そうすると、局所矩形Ｒａ１と局所矩形Ｒｂ１との対応点に基づく画像Ａの存在位置は、画像Ｂ上において（１）で示される位置となる。また、局所矩形Ｒａ２と局所矩形Ｒｂ１との対応点に基づく画像Ａの存在位置は、画像Ｂ上において（２）で示される位置となる。また、局所矩形Ｒａ３と局所矩形Ｒｂ１との対応点に基づく画像Ａの存在位置は、画像Ｂ上において（３）で示される位置となる。また、局所矩形Ｒａ４と局所矩形Ｒｂ１との対応点に基づく画像Ａの存在位置は、画像Ｂ上において（４）で示される位置となる。
【００１５】
このように、存在位置が分散してしまうと、各局所矩形Ｒａで構成される領域と、各局所矩形Ｒｂで構成される領域とが類似しているにも拘わらず、両者は類似していないという誤判定を招いてしまう。
【００１６】
そこで、一側面では、本発明は、各分割領域の特徴量の変化が小さい画像について他の画像との類似性の判定の精度を向上させることを目的とする。
【課題を解決するための手段】
【００１７】
一つの態様では、画像照合プログラムは、第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、処理をコンピュータに実行させる。
【発明の効果】
【００１８】
一側面として、各分割領域の特徴量の変化が小さい画像について他の画像との類似性の判定の精度を向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】不適切な投票の例を示す図である。
【図２】本発明の実施の形態の概要を説明するための図である。
【図３】本発明の実施の形態における画像検索装置１０のハードウェア構成例を示す図である。
【図４】本発明の実施の形態における画像検索装置１０の機能構成例を示す図である。
【図５】画像検索装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【図６】融合領域の特定処理の処理手順の一例を説明するためのフローチャートである。
【図７】ＢＲＩＥＦ特徴の例を示す図である。
【図８】融合領域と検索対象画像とに関する投票処理の処理手順の一例を説明するためのフローチャートである。
【図９】対象融合領域と対応領域とに基づいて特定される検索対象画像における問い合わせ画像の存在位置の例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面に基づいて本発明の実施の形態を説明する。図２は、本発明の実施の形態の概要を説明するための図である。本実施の形態では、局所特徴量の違いが所定範囲内の隣接する複数の局所矩形（分割領域）を融合（統合）する。局所矩形同士の融合は再帰的に行われる。融合された２以上の局所矩形によって構成される領域を、以下「融合領域」という。図２の画像Ａにおいて、融合領域ＲＡ１は、図１の局所矩形Ｒａ１〜Ｒａ５が融合された領域である。本実施の形態では、融合領域ＲＡ１の特徴量を算出し、融合領域ＲＡ１と類似する領域（以下、「対応領域」という。）を画像Ｂから探索する。その結果、画像Ｂにおいて、対応領域ＲＢ１が、融合領域ＲＡ１と対応点を構成する。当該対応点に基づいて特定される、画像Ｂにおける画像Ｂの存在位置（１）には、融合領域ＲＡ１に含まれる局所矩形の数に応じた投票数が投票される。すなわち、１つの局所矩形同士の対応点に対する５倍の投票数が投票される。その結果、存在位置（１）の投票数が閾値を超える可能性が高くなり、画像Ａと画像Ｂとが類似する部分画像を含むと判定される可能性が高くなる。
【００２１】
このような処理を実行する画像検索装置１０について具体的に説明する。図３は、本発明の実施の形態における画像検索装置１０のハードウェア構成例を示す図である。図３の画像検索装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００２２】
画像検索装置１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００２３】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像検索装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００２４】
なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard  Disk  Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
【００２５】
なお、画像検索装置１０は、図３に示される構成を有する複数のコンピュータによって構成されてもよい。
【００２６】
図４は、本発明の実施の形態における画像検索装置１０の機能構成例を示す図である。図４において、画像検索装置１０は、問い合わせ画像入力部１１、局所特徴量抽出部１２、局所矩形融合部１３、融合領域特徴量計算部１４、検索対象画像入力部１５、対応領域特徴量計算部１６、投票部１７及び検索結果生成部１８等を有する。画像検索装置１０は、また、画像記憶部１９を利用する。画像記憶部１９は、例えば、補助記憶装置１０２、又は画像検索装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【００２７】
問い合わせ画像入力部１１は、問い合わせ画像を入力する。問い合わせ画像とは、類似する部分画像（類似画像）の検索元とされる画像データをいう。例えば、問い合わせ画像は、ネットワークを介して受信されてもよい。例えば、ユーザが端末等において指定された画像が、問い合わせ画像として問い合わせ画像入力部１１によって受信されてもよい。
【００２８】
局所特徴量抽出部１２は、問い合わせ画像を分割する複数の局所矩形のうち、特徴点を含む局所矩形から局所特徴量を抽出する。本実施の形態では、局所特徴量として、ＢＲＩＥＦ（Binary  Robust  Independent  Elementary  Features）特徴が利用される。但し、ＯＲＢ（Oriented  FAST  and  Rotated  BRIEF）特徴等、公知の他の特徴量が用いられてもよい。
【００２９】
局所矩形融合部１３は、問い合わせ画像の各局所矩形から抽出された局所特徴量に基づいて、融合領域を特定する。具体的には、局所矩形融合部１３は、局所特徴量の違い（誤差）が閾値γ以下である、隣接する局所矩形を再帰的に融合することで、融合領域を特定する。なお、隣接するいずれの局所矩形とも局所特徴量の違いが閾値γ以下でない局所特徴量は、当該局所矩形のみで融合領域を構成する。
【００３０】
融合領域特徴量計算部１４は、各融合領域の特徴量を計算する。
【００３１】
検索対象画像入力部１５は、検索対象画像を入力する。検索対象画像とは、問い合わせ画像との照合対象（類似画像の有無の判定対象）とされる画像データをいう。例えば、画像記憶部１９に記憶されている複数の画像データが、順番に検索対象画像として入力されてもよい。
【００３２】
対応領域特徴量計算部１６は、検索対象画像において、問い合わせ画像の各融合領域に対する対応領域の候補（以下、「対応領域候補」とう。）を探索し、探索された対応領域候補の特徴量を計算して、対応領域を特定する。
【００３３】
投票部１７は、融合領域ごとに、当該融合領域の問い合わせ画像における位置と、当該融合領域に対する対応領域の検索対象画像における位置との関係を特定する。具体的には、投票部１７は、融合領域ごとに、当該融合領域の問い合わせ画像における位置と、当該融合領域に対する対応領域の検索対象画像における位置との関係に基づいて、検索対象画像における問い合わせ画像の存在位置（中心位置）に対して投票を行う。
【００３４】
検索結果生成部１８は、投票部１７による投票結果に基づいて、問い合わせ画像と検索対象画像との間に類似する部分画像が有るか否かを判定し、判定結果を示す情報を検索結果として生成する。
【００３５】
以下、画像検索装置１０が実行する処理手順について説明する。図５は、画像検索装置１０が実行する処理手順の一例を説明するためのフローチャートである。
【００３６】
問い合わせ画像入力部１１が、問い合わせ画像を受信等によって入力すると（Ｓ１０１）、局所特徴量抽出部１２は、問い合わせ画像を、一定区画（例えば、４８×４８画素）の複数の局所矩形に分割する（Ｓ１０２）。続いて、局所特徴量抽出部１２は、問い合わせ画像の特徴点を検出する（Ｓ１０３）。特徴点の検出は、公知技術に基づいて行うことができる。続いて、局所特徴量抽出部１２は、特徴点を含む局所矩形を特定し、特定された局所矩形のリスト（以下、「矩形リスト」という。）を生成する（Ｓ１０４）。続いて、検索対象画像入力部１５は、例えば、画像記憶部１９から１つの検索対象画像を入力する（Ｓ１０５）。
【００３７】
続いて、局所特徴量抽出部１２は、矩形リスト内の一つの局所矩形を処理対象として選択する（Ｓ１０６）。以下、選択された局所矩形を「対象局所矩形」という。続いて、局所特徴量抽出部１２及び局所矩形融合部１３は、対象局所矩形に基づく融合領域の特定処理を実行する（Ｓ１０７）。対象局所矩形に基づく融合領域とは、対象局所矩形に隣接する局所矩形であって、対象局所矩形の局所特徴量との違いが閾値γ以下である局所矩形を再帰的に探索することで得られる領域をいう。なお、対象局所矩形に隣接する局所矩形の中に、局所特徴量の違いが閾値γ以下である局所矩形が無い場合、対象局所矩形のみが融合領域として特定される。
【００３８】
続いて、投票部１７は、検索対象画像において当該融合領域と同じ形状を有する全ての対応領域ごとに、当該融合領域と当該対応領域とに基づいて、検索対象画像における問い合わせ画像の存在位置（中心位置）に対して投票を行う（Ｓ１０８）。１つの存在位置について、当該存在位置を含む一定範囲の区画（例えば、４局所矩形四方）に対して一定数の投票が行われる。当該区画を「投票マップ区画」という。
【００３９】
ステップＳ１０６〜Ｓ１０８が、矩形リスト内の全ての局所矩形について実行されると（Ｓ１０９でＹｅｓ）、検索結果生成部１８は、投票数が閾値βを超えた投票マップ区画の有無を判定する（Ｓ１１０）。該当する投票マップ区画が存在する場合（Ｓ１１０でＹｅｓ）、検索結果生成部１８は、検索対象画像には、問い合わせ画像との間で類似画像が存在すると判定し、斯かる判定の結果を示す情報を出力する（Ｓ１１１）。なお、当該投票マップ区画への投票元となった対応領域に基づいて、類似画像の範囲が出力されてもよい。
【００４０】
一方、該当する投票マップ区画が存在しない場合（Ｓ１１０でＮｏ）、検索結果生成部１８は、検索対象画像には、類似画像が存在しないと判定し、斯かる判定を示す情報を出力する（Ｓ１１２）。
【００４１】
続いて、ステップＳ１０７の詳細について説明する。図６は、融合領域の特定処理の処理手順の一例を説明するためのフローチャートである。
【００４２】
ステップＳ２０１において、局所特徴量抽出部１２は、対象局所矩形を初期状態の融合領域として、当該融合領域（すなわち、対象局所矩形）の局所特徴量を計算する。例えば、ＢＲＩＥＦ特徴が、局所特徴量として計算される。以下、対象局所矩形の局所特徴量を「対象特徴量」という。
【００４３】
図７は、ＢＲＩＥＦ特徴の例を示す図である。図７に示されるように、ＢＲＩＥＦ特徴は、局所矩形内において、予めランダムに定められたＮ組（例えば、Ｎは１２８）の画素値の各ペアの画素値の差（第１画像値−第２画素値）が＋の場合１とし、また、−の場合０としたＮビットのバイナリ値である。
【００４４】
続いて、局所特徴量抽出部１２は、当該融合領域（以下、「対象融合領域」という。）の上下左右方向のいずれかにおいて隣接する各局所矩形について局所特徴量を計算する（Ｓ２０２）。
【００４５】
続いて、局所矩形融合部１３は、計算された局所特徴量の中で、対象特徴量との差が閾値γ以下である局所特徴量の有無を判定する（Ｓ２０３）。該当する局所特徴量が１以上有る場合（Ｓ２０３でＹｅｓ）、局所矩形融合部１３は、当該各局所特徴量に係る各局所矩形を対象融合領域の構成要素に含める（Ｓ２０４）。その結果、対象融合領域が拡大する。続いて、局所矩形融合部１３は、対象融合領域に含められた局所矩形を矩形リストから除去する（Ｓ２０５）。したがって、当該局所矩形は、図５のステップＳ１０６において選択対象から除外される。続いて、ステップＳ２０２が繰り返される。
【００４６】
一方、該当する局所特徴量が無い場合（Ｓ２０３でＮｏ）、局所矩形融合部１３は、この時点での対象融合領域を出力する（Ｓ２０６）。なお、対象融合領域は、必ずしも長方形であるとは限らない。
【００４７】
続いて、図５のステップＳ１０８の詳細について説明する。図８は、融合領域と検索対象画像とに関する投票処理の処理手順の一例を説明するためのフローチャートである。
【００４８】
ステップＳ３０１において、融合領域特徴量計算部１４は、問い合わせ画像において特定された対象融合領域の特徴量を計算する。
【００４９】
融合領域の特徴量は、局所特徴量と同じビット数を有する。融合領域の特徴量の各ビットの値は、例えば、当該融合領域を構成する各局所矩形の局所特徴量のビットごとの多数決によって決定される。すなわち、融合領域の特徴量は、当該融合領域を構成する各局所矩形の局所特徴量において、１の方が多いビットは１となり、０の方が多いビットは０となる。例えば、３つの局所矩形ｘ、ｙ、ｚが融合され、各局所矩形の局所特徴量がそれぞれ以下であったとする。
局所矩形ｘ：「１１００・・・」
局所矩形ｙ：「１０００・・・」
局所矩形ｚ：「１１１０・・・」
この場合、融合領域の特徴量は、「１１００・・・」となる。なお、多数決が同数であるビットの値は、例えば、１とされてもよい。
【００５０】
続いて、対応領域特徴量計算部１６は、検索対象画像を問い合わせ画像の局所矩形と同サイズの局所矩形に分割し、対象融合領域と同一形状の対応領域候補を検索対象画像において特定する（Ｓ３０２）。該当する対応領域候補が複数有る場合、全ての対応領域候補が特定される。
【００５１】
続いて、対応領域特徴量計算部１６は、特定された各対応領域候補について特徴量を計算する（Ｓ３０３）。具体的には、対応領域特徴量計算部１６は、当該対応領域候補が含む１つの局所矩形の局所特徴量を基準として、ハミング距離がγ以上離れた局所特徴量を有する局所矩形が含まれていれば、例えば、当該対応領域候補の特徴量の全ビットを１にする。そうすることで、当該対応領域候補が対応領域として特定されないようにする。一方、ハミング距離がγ以上離れた局所特徴量を有する局所矩形が含まれていなければ、対応領域特徴量計算部１６は、当該対応領域候補の特徴量を、融合領域の特徴量と同様に計算する。
【００５２】
続いて、投票部１７は、対象融合領域の特徴量との違いが所定範囲内である対応領域候補を対応領域として特定する（Ｓ３０４）。例えば、対象融合領域の特徴量とのハミング距離が閾値α以下である特徴量に係る対応領域候補が、対応領域として特定される。例えば、図２のように、画像Ａが問い合わせ画像であり、画像Ｂが検索対象画像である場合において、融合領域ＲＡ１が対象融合領域である場合には、対応領域ＲＢ１が抽出される。なお、ハミング距離とは、異なるビット数である。
【００５３】
続いて、投票部１７は、抽出された対応領域ごとに、対象融合領域と、当該対応領域とに基づいて特定される検索対象画像における問い合わせ画像の存在位置を含む投票マップ区画に対して投票を行う（Ｓ３０５）。この際、投票される値には、対象融合領域のサイズ（対象融合領域に含まれる局所矩形の数）に応じた重みが付与される。例えば、対象融合領域が、５個の局所矩形を含む場合、投票マップ区画には、５票が投票される。すなわち、相対的に多くの局所矩形を含む融合領域に対する重みが大きくされる。
【００５４】
なお、対象融合領域と対応領域とに基づいて特定される検索対象画像における問い合わせ画像の存在位置とは、対象融合領域と当該対応領域とが一致するように問い合わせ画像と検索対象画像とを重ねた場合において、検索対象画像における問い合わせ画像の中心の位置をいう。
【００５５】
図９は、対象融合領域と対応領域とに基づいて特定される検索対象画像における問い合わせ画像の存在位置の例を示す図である。図９において、融合領域ＲＡ１と対応領域ＲＢ１とに基づく、画像Ｂにおける画像Ａの存在位置は、（１）で示される位置となる。融合領域ＲＡ１は、５つの局所矩形を含むため、（１）には、１つの局所矩形の投票値に対する５倍の値が投票される。また、融合領域ＲＡ２と対応領域ＲＢ２とに基づく、画像Ｂにおける画像Ａの存在位置も、（１）で示される位置となる。融合領域ＲＡ２は、５つの局所矩形を含むため、（１）には、１つの局所矩形の投票値に対する５倍の値が更に投票される。その結果、（１）への投票値は、閾値βを超える可能性が高くなり、画像Ａと画像Ｂとが類似する部分画像を含むと判定される可能性が高くなる。
【００５６】
上述したように、本実施の形態によれば、局所特徴量の違いが所定範囲内である局所矩形が連続している場合、これらの局所矩形が融合（統合）された融合領域に基づいて、照合される画像データ間において類似する部分の有無が判定される。その結果、局所矩形間の局所特徴量の変化が小さいのっぺりした画像間においても、類似する部分画像を検出することができる。すなわち、各分割領域の特徴量の変化が小さい画像について他の画像との類似性の判定の精度を向上させることができる。
【００５７】
なお、本実施の形態において、問い合わせ画像は、第１の画像の一例である。検索対象画像は、第２の画像の一例である。局所矩形は、分割領域の一例である。融合領域は、第１の領域の一例である。対応領域は、第２の領域の一例である。閾値γは、第１の範囲の一例である。閾値αは、第２の範囲の一例である。画像検索装置１０は、画像照合装置の一例である。局所特徴量抽出部１２は、抽出部の一例である。局所矩形融合部１３は、第１の特定部の一例である。対応領域特徴量計算部１６は、第２の特定部の一例である。投票部１７は、第３の特定部の一例である。検索結果生成部１８は、判定部の一例である。
【００５８】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００５９】
以上の説明に関し、更に以下の項を開示する。
（付記１）
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
処理をコンピュータに実行させることを特徴とする画像照合プログラム。
（付記２）
前記分割領域を相対的に多く含む前記第１の領域について特定された前記関係に対する重みを大きくして、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
ことを特徴とする付記１記載の画像照合プログラム。
（付記３）
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出し、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定し、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定し、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定し、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
処理をコンピュータが実行することを特徴とする画像照合方法。
（付記４）
前記分割領域を相対的に多く含む前記第１の領域について特定された前記関係に対する重みを大きくして、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
ことを特徴とする付記３記載の画像照合方法。
（付記５）
第１の画像を分割する複数の分割領域のうち、特徴点を含む各分割領域の特徴量を抽出する抽出部と、
前記特徴量の違いが第１の範囲内である複数の隣接した分割領域が構成する１以上の領域、又は前記特徴点を含む分割領域のうちいずれの前記領域にも含まれない分割領域である１以上の第１の領域を特定する第１の特定部と、
前記第１の領域ごとに、当該第１の領域の特徴量との違いが第２の範囲内である、当該第１の領域と同一形状の第２の領域を第２の画像において特定する第２の特定部と、
前記第１の領域ごとに、当該第１の領域の前記第１の画像における位置と、当該第１の領域について特定された前記第２の領域の前記第２の画像における位置との関係を特定する第３の特定部と、
前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する判定部と、
を有することを特徴とする画像照合装置。
（付記６）
前記判定部は、前記分割領域を相対的に多く含む前記第１の領域について特定された前記関係に対する重みを大きくして、前記第１の領域ごとに特定された前記関係に基づいて、前記第１の画像と前記第２の画像とが類似する部分を有するかを判定する、
ことを特徴とする付記５記載の画像照合装置。
【符号の説明】
【００６０】
１０          画像検索装置
１１          問い合わせ画像入力部
１２          局所特徴量抽出部
１３          局所矩形融合部
１４          融合領域特徴量計算部
１５          検索対象画像入力部
１６          対応領域特徴量計算部
１７          投票部
１８          検索結果生成部
１９          画像記憶部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
Ｂ            バス
【図１】
2019012427.tif 000003
【図２】
2019012427.tif 000004
【図３】
2019012427.tif 000005
【図４】
2019012427.tif 000006
【図５】
2019012427.tif 000007
【図６】
2019012427.tif 000008
【図７】
2019012427.tif 000009
【図８】
2019012427.tif 000010
【図９】
2019012427.tif 000011