(57)【要約】【課題】  比較元画像と比較先画像とを精度よく比較出来るようにできるようにすること。【解決手段】  本発明は、比較元画像と比較先画像とから局所特徴点を抽出し、その局所特徴を算出する。そして、算出した局所特徴に基づいて対応関係にある局所特徴点を決定し、比較元画像と比較先画像との共通領域を推定する。【選択図】  図３
2017138742.tif 000002
【特許請求の範囲】
【請求項１】
比較元画像と比較先画像とを入力する入力手段と、
前記入力された比較元画像と比較先画像とから局所特徴点を抽出する抽出手段と、
前記抽出された局所特徴点について局所特徴を算出する算出手段と、
前記算出された局所特徴に基づいて、前記比較元画像と前記比較先画像とで対応関係にある前記局所特徴点を決定する第１の決定手段と、
前記決定された対応関係にある局所特徴点に基づいて、前記比較元画像と前記比較先画像との共通領域を推定する第１の推定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記推定された共通領域において前記比較元画像と前記比較先画像とで対応関係のない局所特徴点を決定する第２の決定手段と、
前記決定された対応関係のない局所特徴点に基づいて、前記比較元画像と前記比較先画像との差異領域を推定する第２の推定手段と、
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の推定手段は、前記決定された対応関係のない局所特徴点を含む矩形を前記差異領域として推定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定された対応関係にある局所特徴点と前記決定された対応関係のない局所特徴点とに基づいて、前記入力された比較元画像と比較先画像との類似性に関わるスコアを算出する第２の算出手段を更に有することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第２の算出手段は、前記決定された対応関係にある局所特徴点の数と前記決定された対応関係のない局所特徴点の数とに基づいて、前記スコアを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の算出手段は、前記決定された対応関係にある局所特徴点の面積と前記決定された対応関係のない局所特徴点の面積とに基づいて、前記スコアを算出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記推定された比較元画像と比較先画像との共通領域のサイズを正規化する正規化手段と、
前記正規化された比較元画像と比較先画像とに対して前処理を行う前処理手段とを更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記前処理手段は、前記前処理として画素値の平滑化を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記平滑化された画素値の絶対値に基づいて、前記入力された比較元画像と比較先画像との類似性に関わるスコアを算出する第２の算出出手段を更に有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
比較元画像と比較先画像とを入力し、
前記入力された比較元画像と比較先画像とから局所特徴点を抽出し、
前記抽出された局所特徴点について局所特徴を算出し、
前記算出された局所特徴に基づいて、前記比較元画像と前記比較先画像とで対応関係にある前記局所特徴点を決定し、
前記決定された対応関係にある局所特徴点に基づいて、前記比較元画像と前記比較先画像との共通領域を推定する、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、比較元画像と比較先画像とを比較する技術に関する。
【背景技術】
【０００２】
画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（非特許文献２）。
【０００３】
局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大または縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。
【０００４】
回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。
【０００５】
上述の方式により、１枚の画像から複数の局所特徴点が抽出される。局所特徴量を用いた画像検索では、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。多く利用されている投票方式（特許文献１）は、検索元画像から抽出された各特徴点の局所特徴量に予め定めた閾値以上類似する特徴点を最近傍処理で見つけ、存在すれば「画像」に対して１票を投票し、その投票数の多いものほど類似するとするものである。
【０００６】
更に、予め定めた閾値以上類似する特徴点の対応関係を求め、そのペアの位置情報が、同じ幾何変換を満たしているかを検証するＲＡＮＳＡＣ処理もある。これは、予め定めた閾値以上類似する特徴点のペアからランダムに２ペアを選択しアフィン変換行列を求める。次に、残りの予め定めた閾値以上類似する特徴点のペアの位置情報がアフィン変換行列を満たすかを検証し、予め定めた閾値数のペアが満たす場合に合致と判断する方法である。（非特許文献３）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８４０８４号公報
【非特許文献】
【０００８】
【非特許文献１】Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，“Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ  １４７−１５２，  １９８８．
【非特許文献２】Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ，  “Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０，  ２  （２００４），  ｐｐ．９１−１１０．
【非特許文献３】Ｍ．  Ａ．  Ｆｉｓｃｈｌｅｒ  ａｎｄ  Ｒ．  Ｃ．  Ｂｏｌｌｅｓ，  ”Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：  Ａ  ｐａｒａｄｉｇｍ  ｆｏｒｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ，”  Ｃｏｍｍｕｎ．  ＡＣＭ，  ｎｏ．２４，  ｖｏｌ．６，  ｐｐ．３８１−３９５，  Ｊｕｎｅ  １９８１．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献３に記載の方法では、比較元の画像と比較先の画像との類似を比較する際、比較先画像と比較元画像とで特に対象とする領域を特定することなく、類似する特徴点の対応関係を求めいた。そのため、比較元画像と比較先画像との類似を精度よく求めることが出来ていなかった。そこで、本発明は、比較元画像と比較先画像とを精度よく比較出来るようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、比較元画像と比較先画像とを入力する入力手段と、前記入力された比較元画像と比較先画像とから局所特徴点を抽出する抽出手段と、前記抽出された局所特徴点について局所特徴を算出する算出手段と、前記算出された局所特徴に基づいて、前記比較元画像と前記比較先画像とで対応関係にある前記局所特徴点を決定する第１の決定手段と、前記決定された対応関係にある局所特徴点に基づいて、前記比較元画像と前記比較先画像との共通領域を推定する第１の推定手段と、を有することを特徴とする。
【発明の効果】
【００１１】
以上の構成によれば、本発明は、比較元画像と比較先画像とを精度よく比較出来るようになる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図。
【図２】第１の実施形態に係る画像処理装置のソフトウェア構成を示すブロック図。
【図３】第１の実施形態に係る画像処理装置における比較処理のフローチャート。
【図４】第１の実施形態に係る比較処理の概要を説明する図。
【図５】第１の実施形態においてＲＡＮＳＡＣ処理を用いた幾何関係算出のフローチャート。
【図６】第２の実施形態に係る画像処理装置における比較処理のフローチャート。
【図７】第３の実施形態に係る画像処理装置における比較処理のフローチャート。
【発明を実施するための形態】
【００１３】
［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。まず、本実施形態の画像処理装置のハードウェア構成について、図１のブロック図を参照して説明する。本実施形態の画像処理装置は、サーバ装置やクライアント装置により構成される。サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１４】
図１において、ＣＰＵ１０１はコンピュータ装置１００全体を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔである。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。外部記憶装置１０４は、コンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。
【００１５】
出力デバイスインターフェイス１０６は、コンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク回線１１１や、デジタルカメラ１１２，デジタルビデオカメラ１１３，スマートフォン１１４などに接続するための通信インターフェイスである。システムバス１０８は、１０１から１０７の各ユニットを通信可能に接続する伝送路である。後述する本実施形態の各フローチャートの処理等は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。
【００１６】
図２は、本実施形態に係る画像処理装置のソフトウェア構成を示すブロック図である。同図において、画像入力部２０１は、比較元画像（検索元画像）および比較先画像（登録画像）の入力を行う。画像特徴量群抽出部２０２は、画像入力部２０１から入力された比較元画像および比較先画像の画像特徴量群を抽出する。画像特徴量群抽出部２０２は、各画像から局所特徴点を抽出する特徴点抽出手段、および抽出した局所特徴点について局所特徴を算出する特徴算出手段（第１の算出手段）としての機能を有する。
【００１７】
画像特徴量比較部２０３は、ＲＡＮＳＡＣ処理を行い、更に特徴点座標を比較し、検索結果としてふさわしいものかを確認する処理である。具体的には、画像特徴量比較部２０３は、比較元画像の局所特徴量と比較先画像の局所特徴量の類似性に基いて、対応関係にある局所特徴点を決定する対応点決定手段（第１の決定手段）としての機能を有する。また、アフィン変換を行い変換後の特徴点座標が合致する特徴点の度数と、座標が一致しない度数をカウントする投票数集計手段としての機能、投票数が予め定めた閾値を超えた場合にリトライを停止する停止手段としての機能を有する。また、画像特徴量比較部２０３は、投票結果から比較元画像と比較先画像の共通領域を推定する共通領域推定手段（第１の推定手段）としての機能を有する。また、共通領域中で局所特徴量と比較先画像の局所特徴量の類似性に基づく対応関係の無い特徴点と、アフィン変換を行い変換後の特徴点座標が合致しない特徴点を決定する非正対応点抽出手段（第２の決定手段）としての機能を有する。また、これらの結果を用い、比較元画像と比較先画像の差異のある領域を求める差異領域推定手段（第２の推定手段）、その結果を類似スコアに反映する処理を行う類似スコア算出手段（第２の算出手段）としての機能も有する。
【００１８】
比較結果出力部２０４は、画像特徴量比較部２０３の比較結果を出力する。記憶部２０５は処理中のデータを記憶するメモリ、ＨＤＤ等である。なお、これら各構成は、ＣＰＵ１０１により統括的に制御されている。
【００１９】
次に、本実施形態における比較元画像と比較先画像との比較処理の詳細について説明する。なお、複数の比較先画像（登録画像）から比較元画像（検索元画像）に類似する１以上の画像を検索する際には、以下の比較処理を各比較先画像に対して行い、算出される総合スコアから、類似する画像を決定するようにすればよい。
【００２０】
図３は、本実施形態に係る画像処理装置における比較処理手順の一例を示すフローチャートである。同図において、まずステップＳ３０１では、画像入力部２０１により比較元画像と比較先画像が読み込まれる。図４は、本実施形態に係る比較処理の概略を説明する図であり、このＳ３０１では、図４（ａ）に示すような比較元画像と比較先画像が読み込まれたものとする。なお、比較先画像については、この処理フローよりも前に予め読み込まれ、記憶部２０５にその情報が登録されていてもよい。
【００２１】
ステップＳ３０２では、画像特徴量群抽出部２０２が、比較元画像および比較先画像の両画像について局所特徴を計算する。まず、画像特徴量群抽出部２０２は、画像の回転があってもロバスト（ｒｏｂｕｓｔ）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、ここではＨａｒｒｉｓ作用素を用いる（Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，  “Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐａｇｅｓ  １４７−１５２，  １９８８．参照）。
【００２２】
具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。なお、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。
【００２３】
そして、画像特徴量群抽出部２０２は、抽出した局所特徴点の特徴量（局所特徴）を算出する。局所特徴としては、ＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ等の公知の技術を利用することができる。また、比較先画像が記憶部２０５に予め登録されている場合には、前もって局所特徴を求めて記憶部２０５に記憶しておいてもよい。
【００２４】
ステップＳ３０３で、画像特徴量比較部２０３は、比較元画像から比較先画像に対して投票処理を行い、投票数と対応点のペアを求める。ここでは、まず、比較先画像の局所特徴をＶｑ、局所特徴に関連付けされている局所特徴点をＱ、座標をＱ（ｘ’，ｙ’）とする。また、比較元画像に存在する局所特徴をＶｓ、局所特徴に関連付けされている局所特徴点をＳ、座標をＳ（ｘ，ｙ）とする。画像特徴量比較部２０３は、ＶｑとＶｓとのベクトルベクトル特徴間距離を全ての組合せについて計算し、最短距離対応点リストを作成する。そして、計算したベクトル特徴間の距離が閾値Ｔｖ以下となり、かつ、最短距離となるようなＶｑとＶｓとの対応点ペアを抽出する。
【００２５】
ステップＳ３０４では、画像特徴量比較部２０３が、投票数が閾値以上か判断する。投票数が閾値未満の場合には、処理をステップＳ３０５に進め、比較元画像と比較先画像とは類似するものではないとして処理を終了する。
【００２６】
他方、投票数が閾値以上の場合には、処理をステップＳ３０６へ進める。そして、ステップＳ３０６にて、抽出した対応点ペアに対してＲＡＮＳＡＣを用い、比較元画像と比較先画像の特徴点位置の幾何関係を求め、幾何関係が正しいもの、すなわち正対応点を決定する。そして、画像特徴量比較部２０３は、正対応点の個数を求め、ペアリングスコアとする。それと同時に、対応点ペアで幾何関係を満たさない特徴点である非正対応点を決定し、その個数を求める。画像特徴量比較部２０３は、比較元画像および比較先画像それぞれの非正対応点を記憶部２０５に記憶する。なお、本ステップＳ３０６の処理の詳細は後述する。
【００２７】
ステップＳ３０７において、画像特徴量比較部２０３は、比較先画像上の正対応点から共通領域を特定（推定）する。具体的には、比較先画像における正対応点の分布に基づいて、正対応点を包含する領域を求めて、それを共通領域として特定する。領域の求め方として、簡易には正対応点を含む最外接矩形を求めればよい。なお、領域の形状は矩形に限らず、多角形や不定形状等の他の形態であっても構わない。図４に示す例では、比較元画像がある文書画像の一部であるのに対して、比較先画像はある文書画像全体であるため、ここでは、比較先画像上で共通領域を特定する。すなわち、比較元画像と比較先画像のどちらで共通領域を特定するか予め決められていてもよいが、好適には、比較元画像と比較先画像とで包含関係を推定し、より多くの領域をカバーする画像を選択して、その画像上で共通領域を特定する方がよい。
【００２８】
ここで、図４（ｂ）に、ステップＳ３０２〜ステップＳ３０７の処理の概要を示す。同図において、○や×で示している個所が局所特徴を求める特徴点である。図４（ｂ）では、ＲＡＮＳＡＣ処理で局所特徴が類似し、その幾何関係を満足するものを正対応点として○で表示する。他方、局所特徴が類似するものが無い、または局所特徴が類似していても幾何関係を満足しない点を非正対応点として×で示す。図中の点線は、対応関係を表すものである。また、ステップＳ３０７までの処理によって、正対応点○の分布に基づき求めた共通領域を図４（ｂ）の比較先画像上の黒い矩形で示している。
【００２９】
本実施形態では、このように比較元画像と比較先画像との共通領域を決定した上で、比較元画像と比較先画像との類似度（後述する総合スコア）を算出しているため、その類似の程度を精度よく求めることができる。
【００３０】
続いて、ステップＳ３０８では、画像特徴量比較部２０３が、比較先画像上で特定された共通領域における非正対応点の特徴点群を求める。まず、画像特徴量比較部２０３は、比較元画像の非正対応点と対応点ペアにならなかった比較先画像の共通領域における特徴点（類似する対応点の無い特徴点）を求める。更に、比較先画像の非正対応点と対応点ペアにならなかった比較元画像の特徴点に対して、ステップＳ３０６で求まった幾何変換を行い、比較先画像の共通領域の中に射影されるものだけを選別し求める。
【００３１】
これらの結果の論理和を取ることにより、比較元画像及び比較先画像の共通領域における比較元画像と比較先画像の一致しない特徴点群が求まる。図４（ｃ）には、ステップＳ３０８の処理結果を示しており、黒枠で示す共通領域内において、上記２種類の特徴点の両方が求められた様子を示している。
【００３２】
本実施形態では、これら２種類の特徴点の論理和を取ることで、比較元画像と比較先画像とで個別に上記特徴点を求めた場合や、非正対応点あるいは対応点ペアにならなかった特徴点をそれぞれ単独で求めた場合よりも差異領域を拡張して特定することが出来る。特に、比較元画像と比較先画像とで画像全体が類似して一部領域で差異があるような場合は、例えば、背景の画像が同一で文字の部分のみに差異がある場合等が考えられる。このような場合、文字では局所特徴点が然程とれず、差異領域を大きく取れないこともあるが、上述のように２種類の特徴点の論理和を取ることで、差異領域を拡張して取ることが出来る。
【００３３】
上記２種類の非正対応点に基づいて差異領域を決定する方法は、例えば、ＯＣＲにおける像域分離の手法を応用して決定すればよい。像域分離ではｘ方向、ｙ方向に対する２値画像の黒画素の投影ヒストグラムを生成し文字や図の領域が推定するが、、本実施形態では、比較先画像におけるｘ方向、ｙ方向の非正対応点のヒストグラムより差異領域が決定される。簡易的には、ｘ方向、ｙ方向それぞれでヒストグラムの値が所定値以上となる区間を含む最外接矩形として決定される。本実施形態では、例えば図４（ｄ）に示すように、ｘ方向、ｙ方向の非正対応点のヒストグラムから差異領域として１以上の領域群が決定される。
【００３４】
ステップＳ３０９では、画像特徴量比較部２０３が、比較先画像上で決定された各差異領域において非正対応点数を求める。そして、非正対応点が所定の閾値に満たない領域は差異領域から除外する。これは、例えば文書ドキュメントの紙の汚れなどによるイレギュラで生じた特徴点の影響を排除し、例えば文字等のある程度の大きさを持つ領域に差異領域を限定するためである。なお、ここでは、各差異領域において非正対応点数を求めているが、各差異領域に対する非正対応点数（密度）を算出して、密度が所定値よりも低いものを除外するようにしてもよい。
【００３５】
ステップＳ３１０では、画像特徴量比較部２０３が、ステップＳ３０９で特定した領域群のそれぞれから、非正対応点と対応点ペアにならなかった特徴点の数の総和を算出する。ステップＳ３１１において、画像特徴量比較部２０３は、正対応点数つまりペアリングスコアから、上記非正対応点の数の総和に応じたペナルティ分のスコアを減算し、総合スコアを算出する。なお、差異領域を比較結果に強く反映させる場合には、正対応点数から上記非正対応点の数の総和を減じればよく、また差異領域を弱く反映させる際には、上記非正対応点の数の総和に１未満の計数を乗じたものを正対応点数から減じればよい。そして、比較結果出力部２０４は、比較元画像と比較先画像との比較結果とし、算出された総合スコアを出力する。例えば、比較元画像に対して複数の比較先画像の総合スコアを算出することにより、比較元画像に類似する所定数の画像を検索する場合には、比較結果出力部２０４は、本フローで算出された総合スコアを記憶部２０５に一時的に保存しておくよう出力する。
【００３６】
以上の比較処理によって、本実施形態では、単純なＲＡＮＳＡＣを用いた正対応点の数によるペアリングスコアよりも、共通領域の差異を敏感に反映した総合スコアを算出することが可能になる。そのため、全体的に類似し一部に差異があるような画像の比較、例えば、背景の図柄が同じで、その中に存在する文字列が異なっているような画像を比較する際であっても、差異部分である文字列の異なりを反映した総合スコアを得ることが可能となる。これにより、比較元画像と比較先画像との比較結果の精度を高めることが可能となる。
【００３７】
次に、上述したステップＳ３０６の処理の詳細について図５を用いて説明する。図５は、ＲＡＮＳＡＣ処理を用いた比較元画像と比較先画像の特徴点位置の幾何関係の算出のフローチャートである。
【００３８】
まず、記号の定義を行う。比較先画像の局所特徴をＶｑ、局所特徴に関連付けされている局所特徴点をＱ，座標をＱ（ｘ’，ｙ’）とする。また、比較元画像に存在する局所特徴をＶｓ、局所特徴に関連付けされている局所特徴点をＳ、座標をＳ（ｘ，ｙ）とする。
【００３９】
ステップＳ５０１で、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する。次に、ステップＳ５０２で、Ｓ３０３の処理結果である最短距離対応点リストを読み込む。その内容は、繰り返しになるが、計算したベクトル特徴間の距離が閾値Ｔｖ以下となり、かつ、最短距離となるようなＶｑとＶｓとの対応点ペアである。
【００４０】
これ以降、最短距離対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と記載としベクトル特徴間の距離が閾値Ｔｖ以下となる特徴の個数をそれぞれＮｑ（ｋ）とＮｓ（ｋ）とする。更にＶｑ（ｋ）とＶｓ（ｋ）に対応付けられている局所特徴点をそれぞれＱｋ、Ｓｋ、座標をＱｋ（ｘ’ｋ，ｙ’ ｋ）、Ｓｋ（ｘｋ，ｙｋ）などと添え字を合わせて記載する。またテップＳ３０３で作成された最短距離対応点リストに登録された対応点の組数をｍ組とする。
【００４１】
次に、ステップＳ５０３で、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。次に、ステップＳ５０４で、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎを超えていないを判定する。ここで、超えている場合はステップＳ５２１へ進み、最終投票数ＶｏｔｅＭａｘを出力して、この処理を終了する。
【００４２】
また、ステップＳ５０４で、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎを超えていない場合はステップＳ５０５へ進み、投票数を表す変数Ｖｏｔｅを０に初期化する。次に、ステップＳ５０６で、当該最短距離対応点リストから対応点の組の座標を２組ランダムに抽出する。
【００４３】
ここで、これらの座標をＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）と記載する。次に、ステップＳ５０７で、抽出したＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）が式（１）に示す変換を満たしていると仮定し、（数式１）中の変数ａからｆを求める。ただし、図５に示すステップＳ５０７では、変数ａからｄで構成される行列をＭで示し、変数ｅからｆで構成される行列をＴで示している。
【００４４】
【数１】
2017138742.tif 000003
ここで、第１の実施形態では、簡略化のため、相似変換だけを考える。このとき、上記（数式１）は以下の（数式２）のように書き換えられる。
【００４５】
【数２】
2017138742.tif 000004
このとき、変数ａ、ｂ、ｅ、ｆはｘ’１、ｙ’１、ｘ１、ｙ１、ｘ’２、ｙ’２、ｘ２、ｙ２を使って式（３）から式（６）で表される。
【００４６】
【数３】
2017138742.tif 000005
【数４】
2017138742.tif 000006
【００４７】
【数５】
2017138742.tif 000007
【００４８】
【数６】
2017138742.tif 000008
次に、投票数集計手段の説明をステップＳ５０８からＳ５１７までの処理を用いて行う。
【００４９】
ステップＳ５０８で、上述のステップＳ５０５で当該最短距離対応点リストから選択した２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する。そして、ステップＳ５０９で、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えていないかを判定する。ここで、超えている場合はステップＳ５１８へ処理を移すが、これについては後述する。ステップＳ５０９における判定で対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えていない場合はステップＳ５１０へ処理を移す。
【００５０】
このステップＳ５１０では、上述のステップＳ５０５で当該最短距離対応点リストからランダムに抽出した２組の点Ｓ１（ｘ１，ｙ１）及びＳ２（ｘ２，ｙ２）以外の点を当該最短距離対応点リストから抽出する。第１の実施形態では、抽出された点をＳｋ（ｘｋ，ｙｋ）と記載する。
【００５１】
次に、ステップＳ５１１で、Ｓｋ（ｘｋ，ｙｋ）が式（２）を使って移される座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）を求める。
【００５２】
その後、ステップＳ５１２では、座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離で計算し、当該ユークリッド距離が閾値Ｔｄと比較し閾値以下であるか否かを判定する。当該ユークリッド距離が閾値Ｔｄ以下の場合はステップＳ５１３へ進み、投票数Ｖｏｔｅをインクリメントし、ステップＳ５１４でＳ‘ｋの座標を正対応点として記憶する。そして、ステップＳ５１５に進む。
【００５３】
また、当該ユークリッド距離が閾値Ｔｄより大きい場合は、ステップＳ５１６で対応ペアだったが幾何関係を満たさなかった特徴点数であるＮＧ＿Ｖｏｔｅ  をインクリメントし、ステップＳ５１７で、Ｓ‘ｋの座標を非正対応点として記憶する。そして、ステップＳ５１５に進む。
【００５４】
ステップＳ５１５では、対応点選択変数ｋをインクリメントし、ステップＳ５０９に戻り、最短距離対応点ペアリスト上の未処理のペアを抽出し、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えるまで上述の処理を繰り返す。
【００５５】
次に、ステップＳ５０９で、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えた場合の処理であるステップＳ５１８を説明する。ステップＳ５１８では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合には、ステップＳ５１９へ処理を移す。
【００５６】
このステップＳ５１９では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えた後、ステップＳ５２０で反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ５０４に処理を戻す。
【００５７】
また、ステップＳ５１８で、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合にはステップＳ５２０へ処理を移し、反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ５０４に処理を戻す。
【００５８】
なお、第１の実施形態におけるスコアの算出方法の説明では、相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、ステップＳ５０７でそれぞれに応じた変換行列を求めることにより、対応可能である。例えば、アフィン変換の場合には、まずステップＳ５０６で、対応点の組の座標数を３とする。次に、ステップＳ５０７で、式（２）ではなく式（１）を使うこととし、ステップＳ５０６で選択した３組の対応点（合計６点）を使って変数ａからｆを求めればよい。
【００５９】
以上、本実施形態によれば、比較元画像および比較先画像の局所特徴点の対応関係に基づいて共通領域を決定し、この共通領域における局所特徴点の対応関係に基づいて、比較元画像と比較先画像の類似の程度を求め、比較するようにしている。これにより、比較元画像と比較先画像との比較結果を精度よく求めることが可能になる。
【００６０】
更に、本実施形態では、共通領域から、比較元画像と比較先画像との差異となる差異領域を求め、その差異領域における非対応関係を比較処理に反映するようにしており、この構成によって、比較処理の精度をより高めることが可能となる。
【００６１】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、共通領域の面積に対する差異領域群の面積の総和に応じたものをペナルティ分のスコアとし、それを総合スコアから減算することを特徴とするものである。以下、図面を参照しつつ、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００６２】
図６は、本実施形態に係る比較処理のフローチャートである。図６において、ステップＳ６０１〜Ｓ６０９の処理は、図３におけるステップＳ３０１〜Ｓ３０９の処理と同様であるため、説明を省略する。
【００６３】
ステップＳ６１０において、画像特徴量比較部２０３は、ステップＳ６０９までの処理で特定された各差異領域について、その面積を算出する。ここでは、領域の面積としてその領域を構成する画素数を用い、全差異領域に含まれる画素数の総和を算出する。また、共通領域の面積についても、同様にしてその画素数を求める。そして、共通領域の画素数から差異領域の総画素数を減算したものを総合スコアとする。比較処理の結果に差異領域を強く反映させる場合には、共通領域の画素数から全差異領域の総画素数を減じ、差異領域を弱く反映させる際には、全差異領域の総画素数に１未満の計数を乗じたものを共通領域の画素数から減じればよい。
【００６４】
以上、本実施形態によれば、ペナルティ分のスコアとして、差異領域における非正対応点の数ではなく、差異領域における面積を用いるようにしている。そのため、第１の実施形態よりも、差異領域における非対応関係を比較処理により反映した結果を得ることができるようになる。
【００６５】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、比較元画像と比較先画像の共通領域のサイズを合わせ、共通領域内の画素の各ＲＧＢカラーチャネルのヒストグラムの平滑化を行ったうえで、画素レベルでの両者の差分を算出するものである。以下、図面を参照しつつ、本発明の第３の実施形態について説明する。なお、第１、第２の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。
【００６６】
図７は、本実施形態に係る比較処理のフローチャートである。図７において、ステップＳ７０１〜Ｓ７０７の処理は、図３におけるステップＳ３０１〜Ｓ３０７の処理と同様であるため、説明を省略する。
【００６７】
ステップＳ７０８において、画像特徴量比較部２０３は、ステップＳ７０７で求めた共通領域に基づいて、比較元画像の共通領域と比較先画像の共通領域が同じサイズになるようにサイズを正規化する。このように、本実施形態の画像特徴量比較部２０３は、共通領域のサイズを正規化する正規化手段としての機能を有する。
【００６８】
ステップＳ７０９において、画像特徴量比較部２０３は、比較元画像と比較先画像の共通領域に対して前処理、具体的には各ＲＧＢカラーチャネルでヒストグラムの平滑化を行う。カラーヒストグラムの平滑化にかんしては公知の技術を用いればよく、例えば下記の数式７に基づいたヒストグラムの平滑化を行うことができる。このように、本実施形態の画像特徴量比較部２０３は、サイズが正規化された共通領域に対して前処理（画素値平滑化）を行う前処理手段としての機能を有する。
【００６９】
【数７】
2017138742.tif 000009
上記の数式７は、階級値ｄが０から２５５とした場合の平滑化後の階級値ｄ１を表す。ここで、ＳＩＺＥは総画素数、Ｐ（ｉ）は階級値ｉの画素頻度である。比較元画像の共通領域と比較先画像の共通領域の双方に対してｄ＝０から２５５まで変化させた時のｄ１の値を求めておき、ｄとｄ１の対応をルックアップテーブルとして作成しておく。図７に示す比較処理を実行する際には、記憶部２０５に予め作成しておいたルックアップテーブルを参照して画素値を変換（平滑化）することで、処理の高速化を図ることが可能となる。
【００７０】
ステップＳ７１０では、画像特徴量比較部２０３が、比較元画像と比較先画像の対応する位置の画素に対して各ＲＧＢカラーチャネルで差分の絶対値を計算し、これを累積し類似距離とする。この値が０に近いほど類似しているため、本実施形態では、この算出した類似距離に対応するものを総合スコアとして用いる。
【００７１】
以上、本実施形態によれば、比較元画像と比較先画像とで共通領域を求め、この共通領域のサイズが同じになるように正規化処理し、正規化処理した上で画素値の平滑化処理をするようにしている。この構成によって、例えば、比較元画像がスキャンイメージ、比較先画像がオリジナルの電子データをラスタライズした画像のように、コンディションが異なる画像間の比較においても、比較結果を精度よく得ることができる。
【００７２】
［その他の実施形態］
上述の各実施形態では、局所特徴として、輝度画像から得られるＳＩＦＴやＳＵＲＦを特徴量の例に挙げたが、色差信号やＲＧＢカラーチャネルでの局所特徴を用いることも可能である。また、上記各実施形態では、局所特徴点の対応関係をＲＡＮＳＡＣ処理により求める例を説明しているが、局所特徴点同士の対応関係を求められれば、他の従来技術を用いるようにしてもよい。
【００７３】
また、第１、第２の実施形態においては、差異領域を特定せずに、単に、共通領域中で比較元画像と比較先画像のペアを持つ特徴点の数とペアが無い特徴点の数とを算出し、これらの値から総合スコアを算出する方法も考えられる。例えば、ペアを持つ特徴点の数からペアが無い特徴点の数を減じた値を用いて総合スコアを決定すればよい。
【００７４】
また、第３の実施形態の説明では、ＲＧＢの各カラーチャネルでヒストグラム平滑化を行う例を挙げたが、輝度情報のみでヒストグラムの平滑化を行い、画素差分の絶対値を累積するようにしてもよい。さらに、共通領域の輝度分布に対して予め定められた閾値で２値化処理を行い、２値画像での差分を求めるようにしてもよい。
【００７５】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７６】
２０１  画像入力部
２０２  画像特徴量群抽出部
２０３  画像特徴量比較部
２０４  比較結果出力部
２０５  記憶部
【図１】
2017138742.tif 000010
【図２】
2017138742.tif 000011
【図３】
2017138742.tif 000012
【図４】
2017138742.tif 000013
【図５】
2017138742.tif 000014
【図６】
2017138742.tif 000015
【図７】
2017138742.tif 000016