(57)【要約】【課題】定型の書式が部分的に含まれる文書間の類似度の算出を可能とする。【解決手段】画像処理プログラムは、入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、処理をコンピュータに実行させる。【選択図】図５
2018112891.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、
処理をコンピュータに実行させるための画像処理プログラム。
【請求項２】
前記入力画像より抽出された特徴点の特徴量と、前記比較画像より抽出された特徴点の特徴量との類似度が、所定の閾値以上である場合に、前記入力画像より抽出された該特徴点と、前記比較画像より抽出された該特徴点とを、前記第１の特徴点のペアの候補として決定し、
決定した前記第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
決定した前記第１の特徴点のペアの候補から、決定した前記第１の特徴点のペアの他の候補までの、前記入力画像における特徴点間の距離と、前記比較画像における特徴点間の距離との比に基づいて、前記入力画像又は前記比較画像のサイズを拡大または縮小し、正規化画像を生成することを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
前記第１の特徴点のペアの候補に含まれる、前記入力画像から生成した前記正規化画像の特徴点と、前記比較画像の特徴点とを結ぶベクトルと、前記第１の特徴点のペアの他の候補に含まれる、前記正規化画像の特徴点と、前記比較画像の特徴点とを結ぶベクトルとの差分が、所定の閾値以上である場合に、該第１の特徴点の候補を削除することで、前記決定した第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする請求項３に記載の画像処理プログラム。
【請求項５】
前記第１の特徴点のペアに含まれる、前記入力画像から生成した前記正規化画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記正規化画像の特徴点とを対頂点とする矩形領域に座標系を設定することで、前記入力画像の座標系を設定し、
前記第１の特徴点のペアに含まれる、前記比較画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記比較画像の特徴点とを対頂点とする矩形領域に、前記比較画像の座標系を設定することを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
前記第１の特徴点のペアの候補に含まれる、前記比較画像から生成した前記正規化画像の特徴点と、前記入力画像の特徴点とを結ぶベクトルと、前記第１の特徴点のペアの他の候補に含まれる、前記正規化画像の特徴点と、前記入力画像の特徴点とを結ぶベクトルとの差分が、所定の閾値以上である場合に、該第１の特徴点の候補を削除することで、前記決定した第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする請求項３に記載の画像処理プログラム。
【請求項７】
前記第１の特徴点のペアに含まれる、前記比較画像から生成した前記正規化画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記正規化画像の特徴点とを対頂点とする矩形領域に座標系を設定することで、前記比較画像の座標系を設定し、
前記第１の特徴点のペアに含まれる、前記入力画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記入力画像の特徴点とを対頂点とする矩形領域に、前記入力画像の座標系を設定することを特徴とする請求項６に記載の画像処理プログラム。
【請求項８】
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて算出した、前記入力画像と前記比較画像との類似度が、前記入力画像と他の比較画像との類似度よりも大きい場合、前記入力画像を、前記比較画像と同じ種類の文書であると判定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理プログラム。
【請求項９】
算出した前記入力画像と前記比較画像との類似度に基づいて、前記入力画像の文書の種類を判別することを特徴とする請求項１に記載の画像処理プログラム。
【請求項１０】
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、
処理をコンピュータが実行する画像処理方法。
【請求項１１】
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出する抽出部と、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定する設定部と、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定する決定部と、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する算出部と
を有することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
従来より、スキャナ等を用いて入力された文書を、既知の文書画像（比較画像と称す）と対比することで、文書の種類を判別する画像処理方法が知られている。
【０００３】
当該画像処理方法では、例えば、入力された文書の特徴点と、比較画像の特徴点との対応関係から類似度を算出し、算出した類似度に基づいて、文書の種類を判別する。このようにして文書の種類を判別することで、入力された文書に記載された項目が特定できるようになるため、当該画像処理方法によれば、入力された文書から必要な項目を読み取ることが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２６８９３号公報
【特許文献２】特開２００６−００３２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記画像処理方法では、入力された文書が、例えば、店舗等で発行されるレシートのように店舗ごとに書式が異なる非定型文書であった場合に、文書の種類を精度よく判別することが困難となる。仮に、文書の種類を誤って判別すると、文書に記載された項目が正しく特定できず、入力された文書（レシート）から必要な項目を読み取ることが困難となる。
【０００６】
一方で、レシート等の非定型文書の場合、部分的に定型の書式（例えば、店舗のロゴマーク、タイトル等）が含まれていることがある。このため、当該定型書式の部分を判別に取り入れることができれば、全体として非定型文書であっても文書の種類を精度よく判別できるようになると考えられる。
【０００７】
一つの側面では、定型の書式が部分的に含まれる文書間の類似度の算出を可能とすることを目的としている。
【課題を解決するための手段】
【０００８】
一態様によれば、画像処理プログラムは、
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、処理をコンピュータに実行させる。
【発明の効果】
【０００９】
定型の書式が部分的に含まれる文書間の類似度を算出することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システム全体のシステム構成の一例を示す図である。
【図２】比較画像テーブルの一例を示す図である。
【図３】分類結果テーブルの一例を示す図である。
【図４】情報処理装置のハードウェア構成の一例を示す図である。
【図５】情報処理装置の機能構成の一例を示す図である。
【図６】情報処理装置の特徴点抽出部の処理の詳細を示す図である。
【図７】情報処理装置のペア候補抽出部の処理の詳細を示すフローチャートである。
【図８】正規化処理の詳細を示すフローチャートである。
【図９】正規化処理の具体例を示す図である。
【図１０】ペア抽出処理の詳細を示すフローチャートである。
【図１１】ペア抽出処理の具体例を示す第１の図である。
【図１２】ペア抽出処理の具体例を示す第２の図である。
【図１３】座標設定及びペア決定処理の詳細を示すフローチャートである。
【図１４】座標設定及びペア決定処理の具体例を示す第１の図である。
【図１５】座標設定及びペア決定処理の具体例を示す第２の図である。
【図１６】画像処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［実施形態］
＜画像処理システム全体のシステム構成＞
はじめに、一実施形態に係る情報処理装置を含む画像処理システム全体のシステム構成について説明する。図１は、画像処理システム全体のシステム構成の一例を示す図である。
【００１３】
図１に示すように、画像処理システム１００は、情報処理装置１１０と、スキャナ装置１２０と、画像解析装置１４０とを有する。画像処理システム１００に含まれる各装置は、ネットワーク１５０を介して相互に接続されている。
【００１４】
情報処理装置１１０は、スキャナ装置１２０等から送信された入力画像１３１を処理する情報処理装置である。情報処理装置１１０には、画像処理プログラムがインストールされており、当該画像処理プログラムを実行することで、情報処理装置１１０は、画像処理部１１１として機能する。
【００１５】
画像処理部１１１は、スキャナ装置１２０等から送信された入力画像１３１を、比較画像格納部１１２に格納されている比較画像それぞれと対比し、類似度を算出することで、入力画像１３１の文書種類を判別する。また、画像処理部１１１は、判別結果に基づいて入力画像１３１を分類し、分類結果を分類結果格納部１１３に格納する。
【００１６】
スキャナ装置１２０は、レシート等の非定型文書１３０をスキャンすることで入力画像１３１を生成する。スキャナ装置１２０は、生成した入力画像１３１を、ネットワーク１５０を介して情報処理装置１１０に送信する。
【００１７】
画像解析装置１４０は、情報処理装置１１０にアクセスし、分類結果格納部１１３に格納された分類結果を読み出す。また、画像解析装置１４０は、分類結果に含まれる入力画像１３１の所定の項目を文書種類に基づいて特定し、該所定の項目の記載内容を解析する。これにより、画像解析装置１４０は、入力画像１３１から必要な項目を正しく読み取り、解析することができる。
【００１８】
＜格納部に格納された情報の説明＞
次に、格納部（比較画像格納部１１２、分類結果格納部１１３）に格納される情報について説明する。
【００１９】
（１）比較画像格納部に格納される比較画像テーブル
はじめに、比較画像格納部１１２に格納される比較画像テーブルについて説明する。図２は、比較画像テーブルの一例を示す図である。
【００２０】
図２に示すように、比較画像テーブル２００には、情報の項目として、“比較画像ＩＤ”、“文書種類”、“文書名”、“特徴点座標”、“特徴ベクトル（特徴量）”、“比較画像”が含まれる。
【００２１】
“比較画像ＩＤ”には、比較画像を識別するための識別子が格納される。“文書種類”には、比較画像の文書種類を示す情報が格納される。“文書名”には、比較画像の文書の名称が格納される。
【００２２】
“特徴点座標”には、比較画像より抽出された特徴点の位置を示す情報が格納される。“特徴ベクトル（特徴量）”には、比較画像より抽出された各特徴点について算出された特徴量を示す情報が格納される。なお、比較画像における特徴点の抽出方法及び各特徴点の特徴量の算出方法は、後述する入力画像における特徴点の抽出方法及び各特徴点の特徴量の算出方法と同様であるとする。
【００２３】
“比較画像”には、スキャナ装置１２０等によりスキャンすることで得た比較画像２１０等が格納される。
【００２４】
一実施形態において、比較画像テーブル２００には、Ｘ種類の非定型文書が登録されており、画像処理部１１１は、入力画像１３１を、Ｘ種類の非定型文書のうちのいずれかに分類する。なお、比較画像テーブル２００には特に明示していないが、各文書種類ごとに、画像解析装置１４０が解析すべき項目が規定されていてもよい。
【００２５】
（２）分類結果格納部に格納される分類結果テーブル
次に、分類結果格納部１１３に格納される分類結果テーブルについて説明する。図３は、分類結果テーブルの一例を示す図である。
【００２６】
図３に示すように、分類結果テーブル３００には、情報の項目として、“比較画像ＩＤ”、“文書種類”、“文書名”、“入力画像ＩＤ”が含まれる。
【００２７】
“比較画像ＩＤ”には、比較画像を識別するための識別子が格納される。“文書種類”には、比較画像の文書の文書種類を示す情報が格納される。“文書名”には、比較画像の文書の文書名が格納される。
【００２８】
“入力画像ＩＤ”には、分類された入力画像を識別するための識別子が格納される。図３の例は、入力画像ＩＤ＝入力画像００１、００２、００４、００８、０１０によりそれぞれ特定される入力画像の文書が、比較画像ＩＤ＝Ｉ００１により識別される比較画像２１０の文書と同じ文書種類であると判別されたことを示している。同様に、図３の例は、入力画像ＩＤ＝入力画像００３、００５、００９によりそれぞれ特定される文書が、比較画像ＩＤ＝Ｉ００２により識別される比較画像の文書と同じ文書種類であると判別されたことを示している。同様に、図３の例は、入力画像ＩＤ＝入力画像００６、００７、０１１によりそれぞれ特定される入力画像の文書が、比較画像ＩＤ＝Ｉ００Ｘにより識別される比較画像の文書と同じ文書種類であると判別されたことを示している。
【００２９】
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１１０のハードウェア構成について説明する。図４は、情報処理装置のハードウェア構成の一例を示す図である。図４に示すように、情報処理装置１１０は、ＣＰＵ（Central  Processing  Unit）４０１、ＲＯＭ（Read  Only  Memory）４０２、ＲＡＭ（Random  Access  Memory）４０３を有する。ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、いわゆるコンピュータを形成する。
【００３０】
また、情報処理装置１１０は、補助記憶装置４０４、表示装置４０５、操作装置４０６、Ｉ／Ｆ（Interface）装置４０７、ドライブ装置４０８を有する。なお、情報処理装置１１０の各部は、バス４０９を介して相互に接続されている。
【００３１】
ＣＰＵ４０１は、補助記憶装置４０４にインストールされている各種プログラム（例えば、画像処理プログラム等）を実行するデバイスである。ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶装置４０４にインストールされている各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する。
【００３２】
ＲＡＭ４０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ４０３は、補助記憶装置４０４にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００３３】
補助記憶装置４０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。比較画像格納部１１２、分類結果格納部１１３は、補助記憶装置４０４において実現される。
【００３４】
表示装置４０５は、情報処理装置１１０の内部状態等を表示する表示デバイスである。操作装置４０６は、情報処理装置１１０の管理者が情報処理装置１１０に対して各種指示を入力するための入力デバイスである。
【００３５】
Ｉ／Ｆ装置４０７は、ネットワーク１５０に接続し、スキャナ装置１２０、画像解析装置１４０と通信を行うための通信デバイスである。
【００３６】
ドライブ装置４０８は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３７】
なお、補助記憶装置４０４に格納される各種プログラムは、例えば、配布された記録媒体４１０がドライブ装置４０８にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ装置４０８により読み出されることでインストールされる。
【００３８】
＜情報処理装置の機能構成＞
次に、情報処理装置１１０の機能構成について説明する。図５は、情報処理装置１１０の機能構成の一例を示す図である。
【００３９】
図５に示すように、情報処理装置１１０の画像処理部１１１は、特徴点抽出部５０１、ペア候補抽出部５０２、正規化部５０３、ペア抽出部５０４、座標設定部５０５、ペア決定部５０６、類似度算出部５０７、分類部５０８、表示部５０９を有する。
【００４０】
特徴点抽出部５０１は、スキャナ装置１２０から送信された入力画像１３１を受信し、入力画像１３１から特徴点を抽出する。また、特徴点抽出部５０１は、抽出した各特徴点の特徴量として特徴ベクトルを算出し、特徴点とともにペア候補抽出部５０２に通知する。
【００４１】
ペア候補抽出部５０２は、比較画像格納部１１２より、比較画像（例えば、比較画像ＩＤ＝Ｉ００１の比較画像２１０）の特徴点及び特徴ベクトルを読み出し、入力画像１３１の特徴点及び特徴ベクトルと対比することで、特徴点の対応付けを行う。なお、比較画像２１０の特徴点と、比較画像２１０の特徴点と対応付けられた入力画像１３１の特徴点との組み合わせを、“特徴点ペアの候補”と称する。
【００４２】
ペア候補抽出部５０２は、特徴点ペアの候補を、入力画像の特徴点とともに正規化部５０３に通知する。なお、ペア候補抽出部５０２は、比較画像格納部１１２より読み出した全ての比較画像について特徴点ペアの候補を算出するが、以下では説明の簡略化のため、比較画像ＩＤ＝Ｉ００１の比較画像２１０について特徴点ペアの候補を算出した場合について説明する。
【００４３】
正規化部５０３は、ペア候補抽出部５０２より通知された特徴点ペアの候補に基づいて、入力画像１３１を正規化し、正規化画像を生成する。正規化画像とは、入力画像１３１を比較画像２１０のサイズに応じたサイズに拡大または縮小することで得られる画像である。正規化部５０３は、正規化後の正規化画像の特徴点を算出し、ペア決定部５０６に通知する。また、正規化部５０３は、正規化後の特徴点ペアの候補を算出し、ペア抽出部５０４に通知する。
【００４４】
ペア抽出部５０４は抽出部の一例であり、正規化部５０３より通知された特徴点ペアの候補それぞれについて、周辺の特徴点ペアの候補と対比し、特性の異なる特徴点ペアの候補を削除することで、特徴点ペアを抽出する。ペア抽出部５０４は、特性の異なる特徴点ペアの候補を削除することで抽出した特徴点ペアを、座標設定部５０５に通知する。
【００４５】
座標設定部５０５は設定部の一例であり、ペア抽出部５０４より通知された特徴点ペアに含まれる各特徴点により規定される、正規化画像及び比較画像それぞれの局所領域に対して、座標系を設定する。また、座標設定部５０５は、設定した座標系を特徴点ペアとともにペア決定部５０６に通知する。
【００４６】
ペア決定部５０６は決定部の一例であり、座標設定部５０５より通知された座標系の周辺の特徴点について、正規化画像と比較画像２１０との間で位置関係（設定された座標系に基づく位置関係）を対比する。ペア決定部５０６は、設定された座標系の周辺の特徴点の位置が、正規化画像と比較画像２１０との間で所定の比率以上一致していれば、当該位置が一致した特徴点を、新たな特徴点ペアに決定する。ペア決定部５０６は、座標設定部５０５より通知された特徴点ペアと、新たに決定した特徴点ペアとを類似度算出部５０７に通知する。
【００４７】
類似度算出部５０７は算出部の一例であり、ペア決定部５０６より通知された特徴点ペアの数をカウントし、入力画像１３１と比較画像２１０との類似度を算出する。
【００４８】
分類部５０８は、類似度算出部５０７より通知された類似度と、比較画像２１０以外の他の比較画像の類似度とを比較する。比較の結果、他の比較画像の類似度より大きい場合、分類部５０８は、入力画像１３１の文書を、比較画像２１０の文書と同じ文書種類であると判別する。具体的には、分類部５０８は、入力画像１３１の入力画像ＩＤを、比較画像２１０の比較画像ＩＤに対応付けて、分類結果格納部１１３の分類結果テーブル３００に記録する。
【００４９】
表示部５０９は、画像解析装置１４０からの要求に応じて、分類結果格納部１１３に格納された分類結果テーブルを参照し、分類結果を送信する。表示部５０９は、要求のあった文書種類に対応付けられた文書名、入力画像ＩＤ、入力画像ＩＤにより特定される入力画像を、分類結果として画像解析装置１４０に送信する。これにより、表示部５０９は、画像解析装置１４０に分類結果を表示させることが可能となり、画像解析装置１４０では、表示された分類結果に含まれる入力画像に対して、文書種類に応じた解析を行うことができる。
【００５０】
＜情報処理装置の画像処理部に含まれる各部の処理の詳細＞
次に、情報処理装置１１０の画像処理部１１１に含まれる各部の処理の詳細について説明する。
【００５１】
（１）特徴点抽出部の処理の詳細
図６は、情報処理装置の特徴点抽出部の処理の詳細を示す図である。このうち、図６（ａ）は、特徴点抽出部５０１による特徴点抽出処理のフローチャートである。また、図６（ｂ）は、特徴点抽出処理の具体例を示す図である。
【００５２】
入力画像１３１を受信すると、特徴点抽出部５０１は、図６（ａ）に示すフローチャートを実行する。
【００５３】
ステップＳ６０１において、特徴点抽出部５０１は、入力画像１３１より特徴点を抽出する。一実施形態において、特徴点抽出部５０１は、ＦＡＳＴ（Features  from  Accelerated  Segment  Test）特徴点抽出処理により、特徴点を抽出する。
【００５４】
図６（ｂ）に示すように、ＦＡＳＴ特徴点抽出処理において、特徴点抽出部５０１は、入力画像１３１より、注目画素ｐの周囲の円周上における１６個の画素を含む画像６１０を抽出する。また、特徴点抽出部５０１は、抽出した画像６１０において、注目画素ｐの周囲の１６個の画素を観測し、連続してｎ個以上の画素が注目画素ｐと比較して閾値以上明るいか、または暗いか否かを判定する。連続してｎ個以上の画素が明るいと判定した場合、または、連続してｎ個以上の画素が暗いと判定した場合、特徴点抽出部５０１は、注目画素ｐを、特徴点として抽出する。
【００５５】
特徴点抽出部５０１は、入力画像１３１に含まれる全ての画素について、同様の処理を行うことで、入力画像１３１より特徴点を抽出する。
【００５６】
ステップＳ６０２において、特徴点抽出部５０１は、ステップＳ６０１において抽出した各特徴点について、ＢＲＩＥＦ（Binary  Robust  Independent  Elementary  Features）特徴量（特徴ベクトル）を算出する。
【００５７】
図６（ｂ）に示すように、特徴ベクトル算出処理において特徴点抽出部５０１は、抽出した特徴点の周囲に固定サイズのウィンドウ６２０を設定する。また、特徴点抽出部５０１は、内部の２点の画素値の大小関係に基づき、ｂｉｔ＝０または１を設定することで、ビットベクトルを算出し、特徴ベクトル６３０として抽出する。
【００５８】
特徴点抽出部５０１は、ステップＳ６０１において抽出した全ての特徴点について、同様の処理を行うことで、各特徴点について、特徴ベクトル６３０を算出する。
【００５９】
特徴点抽出部５０１は、抽出した各特徴点及び各特徴点について算出した特徴ベクトルを、ペア候補抽出部５０２に通知する。
【００６０】
（２）ペア候補抽出部の処理の詳細
図７は、情報処理装置のペア候補抽出部の処理の詳細を示すフローチャートである。特徴点抽出部５０１より各特徴点及び各特徴点の特徴ベクトルを受信すると、ペア候補抽出部５０２は、図７に示すペア候補抽出処理を実行する。
【００６１】
ステップＳ７０１において、ペア候補抽出部５０２は、入力画像１３１の各特徴点をカウントする特徴点カウンタｉに“１”を入力する。
【００６２】
ステップＳ７０２において、ペア候補抽出部５０２は、比較画像格納部１１２の比較画像テーブル２００より、比較画像２１０に対応付けて格納された各特徴点と、各特徴点の特徴ベクトルとを読み出す。また、ペア候補抽出部５０２は、比較画像２１０の各特徴点をカウントする特徴点カウンタｊに“１”を入力する。
【００６３】
ステップＳ７０３において、ペア候補抽出部５０２は、入力画像１３１のｉ番目の特徴点の特徴ベクトルを取得する。
【００６４】
ステップＳ７０４において、ペア候補抽出部５０２は、比較画像２１０のｊ番目の特徴点の特徴ベクトルを取得する。
【００６５】
ステップＳ７０５において、ペア候補抽出部５０２は、入力画像１３１のｉ番目の特徴点の特徴ベクトルと、比較画像２１０のｊ番目の特徴点の特徴ベクトルとの類似度を算出する。具体的には、ペア候補抽出部５０２は、ｉ番目の特徴点の特徴ベクトルとｊ番目の特徴点の特徴ベクトルとの差分を算出する。
【００６６】
ステップＳ７０６において、ペア候補抽出部５０２は、比較画像２１０の全ての特徴点について、入力画像１３１のｉ番目の特徴点の特徴ベクトルとの類似度を算出したか否かを判定する。ステップＳ７０６において、比較画像２１０の特徴点の中に、入力画像１３１のｉ番目の特徴点の特徴ベクトルとの類似度を算出していない特徴点があると判定した場合には（ステップＳ７０６においてＮｏの場合には）、ステップＳ７０７に進む。
【００６７】
ステップＳ７０７において、ペア候補抽出部５０２は、特徴点カウンタｊをインクリメントし、ステップＳ７０４に戻る。
【００６８】
一方、ステップＳ７０６において、比較画像２１０内の全ての特徴点について、入力画像１３１のｉ番目の特徴点の特徴ベクトルとの類似度の算出を行ったと判定した場合には（ステップＳ７０６においてＹｅｓ）、ステップＳ７０８に進む。
【００６９】
ステップＳ７０８において、ペア候補抽出部５０２は、ステップＳ７０５において算出した類似度のうち、類似度が最大（差分が最小）となるｊ番目の特徴点を、入力画像１３１のｉ番目の特徴点の対応点として抽出し、特徴点ペアの候補として決定する。ただし、ペア候補抽出部５０２は、算出した類似度が所定の閾値以上であった場合に、特徴点ペアの候補として決定する。したがって、入力画像１３１の特徴点の中には、比較画像２１０において対応点が抽出されない特徴点も含まれることになる。
【００７０】
ステップＳ７０９において、ペア候補抽出部５０２は、入力画像１３１内の全ての特徴点について、処理を実行したか否かを判定する。ステップＳ７０９において、入力画像１３１の特徴点の中に、処理を実行していない特徴点があると判定した場合には（ステップＳ７０９においてＮｏの場合には）、ステップＳ７１０に進む。
【００７１】
ステップＳ７１０において、ペア候補抽出部５０２は、特徴点カウンタｉをインクリメントし、ステップＳ７０３に戻る。
【００７２】
一方、ステップＳ７０９において、入力画像１３１内の全ての特徴点について処理を実行したと判定した場合には（ステップＳ７０９においてＹｅｓの場合には）、ペア候補抽出処理を終了する。
【００７３】
このように、ペア候補抽出部５０２は、算出した類似度が所定の閾値以上であることを条件に、特徴点ペアの候補を決定する。これにより、類似度の低い特徴点の対応点を特徴点ペアの候補から除外し、適切な特徴点ペアの候補を決定することが可能となる。
【００７４】
なお、図７に示すフローチャートでは、入力画像１３１の各特徴点から見て、類似度が最大となる比較画像２１０内の特徴点を、対応点として抽出する場合について説明した。しかしながら、ペア候補抽出部５０２が実行する処理はこれに限られず、比較画像２１０の各特徴点から見て、類似度が最大となる入力画像１３１内の特徴点を、対応点として抽出する処理が併せて実行されてもよい。
【００７５】
ペア候補抽出部５０２は、決定した特徴点ペアの候補を、入力画像１３１の特徴点とともに、正規化部５０３に通知する。
【００７６】
（３）正規化部の処理の詳細
図８は、情報処理装置の正規化部の処理の詳細を示すフローチャートである。ペア候補抽出部５０２より、入力画像１３１の特徴点及び特徴点ペアの候補を受信すると、正規化部５０３は、図８に示す正規化処理を実行する。
【００７７】
ステップＳ８０１において、正規化部５０３は、特徴点ペアの候補をカウントする特徴点ペア候補カウンタｒに“１”を入力する。
【００７８】
ステップＳ８０２において、正規化部５０３は、ｒ番目の特徴点ペアの候補として、特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）を読み出す。“Ｐ１ｒ”は、ｒ番目の特徴点ペアの候補に含まれる、入力画像１３１側の特徴点を示す。また、“Ｐ２ｒ”は、ｒ番目の特徴点ペアの候補に含まれる、比較画像２１０側の特徴点を示す。
【００７９】
ステップＳ８０３において、正規化部５０３は、ｒ番目の特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲の特徴点ペアの候補（Ｐ１ｓ，Ｐ２ｓ）を選択する。“Ｐ１ｓ”は、ｒ番目の特徴点ペアの候補に含まれる、入力画像１３１側の特徴点Ｐ１ｒの周囲にあるＭ個の特徴点のうち、ｓ番目の特徴点を示す。また、“Ｐ２ｓ”は、特徴点Ｐ１ｓの対応点として抽出された比較画像２１０側の特徴点を示す。
【００８０】
ステップＳ８０４において、正規化部５０３は、ｒ番目の特徴点ペアの候補に含まれる入力画像１３１側の特徴点Ｐ１ｒと、ｓ番目の特徴点Ｐ１ｓとの特徴点間の距離（第１の距離）を算出する。また、正規化部５０３は、ｒ番目の特徴点ペアの候補に含まれる比較画像２１０側の特徴点Ｐ２ｒと、ｓ番目の特徴点Ｐ１ｓの対応点として抽出された比較画像２１０側の特徴点Ｐ２ｓとの特徴点間の距離（第２の距離）を算出する。更に、正規化部５０３は、第１の距離と第２の距離との比率（Ｒａｔｅ）を算出する。
【００８１】
ステップＳ８０５において、正規化部５０３は、ステップＳ８０４において算出したＲａｔｅの値（Ｒａｔｅ値）に応じた投票を行う。正規化部５０３には、それぞれ下限値と上限値とが規定されたＲａｔｅ範囲が定義されており、正規化部５０３は、ステップＳ８０４において算出したＲａｔｅ値が、いずれのＲａｔｅ範囲に属するかを判定し、Ｒａｔｅ値が属するＲａｔｅ範囲に投票する。
【００８２】
ステップＳ８０６において、正規化部５０３は、ｒ番目の特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲の特徴点ペアの候補をＭ個選択したか否かを判定する。ステップＳ８０６において、Ｍ個選択していないと判定した場合には（ステップＳ８０６においてＮｏの場合には）、ステップＳ８０７に進む。
【００８３】
ステップＳ８０７において、正規化部５０３は、周囲の特徴点ペアの候補をカウントする周囲特徴点ペア候補カウンタｓをインクリメントし、ステップＳ８０３に戻る。
【００８４】
一方、ステップＳ８０６において、Ｍ個選択したと判定した場合には（ステップＳ８０６においてＹｅｓの場合には）、ステップＳ８０８に進む。
【００８５】
ステップＳ８０８において、正規化部５０３は、ペア候補抽出部５０２より通知された全ての特徴点ペアの候補について、処理を実行したか否かを判定する。ステップＳ８０８において、処理を実行していない特徴点ペアの候補があると判定した場合には（ステップＳ８０８においてＮｏの場合には）、ステップＳ８０９に進む。
【００８６】
ステップＳ８０９において、正規化部５０３は、特徴点ペア候補カウンタｒをインクリメントし、ステップＳ８０２に戻る。
【００８７】
一方、ステップＳ８０８において、全ての特徴点ペアの候補について、処理を実行したと判定した場合には、ステップＳ８１０に進む。
【００８８】
ステップＳ８１０において、正規化部５０３は、投票数の最も多いＲａｔｅ範囲を判定し、判定したＲａｔｅ範囲に基づいて決定したＲａｔｅ値を、入力画像１３１と比較画像２１０との画像サイズ比に決定する。
【００８９】
ステップＳ８１１において、正規化部５０３は、ステップＳ８１０において決定した画像サイズ比に基づいて、入力画像１３１を正規化し、正規化画像を生成する。
【００９０】
ステップＳ８１２において、正規化部５０３は、生成した正規化画像に基づいて、入力画像１３１の特徴点の座標を修正する。また、正規化部５０３は、生成した正規化画像に基づいて、特徴点ペアの候補に含まれる入力画像１３１側の特徴点の座標を修正する。
【００９１】
図９は、正規化処理の具体例を示す図である。このうち、図９（ａ）は、正規化処理実行前の各特徴点ペアの候補に含まれる特徴点同士を、線分により結んだ様子を示している。図９（ａ）において、各線分の入力画像１３１側の端点は、特徴点ペアの候補に含まれる入力画像１３１側の特徴点の位置を示している。また、各線分の比較画像２１０側の端点は、特徴点ペアの候補に含まれる比較画像２１０側の特徴点の位置を示している。
【００９２】
一方、図９（ｂ）は、正規化処理実行後の各特徴点ペアの候補に含まれる特徴点同士を、線分により結んだ様子を示している。図９（ｂ）の例は、決定した画像サイズ比により入力画像１３１が正規化され、正規化画像９００が生成されたことを示している。
【００９３】
正規化部５０３は、正規化処理実行後の正規化画像９００の特徴点（正規化画像９００が生成されることで修正された入力画像１３１の特徴点）を、ペア決定部５０６に通知する。また、正規化部５０３は、正規化処理実行後の特徴点ペアの候補（正規化画像９００が生成されることで修正された特徴点ペアの候補）を、ペア抽出部５０４に通知する。
【００９４】
（４）ペア抽出部の処理の詳細
図１０は、情報処理装置のペア抽出部の処理の詳細を示すフローチャートである。正規化処理実行後の特徴点ペアの候補を受信すると、ペア抽出部５０４は、図１０に示すペア抽出処理を実行する。
【００９５】
ステップＳ１００１において、ペア抽出部５０４は、特徴点ペアの候補をカウントする特徴点ペア候補カウンタｒに“１”を入力する。
【００９６】
ステップＳ１００２において、ペア抽出部５０４は、ｒ番目の特徴点ペアの候補として、特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）を読み出す。
【００９７】
ステップＳ１００３において、ペア抽出部５０４は、ｒ番目の特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲の特徴点ペアの候補（Ｐ１ｓ，Ｐ２ｓ）を選択する。
【００９８】
ステップＳ１００４において、ペア抽出部５０４は、ｒ番目の特徴点ペアの候補に含まれる正規化画像９００側の特徴点Ｐ１ｒから、ｒ番目の特徴点ペアの候補に含まれる比較画像２１０側の特徴点Ｐ２ｒへ向かうベクトルｖ１を算出する。また、ペア抽出部５０４は、ｓ番目の特徴点ペアの候補に含まれる正規化画像９００側の特徴点Ｐ１ｓから、ｓ番目の特徴点ペアの候補に含まれる比較画像２１０側の特徴点Ｐ２ｓへ向かうベクトルｖ２を算出する。
【００９９】
ステップＳ１００５において、ペア抽出部５０４は、ステップＳ１００４において算出したベクトルｖ１とベクトルｖ２との差分が、所定の閾値未満であるか否かを判定する。
【０１００】
ステップＳ１００５において、所定の閾値未満であると判定した場合には（ステップＳ１００５においてＹｅｓの場合には）、ステップＳ１００６に進む。
【０１０１】
ステップＳ１００６において、ペア抽出部５０４は、特徴点Ｐ１ｓに対して特徴点Ｐ１ｒと同じラベルを付し、特徴点Ｐ１ｒのラベルの点数を加算した後、ステップＳ１００７に進む。
【０１０２】
一方、ステップＳ１００５において、所定の閾値以上であると判定した場合には（ステップＳ１００５においてＮｏの場合には）、直接、ステップＳ１００７に進む。
【０１０３】
ステップＳ１００７において、ペア抽出部５０４は、ｒ番目の特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲の特徴点ペアの候補をＭ個選択したか否かを判定する。ステップＳ１００７において、Ｍ個選択していないと判定した場合には（ステップＳ１００７においてＮｏの場合には）、ステップＳ１００８に進む。
【０１０４】
ステップＳ１００８において、ペア抽出部５０４は、周囲の特徴点ペアの候補をカウントする周囲特徴点ペア候補カウンタｓをインクリメントし、ステップＳ１００３に戻る。
【０１０５】
一方、ステップＳ１００７において、Ｍ個選択したと判定した場合には（ステップＳ１００７においてＹｅｓの場合には）、ステップＳ１００９に進む。
【０１０６】
ステップＳ１００９において、ペア抽出部５０４は、特徴点Ｐ１ｒに加算された点数が所定の閾値以下であった場合に、当該特徴点Ｐ１ｒを含む特徴点ペアの候補を削除する。これにより、ペア抽出部５０４は、Ｍ個の特徴点ペアの候補と対比して特性の異なる特徴点ペアの候補を削除し、周囲の特徴点ペアの候補と同様の特性を有する特徴点ペアの候補を、特徴点ペアとして抽出することが可能となる。
【０１０７】
ステップＳ１０１０において、ペア抽出部５０４は、正規化部５０３より通知された全ての特徴点ペアの候補について、ステップＳ１００３からステップＳ１００９までの処理を実行したか否かを判定する。
【０１０８】
ステップＳ１０１０において、ペア抽出部５０４は、ステップＳ１００３からステップＳ１００９までの処理を実行していない特徴点ペアの候補があると判定した場合には（ステップＳ１０１０においてＮｏの場合には）、ステップＳ１０１１に進む。
【０１０９】
ステップＳ１０１１において、ペア抽出部５０４は、特徴点ペア候補カウンタｒをインクリメントし、ステップＳ１００２に戻る。
【０１１０】
一方、ステップＳ１０１０において、全ての特徴点ペアの候補について、ステップＳ１００３からステップＳ１００９までの処理を実行したと判定した場合には、ペア抽出処理を終了する。
【０１１１】
なお、ペア抽出部５０４は、ステップＳ１００９において抽出した特徴点ペアを、座標設定部５０５に通知する。
【０１１２】
図１１は、ペア抽出処理の具体例を示す第１の図である。このうち、図１１（ａ）は、ｒ番目の特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）と、その周囲の特徴点ペア（Ｐ１ｓ，Ｐ２ｓ）とを含む、正規化画像９００側の領域１１１０と、比較画像２１０側の領域１１２０とを示す図である。
【０１１３】
図１１（ａ）において、ベクトル１１３１は、ｒ番目の特徴点ペアの候補に含まれる正規化画像９００側の特徴点Ｐ１ｒから、ｒ番目の特徴点ペアの候補に含まれる比較画像２１０側の特徴点Ｐ２ｒへ向かうベクトルｖ１を示している。
【０１１４】
また、図１１（ａ）において、ベクトル１１３２は、ｓ番目の特徴点ペアの候補に含まれる正規化画像９００側の特徴点Ｐ１ｓから、ｓ番目の特徴点ペアの候補に含まれる比較画像２１０側の特徴点Ｐ２ｓへ向かうベクトルｖ２を示している。
【０１１５】
図１１（ｂ）は、ベクトルｖ１とベクトルｖ２との差分を模式的に示した図である。図１１（ｂ）に示すように、ベクトル１１３２の始点の特徴点Ｐ１ｓが、ベクトル１１３１の始点の特徴点Ｐ１ｒに重なるようにベクトルｖ２を移動させた場合の、特徴点Ｐ２ｒから特徴点Ｐ２ｓに向かうベクトルが、ベクトルｖ１とベクトルｖ２との差分となる。
【０１１６】
図１１（ｂ）から明らかなように、ベクトルｖ１とベクトルｖ２とが平行に近いほど、ベクトルｖ１とベクトルｖ２との差分が小さくなる。
【０１１７】
特徴点Ｐ１ｒが適切に抽出され、かつ、対応する特徴点Ｐ２ｒが適切に抽出されている場合、当該特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲には、これと平行な特徴点ペアの候補が多く存在するはずである。この結果、当該特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）のラベルの点数が上がる。一方、特徴点Ｐ１ｒが適切に抽出されなかったか、あるいは対応する特徴点Ｐ２ｒが適切に抽出されなかった場合、当該特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）の周囲にはこれと平行な特徴点ペアの候補があまり存在しないことになる。この結果、当該特徴点ペアの候補（Ｐ１ｒ，Ｐ２ｒ）のラベルの点数が下がる。
【０１１８】
このように、ペア抽出処理を実行することで、異なる特性を有する特徴点ペアの候補（特徴点間のベクトルの向きが、周囲とは異なる特徴点ペアの候補）を排除し、特徴点ペアの候補を絞り込むことで、より適切な特徴点ペアを抽出することができる。
【０１１９】
図１２は、ペア抽出処理の具体例を示す第２の図である。図１２において、点線の線分１２０１、１２０２は、ペア抽出処理により削除された特徴点ペアの候補を示している（図９（ｂ）においては存在していた特徴点ペアの候補である）。
【０１２０】
このように、ペア抽出処理が実行されることで、周囲の特徴点ペアの候補と特性の異なる特徴点ペアの候補（線分１２０１、１２０２により対応関係が示された特徴点ペアの候補）が削除されることになる。
【０１２１】
（５）座標設定部及びペア決定部の処理の詳細
図１３は、情報処理装置の座標設定部及びペア決定部の処理の詳細を示すフローチャートである。ペア抽出部５０４より特徴点ペアを受信すると、座標設定部５０５及びペア決定部５０６は、図１３に示す座標設定及びペア決定処理を実行する。
【０１２２】
ステップＳ１３０１において、座標設定部５０５は、特徴点ペアをカウントする特徴点ペアカウンタｒに“１”を入力する。
【０１２３】
ステップＳ１３０２において、座標設定部５０５は、ｒ番目の特徴点ペアとして、特徴点ペア（Ｐ１ｒ，Ｐ２ｒ）を読み出す。
【０１２４】
ステップＳ１３０３において、座標設定部５０５は、ｒ番目の特徴点ペア（Ｐ１ｒ，Ｐ２ｒ）以外のいずれかの特徴点ペア（Ｐ１ｓ，Ｐ２ｓ）を選択する。
【０１２５】
ステップＳ１３０４において、座標設定部５０５は、正規化画像９００上の特徴点Ｐ１ｒを座標（０，０）とし、特徴点Ｐ１ｓを座標（１００，０）として、正規化画像９００の局所領域に対して座標系を設定する。座標設定部５０５は、設定した座標系を特徴点ペア（Ｐ１ｒ，Ｐ２ｒ）、（Ｐ１ｓ，Ｐ２ｓ）とともにペア決定部５０６に通知する。
【０１２６】
ステップＳ１３０５において、ペア決定部５０６は、正規化画像９００上の特徴点Ｐ１ｒと特徴点Ｐ１ｓとを結ぶ線分（基準線分）の周囲の特徴点（ここでは特徴点ペアに含まれる特徴点に限られず、正規化部５０３より通知された特徴点が対象）を抽出する。
【０１２７】
基準線分の周囲の特徴点とは、正規化画像９００の局所領域に設定された座標系の周囲の特徴点に他ならず、例えば、基準線分の端点（特徴点Ｐ１ｒと特徴点Ｐ１ｓ）を対頂点とする矩形領域に含まれる特徴点を指す。
【０１２８】
ステップＳ１３０６において、ペア決定部５０６は、ステップＳ１３０４において通知された座標系に基づいて、ステップＳ１３０５において抽出した特徴点を座標変換し、ＨａｓｈＴａｂｌｅに登録する。
【０１２９】
ステップＳ１３０７において、座標設定部５０５は、比較画像２１０上の特徴点Ｐ２ｒを座標（０，０）とし、特徴点Ｐ２ｓを座標（１００，０）として、比較画像２１０の局所領域に対して座標系を設定する。座標設定部５０５は、設定した座標系をペア決定部５０６に通知する。
【０１３０】
ステップＳ１３０８において、ペア決定部５０６は、比較画像２１０上の特徴点Ｐ２ｒと特徴点Ｐ２ｓとを結ぶ線分（基準線分）の周囲の特徴点を、比較画像格納部１１２の比較画像テーブル２００より読み出す。
【０１３１】
基準線分の周囲の特徴点とは、比較画像２１０の局所領域に設定された座標系の周囲の特徴点に他ならず、例えば、基準線分の端点（特徴点Ｐ２ｒと特徴点Ｐ２ｓ）を対頂点とする矩形領域に含まれる特徴点を指す。
【０１３２】
ステップＳ１３０９において、ペア決定部５０６は、ステップＳ１３０７において通知された座標系に基づいて、ステップＳ１３０８において読み出した特徴点を座標変換し、ＨａｓｈＴａｂｌｅに登録する。
【０１３３】
ステップＳ１３１０において、ペア決定部５０６は、ステップＳ１３０６において登録された正規化画像９００上の特徴点と、ステップＳ１３０９において登録された比較画像２１０上の特徴点とを、両者の位置関係に基づいて新たに対応付ける。具体的には、ペア決定部５０６は、正規化画像９００上の特徴点の座標（設定された座標系における座標）と、比較画像２１０上の特徴点の座標（設定された座標系における座標）とが一致している場合に、両者を新たに対応付ける。
【０１３４】
ステップＳ１３１１において、ペア決定部５０６は、ステップＳ１３１０において対応付けられた正規化画像９００上の特徴点の数と、ステップＳ１３０５において抽出した正規化画像９００上の特徴点の数との比（対応点比率）を算出する。
【０１３５】
ステップＳ１３１２において、ペア決定部５０６は、算出した対応点比率が、所定の閾値以上であるか否かを判定する。
【０１３６】
ステップＳ１３１２において所定の閾値以上であると判定した場合には（ステップＳ１３１２においてＹｅｓの場合には）、ステップＳ１３１３に進む。ステップＳ１３１３において、ペア決定部５０６は、ステップＳ１３０２において読み出した特徴点ペア（Ｐ１ｒ，Ｐ２ｒ）と、ステップＳ１３１０において新たに対応付けられた特徴点ペアとを保存する。
【０１３７】
一方、ステップＳ１３１２において所定の閾値未満であると判定した場合には（ステップＳ１３１２においてＮｏの場合には）、直接、ステップＳ１３１４に進む。
【０１３８】
ステップＳ１３１４において、ペア決定部５０６は、ｒ番目の特徴点ペア（Ｐ１ｒ，Ｐ２ｒ）以外のいずれかの特徴点ペア（Ｐ１ｓ，Ｐ２ｓ）をＭ個選択したか否かを判定する。ステップＳ１３１４において、Ｍ個選択していないと判定した場合には（ステップＳ１３１４においてＮｏの場合には）、ステップＳ１３１５に進む。
【０１３９】
ステップＳ１３１５において、座標設定部５０５は、周囲の特徴点ペアをカウントする周囲特徴点ペアカウンタｓをインクリメントし、ステップＳ１３０３に戻る。
【０１４０】
一方、ステップＳ１３１４において、Ｍ個選択したと判定した場合には（ステップＳ１３１４においてＹｅｓの場合には）、ステップＳ１３１６に進む。
【０１４１】
ステップＳ１３１６において、座標設定部５０５は、ペア抽出部５０４より通知された全ての特徴点ペアについて、ステップＳ１３０３からステップＳ１３１４までの処理を実行したか否かを判定する。
【０１４２】
ステップＳ１３１６において、座標設定部５０５は、ステップＳ１３０３からステップＳ１３１４までの処理を実行していない特徴点ペアがあると判定した場合には（ステップＳ１３１６においてＮｏの場合には）、ステップＳ１３１７に進む。
【０１４３】
ステップＳ１３１７において、座標設定部５０５は、特徴点ペアカウンタｒをインクリメントし、ステップＳ１３０２に戻る。
【０１４４】
一方、ステップＳ１３１６において、全ての特徴点ペアについて、ステップＳ１３０３からステップＳ１３１４までの処理を実行したと判定した場合には、座標設定及びペア決定処理を終了する。
【０１４５】
図１４は、座標設定及びペア決定処理の具体例を示す第１の図である。このうち、図１４（ａ）は、ペア決定部５０６が、正規化画像９００の一部分から、特徴点Ｐ１ｒと特徴点Ｐ１ｓとを結ぶ基準線分の周囲の全ての特徴点を抽出した様子を示している。なお、図１４（ａ）において、線分１４０１は、特徴点Ｐ１ｒと特徴点Ｐ１ｓとの間を結ぶ基準線分である。また、図１４（ａ）において、黒丸は線分１４０１周囲の全ての特徴点を表している。このうち、点線丸で囲まれた黒丸は、特徴点ペアに含まれる特徴点を示している。更に、局所領域１４１１は、線分１４０１の端点（特徴点Ｐ１ｒと特徴点Ｐ１ｓ）を対頂点とする矩形領域である。
【０１４６】
一方、図１４（ｂ）は、ペア決定部５０６が、比較画像２１０の一部分から、特徴点Ｐ２ｒと特徴点Ｐ２ｓとを結ぶ基準線分の周囲の全ての特徴点を抽出した様子を示している。なお、図１４（ｂ）において、線分１４０２は、特徴点Ｐ２ｒと特徴点Ｐ２ｓとの間を結ぶ基準線分である。また、図１４（ｂ）において、黒丸は線分１４０２周囲の全ての特徴点を表している。このうち、点線丸で囲まれた黒丸は、特徴点ペアに含まれる特徴点を示している。更に、局所領域１４１２は、線分１４０２の端点（特徴点Ｐ２ｒと特徴点Ｐ２ｓ）を対頂点とする矩形領域である。
【０１４７】
図１５は、座標設定及びペア決定処理の具体例を示す第２の図である。このうち、図１５（ａ）は、座標設定部５０５により設定された座標系に基づいて、ペア決定部５０６が、局所領域１４１１の特徴点を座標変換した様子を示している。なお、図１５（ａ）では、説明の簡略化のため、図１４（ａ）の局所領域１４１１に含まれる特徴点を間引いて表示している。
【０１４８】
一方、図１５（ｂ）は、座標設定部５０５により設定された座標系に基づいて、ペア決定部５０６が、局所領域１４１２の特徴点を座標変換した様子を示している。なお、図１５（ｂ）では、説明の簡略化のため、図１４（ｂ）の局所領域１４１２に含まれる特徴点を間引いて表示している。
【０１４９】
図１５（ａ）に示すように、正規化画像９００の場合、局所領域１４１１に８個の特徴点が存在する。このうち、比較画像２１０内の対応する位置に特徴点が存在するのは５個である。
【０１５０】
具体的には、図１５（ａ）に示す座標変換後の正規化画像９００上の特徴点（番号＝０〜７）のうち、比較画像２１０内に対応する位置に特徴点が存在するのは、番号＝０、２、３、４、６、７で示される特徴点である。したがって、ペア決定部５０６は、対応点比率＝５／８と算出する。この場合、ペア決定部５０６は、番号＝０、２、３、４、６、７で示される特徴点を、比較画像２１０内の対応する位置の特徴点である、番号＝０、２、３、６、８、９で示される特徴点と対応付けて特徴点ペアとして保存する。
【０１５１】
このように、正規化画像９００上の線分１４０１周囲の局所領域１４１１の特徴点のうち、比較画像２１０内の対応する位置に特徴点が存在する比率が多い場合、線分１４０１周囲の局所領域は、比較画像２１０内の対応する局所領域と類似している蓋然性が高い。このため、ペア決定部５０６は、線分１４０１周囲の特徴点ペアを保存する。
【０１５２】
これにより、局所的に見れば位置関係が対応付けられる特徴点を全て特徴点ペアとして保存し、類似度の算出に取り入れることが可能となる。つまり、有益な特徴点ペア（例えば、店舗のロゴマーク、タイトル等のように、部分的に定型の書式が含まれる領域の特徴点ペア）の数を増やしたうえで、類似度を算出することが可能となる。この結果、正規化画像９００と比較画像２１０との類似度を、局所的な視点を加味して算出することが可能となり、文書種類の判別精度を向上させることができる。
【０１５３】
＜情報処理装置の画像処理部による画像処理の流れ＞
次に、情報処理装置１１０の画像処理部１１１による画像処理全体の流れについて説明する。図１６は、画像処理のフローチャートである。
【０１５４】
ステップＳ１６０１において、特徴点抽出部５０１は、入力画像１３１を取得する。
【０１５５】
ステップＳ１６０２において、ペア候補抽出部５０２は、比較画像をカウントする比較画像カウンタαに“１”を入力する。
【０１５６】
ステップＳ１６０３において、ペア候補抽出部５０２は、比較画像格納部１１２の比較画像テーブル２００より、比較画像ＩＤ＝Ｉ００αの比較画像の特徴点、特徴ベクトルを読み出す。
【０１５７】
ステップＳ１６０４において、特徴点抽出部５０１は、特徴点抽出処理（図６）を実行する。
【０１５８】
ステップＳ１６０５において、ペア候補抽出部５０２は、ペア候補抽出処理（図７）を実行する。
【０１５９】
ステップＳ１６０６において、正規化部５０３は、正規化処理（図８）を実行する。
【０１６０】
ステップＳ１６０７において、ペア抽出部５０４は、ペア抽出処理（図１０）を実行する。
【０１６１】
ステップＳ１６０８において、座標設定部５０５及びペア決定部５０６は、座標設定及びペア決定処理（図１３）を実行する。
【０１６２】
ステップＳ１６０９において、類似度算出部５０７は、ステップＳ１６０８において保存された特徴点ペアの数に基づいて、入力画像１３１と、比較画像ＩＤ＝Ｉ００αの比較画像との類似度を算出する。
【０１６３】
ステップＳ１６１０において、ペア候補抽出部５０２は、比較画像格納部１１２の比較画像テーブル２００に格納されている全ての比較画像について類似度を算出したか否かを判定する。
【０１６４】
ステップＳ１６１０において、類似度を算出していない比較画像があると判定した場合には（ステップＳ１６１０においてＮｏの場合には）、ステップＳ１６１１に進む。ステップＳ１６１１において、ペア候補抽出部５０２は、比較画像カウンタαをインクリメントし、ステップＳ１６０３に戻る。
【０１６５】
一方、ステップＳ１６１０において、全ての比較画像について類似度を算出したと判定した場合には、ステップＳ１６１２に進む。
【０１６６】
ステップＳ１６１２において、分類部５０８は、各比較画像について算出した類似度に基づいて入力画像１３１の文書の文書種類を判別する。また、分類部５０８は、判別した文書種類に対応付けて、入力画像１３１の入力画像ＩＤを、分類結果格納部１１３の分類結果テーブル３００に格納する。
【０１６７】
以上の説明から明らかなように、一実施形態における情報処理装置１１０は、入力画像より抽出した特徴点と、比較画像の特徴点とを、各特徴点の特徴ベクトルの類似度に基づいて対応付けることで、特徴点ペアの候補を抽出する。また、一実施形態における情報処理装置１１０は、対応付けた特徴点ペアの候補に基づいて、入力画像のサイズを、比較画像のサイズに応じて正規化したうえで、特徴点ペアに含まれる特徴点同士を結ぶベクトルに基づいて、特徴点ペアの候補を絞り込む。
【０１６８】
これにより、入力画像と比較画像との間の特徴点ペアの候補の中から厳選した特徴点ペアを抽出することが可能となる。このように、特徴点ペアを絞り込むことで、以降の処理（座標設定及びペア決定処理）の計算量を削減することができる。
【０１６９】
また、一実施形態における情報処理装置１１０は、厳選した特徴点ペアに含まれる各特徴点により規定される、正規化画像における局所領域及び比較画像における局所領域に対して座標系を設定し、各局所領域に含まれる特徴点の座標を各座標系に基づいて算出する。また、一実施形態における情報処理装置１１０は、各局所領域に含まれる特徴点の位置が、入力画像と比較画像とで互いに一致するか否かを判定する。また、一実施形態における情報処理装置１１０は、位置が一致する特徴点の比率が所定の閾値以上であった場合に、当該位置が一致する特徴点同士を、特徴点ペアとして保存する。更に、一実施形態における情報処理装置１１０は、保存した特徴点ペアを用いて、入力画像と比較画像との類似度を算出する。
【０１７０】
これにより、局所的に見た場合に対応付けが可能な特徴点を特徴点ペアとして保存することが可能となり（つまり、有益な特徴点ペアの数を増やすことが可能となり）、入力画像と比較画像との類似度を、局所的な視点を加味して算出することが可能となる。
【０１７１】
この結果、定型の書式が部分的に含まれる文書の種類を、精度よく判別することが可能となる。
【０１７２】
［他の実施形態］
上記実施形態では、非定型文書としてレシートを例に説明したが、定型の書式が部分的に含まれる文書であれば、他の非定型文書であっても同様の処理を行うことで、非定型文書の種類を精度よく判別することができる。
【０１７３】
また、上記実施形態では、特徴点を抽出するにあたりＦＡＳＴ特徴点抽出処理を用いたが、他の特徴点抽出処理を用いて特徴点を抽出してもよい。また、上記実施形態では、各特徴点の特徴量としてＢＲＩＥＦ特徴量を算出することで特徴ベクトルを算出したが、各特徴点の特徴量として他の特徴量を算出することで特徴ベクトルを算出してもよい。
【０１７４】
また、上記実施形態では、画像処理（図１６）において、入力画像を正規化したうえで、ペア抽出処理（ステップＳ１６０７）と、座標設定及びペア決定処理（ステップＳ１６０８）とを実行するものとして説明した。しかしながら、入力画像を正規化せずに、ペア抽出処理（ステップＳ１６０７）と、座標設定及びペア決定処理（ステップＳ１６０８）とを実行してもよい。この場合、ペア抽出処理（ステップＳ１６０７）と、座標設定及びペア決定処理（ステップＳ１６０８）では、正規化画像の特徴点に代えて入力画像の特徴点が処理されることになる。
【０１７５】
また、上記実施形態では、画像処理（図１６）において、入力画像のサイズを、比較画像のサイズに応じて正規化するものとして説明したが、比較画像のサイズを、入力画像のサイズに応じて正規化してもよい。ただし、その場合、正規化処理（ステップＳ１６０６）以降の処理（ペア抽出処理（ステップＳ１６０７）、座標設定及びペア決定処理（ステップＳ１６０８））においては、比較画像が入力画像と読み替えられて処理が実行されるものとする。
【０１７６】
また、上記実施形態では、２つの特徴点を用いて局所領域を規定するものとして説明したが、３つ以上の特徴点を用いて局所領域を規定するようにしてもよい。
【０１７７】
また、上記実施形態では、入力画像と各比較画像との類似度を算出し、類似度が最も高い比較画像に分類し、分類結果を分類結果格納部１１３に格納するものとして説明した。しかしながら、分類方法はこれに限定されず、例えば、算出した類似度が所定の閾値以下であった場合には、ユーザに表示し、ユーザから、分類先についての指示を受け付けてから、当該入力画像についての分類先を決定するようにしてもよい。
【０１７８】
また、上記実施形態では、スキャナ装置１２０を介して入力画像１３１を生成するものとして説明したが、入力画像１３１の生成は、スキャナ装置１２０に限定されない。例えば、撮像機能を有するスマートデバイスを用いて非定型文書１３０を撮像することで、入力画像１３１を生成するようにしてもよい。つまり、情報処理装置１１０に送信される入力画像１３１は、任意の画像生成装置で生成可能であるとする。
【０１７９】
なお、画像生成装置としてスマートデバイスを用いる場合にあっては、当該スマートデバイスに画像処理プログラムをインストールし、当該スマートデバイスを画像処理部１１１として機能させてもよい。また、画像生成装置としてスマートデバイスを用いる場合にあっては、情報処理装置１１０を、クラウド上に配置するようにしてもよい。
【０１８０】
また、上記実施形態では、情報処理装置１１０が、画像処理部１１１に含まれる各部を有するものとして説明したが、画像処理部１１１に含まれる各部は、画像処理システム１００内の任意の装置が有していてもよい。
【０１８１】
また、上記実施形態では、分類結果格納部１１３を情報処理装置１１０内に設けるものとして説明したが、分類結果格納部１１３は他の格納装置内に設けるようにしてもよい。これにより、画像処理システム１００は、画像生成装置と、情報処理装置と、格納装置とを含むことになるが、この場合、いずれの装置にいずれの機能を搭載させてもよい。
【０１８２】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
前記入力画像より抽出された特徴点の特徴量と、前記比較画像より抽出された特徴点の特徴量との類似度が、所定の閾値以上である場合に、前記入力画像より抽出された該特徴点と、前記比較画像より抽出された該特徴点とを、前記第１の特徴点のペアの候補として決定し、
決定した前記第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする付記１に記載の画像処理プログラム。
（付記３）
決定した前記第１の特徴点のペアの候補から、決定した前記第１の特徴点のペアの他の候補までの、前記入力画像における特徴点間の距離と、前記比較画像における特徴点間の距離との比に基づいて、前記入力画像又は前記比較画像のサイズを拡大または縮小し、正規化画像を生成することを特徴とする付記２に記載の画像処理プログラム。
（付記４）
前記第１の特徴点のペアの候補に含まれる、前記入力画像から生成した前記正規化画像の特徴点と、前記比較画像の特徴点とを結ぶベクトルと、前記第１の特徴点のペアの他の候補に含まれる、前記正規化画像の特徴点と、前記比較画像の特徴点とを結ぶベクトルとの差分が、所定の閾値以上である場合に、該第１の特徴点の候補を削除することで、前記決定した第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする付記３に記載の画像処理プログラム。
（付記５）
前記第１の特徴点のペアに含まれる、前記入力画像から生成した前記正規化画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記正規化画像の特徴点とを対頂点とする矩形領域に座標系を設定することで、前記入力画像の座標系を設定し、
前記第１の特徴点のペアに含まれる、前記比較画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記比較画像の特徴点とを対頂点とする矩形領域に、前記比較画像の座標系を設定することを特徴とする付記４に記載の画像処理プログラム。
（付記６）
前記第１の特徴点のペアの候補に含まれる、前記比較画像から生成した前記正規化画像の特徴点と、前記入力画像の特徴点とを結ぶベクトルと、前記第１の特徴点のペアの他の候補に含まれる、前記正規化画像の特徴点と、前記入力画像の特徴点とを結ぶベクトルとの差分が、所定の閾値以上である場合に、該第１の特徴点の候補を削除することで、前記決定した第１の特徴点のペアの候補の中から、前記第１の特徴点のペアを抽出することを特徴とする付記３に記載の画像処理プログラム。
（付記７）
前記第１の特徴点のペアに含まれる、前記比較画像から生成した前記正規化画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記正規化画像の特徴点とを対頂点とする矩形領域に座標系を設定することで、前記比較画像の座標系を設定し、
前記第１の特徴点のペアに含まれる、前記入力画像の特徴点と、前記第１の特徴点の他のペアに含まれる、前記入力画像の特徴点とを対頂点とする矩形領域に、前記入力画像の座標系を設定することを特徴とする付記６に記載の画像処理プログラム。
（付記８）
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて算出した、前記入力画像と前記比較画像との類似度が、前記入力画像と他の比較画像との類似度よりも大きい場合、前記入力画像を、前記比較画像と同じ種類の文書であると判定することを特徴とする付記１乃至７のいずれかの付記に記載の画像処理プログラム。
（付記９）
算出した前記入力画像と前記比較画像との類似度に基づいて、前記入力画像の文書の種類を判別することを特徴とする付記１に記載の画像処理プログラム。
（付記１０）
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出し、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定し、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定し、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する、
処理をコンピュータが実行する画像処理方法。
（付記１１）
入力画像に含まれる特徴点と比較画像に含まれる特徴点とを、特徴量に基づいて対応付けることで、第１の特徴点のペアを抽出する抽出部と、
抽出した前記第１の特徴点のペアに含まれる各特徴点により規定される、前記入力画像の領域及び前記比較画像の領域それぞれに対して座標系を設定する設定部と、
設定した各座標系の周囲にある特徴点の座標を、該各座標系に基づいて算出することで、前記入力画像と前記比較画像との間で互いに対応する位置関係にある特徴点同士を第２の特徴点のペアとして決定する決定部と、
前記第１の特徴点のペア及び前記第２の特徴点のペアを用いて、前記入力画像と前記比較画像との類似度を算出する算出部と
を有することを特徴とする画像処理システム。
【０１８３】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１８４】
１００              ：画像処理システム
１１０              ：情報処理装置
１１１              ：画像処理部
１１２              ：比較画像格納部
１１３              ：分類結果格納部
１２０              ：スキャナ装置
１３０              ：非定型文書
１３１              ：入力画像
１４０              ：画像解析装置
２００              ：比較画像テーブル
２１０              ：比較画像
３００              ：分類結果テーブル
５０１              ：特徴点抽出部
５０２              ：ペア候補抽出部
５０３              ：正規化部
５０４              ：ペア抽出部
５０５              ：座標設定部
５０６              ：ペア決定部
５０７              ：類似度算出部
５０８              ：分類部
５０９              ：表示部
９００              ：正規化画像
１４０１、１４０２  ：線分
１４１１、１４１２  ：局所領域
【図１】
2018112891.tif 000003
【図２】
2018112891.tif 000004
【図３】
2018112891.tif 000005
【図４】
2018112891.tif 000006
【図５】
2018112891.tif 000007
【図６】
2018112891.tif 000008
【図７】
2018112891.tif 000009
【図８】
2018112891.tif 000010
【図９】
2018112891.tif 000011
【図１０】
2018112891.tif 000012
【図１１】
2018112891.tif 000013
【図１２】
2018112891.tif 000014
【図１３】
2018112891.tif 000015
【図１４】
2018112891.tif 000016
【図１５】
2018112891.tif 000017
【図１６】
2018112891.tif 000018