(57)【特許請求の範囲】
【請求項１】
文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段と、
前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段と、
前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段と、
前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記評価手段は、
前記注目第１特徴点における特徴量が示す代表方向に対して前記注目第１特徴点から前記他の第１特徴点への方向がなす角度と、前記注目第１特徴点の第２特徴点候補における特徴量が示す代表方向に対して前記注目第１特徴点の第２特徴点候補から前記他の第１特徴点の第２特徴点候補への方向がなす角度と、の比較結果に基づいて、前記評価情報を生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは異なる行又は列に位置する文字領域に含まれる第１特徴点であること、
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは別種の文字に対応する文字領域に含まれる第１特徴点であること、
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段、
前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段、
前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段、
前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、第１の画像から検出された特徴点、に対応する対応特徴点を第２の画像のうちで特定し、特徴点と対応特徴点とに基づいて第１の画像と第２の画像とを合成すること、が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、第１画像から抽出された特徴点と類似の特徴を有する特徴点が第２画像に複数存在する場合であっても、第１画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができるようにすることある。
【課題を解決するための手段】
【０００５】
上記課題を解決するための請求項１の発明は、文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段と、前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段と、前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段と、前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段と、を含むことを特徴とする画像処理装置である。
【０００６】
また、請求項２の発明は、請求項１の発明において、前記評価手段は、前記注目第１特徴点における特徴量が示す代表方向に対して前記注目第１特徴点から前記他の第１特徴点への方向がなす角度と、前記注目第１特徴点の第２特徴点候補における特徴量が示す代表方向に対して前記注目第１特徴点の第２特徴点候補から前記他の第１特徴点の第２特徴点候補への方向がなす角度と、の比較結果に基づいて、前記評価情報を生成することを特徴とする。
【０００７】
また、請求項３の発明は、請求項１又は２の発明において、前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは異なる行又は列に位置する文字領域に含まれる第１特徴点であることを特徴とする。
【０００８】
また、請求項４の発明は、請求項１又は２の発明において、前記他の第１特徴点は、前記注目第１特徴点を含む文字領域とは別種の文字に対応する文字領域に含まれる第１特徴点であることを特徴とする。
【０００９】
また、上記課題を解決するための請求項５の発明は、文字に対応する文字領域を複数含む第１画像から抽出された複数の第１特徴点のうちのいずれかである注目第１特徴点につき、第２画像から抽出された複数の第２特徴点のうちで、前記注目第１特徴点に対応する第２特徴点の候補となる第２特徴点候補を、前記注目第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第１特定手段、前記複数の第１特徴点のうちの、前記注目第１特徴点とは異なる文字領域に含まれる他の第１特徴点につき、前記複数の第２特徴点のうちで、第２特徴点候補を、前記他の第１特徴点における画像特徴を示す特徴量と前記複数の第２特徴点の各々における画像特徴を示す特徴量との比較結果に基づいて特定する第２特定手段、前記注目第１特徴点に対する前記他の第１特徴点の相対的な位置と、前記注目第１特徴点の第２特徴点候補に対する前記他の第１特徴点の第２特徴点候補の相対的な位置と、の比較結果に基づいて、前記注目第１特徴点の第２特徴点候補の評価に関する評価情報を生成する評価手段、前記評価情報に応じて、前記注目第１特徴点の第２特徴点候補を、前記注目第１特徴点に対応する第２特徴点として設定する設定手段、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１０】
請求項１、５の発明によれば、第１画像から抽出された特徴点と類似の特徴を有する特徴点が第２画像に複数存在する場合であっても、第１画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができる。
【００１１】
請求項２〜４の発明によれば、本構成を有しない場合と比較して、より高い精度で、第１の画像から抽出された特徴点、に対応する第２の画像の特徴点を特定することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の構成を例示する図である。
【図２Ａ】第１文書画像を例示する図である。
【図２Ｂ】第２文書画像を例示する図である。
【図２Ｃ】文書を例示する図である。
【図３Ａ】特徴点を例示する図である。
【図３Ｂ】特徴点同士が対応付けられる様子を例示する図である。
【図４Ａ】画像処理装置で実行される処理を例示するフロー図である。
【図４Ｂ】画像処理装置で実行される処理を例示するフロー図である。
【図４Ｃ】画像処理装置で実行される処理を例示するフロー図である。
【図５Ａ】第１特徴点を例示する図である。
【図５Ｂ】第２特徴点を例示する図である。
【図６】方向ベクトルｖｉｋ及び角度θｉｋを例示する図である。
【図７】画像処理装置で実現される機能群を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係る画像処理装置２の構成を例示する図である。画像処理装置２は、一般的なコンピュータであり、制御部４、主記憶６、操作入力部８、表示部１０、及びハードディスク１２等を備える。
【００１５】
制御部４は、マイクロプロセッサであり、主記憶６に記憶されるプログラムに従って各種情報処理を実行する。主記憶６は、上記プログラムを格納している。このプログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて主記憶６に格納されてもよいし、ネットワーク等の通信網から供給されて主記憶６に格納されてもよい。また、主記憶６には、情報処理の過程で必要となる各種データも格納される。
【００１６】
操作入力部８は、ユーザが操作入力を行うためのインタフェースであり、例えば、マウス及びキーボードなどである。操作入力部８は、ユーザにより行われた操作入力を示す信号を制御部４へ出力する。また、表示部１０は、ＣＲＴディスプレイ及び液晶ディスプレイなどであり、制御部４から入力される情報を出力する。
【００１７】
ハードディスク１２は、各種情報を記憶する。本実施形態の場合、ハードディスク１２には、ビットマップ画像である第１文書画像１４ａ及び第２文書画像１４ｂが記憶されている。図２Ａに第１文書画像１４ａを例示し、図２Ｂに第２文書画像１４ｂを例示した。斜線された部分は背景を表している。図２Ａ及び図２Ｂに示すように、第１文書画像１４ａには図２Ｃに示す文書の左部分が写り、第２文書画像１４ｂには文書の右部分が写っている。第１文書画像１４ａと第２文書画像１４ｂの両方に写っている部分もある。第１文書画像１４ａ及び第２文書画像１４ｂには、座標軸であるＸ軸とＹ軸とが設定されている。
【００１８】
この画像処理装置２では、第１文書画像１４ａ及び第２文書画像１４ｂのそれぞれから、特徴点が抽出される。図３Ａに、抽出される特徴点の一部を例示した。各点が特徴点を示している。
【００１９】
また、第１文書画像１４ａと第２文書画像１４ｂとの間で、類似の特徴量が得られる特徴点同士が対応付けられるようになっている。すなわち、第１文書画像１４ａから抽出された特徴点の一つ一つにつき、その特徴点に対応する一の特徴点が第２文書画像１４ｂのうちで特定されるようになっている。図３Ｂに、特徴点同士が対応付けられる様子を例示した。
【００２０】
また、互いに対応付けられた特徴点の一方が他方の特徴点と一致するように、第１文書画像１４ａが変形され、変形された第１文書画像１４ａと第２文書画像１４ｂとを合成してなる合成文書画像が生成されるようになっている。図２Ｃに合成文書画像を例示した。
【００２１】
この画像処理装置２では、第１文書画像１４ａから抽出された特徴点と類似の特徴量を示す特徴点が第２文書画像１４ｂに複数存在する場合（例えば、第１文書画像１４ａに含まれる文字（例えば文字「Ｆ」）が第２文書画像１４ｂに複数含まれる場合）でも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになっている。以下、この点について説明する。
【００２２】
図４Ａ、図４Ｂ、及び図４Ｃは、画像処理装置２で実行される処理を例示するフロー図である。同図の処理は、制御部４が上記プログラムに従って動作することで実行される。
【００２３】
まず、制御部４は、第１文書画像１４ａから複数の特徴点Ｐ１（以下、第１特徴点Ｐ１と表記する）と、各特徴点Ｐ１における画像特徴を示す特徴量Ｃ１と、を検出し（Ｓ１０１）、第１特徴点Ｐ１の座標と特徴量Ｃ１とを主記憶６に保存する。本実施形態の場合、制御部４は、ＳＩＦＴ（Scale-Invariant Feature Transform）法により、第１特徴点Ｐ１と特徴量Ｃ１とを検出する。特徴量Ｃ１はいわゆるＳＩＦＴ特徴量であり、１２８次元の多次元ベクトルとして表される。この多次元ベクトルは画像の回転及び拡縮に対して不変である。また、この多次元ベクトルが示す方向のうち代表的なものはオリエンテーションと呼ばれる。オリエンテーションは、二次元ベクトルとして表される。図５Ａに、第１特徴点Ｐ１を例示した。なお、矢印は、オリエンテーションを示している。
【００２４】
また、制御部４は、Ｓ１０１のステップと同様にして第２文書画像１４ｂから複数の特徴点Ｐ２（以下、第２特徴点Ｐ２と表記する）と、各特徴点Ｐ２における画像特徴を示す特徴量Ｃ２と、を検出し（Ｓ１０２）、第２特徴点Ｐ２の座標と特徴量Ｃ２とを主記憶６に保存する。図５Ｂに、第２特徴点Ｐ２を例示した。
【００２５】
また、制御部４は、公知の文字領域検出処理（例えば、Ｍｏｒｐｈｏｌｏｇｙ処理）を行って、第１文書画像に含まれる文字一つ一つに対応する文字領域を特定する（Ｓ１０３）。例えば、制御部４は、ある文字の外接矩形が占める領域をその文字に対応する文字領域として特定する。また、制御部４は、第１文書画像に含まれる文字一つ一つを認識する。
【００２６】
また、制御部４は、主記憶６から、いずれかの文字領域に含まれる第１特徴点Ｐ１ｉ（ｉ＝１〜Ｎ１）と、その第１特徴点Ｐ１ｉにおける特徴量Ｃ１ｉを読み出す（Ｓ１０４）。第１特徴点Ｐ１ｉ（ｉ＝１〜Ｎ１）が「複数の第１特徴点」に相当する。
【００２７】
また、制御部４は、Ｓ１０３のステップと同様にして、第２文書画像１４ｂに含まれる文字一つ一つに対応する文字領域を特定する（Ｓ１０５）。また、制御部４（第２特徴取得手段）は、主記憶６から、いずれかの文字領域に含まれる第２特徴点Ｐ２ｌ（ｌ＝１〜Ｎ２）と、その第２特徴点Ｐ２ｌにおける特徴量Ｃ２ｌを読み出す（Ｓ１０６）。第２特徴点Ｐ２ｌ（ｌ＝１〜Ｎ２）が「複数の第２特徴点」に相当する。
【００２８】
そして、制御部４は、第１特徴点Ｐ１ｉの各々を処理対象にして、以下の処理を実行する。なお、処理対象となっている第１特徴点Ｐ１ｉが「注目第１特徴点」に相当する。
【００２９】
すなわち、制御部４（第１特定手段）は、複数の第２特徴点Ｐ２ｌのうちで、第１特徴点Ｐ１ｉに対応する第２特徴点Ｐ２の候補となる第２特徴点候補Ｐ２ｊを特定する（Ｓ１０７）。具体的には、制御部４は、第２特徴点Ｐ２ｌの一つ一つについて、その第２特徴点Ｐ２ｌにおける特徴量Ｃ２ｌ（上記多次元ベクトル）と、特徴量Ｃ１ｉ（上記多次元ベクトル）と、のユークリッド距離を算出し、ユークリッド距離が閾値以下である第２特徴点Ｐ２ｌを第２特徴点候補Ｐ２ｊとして特定する。
【００３０】
そして、制御部４は、第２特徴点候補Ｐ２ｊの数Ｎ３が「１」であるか否かを判定する（Ｓ１０８）。第２特徴点候補Ｐ２ｊの数Ｎ３が「１」である場合（Ｓ１０８のＹｅｓ）、制御部４は、第２特徴点候補Ｐ２ｊを、第１特徴点Ｐ１ｉに対応する第２特徴点Ｐ２として設定する（Ｓ１２０）。具体的には、制御部４は、第１特徴点Ｐ１ｉと、第２特徴点候補Ｐ２ｊと、をグループ化する。
【００３１】
一方、第２特徴点候補Ｐ２ｊが複数特定された場合（Ｓ１０８のＮｏ）、制御部４は、第１特徴点Ｐ１ｉを含む文字領域から所定距離内に位置する文字領域のうち、第１特徴点Ｐ１ｉを含む文字領域とは別種の文字を含む文字領域を特定する（Ｓ１０９）。例えば、図５Ａに示す第１文書画像１４ａの場合において、上方にある文字「Ｆ」から検出された第１特徴点Ｐ１が処理対象の第１特徴点Ｐ１ｉである場合を想定する。この場合、第２文書画像１４ｂに含まれる２つの文字「Ｆ」それぞれから検出された２つの第２特徴点Ｐ２が、第２特徴点候補Ｐ２ｊとして特定される。従って、Ｓ１０９のステップで、上方の文字「Ｆ」を囲む文字領域の周辺に位置する文字領域（すなわち、文字「Ａ」、「Ｂ」、「Ｃ」、「Ｅ」、「Ｇ」、「Ｉ」、「Ｊ」、及び「Ｋ」のそれぞれを囲む文字領域）のうち、文字「Ｆ」とは異なる文字「Ａ」、「Ｂ」、「Ｃ」、「Ｅ」、「Ｇ」、「Ｉ」、「Ｊ」、及び「Ｋ」のそれぞれを囲む文字領域が特定されることになる。結果的に、上方の文字「Ｆ」を囲む文字領域とは異なる行又は列に位置する文字領域が特定されることにもなる。
【００３２】
そして、制御部４は、複数の第１特徴点Ｐ１ｉのうちで、Ｓ１０９で特定された文字領域のいずれかに含まれる第１特徴点Ｐ１ｋ（ｋ＝１〜Ｎ４）を特定する（Ｓ１１０）。例えば、図５Ａに示す場合、文字「Ｃ」から検出された第１特徴点Ｐ１と文字「Ｃ」から検出された第１特徴点Ｐ１とが第１特徴点Ｐ１ｋ（他の第１特徴点）として特定される。
【００３３】
そして、制御部４は、第２特徴点候補Ｐ２ｊ（ｊ＝１〜Ｎ３）それぞれの評価値Ｖｊ（ｊ＝１〜Ｎ３）を「０」に初期化し（Ｓ１１１）、第１特徴点Ｐ１ｋの各々につき、以下の処理を実行する。
【００３４】
すなわち、制御部４（第２特定手段）は、Ｓ１０７のステップと同様の処理を行って、複数の第２特徴点Ｐ２ｌのうちで、第１特徴点Ｐ１ｋに対応する第２特徴点Ｐ２の候補となる第２特徴点候補Ｐ２ｍ（ｍ＝１〜Ｎ５）を特定する（Ｓ１１２）。また、制御部４は、第１特徴点Ｐ１ｉ（注目第１特徴点）から第１特徴点Ｐ１ｋ（他の第１特徴点）までの方向ベクトルｖｉｋを算出する（Ｓ１１３）。また、制御部４は、Ｓ１１３のステップで、第１特徴点Ｐ１ｉと第１特徴点Ｐ１ｋとの距離ｄｉｋも算出する。
【００３５】
そして、制御部４は、第１特徴点Ｐ１ｉ（注目第１特徴点）における特徴量Ｃ１ｉが示すオリエンテーションに対して方向ベクトルｖｉｋがなす時計回りの角度θｉｋを算出する（Ｓ１１４）。図６に、第１文書画像１４ａの上方の文字「Ｆ」が第１特徴点Ｐ１ｉであり、且つ、文字「Ｆ」の右上の文字「Ｃ」が第１特徴点Ｐ１ｋである場合における、方向ベクトルｖｉｋ及び角度θｉｋを例示した。なお、図６に示す太字の矢印は、オリエンテーションを示している。
【００３６】
そして、制御部４は、第２特徴点候補Ｐ２ｊ（ｊ＝１〜Ｎ３）と第２特徴点候補Ｐ２ｍ（ｍ＝１〜Ｎ５）との組み合わせの各々につき、以下の処理を実行する。
【００３７】
すなわち、制御部４は、第２特徴点候補Ｐ２ｊ（注目第１特徴点の第２特徴点候補）から第２特徴点候補Ｐ２ｍ（他の第１特徴点の第２特徴点候補）までの方向ベクトルｖｊｍを算出する（Ｓ１１５）。また、制御部４は、Ｓ１１５のステップにおいて、第２特徴点候補Ｐ２ｊと第２特徴点候補Ｐ２ｍとの距離ｄｊｍも算出する。
【００３８】
また、制御部４は、第２特徴点Ｐ２ｊ候補（注目第１特徴点の第２特徴点）における特徴量Ｃ２ｊが示すオリエンテーションに対して方向ベクトルｖｊｍがなす時計回りの角度θｊｍを算出する（Ｓ１１６）。
【００３９】
そして、制御部４は、角度θｉｋと角度θｊｍとの差Δθが閾値角度以下であるか否か、及び、距離ｄｉｋと距離ｄｊｍとの差Δｄが閾値距離以下であるか否か、を判定する（Ｓ１１７）。差Δθが閾値角度以下であり且つ差Δｄが閾値距離以下である場合（Ｓ１１７のＹｅｓ）、制御部４（評価手段）は、評価値Ｖｊを「１」だけインクリメントする（Ｓ１１８）。なお、制御部４は、Ｓ１１７において、角度θｉｋと角度θｊｍとの差Δθが閾値角度以下であるか否かのみ判定し、角度θｉｋと角度θｊｍとの差Δθが閾値角度以下である場合に、Ｓ１１８において、評価値Ｖｊを「１」だけインクリメントしてもよい。
【００４０】
こうして、第２特徴点候補Ｐ２ｊ（ｊ＝１〜Ｎ３）の各々につきその評価値Ｖｊを決定すると、制御部４（設定手段）は、評価値Ｖｊが最大の第２特徴点候補Ｐ２ｊを、第１特徴点Ｐ１ｊに対応する第２特徴点Ｐ２として設定する（Ｓ１１９）。すなわち、制御部４は、第１特徴点Ｐ１ｊと、評価値Ｖｊが最大の第２特徴点候補Ｐ２ｊと、をグループ化する。
【００４１】
こうして、第１特徴点Ｐ１ｉの各々につき、対応する第２特徴点Ｐ２を設定すると、制御部４は、主記憶６から、いずれの文字領域にも含まれない第１特徴点Ｐ１ｎ（ｎ＝１〜Ｎ６）と、その第１特徴点Ｐ１ｎにおける特徴量Ｃ１ｎを読み出す（Ｓ１２１）。また、制御部４は、主記憶６から、いずれの文字領域にも含まれない第２特徴点Ｐ２ｑ（ｑ＝１〜Ｎ７）と、その第２特徴点Ｐ２ｑにおける特徴量Ｃ２ｑを読み出す（Ｓ１２２）。なお、Ｓ１２１及びＳ１２２のステップは、例えば図形が描かれている領域から抽出された特徴点の取得を意図するものである。
【００４２】
そして、制御部４は、第１特徴点Ｐ１ｎの各々につき、以下の処理を実行する。
【００４３】
すなわち、制御部４は、Ｓ１０７のステップと同様にして、複数の第２特徴点Ｐ２ｑのうちで、第１特徴点Ｐ１ｎの第２特徴点候補Ｐ２を特定する（Ｓ１２３）。図形が描かれている領域から類似の画像特徴を示す特徴量が複数抽出されることはないので、Ｓ１２３のステップでは、通常、１つの第１特徴点Ｐ１ｎにつき１つの第２特徴点候補Ｐ２が特定される。
【００４４】
そこで、制御部４は、制御部４は、Ｓ１２３のステップで特定した第２特徴点候補Ｐ２を、第１特徴点Ｐ１ｎに対応する第２特徴点Ｐ２として設定する（Ｓ１２４）。
【００４５】
図４Ａ〜図４Ｃに示す処理により、第１文書画像１４ａから抽出された第１特徴点Ｐ１の一つ一つについて対応する第２特徴点Ｐ２が決定されると、制御部４は、各第１特徴点Ｐ１が、対応する第２特徴点Ｐ２に一致するようにするための変形パラメータを算出する。そして、制御部４は、変形パラメータを用いて第１文書画像１４ａを変形し、変形した第１文書画像１４ａと第２文書画像１４ｂとを合成してなる合成文書画像（図２Ｃ参照）を生成することになる。
【００４６】
この画像処理装置２では、各第１特徴点Ｐ１につき、その第１特徴点Ｐ１と類似の画像特徴を示す第２特徴点Ｐ２が第２特徴点候補として特定される。そして、或る第１特徴点Ｐ１（以下、注目第１特徴点Ｐ１と表記する）の第２特徴点候補が複数存在する場合には、注目第１特徴点Ｐ１に対する他の第１特徴点Ｐ１の相対的位置と、「注目第１特徴点Ｐ１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ１の第２特徴点候補」の相対的位置と、の比較結果に基づいて、注目第１特徴点Ｐ１の第２特徴点候補のうちから注目第１特徴点Ｐ１に対応する第２特徴点Ｐ２が選択される。そのため、第１文書画像１４ａから抽出された特徴点と類似の特徴を示す特徴点が第１文書画像１４ｂから複数抽出された場合でも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになる。
【００４７】
また、注目第１特徴点Ｐ１に対する他の第１特徴点Ｐ１の相対的位置が、「注目第１特徴点Ｐ１におけるオリエンテーション」に対する「注目第１特徴点Ｐ１から他の第１特徴点Ｐ１まで方向」の回転角度として表現される。また、「注目第１特徴点Ｐ１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ１の第２特徴点候補」の相対的位置が、「注目第１特徴点Ｐ１の第２特徴点候補におけるオリエンテーション」に対する「「注目第１特徴点Ｐ１の第２特徴点候補から上記他の第１特徴点Ｐ１の第２特徴点候補までの方向」の回転角度として表現される。従って、第１文書画像１４ａの向きとは無関係に、注目第１特徴点Ｐ１に対する他の第１特徴点Ｐ１の相対的位置が評価される。同様に、第２文書画像１４ｂの向きとは無関係に、「注目第１特徴点Ｐ１の第２特徴点候補」に対する「上記他の第１特徴点Ｐ１の第２特徴点候補」の相対的位置が評価される。この点からも、第１文書画像１４ａから抽出された特徴点、に対応する一の特徴点が高い精度で特定されるようになる。
【００４８】
なお、第１文書画像１４ａの向きと第２文書画像１４ｂの向きとが同じであるならば、第１特徴点Ｐ１ｉに対する第１特徴点Ｐ１ｋの相対的位置を示す情報として方向ベクトルｖｉｋ（Ｓ１１３参照）を用い、かつ、「第１特徴点Ｐ１ｉの第２特徴点候補Ｐ２ｊに対する第１特徴点Ｐ１ｋの第２特徴点候補Ｐ２ｍの相対的位置」を示す情報として方向ベクトルｖｊｍ（Ｓ１１５参照）を用いてもよい。この場合、制御部４は、Ｓ１１７のステップにおいて方向ベクトルｖｉｋと方向ベクトルｖｊｍとがなす角度が閾値以下であるか否かを判定し、方向ベクトルｖｉｋと方向ベクトルｖｊｍとがなす角度が閾値以下である場合に、Ｓ１１８のステップの処理を実行すればよい。
【００４９】
図７は、画像処理装置２で実現される機能群を示す機能ブロック図である。同図に示すように、画像処理装置２では、第１特徴点取得部１６、第２特徴点取得部１８、マッチング２０、第２特徴点候補特定部２２、相対位置算出部２４、評価部２６、設定部２８、パラメータ算出部３０、幾何変換部３２、及び合成部３４が実現される。これらの機能は、制御部４が上記プログラムに従って動作することで実現される。
【００５０】
第１特徴点取得部１６は、第１文書画像１４ａ内のいずれかの文字領域に含まれる複数の第１特徴点Ｐ１ｉと、これらの第１特徴点Ｐ１ｉにおける特徴量Ｃ１ｉと、を取得する（Ｓ１０４参照）。また、第２特徴点取得部１８は、第２文書画像１４ｂ内のいずれかの文字領域に含まれる複数の第２特徴点Ｐ２ｌと、これらの第２特徴点Ｐ２ｌにおける特徴量Ｃ２ｌと、を取得する（Ｓ１０６参照）。
【００５１】
マッチング部２０は、第１特徴点Ｐ１ｉの各々につき、複数の第２特徴点Ｐ２ｌのうち一の第２特徴点Ｐ２を、当該第１特徴点Ｐ１ｉに対応する一の第２特徴点Ｐ２として設定する。すなわち、マッチング部２０は、第１特徴点Ｐ１ｉの一つ一つを注目第１特徴点Ｐ１ｉとして以下の処理を実行する。
【００５２】
すなわち、第２特徴点候補特定部２２は、注目第１特徴点Ｐ１ｉの第２特徴点候補Ｐ２ｊを、注目第１特徴点Ｐ１ｉにおける特徴量Ｃ１ｉと各第２特徴点Ｐ２ｌにおける特徴量Ｃ２ｌとの比較結果に基づいて特定する（Ｓ１０７参照）。また、第２特徴点候補特定部２２は、「複数の第１特徴点Ｐ１ｉのうちの、注目第１特徴点Ｐ１とは異なる文字領域に含まれる第１特徴点Ｐ１ｋ」の第２特徴点候補Ｐ２ｍを、第１特徴点Ｐ１ｋにおける特徴量Ｃ１ｋと各第２特徴点Ｐ２ｌにおける特徴量Ｃ２ｌとの比較結果に基づいて特定する（Ｓ１１２参照）。
【００５３】
また、相対位置算出部２４は、注目第１特徴点Ｐ１ｉに対する第１特徴点Ｐ１ｋの相対位置を算出する。また、相対位置算出部２４は、「注目第１特徴点Ｐ１ｉの第２特徴点候補Ｐ２ｊ」に対する「第１特徴点Ｐ１ｋの第２特徴点候補Ｐ２ｍ」の相対位置も算出する。本実施形態の場合、相対位置算出部２４は、角度θｉｋ及び角度θｊｍを算出する（Ｓ１１４及びＳ１１６参照）。
【００５４】
また、評価部２６は、両相対位置の比較結果に基づいて、注目第１特徴点Ｐ１ｉの第２特徴点候補Ｐ２ｊの評価に関する評価値Ｖｊを生成する（Ｓ１１７及びＳ１１８参照）。そして、設定部２８が、評価値Ｖｊに応じて、第２特徴点候補Ｐ２ｊを、注目第１特徴点Ｐ１ｉに対応する第２特徴点Ｐ２として設定する（Ｓ１１９）。
【００５５】
なお、パラメータ算出部３０は、各第１特徴点Ｐ１が、対応する第２特徴点Ｐ２に一致するように第１文書画像１４ａを変形するための変形パラメータ（幾何変換パラメータ）を算出する。また、幾何変換部３２は、変形パラメータを用いて第１文書画像１４ａを幾何変換し、合成部３４が、幾何変換された第１文書画像１４ａと、第２文書画像１４ｂと、を合成してなる合成文書画像（図２Ｃ参照）を生成することとなる。
【００５６】
なお、本発明の実施形態は、上記実施形態だけに限らない。
【００５７】
例えば、特徴量はＳＵＲＦ（Speeded Up Robust Features）法により取得されるＳＵＲＦ特徴量であってもよい。
【符号の説明】
【００５８】
２  画像処理装置、４  制御部、６  主記憶、８  操作入力部、１０  表示部、１２  ハードディスク、１４ａ  第１文書画像、１４ｂ  第２文書画像、１６  第１特徴点取得部、１８  第２特徴点取得部、２０  マッチング部、２２  第２特徴点候補特定部、２４  相対位置算出部、２６  評価部、２８  設定部、３０  パラメータ算出部、３２  幾何変換部、３４  合成部、Ｐ１  第１特徴点、Ｐ２  第２特徴点。
【図１】
0005821598.tif 000002
【図２Ａ】
0005821598.tif 000003
【図２Ｂ】
0005821598.tif 000004
【図２Ｃ】
0005821598.tif 000005
【図３Ａ】
0005821598.tif 000006
【図３Ｂ】
0005821598.tif 000007
【図４Ａ】
0005821598.tif 000008
【図４Ｂ】
0005821598.tif 000009
【図４Ｃ】
0005821598.tif 000010
【図５Ａ】
0005821598.tif 000011
【図５Ｂ】
0005821598.tif 000012
【図６】
0005821598.tif 000013
【図７】
0005821598.tif 000014