(57)【特許請求の範囲】
【請求項１】
比較対象となる二つの画像の性状に関する情報を取得する性状情報取得手段と、
前記取得される性状に関する情報に応じて、前記二つの画像の位置合わせを行う際の処理方式を決定する処理方式決定手段と、
前記決定される処理方式に従って、前記二つの画像のそれぞれに含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う位置合わせ手段と、
を有し、
前記性状情報取得手段は、前記性状に関する情報として、前記二つの画像の種別が、文字列を含む文書画像、線分を含む線画像、及び絵柄を表す絵柄画像のいずれであるかを示す情報を取得し、
前記画像の種別と、前記特徴点の種類とはそれぞれ互いに対応し、
前記処理方式決定手段は、前記取得される画像の種別を示す情報に対応する特徴点の種類を、前記位置合わせ手段が検出する特徴点の種類として選択することを特徴とする画像処理装置。
【請求項２】
画像の種別を示す情報と、位置合わせを行う際の処理方式と、を関連づける情報を記憶する情報記憶手段をさらに含み、
前記処理方式決定手段は、前記取得される画像の種別を示す情報に関連づけて前記情報記憶手段に記憶されている処理方式を、前記二つの画像の位置合わせを行う際の処理方式として決定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理方式決定手段は、前記取得される性状に関する情報に応じて、前記位置合わせ手段が特徴点を検出する際に使用する変数を決定し、
前記位置合わせ手段は、前記決定される変数を使用して特徴点を検出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理方式決定手段は、前記取得される性状に関する情報に応じて、前記位置合わせ手段が位置合わせを行う際の処理方式の複数の候補と、当該各処理方式の候補に対する優先順位と、を決定し、
前記位置合わせ手段は、前記決定される優先順位が示す順序により前記複数の候補の中から決定される処理方式に従って、前記二つの画像の位置合わせを行う
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記性状情報取得手段は、前記二つの画像のそれぞれを互いに性状の異なる複数の領域に分割し、当該分割された各領域の位置及び性状に関する情報を取得し、
前記処理方式決定手段は、前記分割された各領域について、当該領域の性状に関する情報に応じて、当該領域に含まれる特徴点を検出する際の処理方式を決定し、
前記位置合わせ手段は、前記分割された各領域に含まれる特徴点を、当該領域について前記処理方式決定手段が決定した処理方式に従って検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記処理方式決定手段は、前記分割された複数の領域の中から、前記各領域の性状に関する情報に応じて、特徴点検出の対象とする検出対象領域を選択し、
前記位置合わせ手段は、前記選択される検出対象領域に含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記処理方式決定手段は、前記分割された各領域の性状に関する情報に応じて、当該各領域に対する特徴点検出の優先順位を決定し、
前記位置合わせ手段は、前記決定される優先順位が示す順序に従って、前記各領域に含まれる特徴点の検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う
ことを特徴とする請求項５又は６記載の画像処理装置。
【請求項８】
比較対象となる二つの画像の性状に関する情報を取得する性状情報取得手段、
前記取得される性状に関する情報に応じて、前記二つの画像の位置合わせを行う際の処理方式を決定する処理方式決定手段、及び
前記決定される処理方式に従って、前記二つの画像のそれぞれに含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う位置合わせ手段、
としてコンピュータを機能させるためのプログラムであって、
前記性状情報取得手段は、前記性状に関する情報として、前記二つの画像の種別が、文字列を含む文書画像、線分を含む線画像、及び絵柄を表す絵柄画像のいずれであるかを示す情報を取得し、
前記画像の種別と、前記特徴点の種類とはそれぞれ互いに対応し、
前記処理方式決定手段は、前記取得される画像の種別を示す情報に対応する特徴点の種類を、前記位置合わせ手段が検出する特徴点の種類として選択するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
二つの画像を比較して、両者の差分を抽出する差分抽出技術がある（例えば特許文献１参照）。差分抽出技術は、例えば紙に印刷された文書に対して後から書き込みがされた場合に、この書き込みがされた箇所を検出するなどの用途に利用される。
【０００３】
このように二つの画像の比較が行われる場合、例えばイメージスキャナ等の画像読み取り装置が、紙などの媒体に形成された画像を読み取ることによって、比較処理を行う画像処理装置に比較対象となる画像を入力する。この場合、画像読み取り装置の読み取り面に対する媒体の位置のずれなどが原因で、比較対象となる二つの画像の間で位置ずれや位置の歪みが生じることがある。そこで画像処理装置は、二つの画像の間で位置合わせ処理を行う。位置合わせ処理の具体例として、画像処理装置は、例えば線分の端点や、画像内の文字を囲む矩形領域の代表点など、比較対象となる画像内における当該画像の特徴的な箇所を示す点（特徴点）の位置を一致させる処理を実行する。これにより、画像処理装置は、二つの画像の間で位置ずれや位置歪みが生じている場合などであっても、その影響を除去して、両者を比較することができる。
【特許文献１】特開２００４−３４１９１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した例などにおいて比較対象となる画像には、例えば文字列を中心とした文書画像、表や図面などの線を中心とした線画像、あるいは写真画像など、様々な性状のものがある。また、１つの画像の中のある領域は写真を表し、ある領域は文章を表すなど、領域ごとにその性状が異なる画像もある。このような画像の性状の違いによって、例えば特徴点を正確に検出できなかったり、位置合わせ処理を実行するために十分な数の特徴点を検出できなかったりするなどの問題が生じ、精度よく位置合わせができない場合がある。
【０００５】
本発明の目的の一つは、比較対象となる画像の位置合わせを行う場合に、画像の性状に応じた処理方式で位置合わせを行うことのできる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、画像処理装置であって、比較対象となる二つの画像の性状に関する情報を取得する性状情報取得手段と、前記取得される性状に関する情報に応じて、前記二つの画像の位置合わせを行う際の処理方式を決定する処理方式決定手段と、前記決定される処理方式に従って、前記二つの画像のそれぞれに含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う位置合わせ手段と、を有し、前記性状情報取得手段は、前記性状に関する情報として、前記二つの画像の種別が、文字列を含む文書画像、線分を含む線画像、及び絵柄を表す絵柄画像のいずれであるかを示す情報を取得し、前記画像の種別と、前記特徴点の種類とはそれぞれ互いに対応し、前記処理方式決定手段は、前記取得される画像の種別を示す情報に対応する特徴点の種類を、前記位置合わせ手段が検出する特徴点の種類として選択することを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の画像処理装置であって、画像の種別を示す情報と、位置合わせを行う際の処理方式と、を関連づける情報を記憶する情報記憶手段をさらに含み、前記処理方式決定手段は、前記取得される画像の種別を示す情報に関連づけて前記情報記憶手段に記憶されている処理方式を、前記二つの画像の位置合わせを行う際の処理方式として決定することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は２に記載の画像処理装置であって、前記処理方式決定手段は、前記取得される性状に関する情報に応じて、前記位置合わせ手段が特徴点を検出する際に使用する変数を決定し、前記位置合わせ手段は、前記決定される変数を使用して特徴点を検出することを特徴とする。
【００１０】
請求項４記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置であって、前記処理方式決定手段は、前記取得される性状に関する情報に応じて、前記位置合わせ手段が位置合わせを行う際の処理方式の複数の候補と、当該各処理方式の候補に対する優先順位と、を決定し、前記位置合わせ手段は、前記決定される優先順位が示す順序により前記複数の候補の中から決定される処理方式に従って、前記二つの画像の位置合わせを行うことを特徴とする。
【００１１】
請求項５記載の発明は、請求項１記載の画像処理装置であって、前記性状情報取得手段は、前記二つの画像のそれぞれを互いに性状の異なる複数の領域に分割し、当該分割された各領域の位置及び性状に関する情報を取得し、前記処理方式決定手段は、前記分割された各領域について、当該領域の性状に関する情報に応じて、当該領域に含まれる特徴点を検出する際の処理方式を決定し、前記位置合わせ手段は、前記分割された各領域に含まれる特徴点を、当該領域について前記処理方式決定手段が決定した処理方式に従って検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行うことを特徴とする。
【００１２】
請求項６記載の発明は、請求項５記載の画像処理装置であって、前記処理方式決定手段は、前記分割された複数の領域の中から、前記各領域の性状に関する情報に応じて、特徴点検出の対象とする検出対象領域を選択し、前記位置合わせ手段は、前記選択される検出対象領域に含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行うことを特徴とする。
【００１３】
請求項７記載の発明は、請求項５又は６記載の画像処理装置であって、前記処理方式決定手段は、前記分割された各領域の性状に関する情報に応じて、当該各領域に対する特徴点検出の優先順位を決定し、前記位置合わせ手段は、前記決定される優先順位が示す順序に従って、前記各領域に含まれる特徴点の検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行うことを特徴とする。
【００１４】
請求項８記載の発明は、比較対象となる二つの画像の性状に関する情報を取得する性状情報取得手段、前記取得される性状に関する情報に応じて、前記二つの画像の位置合わせを行う際の処理方式を決定する処理方式決定手段、及び前記決定される処理方式に従って、前記二つの画像のそれぞれに含まれる特徴点を検出し、当該検出した特徴点が略一致するように、前記二つの画像の位置合わせを行う位置合わせ手段、としてコンピュータを機能させるためのプログラムであって、前記性状情報取得手段は、前記性状に関する情報として、前記二つの画像の種別が、文字列を含む文書画像、線分を含む線画像、及び絵柄を表す絵柄画像のいずれであるかを示す情報を取得し、前記画像の種別と、前記特徴点の種類とはそれぞれ互いに対応し、前記処理方式決定手段は、前記取得される画像の種別を示す情報に対応する特徴点の種類を、前記位置合わせ手段が検出する特徴点の種類として選択するプログラムである。
【発明の効果】
【００１５】
請求項１及び９記載の発明によれば、画像の性状に応じた処理方式で、二つの画像の間の位置合わせを行うことができる。
【００１６】
請求項２記載の発明によれば、画像の種別に応じた処理方式で、二つの画像の間の位置合わせを行うことができる。
【００１７】
請求項３記載の発明によれば、画像の性状に応じた種類の特徴点を検出することにより、特徴点を検出しやすくすることができる。
【００１８】
請求項４記載の発明によれば、画像の性状に応じた変数を使用して特徴点を検出することにより、特徴点検出の精度を向上できる。
【００１９】
請求項５記載の発明によれば、画像の性状に応じて、より適していると推定される処理方式を優先的に用いて位置合わせを行うことにより、位置合わせ処理の効率を向上できる。
【００２０】
請求項６記載の発明によれば、画像に含まれる複数の領域それぞれの性状に応じた処理方式で、二つの画像の間の位置合わせを行うことができる。
【００２１】
請求項７記載の発明によれば、画像に含まれる複数の領域それぞれの性状に応じて、特徴点を検出しやすいと推定される領域から特徴点を検出することにより、特徴点検出の効率を向上できる。
【００２２】
請求項８記載の発明によれば、画像に含まれる複数の領域それぞれの性状に応じて、特徴点を検出しやすいと推定される領域から優先的に特徴点を検出することにより、特徴点検出の効率を向上できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１は、例えばパーソナルコンピュータ等であって、図１に示すように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５と、を含んで構成されている。また、画像処理装置１は、画像読み取り装置２に接続されている。
【００２４】
制御部１１は、ＣＰＵ等であって、記憶部１２に格納されるプログラムに従って各種の情報処理を実行する。本実施形態において、制御部１１は、比較対象となる二つの画像に対して差分抽出処理を実行する。制御部１１が実行する処理の具体例については、後述する。
【００２５】
記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子、ハードディスクなどを含んで構成される。記憶部１２は、制御部１１によって実行されるプログラムや、各種のデータを保持する。また、記憶部１２は、制御部１１のワークメモリとしても動作する。
【００２６】
操作部１３は、例えばキーボードやマウス等であり、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、例えばディスプレイ装置等であり、制御部１１からの指示に従って、情報の表示を行う。
【００２７】
インタフェース部１５は、例えばＵＳＢ（Universal Serial Bus）規格などの通信インタフェースであって、制御部１１と画像読み取り装置２との間のデータの送受信を中継する。画像読み取り装置２は、イメージスキャナ等であって、紙などの媒体上に形成されている画像を読み取って、電子データとして画像処理装置１に対して出力する。
【００２８】
以下、本実施形態において画像処理装置１が実現する機能について、説明する。画像処理装置１は、機能的に、図２に示すように、性状情報取得部２１と、処理方式決定部２２と、位置合わせ処理部２３と、差分抽出処理部２４と、を含んで構成される。これらの機能は、例えば制御部１１が記憶部１２に格納されたプログラムを実行することによって実現できる。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信手段を介して提供されてもよい。
【００２９】
性状情報取得部２１は、まず比較対象となる二つの画像（比較対象画像）を取得する。そして、取得した比較対象画像について、その性状に関する情報（以下、性状情報という）を取得する。比較対象となる一方の画像Ｉ１は、変更前の画像（元画像）であって、他方の画像Ｉ２は、画像Ｉ１に対して加筆、修正等が施された変更後の画像である。
【００３０】
例えば性状情報取得部２１は、画像読み取り装置２が読み取った画像を比較対象画像として取得する。すなわち、画像読み取り装置２は、紙などの媒体に形成されている画像を読み取って、読み取った画像のデータを画像処理装置１に対して出力する。性状情報取得部２１は、この画像読み取り装置２が出力する画像を比較対象画像として取得する。また、性状情報取得部２１は、記憶部１２に記憶されている画像や、通信ネットワークを介して他の情報処理装置から送信される画像などを比較対象画像として取得してもよい。
【００３１】
さらに性状情報取得部２１は、取得された画像Ｉ１及びＩ２の少なくとも一方について、その性状情報を取得する。性状情報は、画像の特徴や性質に関する情報であって、例えば画像の種別を示す情報である。あるいは、画像が互いに性状の異なる複数の領域を含んで構成される場合（例えば写真を表す領域や文章を表す領域が一つの画像内に混在している場合）、当該画像の性状情報は、このような領域それぞれの位置（範囲）を示す情報と、当該領域内の画像の性状に関する情報と、を含んでもよい。
【００３２】
処理方式決定部２２は、性状情報取得部２１が取得した性状情報に応じて、二つの画像Ｉ１及びＩ２の位置合わせを行う際の処理方式を決定する。例えば処理方式決定部２２は、後述する位置合わせ処理部２３が画像Ｉ１及び画像Ｉ２の中から画像の特徴点を検出する処理を実行する際の、検出すべき特徴点の種類や、特徴点検出の対象とする領域（検出対象領域）などを決定する。さらに、処理方式決定部２２は、位置合わせ処理の際に使用される変数（処理のパラメタ）を性状情報に応じて決定してもよい。
【００３３】
また、処理方式決定部２２は、性状情報に応じて、位置合わせ処理部２３が位置合わせを行う際の処理方式の複数の候補と、当該各処理方式の候補に対する優先順位と、を決定してもよい。この場合、優先順位の高い処理方式による位置合わせ処理が失敗した場合には、処理方式決定部２２は、優先順位がより低い処理方式を新たな処理方式として決定する。なお、処理方式決定部２２が性状情報に応じて決定する処理方式の具体例については、後に詳述する。
【００３４】
位置合わせ処理部２３は、処理方式決定部２２によって決定される処理方式に従って、二つの画像Ｉ１及びＩ２の位置合わせ処理を行う。具体的に、位置合わせ処理部２３は、画像Ｉ１及びＩ２のそれぞれに含まれる特徴点を検出する。そして、当該検出した特徴点が略一致するように、二つの画像の少なくとも一方に対して幾何変換を行う。本実施形態において、位置合わせ処理部２３は、機能的に図３に示すように、特徴点検出部２３ａと、対応特徴点特定部２３ｂと、変換係数算出部２３ｃと、画像変換部２３ｄと、を含んで構成される。これらの機能によって、位置合わせ処理部２３は画像Ｉ１と画像Ｉ２の間の位置合わせ処理を実現する。
【００３５】
特徴点検出部２３ａは、画像Ｉ１及びＩ２のそれぞれに含まれる特徴点を検出する。ここで特徴点は、画像Ｉ１及びＩ２の特徴的な箇所を示す各画像内の点であって、例えば線分の端点や、画像内の文字に外接する矩形領域の代表点などである。なお、特徴点検出部２３ａは、原則として画像Ｉ１と画像Ｉ２の双方に対して同じ処理方式で特徴点の検出を行う。
【００３６】
対応特徴点特定部２３ｂは、特徴点検出部２３ａが画像Ｉ１から検出した特徴点と、画像Ｉ２から検出した特徴点と、の間の対応関係を特定する。すなわち、対応特徴点特定部２３ｂは、それぞれの画像内において互いに同じ位置にあるべき特徴点の組み合わせを決定する。具体的に、例えば対応特徴点特定部２３ｂは、検出された特徴点のうち、それぞれの画像内における位置が所定範囲内で一致し、かつ特徴点の周囲の画素分布が類似する特徴点同士を、対応する特徴点として特定する。
【００３７】
変換係数算出部２３ｃは、対応特徴点特定部２３ｂによって互いに対応すると特定された特徴点同士の画像内における位置が略一致するように、画像Ｉ１及び画像Ｉ２のいずれか、又は両方に対する幾何変換の変換係数を算出する。そして、画像変換部２３ｄは、変換係数算出部２３ｃによって算出された変換係数に基づいて、画像Ｉ１及び画像Ｉ２の少なくとも一方に対して幾何変換を行う。ここで幾何変換は、例えばアフィン変換などであって、画像を平行移動させたり、回転させたり、画像の歪みを補正したりする画像処理である。これにより、二つの画像Ｉ１及びＩ２は、互いに対応する特徴点同士が所定の精度の範囲内で一致するように変換される。
【００３８】
以上の処理において、位置合わせ処理部２３は、処理方式決定部２２によって決定される処理方式に従って位置合わせ処理を行う。具体例として、特徴点検出部２３ａは、処理方式決定部２２によって検出対象領域として決定された領域の中から、処理方式決定部２２によって決定された種類の特徴点を検出する。
【００３９】
また、処理方式決定部２２が処理方式の複数の候補を決定している場合、位置合わせ処理部２３は、処理方式決定部２２により決定される優先順位が示す順序により、複数の候補の中から決定される処理方式に従って、二つの画像の位置合わせを行う。すなわち、位置合わせ処理部２３は、まず優先順位の高い処理方式により位置合わせ処理を行う。そして、当該処理方式による位置合わせ処理に失敗した場合には、より優先順位の低い処理方式により、位置合わせ処理を行う。
【００４０】
差分抽出処理部２４は、位置合わせ処理部２３によって位置合わせ処理がなされた画像Ｉ１と画像Ｉ２とを比較し、互いに相違する差分箇所を抽出する。具体例として、差分抽出処理部２４は、各画像内において同じ位置にある画素同士について、その画素値が互いに一致するか否かを判定する。そして、画素値が異なる画素を、差分箇所として抽出する。
【００４１】
以下、画像処理装置１が実行する処理のいくつかの具体例について、説明する。まず第１の例として、性状情報取得部２１が比較対象画像の種別を示す情報を性状情報として取得する場合の例について、図４のフロー図に基づいて説明する。
【００４２】
まず、性状情報取得部２１が、比較対象画像として画像Ｉ１及びＩ２を取得する（Ｓ１）。そして、取得した比較対象画像の一方に対して、画像の種別判定を行う（Ｓ２）。
【００４３】
具体的に、性状情報取得部２１は、比較対象画像に含まれる画素の分布などに基づいて、比較対象画像が主として文字列を含んだ文書画像か、主として表や線分などを含んだ線画像か、あるいは写真やイラストなどの絵柄を表す絵柄画像か、を判定する。例えば性状情報取得部２１は、画素値が０でない画素の画素密度や、このような画素の集散度（散らばり度合い）などに基づいて、画像の種別判定を行う。また、性状情報取得部２１は、比較対象画像内において互いに連結している画素にラベルを付与するラベリング処理を実行し、付与されたラベルの数に基づいて、画像の種別を判定してもよい。
【００４４】
なお、性状情報取得部２１は、比較対象画像が二値画像ではなくグレースケール画像やカラー画像などの場合、比較対象画像に対して単色化処理や二値化処理を実行した結果得られる二値画像に対して、上述した処理を実行してもよい。あるいは、黒色の画素や画素値が所定値以上の画素の画素密度や画素分布に基づいて、上述した画像種別の判定を実行してもよい。また、性状情報取得部２１は、ユーザが操作部１３に対する指示操作によって入力する画像の性状に関する情報や、予め比較対象画像と関連づけて記憶部１２に記憶されている画像の性状に関する情報を、画像の種別判定に用いてもよい。
【００４５】
また、ここでは二つの比較対象画像の画像種別は共通するものと想定し、一方の画像についてのみ画像の種別判定を行うこととしているが、性状情報取得部２１は、二つの画像の双方について画像の種別判定を行ってもよい。この場合、二つの画像の種別が互いに異なると判定されたときには、所定のエラー処理を実行することとしてもよい。
【００４６】
次に、処理方式決定部２２が、Ｓ２で判定された比較対象画像の画像種別に応じて、位置合わせ処理の処理方式を決定する（Ｓ３）。ここでは具体的に、記憶部１２に、画像の種別を示す情報と、位置合わせを行う際の処理方式と、を関連づける情報が記憶されているものとする。処理方式決定部２２は、Ｓ２で性状情報取得部２１が取得した画像の種別を示す情報に関連づけて記憶部１２に記憶されている処理方式を、Ｓ１で取得した比較対象画像の位置合わせを行う際の処理方式として決定する。
【００４７】
ここで、処理方式決定部２２が性状情報に応じて決定する処理方式の具体例について説明する。図５は、記憶部１２に記憶されている情報の具体例である。この図の例においては、画像の種別を示す情報に関連づけて、位置合わせ処理の処理方式として、特徴点検出部２３ａが検出する特徴点の種類が記憶されている。具体的に、画像の種別が文書画像の場合、処理方式決定部２２は、画像内に含まれる各文字に外接する矩形領域の代表点を特徴点として検出すると決定する。ここで矩形領域の代表点は、例えば矩形の頂点や中心点などである。また、画像の種別が線画像であれば、線分の端点や交点、折れ曲がっている点などが、特徴点として検出される。また、画像の種別が絵柄画像の場合、写真などの絵柄を表す領域を囲む外枠（外周）の頂点が、特徴点として検出される。
【００４８】
また、処理方式決定部２２は、比較対象画像の種別に応じて、特徴点検出部２３ａが特徴点を検出する際に使用する変数を決定してもよい。具体例として、処理方式決定部２２は、画像の種別に応じて、特徴点検出部２３ａが特徴点を検出するために比較対象画像を二値化する際の、画素値の閾値を決定する。また、画像の種別に応じて、位置合わせのために検出する特徴点の数を決定してもよい。
【００４９】
また、処理方式決定部２２は、比較対象画像の種別に応じて、特徴点検出部２３ａが特徴点を検出する対象となる検出対象領域を決定してもよい。例えば比較対象画像の種別が絵柄画像であって、前述したように特徴点として外枠の頂点を検出する場合、このような特徴点は画像の中心部分ではなく周縁部分に位置すると推定される。そこで処理方式決定部２２は、このような画像の周縁の領域を検出対象領域として選択する。
【００５０】
次に、位置合わせ処理部２３が、Ｓ３で決定された処理方式に従って、特徴点の検出、特徴点同士の対応関係の特定、及び変換係数の算出を行う（Ｓ４）。すなわち、まず特徴点検出部２３ａが、画像Ｉ１及びＩ２のそれぞれから、Ｓ３で選択される種類の特徴点を検出する。そして、対応特徴点特定部２３ｂが、各画像から検出された特徴点同士の対応関係を特定し、変換係数算出部２３ｃが、互いに対応する特徴点同士が所定の誤差の範囲内で一致するように、画像を変換する際の変換係数を算出する。
【００５１】
ここで、特徴点検出処理の具体例について説明する。例えば特徴点の種類が線分の端点や絵柄を表す領域を囲む外枠の頂点などの場合、特徴点検出部２３ａは、比較対象画像を二値化して得られる二値画像に対して、パターンマッチング処理などの公知の画像処理を実行することにより、特徴点を検出する。また、特徴点の種類が文字に外接する矩形領域の代表点である場合、特徴点検出部２３ａは、ラベリング処理によって互いに連結する画素群を検出し、検出された各画素群に外接する矩形領域のうち、幅及び高さが所定の大きさの範囲内であって、領域内の画素密度が所定の値の範囲内となる矩形領域を、文字を表す矩形領域であると判定する。そして、当該矩形領域の位置に応じて特徴点の位置を決定する。
【００５２】
続いて、位置合わせ処理部２３は、所定の条件を満たす変換係数の算出ができたか否かを判定する（Ｓ５）。Ｓ４の処理において、予め定められた数の特徴点が検出できない場合や、特徴点同士の対応関係が特定できない場合、対応する特徴点が一致するような変換係数を算出できない場合、あるいは算出された変換係数が所定の範囲を超えた値となってしまう場合など、所定の条件を満たす変換係数の算出に失敗する場合がある。このような場合、特徴点検出の条件（すなわち、処理方式決定部２２が決定した処理方式）が適切でなかった可能性が考えられる。そこで、Ｓ５の判定に失敗した場合、処理方式決定部２２は、比較対象画像の性状情報に応じて決定される優先順位に従って、これまでに試行された処理方式とは異なる処理方式を新たに選択する（Ｓ６）。そして、位置合わせ処理部２３は、Ｓ４に戻り、Ｓ６で決定された新たな処理方式により再び特徴点の検出を行う。具体例として、画像の種別が線画像と判定され、線分の端点などを特徴点として検出する処理が失敗した場合、処理方式決定部２２は、文字に外接する矩形領域の代表点を特徴点として検出する処理方式を、新たな処理方式として決定する。
【００５３】
Ｓ５で変換係数の算出に成功したと判定した場合、画像変換部２３ｄは、Ｓ４で算出された変換係数を用いて、比較対象画像の一方に対する幾何変換を行う（Ｓ７）。そして、差分抽出処理部２４は、Ｓ７で幾何変換がなされた比較対象画像同士を比較し、差分抽出処理を実行する（Ｓ８）。差分抽出処理部２４は、差分抽出処理の実行結果として、例えば差分箇所を示す差分画像を生成し、出力する。生成された差分画像は、表示部１４に表示されたり、画像形成装置によって紙などの媒体上に印刷されたりすることにより、ユーザに提示される。
【００５４】
次に、画像処理装置１が実行する処理の第２の例について、図６のフロー図に基づいて説明する。この第２の例では、性状情報取得部２１が比較対象画像を複数の領域に分割し、分割された各領域の位置及び性状に関する情報を性状情報として取得する。
【００５５】
まず、性状情報取得部２１が、比較対象画像として画像Ｉ１及びＩ２を取得する（Ｓ１１）。そして、取得した比較対象画像のそれぞれに対して、領域分割処理を実行する（Ｓ１２）。
【００５６】
具体的に、性状情報取得部２１は、例えば公知のＴ／Ｉ（Text/Image）分離処理などによって、比較対象画像のそれぞれを、主として文字列を含んだ文書領域、線画像を含んだ線画領域、写真やイラストなどの画像を含んだ絵柄領域など、互いに性状の異なる複数の領域に分割する。この場合、性状情報取得部２１は、比較対象画像を複数の領域に分割するとともに、各領域内に含まれる画像の画像種別を示す情報を性状情報として取得することとなる。
【００５７】
次に、処理方式決定部２２が、Ｓ１２の処理により得られる各領域の性状に関する情報に応じて、各領域に含まれる特徴点を検出する際の処理方式を決定する（Ｓ１３）。具体例として、処理方式決定部２２は、領域ごとに、当該領域に含まれる画像の画像種別を示す情報に応じて、検出する特徴点の種類を決定する。なお、画像種別に応じた特徴点の種類の決定については、図４のフローにおけるＳ３の処理と同様の処理により実現できる。
【００５８】
この場合において、処理方式決定部２２は、各領域の性状に関する情報に応じて、特徴点検出の対象とする検出対象領域を選択してもよい。例えば処理方式決定部２２は、予め定められた画像種別の領域（例えば文書領域及び線画領域）を検出対象領域として選択し、それ以外の画像種別の領域（例えば絵柄領域）については、特徴点検出の対象から除外する。
【００５９】
また、処理方式決定部２２は、各領域の性状に関する情報に応じて、各領域に対する特徴点検出の優先順位を決定してもよい。具体的に、例えば処理方式決定部２２は、文書領域や線画領域を優先順位の高い検出対象領域に決定し、絵柄領域を優先順位の低い検出対象領域に決定する。
【００６０】
次に、特徴点検出部２３ａが、Ｓ１３で決定された処理方式に従って、二つの比較対象画像の中から、特徴点の検出を行う（Ｓ１４）。具体的に、特徴点検出部２３ａは、Ｓ１２で分割された各領域に含まれる特徴点を、当該領域について処理方式決定部２２が決定した処理方式に従って、検出する。このとき、特徴点の検出は、検出対象領域として選択された領域について行い、それ以外の領域については特徴点の検出は行わない。また、各領域に対する特徴点検出の優先順位が定められている場合には、当該優先順位が示す順序に従って、各領域に含まれる特徴点の検出を行う。この場合、例えば特徴点検出部２３ａは、所定の数の特徴点を検出するまで、順に各領域に対する特徴点の検出を行う。
【００６１】
続いて対応特徴点特定部２３ｂ及び変換係数算出部２３ｃが、Ｓ１４で各画像から検出された特徴点同士の対応関係を特定し、対応する特徴点同士を略一致させるような変換係数の算出を行う（Ｓ１５）。そして、画像変換部２３ｄが、Ｓ１５で算出された変換係数を用いて、比較対象画像の一方に対する幾何変換を行う（Ｓ１６）。さらに、差分抽出処理部２４が、Ｓ１６で幾何変換がなされた比較対象画像同士を比較し、差分抽出処理を実行する（Ｓ１７）。これらの処理は、図４のフローの例と同様の処理によって実現される。
【００６２】
以上説明した処理によって、画像処理装置１は、比較対象となる画像の性状に応じた処理方式で、二つの画像の間の位置合わせを実行する。これにより、画像の性状に合わせて、精度よく位置合わせが実行されることとなる。
【００６３】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば画像処理装置１は、差分抽出処理に限らず、二つの画像の間の比較を行う各種の処理の前処理として、上述した位置合わせ処理を実行してもよい。また、以上の説明においては、画像処理装置１は、画像の種別を示す情報や、領域ごとの画像の種別を示す情報などを性状情報として取得することとしたが、これに限らず画像の性質や特徴を示す各種の情報を取得し、これに応じて処理方式を決定することとしてもよい。また、処理方式決定部２２が決定する処理方式についても、検出する特徴点の種類や変数の値に限らず、他の処理方式の中から位置合わせに使用する処理方式を決定してもよい。
【００６４】
また、画像処理装置１は、一連の文書を表す複数頁の画像を含んだ画像列を二つ取得し、それぞれの画像列に含まれる画像同士を順に比較する場合もある。このような場合、まず画像列の先頭の画像同士については、これまで説明したように、比較対象画像の画素分布等から性状情報を取得する。しかしながら、二番目以降の画像同士については、性状情報取得部２１は、既に性状情報を取得済みの前頁の画像と同じ性状情報を持つと推定し、当該推定される性状情報に応じた処理方式で位置合わせ処理を実行してもよい。こうすれば、例えば各画像列に文書画像が連続して含まれているなどの場合に、処理が簡略化される。
【００６５】
また、以上の説明においては、変更前後の二つの比較対象画像に対して、同時期に処理方式の決定、及び特徴点検出などの位置合わせ処理を実行することとしている。しかしながら、例えば原本となる変更前の画像Ｉ１については、予め性状情報に応じた処理方式で特徴点検出などの処理を実行し、実行結果を記憶部１２に記憶しておいてもよい。この場合、画像処理装置１は、変更後の画像Ｉ２を取得した場合に、変更前の画像Ｉ１に対して実行された処理方式と同様の処理方式で画像Ｉ２に対して特徴点検出などの処理を実行する。そして、その実行結果と記憶部１２に記憶されている変更前の画像Ｉ１についての実行結果とを用いて、位置合わせを行う。また、変更前の画像Ｉ１については、予め定められた優先順位に従って、複数の処理方式のそれぞれにより特徴点検出などの処理を実行して得られる実行結果が記憶されてもよい。この場合、画像処理装置１は、変更後の画像Ｉ２について、ある処理方式により十分な数の特徴点を検出できない場合であっても、別の処理方式により特徴点の検出を実行し、その実行結果と記憶部１２に記憶されている変更前の画像Ｉ１についての実行結果とを用いて、位置合わせを実行する。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態に係る画像処理装置の概略の構成を表すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の機能を表す機能ブロック図である。
【図３】位置合わせ処理部の機能を表す機能ブロック図である。
【図４】本発明の実施の形態に係る画像処理装置が実行する処理の一例を示すフロー図である。
【図５】本発明の実施の形態に係る画像処理装置に記憶されている情報の一例を示す説明図である。
【図６】本発明の実施の形態に係る画像処理装置が実行する処理の別の例を示すフロー図である。
【符号の説明】
【００６７】
１  画像処理装置、２  画像読み取り装置、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  インタフェース部、２１  性状情報取得部、２２  処理方式決定部、２３  位置合わせ処理部、２４  差分抽出処理部。
【図１】
0005003379.tif 000002
【図２】
0005003379.tif 000003
【図３】
0005003379.tif 000004
【図４】
0005003379.tif 000005
【図５】
0005003379.tif 000006
【図６】
0005003379.tif 000007