(57)【特許請求の範囲】
【請求項１】
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁のそれぞれに対し、前記端縁及び前記線分を延長した際に形成される角の角度が予め定められた値以下である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
を有する画像処理装置。
【請求項２】
前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する請求項１記載の画像処理装置。
【請求項３】
前記一部分抽出手段は、前記画像の外縁の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する請求項２記載の画像処理装置。
【請求項４】
前記一部分抽出手段は、
前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、
前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、
を有する請求項２又は３記載の画像処理装置。
【請求項５】
一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、
前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、
を有する請求項１乃至４の何れかに記載の画像処理装置。
【請求項６】
コンピュータを、
画像に含まれる線分を抽出する線分抽出手段と、
抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、
選別された前記線分のうち、前記画像の各端縁のそれぞれに対し、前記端縁及び前記線分を延長した際に形成される角の角度が予め定められた値以下である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、
前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、
前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、
として機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１には、入力画像データと、出力プリント画像を測定し、該測定された出力プリント画像データについて画像のエッジ、極大点又は極小点のいずれかによる画像特徴量を算出し、該画像特徴量に基づいて、入力画像データと出力プリント画像データの対応する画像の位置関係及び位置ずれ量を求め、歪み補正式を算出する画像歪み補正方法が記載されている。
【０００３】
特許文献２には、罫線を有する帳票の画像Ａ及び画像Ｂについて、横黒ラン・ヒストグラム及び縦黒ラン・ヒストグラムを作成し、画像Ａについての黒ラン・ヒストグラムと画像Ｂについての黒ラン・ヒストグラムを比較して両者のずれを検出する画像のずれ検出方法が記載されている。
【０００４】
特許文献３には、罫線を有する帳票の参照画像及び入力画像について、帳簿上辺の傾き方向を考慮してｘ軸投影ヒストグラム及びｙ軸投影ヒストグラムを生成し、それぞれ検出されたピーク値を罫線の存在する座標として検出し、参照画像と入力画像の各々に対する罫線の存在する座標の差が事前に設定したしきい値よりも小さいもの同士を対応付けることにより、両者の位置ずれ量を検出するプレ印刷除去装置が記載されている。同装置は、検出された位置ずれ量に基づいて座標変換を行い、画像を照合する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８６３３７号公報
【特許文献２】特開平１１−１２０２８８号公報
【特許文献３】特開２００２−５７８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合に、かかる変形を除去して一の画像と他の画像を比較することができないという問題を解決することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の請求項１に係る画像処理装置は、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁のそれぞれに対し、前記端縁及び前記線分を延長した際に形成される角の角度が予め定められた値以下である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、を有する。
【０００８】
また、本発明の請求項２に係る画像処理装置は、請求項１記載の画像処理装置であって、前記画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段を有する。
【０００９】
また、本発明の請求項３に係る画像処理装置は、請求項２記載の画像処理装置であって、前記一部分抽出手段は、前記画像の外縁の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段を有する。
【００１０】
また、本発明の請求項４に係る画像処理装置は、請求項２又は３記載の画像処理装置であって、前記一部分抽出手段は、前記画像に含まれる連結した図形である連結図形を識別する連結図形識別手段と、前記連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段と、を有する。
【００１１】
また、本発明の請求項５に係る画像処理装置は、請求項１乃至４の何れかに記載の画像処理装置であって、一の前記画像について得られた前記特徴量を記憶する特徴量記憶手段と、前記特徴量記憶手段に記憶された前記特徴量に基づいて、前記線分抽出手段が他の前記画像について線分を抽出する範囲を制限する線分抽出範囲制限手段と、を有する。
【００１２】
また、本発明の請求項６に係るコンピュータプログラムは、コンピュータを、画像に含まれる線分を抽出する線分抽出手段と、抽出された前記線分のうち、予め定められた基準に基づき線分を選別する線分選別手段と、選別された前記線分のうち、前記画像の各端縁のそれぞれに対し、前記端縁及び前記線分を延長した際に形成される角の角度が予め定められた値以下である線分を該各端縁からの距離に基づき選び、前記画像を特徴づける特徴量を導出する特徴量導出手段と、前記特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段と、前記一の画像と、前記線形写像導出手段により導出された線形写像により変換された他の画像とを比較する画像比較手段と、として機能させる。
【発明の効果】
【００１３】
上記請求項１に係る画像処理装置によれば、回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【００１４】
また、上記請求項２に係る画像処理装置によれば、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【００１５】
また、上記請求項３に係る画像処理装置によれば、枠内部の図形を線分を抽出する対象から除外することができる。
【００１６】
また、上記請求項４に係る画像処理装置によれば、枠以外の図形を線分を抽出する対象から除外することができる。
【００１７】
また、上記請求項５に係る画像処理装置によれば、一度特徴量を導出した画像と同種の枠を有する画像の特徴量を導出する際に、本請求項に特定される構成を有しない画像処理装置に比して、線分を抽出する際の計算量を低減できる。
【００１８】
また、上記請求項６に係るコンピュータプログラムによれば、コンピュータにより回転・平行移動・拡大縮小等により互いに変形している複数の画像について、かかる変形の程度がある限度よりも大きい場合であっても、かかる変形を除去して一の画像と他の画像を比較することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態の一例である画像処理装置の機能ブロック図である。
【図２】画像特徴量導出部の機能ブロック図である。
【図３】画像受付部によって受け付けられた第１の画像である。
【図４】塗りつぶし処理後の第１の画像を示す図である。
【図５】輪郭取得後の第１の画像を示す図である。
【図６】最大の連結図形のみが残された第１の画像を示す図である。
【図７】最大連結図形取得処理のみを施された第１の画像を示す図である。
【図８】図６の第１の画像をハフ変換して得られるｒ−θ平面上のプロットの例である。
【図９】線分選別部が第３の基準を採用した場合の、第１の画像の特徴量である交点の位置を示す図である。
【図１０】第２の画像を示す図である。
【図１１】線分抽出対象外とする領域を示す図である。
【図１２】傾き、位置、大きさが修正された第２の画像である。
【図１３】差分画像を示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施形態の一例である画像処理装置１の機能ブロック図である。
【００２１】
画像処理装置１は、物理的には汎用の情報処理装置である、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ、入出力インタフェース、モニタ及び外部記憶装置等を有する一般的なコンピュータを用いて実現される。そして、かかるコンピュータ上で、コンピュータを画像処理装置１として動作させるためのコンピュータプログラムを実行することにより、画像処理装置１は仮想的に実現される。コンピュータを画像処理装置１として動作させるためのコンピュータプログラムは、たとえばＤＶＤ−ＲＯＭ（ＤＶＤ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の任意の情報記録媒体に記録して提供しても、インターネットに代表される公衆回線等の電気通信回線を介して、コンピュータ読み取り可能な電気信号として提供してもよい。もちろん、画像処理装置１を実現するにあたり、必ずしも汎用の情報処理装置を用いずともよく、専用の装置を製作しても、また、コピー機やファクシミリ等の事務機器に実装あるいは追加されるモジュールとして構成してもよい。
【００２２】
なお、図示された画像処理装置１の機能ブロック図は、コンピュータプログラムにより実現される画像処理装置１を、説明の便宜上、その機能に着目して展開し示したものであり、必ずしも各機能ブロックが物理的に存在するとは限らない。
【００２３】
画像処理装置１は、画像を受け付ける画像受付部２、第１の画像を記憶する第１の画像記憶部３、第２の画像を記憶する第２の画像記憶部４、受け付けた画像から、その画像の特徴量を導出する画像特徴量導出部５と、得られた特徴量を記憶する第１の特徴量記憶部６及び第２の特徴量記憶部７、線形写像導出部８、画像変換部９、画像比較部１０及び差分画像出力部１１を有する。
【００２４】
なお、ここでいう画像とは、ビットマップ等のいわゆるラスターイメージデータであり、また、その周縁に枠を有しているものであることが好ましい。枠は、概ね矩形であれば足り、厳密に矩形である必要はない。かかる画像の内容は特に限定されないが、そのような画像の代表的な例を挙げると、図面の画像、帳票類の画像、ＭＳＤＳ（Ｍａｔｅｒｉａｌ  Ｓａｆｅｔｙ  Ｄａｔａ  Ｓｈｅｅｔ）等のデータシート類などである。以降の本実施形態の説明では、図面の画像を例として説明するが、これに限定する意図ではない。
【００２５】
また、特徴量とは、画像を特徴づける量であり、より詳しくは、画像に含まれる図形が画像内において占める位置、大きさ、回転角度を示す量である。どのような値を特徴量として用いるかは特に限定されないが、一例として、画像に含まれる枠を構成する線分の位置を示す情報は特徴量である。そのような情報は、各線分が画像中に配置される位置や角度を直接示す値であってもよいし、各線分の交点、すなわち、枠の角に当たる点の座標であってもよい。
【００２６】
画像受付部２は、外部より画像の電子データを受け付けるインタフェースである。この画像受付部２は、画像を受け付けることができればどのようなものであってもよいが、具体的には、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネット等の公衆回線を含むＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）に接続された電気通信回線、任意の情報記録媒体読取装置、紙媒体を読み取るスキャナ等が考えられる。
【００２７】
画像受付部２により第１の画像が受け付けられると、第１の画像記憶部３に記憶され、画像特徴量導出部５へと受け渡される。また、第２の画像が受け付けられると、第２の画像記憶部４に記憶され、同じく画像特徴量導出部５へと受け渡される。
【００２８】
図２は、画像特徴量導出部５の機能ブロック図である。以下、画像特徴量導出部５の動作を具体例を参照しつつ説明する。
【００２９】
図３は、画像受付部２（図１参照）によって受け付けられた第１の画像１００である。第１の画像１００は、紙にプリントアウトされた図面をスキャナで電子データとして取り込んだものである。第１の画像１００は、矩形の枠１０１のほか、図面のタイトル等を記入するタイトル欄１０２、承認印あるいは署名を記入する承認欄１０３、部品表等の外枠１０４、枠１０１内に描かれた図形１０５等を含んでいる。もちろん、これは説明のための一例であり、第１の画像をかかる具体例に限定する意図ではない。また、第１の画像１００は白色の背景に黒色で枠１０１等が描かれているものとしているが、これも一例であり、白黒を反転させても、異なる色調を用いてもよい。
【００３０】
図２に戻り、画像受付部２で受け付けられた第１の画像１００は第１の画像記憶部３より画像補正部１２に受け渡され、必要であれば補正を施される。ここでなされる補正は、後述の画像処理を円滑に進めるためのものであり、公知の種々の補正を必要に応じ行ってよい。それらの補正には、グレースケールまたはフルカラーの画像を白黒の２値画像に変換する２値化処理、かすれなどによる画像中の線分の途切れを補償する途切れ補償、画像中のノイズを除去するノイズ除去等様々なものがあるが、本実施形態では、２値化処理を行っている。２値化処理は、ある輝度のしきい値を定め、画像中の各画素の輝度が当該しきい値を下回れば黒、上回れば白とすればよい。
【００３１】
続いて第１の画像１００は、線分抽出部１８が線分を抽出する範囲を制限する線分抽出範囲制限手段として機能する線分抽出範囲制限部１３へと渡される。線分抽出範囲制限部１３の動作については後ほど詳述する。
【００３２】
さらに第１の画像１００は、画像に含まれる図形の一部分を抽出し、当該一部分を新たに前記画像とする一部分抽出手段として機能する一部分抽出部１４に受け渡される。一部分抽出部１４は、画像の外縁又は外縁近傍の少なくとも一点を起点とする塗りつぶし処理により得られる図形の輪郭を示す図形である輪郭図形を取得する輪郭図形取得手段として機能する輪郭図形取得部１５、画像に含まれる連結した図形である連結図形を識別する連結図形識別手段として機能する連結図形識別部１６、連結図形のうち、最大の連結図形である最大連結図形を取得する最大連結図形取得手段として機能する最大連結図形取得部１７を有している。
【００３３】
まず、第１の画像１００は輪郭図形取得部１５に受け渡される。輪郭図形取得部１５は、まず、第１の画像１００の周辺の少なくとも一点を起点とした塗りつぶし処理を行う。この塗りつぶし処理は周知の手法によってよい。図４は、塗りつぶし処理後の第１の画像１０６を示しており、図中網掛けで示した部分が塗りつぶし処理された領域である。
【００３４】
そして、輪郭図形取得部１５は、塗りつぶし処理された領域の輪郭を取得する。輪郭の取得は公知の手法を用いてよく、その一例としては、微分フィルタの適用が挙げられる。図５は、輪郭取得後の第１の画像１０７を示す図である。図３と比較すると、枠１００内部のタイトル欄１０２や図形１０５は排除され、枠１００と承認欄１０３の外形及び外枠１０４が残されている。輪郭図形取得部１５は、この画像処理後の第１の図形１０７を連結図形識別部１６へと受け渡す。なお、ここで、塗りつぶし処理された領域の輪郭を取得する前の段階で、画像の白黒を反転してもよい。
【００３５】
連結図形識別部１６は、第１の画像１０７に含まれる図形を、連結しているもの毎（すなわち、連結図形毎）に区分し、識別する。この処理は、画像処理において一般にラベリングとして知られている処理であってよい。具体的には、第１の画像１０７に含まれるある黒色の画素に識別情報を付与し、当該画素に隣接する黒色の画素にさらに同じ識別情報を付与し、という動作を繰り返すことにより、第１の画像１０７に含まれるすべての黒色画素に対し、連結している図形毎に異なる識別情報を付与する。その結果、図５中に示すように、第１の画像１０７中の枠１０１と承認欄１０３の外形には識別情報「Ａ」が付与され連結図形Ａとして、外枠１０４には識別情報「Ｂ」が付与されて連結図形Ｂとして識別される。
【００３６】
続いて最大連結図形取得部１７は、第１の画像１０７に含まれる連結図形のうち、その大きさが最も大きいものを取得する。ここでは、連結図形Ａと連結図形Ｂの大きさ、特に、その幅及び高さを比較して大きい連結図形である連結図形Ａを選択する。なお、大きさの比較には種々の方法があり、特段限定されない。幅及び高さを比較する方法にも、その何れかを用いる方法、両者をそれぞれ比較し優先順位をつける方法、幅と高さの和を用いて比較する方法等がある。また、連結図形の面積あるいは連結図形に外接する矩形の面積を用いて比較するようにしてもよい。その結果、図６に示すように、第１の画像１０８には最大の連結図形である連結図形Ａのみが残される。最大連結図形取得部１７は、得られた第１の画像１０８を線分抽出部１８へと受け渡す。
【００３７】
以上の処理により、第１の画像１００（図３参照）からその一部分である連結図形Ａが抽出された。本実施形態では、一部分抽出部１４において、輪郭図形取得部１５による輪郭図形取得処理と、連結図形識別部１６及び最大連結図形取得部１７による最大連結図形取得処理の両方をこの順で行っているが、この両方は必ずしもなされずとも良く、いずれか一方でもよい。
【００３８】
まず、輪郭図形取得部１５による輪郭図形取得処理のみをする場合は、図５に示した第１の画像１０７が線分抽出部１８に受け渡されることになる。また、連結図形識別部１６及び最大連結図形取得部１７による最大連結図形取得処理のみをする場合には、図３に示す第１の画像１００に対し上述の最大連結図形取得処理がなされることになる。その結果、図７に示す第１の画像１０９が得られ、同画像中には、最大の連結図形として、枠１０１、タイトル欄１０２及び承認欄１０３からなる連結図形Ｃのみが含まれている。
【００３９】
続いて、第１の画像１０８（あるいは、第１の画像１０７又は１０９）は画像に含まれる線分を抽出する線分抽出手段として機能する線分抽出部１８に受け渡される。
【００４０】
線分抽出部１８は、受け渡された第１の画像１０８中に含まれる線分を抽出し、その位置及び長さまたは長さに関連する情報を特定する。この線分を抽出する手法は公知の種々のものを用いることができ、代表的な手法としては、ハフ変換、投影分布（ヒストグラム）、追跡等を挙げることができるが、本実施形態では、ノイズなどによる線分の途切れや、連結図形Ａの第１の画像１０８の外形に対する傾きの影響をあまり受けないことから、ハフ変換を採用する。もちろん、ハフ変換以外の手法を採用することは任意である。
【００４１】
ハフ変換により、第１の画像１０８はｒ−θ座標に変換され、第１の画像１０８に含まれる線分は、ｒ−θ平面上の投票数の多い点としてあらわされる。投票数は、線分の長さに関連する量であり、一般に、投票数が多いほど線分の長さは長くなる。ｒ，θの取り方は任意であるが、ここでは、ｒは第１の画像１０８の左下の点から線分に対し引いた法線の長さを、θは当該法線の角度を示すものとする。ｒの範囲は、第１の画像１０８の横方向長さをＸ、縦方向の長さをＹとすると
０≦ｒ≦√Ｘ２＋Ｙ２
となる。また、θの範囲は、半周、すなわち１８０°の範囲を取れば足るが、ここでは一例として、
−４５°≦θ＜１３５°とする。
【００４２】
得られた結果は、抽出された線分のうち、予め定められた基準に基づき線分を選別する線分選別手段として機能する線分選別部１９へと受け渡される。図８は、図６の第１の画像１０８をハフ変換して得られるｒ−θ平面上のプロットの例である。図中、黒丸で示した点は、ハフ変換により得られた線分を示す点であり、黒丸の大きさは、その投票数、すなわち、線分の長さを反映している。また、黒丸の脇に記したａ〜ｆのアルファベットは、図６中示したａ〜ｆの各線分に対応したものであることを示している。
【００４３】
線分選別部１９は、これら得られた線分のうち、予め定められた基準に基づき線分を選別する。この基準の定め方には種々のものが考えられる。
【００４４】
第１の基準は、もっとも単純なものであり、縦方向、横方向の線分のうち、それぞれ上位ｎ番目までの長さを持つものを選別する基準である。ｒ−θ平面上では、縦方向の線分はθがおおむね０°近傍の値となるので、適当な範囲、例えば、
−５°＜θ＜５°
の範囲を縦方向の線分とみなせばよい。ｎ＝２とすると、図８の例では、点ｂ及びｆが選別される。また、横方向の線分はθがおおむね９０°近傍の値となるので、適当な範囲、例えば、
８５°＜θ＜９５°
の範囲を横方向の線分とみなせばよい。図８の例では、点ａ及び点ｅが選別される。なお、ここで示したθの範囲は一例であり、適宜変更してよいことは言うまでもない。
【００４５】
第２の基準は、第１の画像１０８を、その中心をとおる垂直線において２分し、それぞれの範囲において、第１の画像１０８の縦の長さに対し一定割合以上の長さを有する縦方向の線分を選別するとともに、第１の画像１０８を、その中心をとおる水平線において２分し、それぞれの範囲において、第１の画像１０８の横の長さに対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を７０％とする。
【００４６】
このとき、第１の画像１０８の左半分は、
０≦ｒ＜Ｘ／２
であり、同様に右半分は
Ｘ／２≦ｒ＜Ｘ
であって、縦方向の線分は
−５°＜θ＜５°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図８の例では、点ｂ及び点ｆが選別されることになる。
【００４７】
また、第１の画像の下半分は、
０≦ｒ＜Ｙ／２
であり、同様に上半分は
Ｙ／２≦ｒ＜Ｙ
であって、縦方向の線分は
８５°＜θ＜９５°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図８の例では、点ａ及び点ｅが選別されることになる。
【００４８】
第３の基準は、第２の基準同様に第１の画像１０８を、その中心をとおる垂直線において２分し、それぞれの範囲において、最も長い縦方向の線分に対し一定割合以上の長さを有する線分を選別するとともに、第１の画像１０８を、その中心をとおる水平線において２分し、それぞれの範囲において、最も長い横方向の線分に対し一定割合以上の長さを有する横方向の線分を選別する基準である。ここで、一例として、一定割合を５０％とする。
【００４９】
上述のとおり、第１の画像１０８の左半分は、
０≦ｒ＜Ｘ／２
であり、同様に右半分は
Ｘ／２≦ｒ＜Ｘ
であって、縦方向の線分は
−５°＜θ＜５°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図８の例では、最も長い縦方向の線分として点ｂ及び点ｆがそれぞれ選別される。点ｄは、点ｂが示す線分の５０％の長さに満たないため、選別されない。
【００５０】
また、第１の画像の下半分は、
０≦ｒ＜Ｙ／２
であり、同様に上半分は
Ｙ／２≦ｒ＜Ｙ
であって、縦方向の線分は
８５°＜θ＜９５°
となるから、それぞれの範囲内で長さの条件を満たす線分を選別すればよい。図８の例では、最も長い横方向の線分として点ａ及び点ｅがそれぞれ選別され、さらに、点ｃが、点ｅが示す線分の５０％の長さ以上の長さを持つ線分を示すため、選別される。
【００５１】
以上説明した基準はいずれを用いてもよいし、これら以外の基準を用いてもよい。第２の基準又は第３の基準を用いると、少なくとも、抽出される縦方向及び横方向の線分が、それぞれ、第１の画像１０８の中心を挟み両側に位置することになる。
【００５２】
抽出された線分は、選別された線分のうち、画像の各端縁にそれぞれ略平行である線分を該各端縁からの距離に基づき選び、画像を特徴づける特徴量を導出する特徴量導出手段として機能する特徴量導出部２０へと受け渡される。特徴量導出部２０は、第１の画像１０８の各端縁、すなわち、各辺に対し略平行な線分を各辺からの距離に基づいて、選別された線分から選び出す。本実施形態では、各辺に最も近い線分を選ぶようにしている。すなわち、具体的には、左辺に対しては、図８において、
−５°＜θ＜５°
の範囲で最もｒの小さい点を選ぶ。また、右辺に対しては、同じ範囲で最もｒがＸに近い点を選ぶ。また、下辺に対しては、
８５°＜θ＜９５°
の範囲で最もｒの小さい点を選び、上辺に対しては同じ範囲で最もｒがＹに近い点を選ぶ。
【００５３】
なお、選別された線分から各辺に対し略平行な線分を選ぶ際の基準は、各辺に最も近いものに限定されない。たとえば、各辺からの基準となる距離を予め定めておき、当該基準となる距離に最も近い線分を選ぶようにしてもよい。これは、選び出されるべき枠を構成する線分の、各辺からの大まかな距離が予め分かっている場合などに有効である。もちろん、その他の基準に基づき線分を選んでもよい。また、上の説明で、「略平行」とは、画像の歪みを無視した際に実質的に平行と看做してよい関係を意味しており、具体的には、２の線分を延長した際に形成される角の角度が予め定められた値以下である場合に、両者を実質的に平行と看做してよい。
【００５４】
この動作の結果を、上述の線分選別部１９が採用した基準毎に具体的に説明する。
【００５５】
まず、第１の基準が採用された場合及び第２の基準が採用された場合には、選別された線分を示す点は、点ａ、点ｂ、点ｅ、点ｆである。これらの点はそれぞれ、第１の画像１０８の各辺に最も近い線分を示しているので、点ａ、点ｂ、点ｅ、点ｆがそのまま選ばれる。図６も併せて参照されたい。
【００５６】
また、第３の基準が採用された場合、選別された線分を示す点は、点ａ、点ｂ、点ｃ、点ｅ、点ｆである。そして、第１の画像の左辺、右辺、下辺に最も近い線分を示す点はそれぞれ点ｂ、点ｆ、点ａであるからこれらが選ばれる。上辺に対しては、最も近い線分を表す点は、点ｃであるから、この場合は、点ｃが選ばれる。
【００５７】
そして、特徴量導出部２０は、選び出した線分に基づいて、第１の画像１００の特徴量を導出する。前述したように特徴量が具体的にどのような値であるかは限定されないが、選び出した線分の位置を示す情報、具体的には、各線分のｒ−θ平面上の位置である（ｒ、θ）の値は特徴量の一つである。あるいは、選び出した線分を延長した直線同士が交わる交点の位置もまた、特徴量の一つである。図９は、線分選別部１９が第３の基準を採用した場合の、第１の画像１０８の特徴量である交点１１０の位置を示す図である。同図中、線分ａ，ｂ，ｃ，ｆを延長した直線は破線で示している。本実施形態では、この交点１１０の位置を特徴量として用いる。もちろん、他の値を特徴量として用いてもよい。
【００５８】
特徴量導出部２０により導出された第１の画像１００の特徴量である第１の特徴量は、図１に示すように、第１の特徴量記憶部６へと受け渡され、記憶される。
【００５９】
また、特徴量導出部２０により導出された特徴量は、一の画像について得られた特徴量を記憶する特徴量記憶手段として機能する特徴量記憶部２１にも受け渡され、記憶される。
【００６０】
続いて、第１の画像１００に続いて、さらに第２の画像２００が画像処理装置１の画像受付部２により受け付けられたものとする。ここで、第２の画像２００は、図１０に示すとおりであり、その内容はおおむね第１の画像１００（図３参照）と同一である。第２の画像２００は、枠２０１、タイトル欄２０２、承認欄２０３、外枠２０４及び図形２０５が全体として第２の画像２００の外形に対し傾いており、また枠２０１の位置及び大きさも第１の画像１００における枠１０１と若干異なっている。また、図形２０５は、第１の画像１００中の図形１０５から修正されている。
【００６１】
この第２の画像２００に対しても、画像補正部１２による補正がなされ、続いて線分抽出範囲制限部１３により、特徴量記憶部２１に記憶されている特徴量に基づいて線分抽出範囲の制限がされる。この処理は、最終的に特徴量導出部２０により第１の画像１００において選ばれた線分の近傍の範囲のみを線分抽出部１８による線分抽出の対象とし、その他の範囲を線分抽出の対象としないよう制限する。より具体的には、特徴量記憶部２１に記憶されている特徴量、本実施形態では、交点１１０（図９参照）の位置を用いて、各交点を結んで得られる直線を得る。この線分は、矩形を構成する。なお、特徴量が、線分のｒ−θ平面上の位置を示す（ｒ、θ）の値であれば、矩形を構成する直線は直ちに得られる。そして、得られた直線の近傍、例えば、当該直線からある一定の距離までの範囲を線分抽出対象とし、それ以外の範囲は線分抽出対象外とする。線分抽出対象外とする方法は、例えば、線分抽出対象外の範囲を全て白色で塗りつぶしたり、あるいは、かかる範囲を一部分抽出部１４及び線分抽出部１８における処理の対象外としたりしてもよい。
【００６２】
図１１は、線分抽出対象外とする領域を示す図である。同図は、図１０に示す第２の画像２００上に、第１の画像１００について得られた交点１１０を結んで得られる直線を破線で示している。そして、直線から一定の距離までの範囲の境界は一点鎖線で、線分抽出対象外となるそれ以外の範囲にはハッチングを施した。同図にハッチングで示す領域を線分抽出対象外として制限することで、以降の処理におけるノイズ及び必要な計算量が削減される。
【００６３】
なお、線分抽出範囲制限部１３による制限は、第１の画像１００と第２の画像２００がおおむね等しい枠１０１，２０１を使用することを前提としている。したがって、第２の画像２００が第１の画像１００と大きく異なる枠を用いる場合には、線分抽出範囲制限部１３による制限は行わない。この選択は、ユーザが適宜画像処理装置１に指示するものとすればよい。また、特徴量記憶部２１は、必ずしも直前の処理に係る画像の特徴量のみを記憶するようにしなくともよく、例えば、複数の特徴量を記憶しておき、ユーザがどの特徴量に基づいて線分抽出範囲を制限するか選択するようにしてもよい。
【００６４】
これ以降の動作は、第１の画像１００について説明したと同様である。その結果、特徴量導出部２０により導出された第２の画像２００の特徴量である第２の特徴量は、図１に示すように、第２の特徴量記憶部７へと受け渡され、記憶される。
【００６５】
そして、第１の特徴量記憶部６及び第２の特徴量記憶部７の双方に特徴量が記憶されると、特徴量導出手段により選ばれた線分により囲まれる領域の大きさに基づき選定された一の画像の特徴量に他の画像の特徴量を一致させる線形写像を導出する線形写像導出手段として機能する線形写像導出部８は、第１の特徴量と第２の特徴量を比較し、各々の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求める。本実施形態では、選定の基準の一例として、特徴量が示す線分により囲まれる領域の大きさが大きい画像が選定される。そして、線形写像導出部８により求められる線形写像とは、第１の特徴量と第２の特徴量がそれぞれ矩形を構成する直線の交点の位置であるから、それぞれの交点が形成する矩形が大きい方の一方の交点に、他の交点を一致させるような線形写像となる。このような線形写像には種々のものがあり得るが、ここでは、アフィン変換と呼ばれる線形写像の変換係数である行列を求める。アフィン変換は、２次元平面状において、平行移動、回転、拡大縮小を合成した変換である。なお、アフィン変換の変換係数を求める方法は周知の手法を用いればよく、本明細書ではその詳細な説明は割愛する。
【００６６】
なお、本実施形態では、線形写像導出部８は、２の画像に対し線形写像を求めることとしたが、これに限定されず、３以上の画像に対し線形写像を求めることとしてもよい。その場合においても、各画像の特徴量が示す線分により囲まれる領域の大きさに基づき選定された画像に、他の画像の特徴量を一致させる線形写像を求めるとよい。
【００６７】
さらに、画像変換部９は、線形写像導出部８により求められた変換係数を用い、第１の画像記憶部３より得た第１の画像又は第２の画像記憶部４より得た第２の画像の一方を変換し、両者を画像比較部１０へと受け渡す。
【００６８】
画像比較部１０は、受け渡された２の画像を比較し、変化のあった場所を特定できる画像を生成する。より具体的には、受け渡された２の画像の差分を取り、得られた画像を差分画像として、差分画像出力部１１へと受け渡す。もちろん、比較の方法は差分を取ることに限定はされず、他の手法を用いてもよい。
【００６９】
差分画像出力部１１は、受け渡された差分画像を出力する。出力の形式は特に問わず、電気通信回線を通して他の情報端末へと送信してもよいし、モニタに表示しても、プリンタにより印刷しても、任意の情報記録媒体に記録するようにしてもよい。
【００７０】
ここで、図３に示す第１の画像１００及び図１０に示す第２の画像２００が画像処理装置１に受け渡され、線形写像導出部８が、第２の画像２００を変換する変換係数を導出した場合を例として想定する。
【００７１】
この場合、画像変換部９により第２の画像２００は変換され、図１２に示すようにその傾き、位置、大きさが修正された第２の画像２０６が得られる。
【００７２】
そして、画像比較部１０により第１の画像１００と第２の画像２０６の差分がとられ、図１３に示す差分画像３００が得られる。差分画像３００は、第１の画像１００と第２の画像２０６との間で、異なっている部分のみを図示する画像である。
【００７３】
このように、本実施形態の画像処理装置１は、複数の画像が回転・平行移動・拡大縮小等により互いに変形している場合であっても、画像に含まれる枠を構成する線分の配置を正しく求め、当該線分の配置に基づいて特徴量を導出する。そして、そのようにして導出された特徴量に基づいて得られた線形写像により、複数の画像間の変形が除去されるので、かかる変形の程度がある限度よりも大きい場合であっても、一の画像と他の画像が正しく比較される。
【００７４】
以上本実施形態の説明では、画像処理装置１は２つの画像を比較しているが、これに限定されず、３以上の画像を互いに比較するようにしてもよい。その場合、指定された画像に対し他の画像を比較するようにしてよい。
【００７５】
また、以上の説明において、画像処理装置１、線形写像導出部８及び画像処理装置１の具体的な機能ブロックの構成は一例として示したものであり、これに限定されない。本発明の技術的範囲は、特許請求の範囲の記載に基づいて定められる。
【符号の説明】
【００７６】
１  画像処理装置、２  画像受付部、３  第１の画像記憶部、４  第２の画像記憶部、５  画像特徴量導出部、６  第１の特徴量記憶部、７  第２の特徴量記憶部、８  線形写像導出部、９  画像変換部、１０  画像比較部、１１  差分画像出力部、１２  画像補正部、１３  線分抽出範囲制限部、１４  一部分抽出部、１５  輪郭図形取得部、１６  連結図形識別部、１７  最大連結図形取得部、１８  線分抽出部、１９  線分選別部、２０  特徴量導出部、２１  特徴量記憶部、１００  第１の画像、１０１  枠、１０２  タイトル欄、１０３  承認欄、１０４  外枠、１０５  図形、１０６，１０７，１０８，１０９  第１の画像、１１０  交点、２００  第２の画像、２０１  枠、２０２  タイトル欄、２０３  承認欄、２０４  外枠、２０５  図形、２０６  第２の画像、３００  差分画像。
【図１】
0005418057.tif 000002
【図２】
0005418057.tif 000003
【図３】
0005418057.tif 000004
【図４】
0005418057.tif 000005
【図５】
0005418057.tif 000006
【図６】
0005418057.tif 000007
【図７】
0005418057.tif 000008
【図８】
0005418057.tif 000009
【図９】
0005418057.tif 000010
【図１０】
0005418057.tif 000011
【図１１】
0005418057.tif 000012
【図１２】
0005418057.tif 000013
【図１３】
0005418057.tif 000014