(57)【特許請求の範囲】
【請求項１】
第１画像データと第２画像データとの照合を行う画像照合装置であって、
前記第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形の変化が特徴的となる位置を表す位置情報を取得する取得手段と、
前記第１画像データから得られた複数の位置情報のそれぞれを前記第２画像データから得られた複数の位置情報のそれぞれに一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す複数の直線式を決定する直線式決定手段と、
前記決定した複数の直線式により表される直線のうち、前記２次元空間を分割して得られる複数の単位領域のそれぞれを通過する直線の本数に基づいて、前記複数の単位領域から少なくとも一つの候補単位領域を選択する候補単位領域選択手段と、
前記決定した複数の直線式の交点のうち、前記選択された候補単位領域に含まれる複数の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定する手段であって、前記候補単位領域選択手段が互いに隣接する複数の候補単位領域を選択した場合には、当該隣接する複数の候補単位領域に含まれる全ての交点を対象としてクラスタリング処理を実行する交点群決定手段と、
前記決定した候補交点群に属する複数の交点の重心位置の前記２次元空間内における座標値を、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値として算出する変換パラメタ算出手段と、
を含み、
前記算出した拡縮率及び平行移動量を用いてアフィン変換された前記第１画像データと前記第２画像データとの照合処理を行うことを特徴とする画像照合装置。
【請求項２】
請求項１に記載の画像照合装置において、
前記波形の変化が特徴的となる位置は、前記画素値投影波形内での波形のピークを表す位置であることを特徴とする画像照合装置。
【請求項３】
コンピュータを用いて、第１画像データと第２画像データとの照合を行う画像照合方法であって、
前記第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形の変化が特徴的となる位置を表す位置情報を取得する取得ステップと、
前記第１画像データから得られた複数の位置情報のそれぞれを前記第２画像データから得られた複数の位置情報のそれぞれに一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す複数の直線式を決定するステップと、
前記決定した複数の直線式により表される直線のうち、前記２次元空間を分割して得られる複数の単位領域のそれぞれを通過する直線の本数に基づいて、前記複数の単位領域から少なくとも一つの候補単位領域を選択する候補単位領域選択ステップと、
前記決定した複数の直線式の交点のうち、前記選択された候補単位領域に含まれる複数の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定するステップであって、前記候補単位領域選択ステップで互いに隣接する複数の候補単位領域が選択された場合には、当該隣接する複数の候補単位領域に含まれる全ての交点を対象としてクラスタリング処理を実行するステップと、
前記決定した候補交点群に属する複数の交点の重心位置の前記２次元空間内における座標値を、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値として算出するステップと、
を含み、
前記算出した拡縮率及び平行移動量を用いてアフィン変換された前記第１画像データと前記第２画像データとの照合処理を行うことを特徴とする画像照合方法。
【請求項４】
第１及び第２画像データのそれぞれに対し、当該画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形の変化が特徴的となる位置を表す位置情報を取得する取得手段、
前記第１画像データから得られた複数の位置情報のそれぞれを前記第２画像データから得られた複数の位置情報のそれぞれに一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す複数の直線式を決定する直線式決定手段、
前記決定した複数の直線式により表される直線のうち、前記２次元空間を分割して得られる複数の単位領域のそれぞれを通過する直線の本数に基づいて、前記複数の単位領域から少なくとも一つの候補単位領域を選択する候補単位領域選択手段、
前記決定した複数の直線式の交点のうち、前記選択された候補単位領域に含まれる複数の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定する手段であって、前記候補単位領域選択手段が互いに隣接する複数の候補単位領域を選択した場合には、当該隣接する複数の候補単位領域に含まれる全ての交点を対象としてクラスタリング処理を実行する交点群決定手段、
前記決定した候補交点群に属する複数の交点の重心位置の前記２次元空間内における座標値を、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値として算出する変換パラメタ算出手段、及び
前記算出した拡縮率及び平行移動量を用いてアフィン変換された前記第１画像データと前記第２画像データとの照合処理を行う手段、
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの照合を行う画像照合装置、画像照合方法及びプログラムに関する。
【背景技術】
【０００２】
近年、記憶装置の大容量化などに伴って、多くの文書データや画像データを蓄積して、利用者に提供するデータ管理システムが普及しつつある。このようなデータ管理システムが効率的に利用されるためには、蓄積された大量のデータからユーザが必要とするデータを容易に見つけられるように検索機能を充実させる必要がある。しかしながら、文字コード情報などからなる文書データを検索する場合と比較して、画像データの検索は一般に困難である場合が多い。すなわち、例えば殆ど同じ画像を表す画像データであっても、一度紙などの記録媒体上に印刷されて再びスキャナで読み取られた場合などにおいては、位置ずれや色合いの変化などが生じて、データとしては全く異なるものになってしまう。その結果、単純に画像データ同士を比較するだけでは、類似する画像であることが判定できない。そこで、例えば画像データから画像の特徴を表すデータを抽出して照合することで、類似する画像であるか否かを判定する画像照合技術が提案されている。
【０００３】
このような画像照合技術の一つとして、照合対象となる２つの画像データのそれぞれに基づく画像特徴情報を取得し、当該画像特徴情報に基づいて一方の画像データに対するアフィン変換の変換パラメタである、拡縮率及び平行移動量の値を推定し、推定された変換パラメタを用いて画像の照合を行う技術がある（特許文献１）。当該技術においては、例えば画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形を取得し、当該画素値投影波形において波形の変化が特徴的となる位置を表す位置情報を画像特徴情報として用いる。この技術によれば、例えば横書きや縦書きの文字列を含む文書を表すような画像において、画素が集中する行や列の配置に関する情報を画素値投影波形として抽出し、照合することで、画像が類似するか否かを判定できる。
【０００４】
図７（ａ）及び図７（ｂ）は、画素値投影波形を生成する際の、画像データに含まれる画素値を累算する方向の例を表す説明図である。図７（ａ）においては、画像データの水平方向に画素値を累算する場合の例が示されている。また、図７（ｂ）においては、画像データの垂直方向に画素値を累算する場合の例が示されている。この図に示す方向に沿って画素値を累算することにより、各行又は各列の画素の画素値を累算して得られる累算値を画像データ上の位置に応じた順序で並べた累算値系列が得られる。そして、この累算値系列によって表される波形が画素値投影波形となる。図８は、このようにして得られた画素値投影波形の一例を模式的に表す説明図である。
【０００５】
ここで、もし２つの画像データが完全に一致するのであれば、当該画像データから生成された所定方向についての画素値投影波形も一致するはずである。しかしながら、照合対象となる画像データの一方が、他方の画像データに対して拡大や縮小された画像データであったり、位置ずれを起こしたりしている場合には、画像データの画素値投影波形にもずれが生じる。そこで当該技術によれば、画像照合装置は、照合対象となる画像データの一致度が高くなるように、それぞれの画素値投影波形から得られた位置情報に基づいて、一方の画像データに対するアフィン変換の変換パラメタ（拡縮率及び平行移動量）を算出する。そして、決定された変換パラメタにより一方の画像データに対して拡大、縮小、平行移動などの画像変換処理を施し、変換された画像データを用いて画像の照合を行う。これにより、拡大や縮小、また位置ずれを起こした画像からであっても、類似する画像を検索することができる。
【特許文献１】特開２００３−９１７３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来例の技術においては、例えば画像データの特性等によって生成される画素値投影波形に多数のピーク位置が含まれるような画像の照合を行う場合、十分高い精度で画像を照合できないことがある。すなわち、画像データから多数の画像特徴情報（例えばピーク位置の位置情報）が得られる場合、照合対象となるそれぞれの画像データに基づいて取得した画像特徴情報同士を比較して変換パラメタを算出する際に、ノイズが生じてしまい、算出される変換パラメタの精度が悪くなってしまう場合がある。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画像照合の精度を向上できる画像照合装置、画像照合方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明に係る画像照合装置は、第１画像データと第２画像データとの照合を行う画像照合装置であって、前記第１及び第２画像データのそれぞれに基づいて取得した画像特徴情報に基づいて、前記第１画像データに基づく画像特徴情報を前記第２画像データに基づく画像特徴情報に一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す直線式を複数決定する直線式決定手段と、前記決定した複数の直線式の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定する交点群決定手段と、前記決定した候補交点群に属する各交点の位置に基づいて、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値を算出する変換パラメタ算出手段と、を含み、前記算出した拡縮率及び平行移動量が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。
【０００９】
上記構成によれば、照合対象となる画像データの一方に対するアフィン変換の変換パラメタである拡縮率及び平行移動量が採りうる値の関係を表す複数の直線式を決定し、各変換パラメタを座標軸とする２次元空間上における当該直線式の交点を分類するクラスタリング処理を実行することで、ノイズとして生じてしまった２次元空間上の交点を除去できる。これにより、照合対象となる２つの画像データの一致度が高くなるような変換パラメタを精度よく求めることができ、画像照合の精度を向上できる。
【００１０】
また、上記画像照合装置は、前記第１及び第２画像データのそれぞれに対し、画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形を取得する画素値投影波形取得手段をさらに含み、前記画像特徴情報は、前記取得した各画素値投影波形内での波形の変化が特徴的となる位置を表す位置情報であることとしてもよい。さらに、前記波形の変化が特徴的となる位置は、前記画素値投影波形内での波形のピークを表す位置であることとしてもよい。
【００１１】
また、上記画像照合装置において、前記交点群決定手段は、前記２次元空間上において所定の条件を満たす候補領域に含まれる交点に対して、クラスタリング処理を実行することとしてもよい。
【００１２】
また、本発明に係る画像照合方法は、コンピュータを用いて、第１画像データと第２画像データとの照合を行う画像照合方法であって、前記第１及び第２画像データのそれぞれに基づいて取得した画像特徴情報に基づいて、前記第１画像データに基づく画像特徴情報を前記第２画像データに基づく画像特徴情報に一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す直線式を複数決定するステップと、前記決定した複数の直線式の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定するステップと、前記決定した候補交点群に属する各交点の位置に基づいて、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値を算出するステップと、を含み、前記算出した拡縮率及び平行移動量が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。
【００１３】
また、本発明に係るプログラムは、第１及び第２画像データのそれぞれに基づいて取得した画像特徴情報に基づいて、前記第１画像データに基づく画像特徴情報を前記第２画像データに基づく画像特徴情報に一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を、当該拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間上における直線として表す直線式を複数決定する直線式決定手段、前記決定した複数の直線式の交点に対して、当該各交点を分類するクラスタリング処理を実行して、複数の交点を含む少なくとも一つの交点群を候補交点群として決定する交点群決定手段、及び前記決定した候補交点群に属する各交点の位置に基づいて、前記第１画像データと、前記第２画像データとの一致度が高くなる前記拡縮率及び平行移動量の値を算出する変換パラメタ算出手段、としてコンピュータを機能させ、前記算出した拡縮率及び平行移動量が、前記第１画像データと前記第２画像データとの照合処理に供されることを特徴とする。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像照合装置は、図１に示すように、制御部１１と、記憶部１２と、画像読み取り部１３と、表示部１４と、を含んで構成されている。
【００１５】
制御部１１は、ＣＰＵ等であって、記憶部１２に記憶されたプログラムに従って動作する。本実施の形態においては、検索キーとなるキー画像データと、記憶部１２に記憶されている蓄積画像データと、にそれぞれ基づく画像特徴情報を用いて、当該２つの画像データの一致度が高くなるような変換パラメタを算出する。さらに、算出した変換パラメタを用いて２つの画像データの照合を行い、両者が類似する画像か否かを判定する画像照合処理を実行する。これにより、本実施形態に係る画像照合装置は、キー画像データに類似する蓄積画像データを検索し、その結果を出力できる。本実施の形態において制御部１１が実行する処理の例については、後に詳しく述べる。
【００１６】
記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。さらに、本実施形態においては、記憶部１２は、照合対象となる複数の画像データを、蓄積画像データとして記憶している。
【００１７】
画像読み取り部１３は、光学的に紙などの記録媒体に形成されている画像を読み取り、これを画像データに変換して制御部１１に出力する。これにより、制御部１１はキー画像データを取得できる。また、表示部１４は、ディスプレイ等であって、制御部１１から入力される指示に従い、検索結果などの種々の情報を表示する。
【００１８】
次に、本実施形態に係る画像照合装置が実現する機能について説明する。本実施形態に係る画像照合装置は、機能的には、図２に示すように、投影波形取得部２１と、位置情報取得部２２と、直線式決定部２３と、交点群決定部２４と、変換パラメタ算出部２５と、画像照合部２６と、を含んで構成されている。これらの機能は、例えば制御部１１が記憶部１２に格納されているプログラムを実行することによって実現できる。
【００１９】
投影波形取得部２１は、照合対象となるキー画像データ及び蓄積画像データ（以下、両者を合わせて照合対象画像データという）のそれぞれに対し、画像データに含まれる各画素の画素値を所定方向に累算して得られる画素値投影波形を取得する。
【００２０】
ここで所定方向とは、例えば水平方向や垂直方向などである。具体例として、キー画像データが文書画像を表すデータであって、当該文書が縦書きであるか横書きであるかが予めわかっている場合、この文字の配置された方向を所定方向として選択することとしてもよい。このような方向を用いることで、特に画像の特徴を反映した画素値投影波形を得ることができる。また、例えば画像データの特徴が不明瞭な場合、水平方向と垂直方向の両方など、複数の方向についての画素値投影波形を取得することとしてもよい。この場合、本実施形態に係る画像照合装置は、複数の所定方向についての画素値投影波形をそれぞれ比較することで、より精度の高い画像の照合を行うことができる。さらに、例えばキー画像データに対する水平方向と垂直方向とのいずれか一方についての画素値投影波形を、蓄積画像データに対する水平方向及び垂直方向それぞれの画素値投影波形と比較することとしてもよい。これにより、キー画像データが蓄積画像データに対して９０度回転した画像である場合であっても、画像を照合して類似画像であると判定できる。
【００２１】
投影波形取得部２１は、この所定方向に沿って、画像データに含まれる各画素の画素値を累算して得られる画素値投影波形を取得する。画素値投影波形は、当該所定方向に画像データの画素値を投影した場合の分布を表す。コンピュータ上においては、この画素値投影波形は、所定方向に沿って各画素の画素値を累算して得られる複数の累算値が、当該各累算値を算出する対象となった画素群の画像データ上の配置順に従って並べられた数値配列（累算値系列）として、表現される。
【００２２】
この累算値を演算するにあたり、照合対象画像データが白黒画像データであれば、白の点の画素値を「０」、黒の点の画素値を「１」として累算すればよいし、中間調を含む多値画像データであれば、例えば白を「０」、黒を「２５５」等とすればよい。さらにカラー画像データの場合は、例えばその濃度成分を分離して得られる濃度画像を上記多値画像と見なして累算値を計算する。濃度成分の分離は、公知のカラー値に対する変換処理により行うことができる。
【００２３】
また、投影波形取得部２１は、例えば画像照合処理を行う際に、照合対象画像データに基づいて各累算値を算出することで、この画素値投影波形を取得してもよい。あるいは、特に蓄積画像データについては、予め当該蓄積画像データの所定方向について算出された画素値投影波形が、当該蓄積画像データに対応づけられて記憶部１２に保持されることとしてもよい。この場合、投影波形取得部２１は単に記憶部１２から読み出すことで画素値投影波形を取得でき、画像の照合を行う際の演算量を低減することができる。
【００２４】
なお、画像読み取り部１３が読み取ることで取得したキー画像データに対して画素値投影波形を生成する場合、画素値投影波形の生成処理前に公知の傾き補正技術を利用して読み取り時の軽微な傾きを補正することとしてもよい。また、キー画像データを読み取った際の画像読み取り部１３の解像度の設定などに応じて、キー画像データから一時的に生成した画素値投影波形を所定のスケール（既定スケール）にスケーリングした、いわば規格化した画素値投影波形を取得することとしてもよい。これにより、予め蓄積画像データの画素値投影波形に近いサイズに規格化された画素値投影波形を用いて、画素値投影波形の比較を行うことができる。
【００２５】
また、ここまでの説明においては、画素値を累算して得られる累算値系列によって表される波形そのものを取得対象の画素値投影波形としたが、当該波形を微分して得られる、微分波形を比較する対象となる画素値投影波形として取得してもよい。例えばキー画像データとして複写文書を用いる場合、画像データに写真やドローイングのような中間調領域を含んでいると、その濃度値は大きく変化している場合が多く、その結果累算値系列からなる波形の波高値も安定しない場合が多い。このような場合でも累算値系列からなる波形の凹凸の様子は多くの場合維持されているので、微分波形を比較対象となる画素値投影波形として用いる方が好ましい場合も多いからである。
【００２６】
位置情報取得部２２は、投影波形取得部２１が取得した各画素値投影波形に基づいて、当該画素値投影波形内での波形の変化が特徴的となる位置を表す複数の位置情報を取得する。この位置情報は、本発明における画像特徴情報の一例であって、照合対象画像データの一致度が高くなるような変換パラメタの算出に用いられる。
【００２７】
波形の変化が特徴的となる位置としては、例えば累算値のピーク位置を用いることができる。累算値のピーク位置は、画素値投影波形の極値として算出できる。また、位置情報取得部２２は、波形の変化が特徴的となる位置として累算値の最大値や最小値、波形の変曲点などの位置、重心位置、累算値が所定値を取る位置などを用いてもよい。
【００２８】
ここで、例えば累算値のピーク位置を波形の変化が特徴的となる位置として用いる場合、全てのピーク位置の位置情報を取得しなくともよい。例えば画素値投影波形の高周波成分によって生じるピークは、画像データに含まれるノイズ等によって容易にその数や位置が変動してしまい、画像の特徴を反映していない場合もあり得る。そこで、位置情報取得部２２は、このようなピークを前述した特許文献１に記載された方法などによって除外したうえで、ピーク位置を表す位置情報を取得することとしてもよい。
【００２９】
位置情報取得部２２は、投影波形取得部２１と同様に、取得した画素値投影波形に対して演算を行って位置情報を取得してもよいし、あるいは予め画像データに対応づけて記憶部１２に記憶された位置情報を読み出すことで取得してもよい。一例として、図８に例示するような画素値投影波形に対してピーク位置を表す位置情報を取得する場合、位置情報取得部２２は、α，β及びγの値をそれぞれ位置情報として取得する。
【００３０】
直線式決定部２３は、照合対象画像データのそれぞれに基づいて取得した画像特徴情報に基づいて、一方の画像データに基づく画像特徴情報を他方の画像データに基づく画像特徴情報に一致させるようなアフィン変換の変換パラメタである、拡縮率及び平行移動量が採りうる値の関係を表す関係式を決定する。ここで、当該関係式は、拡縮率及び平行移動量にそれぞれ対応する座標軸を有する２次元空間（変換パラメタ平面）上における直線を表す直線式となる。
【００３１】
ここで、拡縮率は、照合対象画像データ間で縮尺が変化していたり、読み取りを行う際に異なる解像度で読み取られて画像サイズが変化したりしている場合に、このような変化を補正するスケーリング処理に用いられるパラメタである。また、平行移動量は、読み取りの際の原稿の位置のずれ等により、画像データに含まれる各画素の全体の位置がずれている場合に、このような位置ずれを補正する平行移動処理に用いられるパラメタである。この変換パラメタを用いて、一方の画素値投影波形に対してスケーリング処理と平行移動処理とを含むアフィン変換処理を行ってから２つの画像データ又は画像データから得られる画素値投影波形を比較することで、本実施形態に係る画像照合装置は、元の画像データに対して拡大や縮小、また平行移動がされた画像データからでも、類似する画像データの検索を行うことができる。ここで、アフィン変換処理の対象となる画像データは、キー画像データであってもよいし、蓄積画像データであってもよい。
【００３２】
具体例として、直線式決定部２３は、位置情報取得部２２が取得した、キー画像データに対する複数の位置情報と、蓄積画像データに対する複数の位置情報と、からそれぞれ１つずつ位置情報を選択してなる位置情報ペアを複数生成する。そして、当該各位置情報ペアを構成する２つの位置情報を一致させるような変換パラメタが採りうる値の集合を表す直線式を、それぞれ決定する。
【００３３】
具体的に、直線式決定部２３が直線式を決定する処理の例について、以下に説明する。ここでは、拡縮率を変数ｋ、平行移動量を変数ｓで表し、キー画像データから得られた画素値投影波形のピーク位置の位置情報をｐ１，ｐ２，ｐ３とする。また、蓄積画像データから得られた画素値投影波形のピーク位置の位置情報をｑ１，ｑ２，ｑ３とする。
【００３４】
まず直線式決定部２３は、複数の位置情報ペアを生成する。直線式決定部２３は、照合対象であるキー画像データから得られた位置情報と、蓄積画像データから得られた位置情報と、からそれぞれ１つずつ位置情報を選択することで位置情報ペアを生成できる。ここで、直線式決定部２３は可能な全ての組み合わせについて、位置情報ペアを生成してもよいし、所定の条件を満たす位置情報ペアのみを選択することとしてもよい。例えば、２つの位置情報の差が所定の値以上の場合、位置情報ペアとして選択しないこととしてもよい。上述した例においては、直線式決定部２３は、位置情報ペアとして例えば（ｐ１，ｑ１），（ｐ１，ｑ２），（ｐ１，ｑ３），（ｐ２，ｑ１），（ｐ２，ｑ２），（ｐ２，ｑ３），（ｐ３，ｑ１），（ｐ３，ｑ２）及び（ｐ３，ｑ３）の９つのペアを生成する。なお、直線式決定部２３は、同じ種別の特徴的な位置を表す位置情報を組み合わせて位置情報ペアを生成する必要がある。すなわち、例えば凸ピークと凹ピークのそれぞれについての位置情報を位置情報取得部２２が取得している場合、直線式決定部２３は、凸ピークの位置情報は凸ピークの位置情報と、凹ピークについては凹ピークの位置情報と、それぞれ組み合わせて位置情報ペアを生成する。
【００３５】
この複数の位置情報ペアに基づいて、当該各位置情報ペアに属する２つの位置情報を一致させるような変換パラメタが採りうる値の集合を表す直線式を、それぞれ決定できる。ここで、位置情報ペアに含まれるキー画像データの位置情報をｐｉ、蓄積画像データの位置情報をｑｉとする。キー画像データの画素値投影波形に対して拡縮率ｋ及び平行移動量ｓを用いてスケーリング処理及び平行移動処理を行った結果、キー画像データの画素値投影波形におけるピーク位置ｐｉと、蓄積画像データの画素値投影波形におけるピーク位置ｑｉとが一致したとする。この場合、このような拡縮率ｋ及び平行移動量ｓは、以下の関係式を満たすこととなる。
ｑｉ＝ｋ・ｐｉ＋ｓ
この関係式を変形することにより、以下のような変換パラメタ平面上における直線式が得られる。
ｓ＝−ｐｉ・ｋ＋ｑｉ
直線式決定部２３は、生成した各位置情報ペアに対して、このような直線式を決定する。
【００３６】
このようにして決定した複数の直線式を変換パラメタ平面上に描画した場合、理想的には多くの直線が交差する座標が求められる。この座標値（ｋ，ｓ）を用いて一方の画素値投影波形に対してアフィン変換を行えば、類似する２つの画像から生成された２つの画素値投影波形において、各ピーク位置は一致するはずである。しかしながら、演算の誤差等の要因により、各直線式から求められるｋやｓは必ずしも一致しない。そこで、複数の直線式に基づいて、２つの画像データの一致度が高くなるような変換パラメタを推測する必要がある。
【００３７】
本実施の形態において特徴的なことは、この変換パラメタを算出する際に、クラスタリング処理により決定した交点群を用いることである。すなわち、本実施の形態においては、交点群決定部２４が、直線式決定部２３が決定した複数の直線の交点に対して、クラスタリング処理を実行して当該各交点を分類する。そして、分類した結果得られる交点群（交点クラスタ）の中から、求めるべき変換パラメタの位置座標に対応すると考えられる少なくとも一つの候補交点群を決定する。交点群決定部２４が決定した交点群は、変換パラメタ算出部２５による変換パラメタの算出に用いられる。これにより、本実施形態に係る画像照合装置は、変換パラメタ平面上にノイズとして生じてしまった交点を候補交点群から除外することで、２つの画像データの一致度が高くなるような変換パラメタを精度よく求めることができる。
【００３８】
ここで、交点群決定部２４は、まず変換パラメタ平面上において所定の条件を満たす領域を、求めるべき変換パラメタが存在すると推定される候補領域として決定することとしてもよい。具体例として、交点群決定部２４は、例えば特許文献１において示されるように、投影波形取得部２１が取得した画素値投影波形の幅や重心の情報に基づいて、候補領域を決定する。この候補領域に含まれる交点のみを用いてクラスタリング処理を実行することで、本実施形態に係る画像照合装置は変換パラメタ算出の際の演算量を低減でき、また誤った変換パラメタを求めるべき変換パラメタとして決定することを避けることができる。
【００３９】
また、交点群決定部２４は、変換パラメタ平面を複数の単位領域（セル）に分割して量子化することで、この複数の単位領域の中から候補領域を決定してもよい。この場合、例えば交点群決定部２４は、変換パラメタ平面を拡縮率及び平行移動量の座標軸方向に沿ってそれぞれ所定の長さごとに分割することで、所定の大きさの矩形領域からなる単位領域に変換パラメタ平面を分割する。図３は、このような単位領域に分割された変換パラメタ平面の例を示す説明図である。図３の例においては、平面上の実線で表された直線は直線式決定部２３が決定した直線式により表される直線の例を示しており、図中の二点鎖線が各単位領域の境界線を表している。
【００４０】
そして、交点群決定部２４は、複数の単位領域のうち、当該単位領域を通過する直線に基づいて選択した少なくとも一つの単位領域を、候補領域（候補単位領域）として選択する。例えば交点群決定部２４は、通過する直線の数が最も多い単位領域を候補単位領域として選択する。あるいは、直線の数が多い順に所定の数の単位領域を候補単位領域として選択してもよい。一例として、図３の例においては、最も多くの直線が通過する単位領域である、図中において斜線で表される単位領域を、候補単位領域として選択する。
【００４１】
次に、交点群決定部２４は、直線式決定部２３が決定した複数の直線式から得られる全ての交点、又は上述した候補領域に含まれる交点に対して、当該各交点を分類するクラスタリング処理を実行する。ここで、クラスタリング処理の方法としては、例えば階層的クラスタリングや、Ｋ平均法などの公知の方法を用いることができる。
【００４２】
図４は、変換パラメタ平面上の候補単位領域において、クラスタリング処理によって交点を分類した結果得られる交点群（クラスタ）の一例を表す説明図である。この例においては、候補単位領域内に６つの交点がある。そして、この６つの交点は、クラスタリング処理によって、相対的に距離の近い交点ごとに３つの交点群に分類される。図中の二点差線は、クラスタリング処理によって得られる３つの交点群Ｇ１，Ｇ２及びＧ３を表している。
【００４３】
さらに交点群決定部２４は、分類した結果得られる交点群の中から、求めるべき変換パラメタの位置座標に対応すると考えられる少なくとも一つの交点群を候補交点群として決定する。一例として、交点群決定部２４は、最も多数の交点を含む交点群を候補交点群に決定する。例えば図４の例においては、最も多数の交点を含む交点群である交点群Ｇ１を候補交点群に決定する。あるいは、交点群決定部２４は、交点の数の多い順に所定の数の交点群を候補交点群に決定してもよい。さらに、変換パラメタ平面上において交点群が占める範囲が所定の大きさ以上の場合には、候補交点群から除外することとしてもよい。例えば、交点群に含まれる各交点間の距離の最大値が所定の値を超える場合には、候補交点群として選択しないこととする。
【００４４】
なお、複数の候補単位領域に含まれる交点に対してクラスタリング処理を実行する場合、交点群決定部２４は、各候補単位領域に含まれる交点に対してそれぞれ別々にクラスタリング処理を実行し、複数の交点群を決定してもよい。あるいは、複数の候補単位領域のうち、隣接する候補単位領域については、当該隣接する候補単位領域に含まれる全ての交点に対してクラスタリング処理を実行してもよい。
【００４５】
一例として、図５に示す二つの隣接する候補単位領域Ａ１及びＡ２の例について説明する。ここで、候補単位領域Ａ１及びＡ２のそれぞれに含まれる交点について、別々にクラスタリング処理を実行した場合に、例えば候補単位領域Ａ１に含まれる各交点に基づいて、交点群Ｇ４及びＧ５が得られたとする。また、候補単位領域Ａ２に含まれる各交点に基づいて、交点群Ｇ６，Ｇ７及びＧ８が得られたとする。ここで、各交点群の重心位置を算出し、当該算出した重心位置間の距離をそれぞれ算出する。そして、重心位置間の距離が所定の値以下になる交点群については、一つの交点群であるものとみなす。図５の例においては、例えばＧ５とＧ６を一つの交点群Ｇ９として統合する。これにより、単位領域により分割されてしまった交点群についても、一つの交点群とすることができる。一方、隣接する候補単位領域に含まれる全ての交点に対してクラスタリング処理を実行する場合、クラスタリング処理により、例えば交点群Ｇ４，Ｇ７，Ｇ８及びＧ９が得られたとする。この場合には、得られた交点群をそのまま用いて、候補交点群を決定すればよい。
【００４６】
変換パラメタ算出部２５は、交点群決定部２４が決定した候補交点群に属する各交点の位置に基づいて、キー画像データと、蓄積画像データとの一致度が高くなる変換パラメタの値（拡縮率ｋ及び平行移動量ｓの値）を算出する。具体的には、例えば候補交点群に属する各交点の重心位置を算出することにより、変換パラメタの値を決定する。なお、交点群決定部２４が複数の交点群を候補交点群として決定した場合には、それぞれの候補交点群に基づいて、複数の変換パラメタの値を算出する。
【００４７】
画像照合部２６は、変換パラメタ算出部２５が算出した変換パラメタを用いて、キー画像データと蓄積画像データとの間の画像照合処理を行う。例えば画像照合部２６は、変換パラメタ算出部２５が算出した変換パラメタが複数ある場合、それぞれの変換パラメタに基づいてキー画像データの画素値投影波形に対してアフィン変換処理を行う。次いで、アフィン変換されたキー画像データの画素値投影波形と、蓄積画像データの画素値投影波形と、の相関値を、照合対象画像データの一致度を表すパラメタとして算出する。そして、画像照合部２６は、当該算出した一致度が最も高くなる変換パラメタを、求めるべき変換パラメタとして決定する。
【００４８】
さらに、決定した変換パラメタによりキー画像データそのものに対するアフィン変換を行い、アフィン変換されたキー画像データと、蓄積画像データと、が類似するか否かをより詳細に判定することとしてもよい。ここで、画像照合部２６は、各照合対象画像データの垂直方向及び水平方向それぞれの画素値投影波形を比較して得られたそれぞれの方向についての変換パラメタを用いて、アフィン変換を実行することとしてもよい。あるいは、画像照合部２６は、アフィン変換されたキー画像データの画素値投影波形と、蓄積画像データの画素値投影波形と、の間の相関値が所定の条件を満たすか否かによって、直ちに２つの画像データが類似するか否かを判定してもよい。画像照合部２６が行う画像照合処理は、具体的には、例えば特許文献１に記載された方法により実現できる。
【００４９】
ここで、本実施形態に係る画像照合装置が実行する処理の例について、図６のフロー図に基づいて説明する。なお、このフローの例においては、蓄積画像データの水平方向及び垂直方向の画素値投影波形が、それぞれ予め記憶部１２に記憶されているものとする。
【００５０】
まず投影波形取得部２１が、画像読み取り部１３が読み取った画像の画像データをキー画像データとして取得する（Ｓ１）。そして、Ｓ１で取得したキー画像データに基づいて、水平方向及び垂直方向のいずれかを画素値投影波形を生成する際に投影を行う所定方向として決定する（Ｓ２）。さらに投影波形取得部２１は、Ｓ２で決定した方向について、キー画像データの画素値投影波形を生成することで、取得する（Ｓ３）。
【００５１】
次に、位置情報取得部２２が、記憶部１２に記憶された照合対象となる蓄積画像データの画素値投影波形と、Ｓ３で取得したキー画像データの画素値投影波形と、に基づいて、それぞれのピーク位置を表す位置情報を算出し、取得する（Ｓ４）。次に、直線式決定部２３が、Ｓ４で取得した位置情報に基づいて複数の位置情報ペアを生成することで、直線式を決定する（Ｓ５）。
【００５２】
続いて、交点群決定部２４が、Ｓ５で決定した各直線式に基づいて、当該直線式によって表される各直線の交点の位置座標を算出する（Ｓ６）。さらに、所定の条件に基づいて変換パラメタ平面上の候補領域を決定し、当該決定した候補領域に含まれる交点の位置座標を、Ｓ６で算出した位置座標の中から選択する（Ｓ７）。そして、Ｓ７で選択した交点をクラスタリング処理により分類し、分類して得られる交点群の中から候補交点群を決定する（Ｓ８）。
【００５３】
次に、変換パラメタ算出部２５が、Ｓ８で決定した候補交点群に基づいて、変換パラメタを算出する（Ｓ９）。さらに、画像照合部２６が、Ｓ９で算出した変換パラメタに基づいて変換処理を実行したキー画像データと、蓄積画像データとの間の一致度を算出する（Ｓ１０）。このＳ９及びＳ１０の処理は、Ｓ８で決定した候補交点群が複数ある場合には、全ての候補交点群について繰り返される。
【００５４】
そして、画像照合部２６は、Ｓ８で決定した全ての候補交点群についてＳ１０で算出された一致度を比較して最も高い一致度を選択し、この一致度に基づいて画像が類似するか否かの判定を行い、結果を出力する（Ｓ１１）。例えば、一致度が所定の値以下の場合、画像データは類似しないと判定し、キー画像データと蓄積画像データとの間の照合処理を終了する。一方、類似すると判定した場合には、照合対象として蓄積画像データを検索結果候補に含めて、照合処理を終了する。この処理を記憶部１２に記憶された全ての画像データについて行うことで、本実施形態に係る画像照合装置はキー画像データに類似する画像データを検索結果候補として抽出し、表示部１４に表示させるなどの方法で検索結果としてユーザに提示できる。
【００５５】
以上説明した本実施の形態によれば、変換パラメタ平面上において変換パラメタが採りうる値の関係を表す複数の直線式を決定し、当該直線式の交点を分類するクラスタリング処理を実行してノイズとして生じてしまった交点を除外することで、照合対象となる２つの画像データの一致度が高くなるような変換パラメタを精度よく求めることができる。これにより、本実施形態に係る画像照合装置は、画像照合の精度を向上できる。
【００５６】
なお、本発明は上記実施形態に限定されるものではない。例えば本発明の実施の形態に係る画像照合装置は、照合対象となる画像データとして、記憶部１２に予め蓄積された画像データや画像読み取り部１３によって読み取られた画像データだけでなく、例えば通信ネットワーク経由で取得した画像データなど、種々の画像データを用いることができる。
【００５７】
また、上記説明においては画像特徴情報として画素値投影波形に基づいて得られる位置情報を用いる場合の例について説明したが、本発明の実施の形態において用いることのできる画像特徴情報はこれに限られない。例えば、画像データ上から所定の条件に基づいて選択された特徴点の位置座標など、照合対象画像データ間で対応付けができる位置に関する情報を用いることができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態に係る画像照合装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る画像照合装置の機能を表す機能ブロック図である。
【図３】単位領域に分割された変換パラメタ平面の例を表す説明図である。
【図４】変換パラメタ平面上において、交点群に分類された交点の一例を表す説明図である。
【図５】変換パラメタ平面上の二つの隣接する候補単位領域において、交点群に分類された交点の一例を表す説明図である。
【図６】本発明の実施の形態に係る画像照合装置によって実行される処理の一例を示すフロー図である。
【図７】画像データから累算値を算出する際の所定方向の一例を表す説明図である。
【図８】画像データから生成される画素値投影波形の一例を表す説明図である。
【符号の説明】
【００５９】
１１  制御部、１２  記憶部、１３  画像読み取り部、１４  表示部、２１  投影波形取得部、２２  位置情報取得部、２３  直線式決定部、２４  交点群決定部、２５  変換パラメタ算出部、２６  画像照合部。
【図１】
0004692377.tif 000002
【図２】
0004692377.tif 000003
【図３】
0004692377.tif 000004
【図４】
0004692377.tif 000005
【図５】
0004692377.tif 000006
【図６】
0004692377.tif 000007
【図７】
0004692377.tif 000008
【図８】
0004692377.tif 000009