(57)【特許請求の範囲】
【請求項１】
入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成工程と、
前記微分画像生成工程で生成された前記微分画像の微分値に基づいて、背景から対象画像に至るエッジを含む領域及び前記対象画像から前記背景に至るエッジを含む領域をそれぞれ正領域及び負領域として分離する正負分離工程と、
前記正負分離工程により分離された前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成工程と、
前記正負画像生成工程で生成された前記正画像及び前記負画像から、各画像に含まれる前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を生成する特徴画像生成工程と
を含んだことを特徴とする画像特徴抽出方法。
【請求項２】
前記正負分離工程では、前記微分フィルタを適用して得られた微分値が正の値である領域が前記正領域として分離され、前記微分値が負の値である領域が前記負領域として分離されることを特徴とする請求項１に記載の画像特徴抽出方法。
【請求項３】
前記特徴画像生成工程では、前記正画像および前記負画像に最大値フィルタを適用することにより、前記正特徴画像及び前記負特徴画像が生成されることを特徴とする請求項１又は２に記載の画像特徴抽出方法。
【請求項４】
前記所定方向を含む複数方向の各方向で前記微分画像生成工程、前記正負分離工程、前記正負画像生成工程及び前記特徴画像生成工程を実行して、複数の前記正特徴画像及び前記負特徴画像を生成することを特徴とする請求項１、２又は３に記載の画像特徴抽出方法。
【請求項５】
入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成部と、
前記微分画像生成部で生成された前記微分画像の微分値に基づいて、背景から対象画像に至るエッジを含む領域及び前記対象画像から前記背景に至るエッジを含む領域をそれぞれ正領域及び負領域として、前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成部と、
前記正負画像生成部で生成された前記正画像及び前記負画像に膨張フィルタを適用して、前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を生成する特徴画像生成部と
を備えることを特徴とする画像特徴抽出装置。
【請求項６】
入力画像と参照画像とを照合する画像照合方法であって、
画像照合の対象を撮像して前記入力画像を生成する入力画像生成工程と、
前記入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成工程と、
前記微分画像生成工程で生成された前記微分画像の微分値に基づいて正領域及び負領域を分離する正負分離工程と、
前記正負分離工程により分離された前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成工程と、
前記正負画像生成工程で生成された前記正画像及び前記負画像から、各画像に含まれる前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を、特徴画像として生成する特徴画像生成工程と、
前記入力画像から生成された前記特徴画像と参照用特徴画像とを比較して、前記入力画像と前記参照画像とが一致するか否かを判定する判定工程と
を含んだことを特徴とする画像照合方法。
【請求項７】
入力画像と参照画像とを照合する画像照合装置であって、
画像照合の対象を撮像して前記入力画像を生成する撮像部と、
前記入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成部と、
前記微分画像生成部で生成された前記微分画像から、微分値が正の値である正領域に基づいて正画像を生成するとともに、微分値が負の値である負領域に基づいて負画像を生成する正負画像生成部と、
前記正負画像生成部で生成された前記正画像及び前記負画像に膨張フィルタを適用して、前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を、特徴画像として生成する特徴画像生成部と、
参照用特徴画像が保存された記憶部と、
前記入力画像から生成された前記特徴画像と前記記憶部に保存された前記参照用特徴画像とを比較して、前記入力画像と前記参照画像とが一致するか否かを判定する画像照合部と
を備えることを特徴とする画像照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像照合に利用することを目的として画像に含まれる特徴を抽出するための画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置に関する。特に、照合対象画像と参照画像間の変形の影響を抑制しながら、画像の特徴を抽出可能な画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置に関する。
【背景技術】
【０００２】
従来、照合対象として入力された画像（以下、「入力画像」と記載する）の特徴量と予め登録された参照用の画像（以下、「参照画像」と記載する）の特徴量とを照合する技術が知られている。特徴量としては、例えば、微分フィルタを用いて文字の輪郭のエッジ情報を抽出して利用する。
【０００３】
ところが、かかるエッジを特徴量として用いる場合に、入力画像及び参照画像が同一の対象物から生成されたものであったとしても、両画像を撮影した際の対象物の向き等に変化があるとエッジの位置がずれてしまうケースがある。このため、かかるエッジの位置ずれを吸収する従来技術が知られている。
【０００４】
例えば、特許文献１では、画像を複数のブロックに分割して、各ブロックをモザイク化した後に比較することによって、エッジのずれの影響を抑制する方法が開示されている。具体的には、画像をぼかすようにモザイク化して、エッジを形成する画素が含まれているブロック全体をエッジとして取り扱うことによって、２つの画像の間でエッジがずれている場合にも一致すると判定することができる。また、特許文献２には、特許文献１と同様に、エッジの幅を広げる膨張処理として画像に最大値フィルタを適用する方法が開示されている。
【０００５】
このように、エッジを含むブロック領域をモザイク化したり、最大値フィルタを適用してエッジを膨張させることにより、画素単位で位置ずれしている場合でも、この影響を抑制して、参照画像と入力画像との間でエッジが一致すると判定することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２２１５４７号公報
【特許文献２】特許第３５２４８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術によれば、エッジをぼかしたり膨張処理を施したりすることによって特徴情報が失われてしまう場合がある。かかる従来技術における問題点を、図８及び図９を参照しながら具体的に説明する。
【０００８】
図８は、例えば、文字画像を形成するエッジを抽出した部分画像であるブロック画像１００、２００及び３００を示している。図８（Ａ）は判定基準となる参照画像から切り出されたブロック画像１００で、略中央位置にエッジ１１０がある。図８（Ｂ）は、同図（Ａ）と同じ文字を撮像した入力画像から、同図（Ａ）に対応する領域を切り出したブロック画像２００である。これに対し、図８（Ｃ）は、同図（Ａ）及び（Ｂ）とは異なる文字を撮像した入力画像から、同図（Ａ）及び（Ｂ）に対応する領域を切り出したブロック画像３００である。すなわち、図８（Ａ）と同図（Ｂ）とは同じ画像であると判定されるべき関係にあり、図８（Ａ）と同図（Ｃ）とは異なる画像であると判定されるべき関係にある。
【０００９】
図８（Ｂ）では、同図（Ａ）と同じ位置にエッジが含まれるべき所、エッジ２１０の位置が、同図（Ａ）のエッジ１１０よりも右側（Ｘ軸正方向）に位置ずれしている。例えば、撮像時のカメラの位置や向きが変化したり、撮像対象の文字が印字された紙に歪みが生じた場合に、このような位置ずれが生ずることがある。図８（Ａ）と同図（Ｂ）とを比較すると、２つのエッジ１１０及び２１０の位置がずれているため、異なる画像であると判定される可能性がある。
【００１０】
従来技術によれば、最大値フィルタを適用することにより、このような誤判定を回避することができる。具体的には、最大値フィルタの適用により、エッジに関する特徴画像として、図８（Ａ）からは図９（Ａ）に示す特徴画像が、図８（Ｂ）からは図９（Ｂ）に示す特徴画像を得ることができる。図９（Ａ）及び（Ｂ）の特徴画像を比較すれば、図８（Ａ）と同図（Ｂ）とが同じ画像であると判定することができる。
【００１１】
ところが、同様に図８（Ｃ）のブロック画像３００に最大値フィルタを適用すると、図９（Ｃ）に示すように、同図（Ａ）及び（Ｂ）と同じ特徴画像が得られる。このため、図９（Ａ）及び（Ｃ）の特徴画像を比較すると、図８（Ａ）と同図（Ｃ）も同じ画像であると誤判定されてしまう。すなわち、最大値フィルタを適用することによって、エッジの位置ずれによる影響を抑制することはできるが、同時にエッジに関する特徴情報が失われ、画像照合の結果を誤る可能性がある。
【００１２】
本発明は、上述した従来技術による問題点を解消するためになされたものであり、正確な画像照合を行うために、画像に含まれるエッジの位置ずれによる影響を抑制しながら、エッジに関する特徴を失うことなく抽出することができる画像特徴抽出方法及び画像特徴抽出装置並びにこれを用いた画像照合方法及び画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するために、本発明は、画像特徴抽出方法であって、入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成工程と、前記微分画像生成工程で生成された前記微分画像の微分値に基づいて、背景から対象画像に至るエッジを含む領域及び前記対象画像から前記背景に至るエッジを含む領域をそれぞれ正領域及び負領域として分離する正負分離工程と、前記正負分離工程により分離された前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成工程と、前記正負画像生成工程で生成された前記正画像及び前記負画像から、各画像に含まれる前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を生成する特徴画像生成工程とを含んだことを特徴とする。
【００１４】
また、本発明は、入力画像と参照画像とを照合する画像照合方法であって、画像照合の対象を撮像して前記入力画像を生成する入力画像生成工程と、前記入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成工程と、前記微分画像生成工程で生成された前記微分画像の微分値に基づいて正領域及び負領域を分離する正負分離工程と、前記正負分離工程により分離された前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成工程と、前記正負画像生成工程で生成された前記正画像及び前記負画像から、各画像に含まれる前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を、特徴画像として生成する特徴画像生成工程と、前記入力画像から生成された前記特徴画像と参照用特徴画像とを比較して、前記入力画像と前記参照画像とが一致するか否かを判定する判定工程とを含んだことを特徴とする。
【００１５】
また、本発明は、画像特徴抽出装置であって、入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成部と、前記微分画像生成部で生成された前記微分画像の微分値に基づいて、背景から対象画像に至るエッジを含む領域及び前記対象画像から前記背景に至るエッジを含む領域をそれぞれを正領域及び負領域として、前記正領域に基づいて正画像を生成するとともに、前記負領域に基づいて負画像を生成する正負画像生成部と、前記正負画像生成部で生成された前記正画像及び前記負画像に膨張フィルタを適用して、前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を生成する特徴画像生成部とを備えることを特徴とする。
【００１６】
また、本発明は、入力画像と参照画像とを照合する画像照合装置であって、画像照合の対象を撮像して前記入力画像を生成する撮像部と、前記入力画像に所定方向の微分フィルタを適用して微分画像を生成する微分画像生成部と、前記微分画像生成部で生成された前記微分画像から、微分値が正の値である正領域に基づいて正画像を生成するとともに、微分値が負の値である負領域に基づいて負画像を生成する正負画像生成部と、前記正負画像生成部で生成された前記正画像及び前記負画像に膨張フィルタを適用して、前記正領域を膨張させた正特徴画像及び前記負領域を膨張させた負特徴画像を、特徴画像として生成する特徴画像生成部と、参照用特徴画像が保存された記憶部と、前記入力画像から生成された前記特徴画像と前記記憶部に保存された前記参照用特徴画像とを比較して、前記入力画像と前記参照画像とが一致するか否かを判定する画像照合部とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、微分画像を正画像及び負画像の２つの画像に分離して、正画像及び負画像の各々を膨張させた画像を正特徴画像及び負特徴画像とすることとしたので、膨張処理による効果として画像に含まれるエッジの位置ずれによる影響を抑制しながら、エッジに関する情報が失われることを回避できる。また、本発明によれば、画像に、微分フィルタ及び膨張フィルタを順次適用することにより、高速かつ容易に正特徴画像及び負特徴画像を容易に生成することができる。
【００１８】
また、本発明によれば、入力画像及び参照画像から正特徴画像及び負特徴画像を生成して比較することによって画像照合を正確に行うことができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本実施例に係る画像処理装置の構成概要を示すブロック図である。
【図２】図２は、文字を撮像した画像からの処理対象画像の切り出しを説明する図である。
【図３】図３は、処理対象画像及び該画像から生成した微分画像を示す図である。
【図４】図４は、微分画像から生成された正画像及び負画像を示す図である。
【図５】図５は、正画像から生成された正特徴画像及び負画像から生成された負特徴画像を示す図である。
【図６】図６は、特徴画像を生成する方法を説明するフローチャートである。
【図７】図７は、処理対象画像の部分画像であるブロック画像を説明する図である。
【図８】図８は、エッジを含むブロック画像の複数の例を示す図である。
【図９】図９は、図８に示す各ブロック画像から従来技術により生成された特徴画像を示す図である。
【図１０】図１０は、ブロック画像から正領域及び負領域を分離する方法を示す図である。
【図１１】図１１は、図８に示す各ブロック画像から分離された正領域及び負領域を示す図である。
【図１２】図１２は、図１１に示す各ブロック画像から生成された正画像及び負画像を示す図である。
【図１３】図１３は、図１２に示す各ブロック画像から生成された正特徴画像及び負特徴画像を示す図である。
【図１４】図１４は、画像を正領域及び負領域に分離するために利用する微分フィルタの例を示す図である。
【図１５】図１５は、本実施例に係る特徴画像を利用して画像照合を行う画像照合装置の構成概要を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照して、この発明に係る画像特徴抽出装置及び画像特徴抽出方法の好適な実施例を詳細に説明する。本発明は、例えば、文字の照合を行うために、該文字を撮像した画像から文字の輪郭等の特徴を抽出する際に利用可能である。本実施例では、文字画像を対象とし、文字画像から特徴を抽出して特徴情報として記録する場合を例に説明する。
【００２１】
図１は、画像から特徴を抽出する画像特徴抽出装置として動作する画像処理装置１の概要を示すブロック図である。図１に示すように、画像処理装置１は、画像を処理して特徴情報を抽出する画像特徴抽出部１０と、各種の処理に必要なデータ等を保存するための記憶部２０と、外部の装置等とデータの送受信を行うための通信インターフェイス３０（以下「通信Ｉ／Ｆ」と記載する）とを備えている。
【００２２】
通信Ｉ／Ｆ３０は、画像処理装置１の外部からの信号の受信、画像処理装置１から外部への信号の送信を行う機能を有する。通信Ｉ／Ｆ３０によって、例えば、外部からの信号を受信して、画像特徴抽出部１０の動作設定を変更したり、記憶部２０に記憶されているソフトウェアプログラムやデータの更新、追加及び削除の処理を行ったり、画像処理装置１による処理の結果を外部へ出力することができる。
【００２３】
記憶部２０には、処理対象となる画像や各種の処理を行う際に一時的に生成される画像等の画像データ２１と、画像特徴抽出部１０での処理に利用される各種のフィルタデータ２２と、画像特徴抽出部１０によって抽出された特徴画像を含む特徴情報２３等が保存される。記憶部２０は、揮発性又は不揮発性の半導体メモリやハードディスク等の記憶装置によって構成される。
【００２４】
画像特徴抽出部１０は、処理対象となる部分画像を切り出す画像切出部１１と、切り出した部分画像からエッジを検出した微分画像を生成する微分画像生成部１２と、微分画像から正画像及び負画像を生成する正負画像生成部１３と、正画像及び負画像から正特徴画像及び負特徴画像を生成する膨張処理部１４とを有している。
【００２５】
画像特徴抽出部１０は、例えば、各種の処理を実現するためのソフトウェアプログラムと、当該ソフトウェアプログラムを実行するＣＰＵと、当該ＣＰＵによって制御される各種ハードウェア等によって構成されている。各部の動作に必要なソフトウェアプログラムやデータの保存には、記憶部２０や、別途専用に設けられたＲＡＭやＲＯＭ等のメモリ又はハードディスク等が利用される。
【００２６】
画像切出部１１は、例えば、撮像した画像から、処理対象となる画像を切り出す機能を有する。具体的には、例えば、図２に示すように、文字を含むように撮像された画像４０上で文字を含む領域を認識して、図３（Ａ）に示すように文字画像５０を切り出す。
【００２７】
微分画像生成部１２は、画像切出部１１によって切り出された画像に微分フィルタを適用して微分画像を生成する機能を有する。具体的には、例えば、図３（Ａ）に示す白黒の濃度画像５０に、ガボールフィルタ（Ｇａｂｏｒ  Ｆｉｌｔｅｒ）やガウス導関数フィルタ（Ｇａｕｓｓｉａｎ  Ｄｅｒｉｖａｔｉｖｅ  Ｆｉｌｔｅｒ）等の微分フィルタを適用して所定方向の微分画像を生成する。例えば、図３（Ａ）の濃度画像５０に、横方向（図２のＸ軸方向）の微分フィルタを適用すると、図３（Ｂ）に示す微分画像５１が得られる。
【００２８】
正負画像生成部１３は、微分画像生成部１２によって生成された微分画像５１から、微分値が正となる部分を抽出した正画像と、微分値が負となる部分を抽出した負画像とを生成する機能を有する。具体的には、例えば、図３（Ｂ）に示す微分画像５１から、図４（Ａ）に示す正画像５２Ａと、同図（Ｂ）に示す負画像５２Ｂとが得られる。
【００２９】
膨張処理部１４は、正負画像生成部１３によって生成された正画像５２Ａ及び負画像５２Ｂに膨張フィルタを適用してエッジを膨張させる機能を有する。具体的には、例えば、図４（Ａ）に示す正画像５２Ａに、縦横数画素程度の所定サイズの最大値フィルタを適用すると、図５（Ａ）に示すように正特徴画像５３Ａが得られる。同様に、図４（Ｂ）に示す負画像５２Ｂに最大値フィルタを適用すると、図５（Ｂ）に示すように負特徴画像５３Ｂが得られる。こうして得られた２つの特徴画像５３Ａ及び５３Ｂは、画像特徴抽出部１０によって、特徴情報２３として記憶部２０内に保存される。
【００３０】
このようにして、画像照合に利用される参照画像及び入力画像から、正特徴画像及び負特徴画像が生成され記憶部２０に保存される。そして、参照画像の正特徴画像と入力画像の正特徴画像とを比較するとともに、参照画像の負特徴画像と入力画像の負特徴画像とを比較する画像照合を行って、参照画像と入力画像とが一致するか否かが判定される。画像照合には、パターンマッチング等の公知の技術が利用される。
【００３１】
なお、各部１１〜１４の機能説明で示したガボールフィルタ、ガウス導関数フィルタ等の微分フィルタ及び最大値フィルタ等の各種のフィルタは、フィルタデータ２２として記憶部２０内に記憶されているが、フィルタの種類は例示であって、他のフィルタであっても構わない  。
【００３２】
例えば、上述した微分フィルタは例示であって、所定方向への画素値の変化に基づいて、エッジと背景との境界を、背景からエッジに至る領域とエッジから背景に至る領域とに区別して抽出できるものであれば、ラプラシアンフィルタ等を利用してもよい。また、膨張フィルタについても、所定領域内でエッジを膨張させることができるものであれば、スムージングフィルタ等を利用してもよい。
【００３３】
また、Ｘ軸方向の微分フィルタを適用する例を示したが、本実施例がこれに限定されるものではない。具体的には、Ｘ軸方向に代えて又はＸ軸方向に加えて、Ｙ軸方向や斜め方向のフィルタを適用してもよい。複数の方向にフィルタを適用して、各方向での正特徴画像及び負特徴画像を生成して画像照合に利用することもできる。
【００３４】
次に、上記構成を有する画像処理装置１によって画像から特徴を抽出する方法を説明する。図６は、画像から特徴を抽出する方法を示すフローチャートである。
【００３５】
まず、画像切出部１１によって、図２に示す画像４０上で特定された文字を含む領域が部分画像５０として切り出される（図６ステップＳ１）。切り出される部分画像５０は、図３（Ａ）に示すように、特徴を抽出する処理の対象となる文字画像５０である。
【００３６】
次に、微分画像生成部１２によって、切り出された文字画像５０に微分フィルタが適用され、輪郭等の特徴部を検出した微分画像が生成される（図６ステップＳ２）。微分画像生成部１２によって得られる微分画像５１は、例えば、図３（Ｂ）に示すように、文字の輪郭等のエッジ部のみが強調された画像となる。
【００３７】
次に、正負画像生成部１３によって、微分画像５１の微分値に基づいて、正画像及び負画像が生成される（図６ステップＳ３）。正負画像生成部１３によって得られる正画像５２Ａ及び負画像５２Ｂは、各々、図４（Ａ）及び（Ｂ）に示すような画像となる。
【００３８】
ここで、正負画像生成部１３による正画像５２Ａ及び負画像５２Ｂの生成方法の詳細について、図７に示す入力画像５０の部分画像であるブロック画像１００を処理する場合を例にして説明する。
【００３９】
図１０（Ａ）に示すブロック画像１００に、Ｘ軸方向の微分フィルタを適用すると、同図（Ｂ）に示すような微分値が得られる。この微分値に基づいて表された画像が図３（Ｂ）に示す微分画像５１である。
【００４０】
正負画像生成部１３は、微分画像５１を形成するブロック画像１０２上で、図１０（Ｂ）の微分値に従って、図１０（Ｃ）に示すように正の値が得られた正領域１１２Ａと負の値が得られた負領域１１２Ｂとを特定する。正領域１１２ＡはＸ軸正方向に背景からエッジ１１０となる領域であり、負領域１１２ＢはＸ軸正方向にエッジ１１０から背景となる領域に対応している。なお、図１０（Ｃ）では、正領域１１２Ａ及び負領域１１２Ｂを区別して認識しやすいように正領域１１２Ａを白、負領域１１２Ｂを黒で表している。
【００４１】
正領域１１２Ａ及び負領域１１２Ｂを特定する方法は、微分値に基づき、０（ゼロ）を境界として正負に分割する方法に限定されず、例えば、所定の正のしきい値より大きい値を示す領域を正領域とし、所定の負のしきい値より小さい値を示す領域を負領域としてもよい。
【００４２】
こうして、図１０（Ｃ）に示すように正領域１１２Ａと負領域１１２Ｂとが特定されると、次に、正負画像生成部１３は、この結果に基づいて正画像及び負画像を生成する。
【００４３】
具体的には、図１０（Ｃ）に示すブロック画像１０２から負領域１１２Ｂを除いた画像を正画像とする。正画像１０３Ａは、図１２（Ａ）左図に示すように背景に対して正領域１１２Ａを含む画像となる。そして、図１０（Ｃ）に示すブロック画像１０２から正領域１１２Ａを除くとともに負領域１１２Ｂの微分値の絶対値をとった画像を負画像とする。負画像１０３Ｂは、図１２（Ａ）右図に示すように背景に対して負領域１１２Ｂを含む画像となる。
【００４４】
こうして、正負画像生成部１３によって、正画像１０３Ａ及び負画像１０３Ｂが生成されると、次に、膨張処理部１４によって、膨張フィルタが適用され、エッジを膨張した特徴画像が生成される（図６ステップＳ４）。図１２（Ａ）左図に示す正画像１０３Ａに膨張フィルタが適用されると図１３（Ａ）左図に示す正特徴画像１０４Ａが得られる。また、図１２（Ａ）右図に示す負画像１０３Ｂに膨張フィルタが適用されると図１３（Ａ）右図に示す負特徴画像１０４Ｂが得られる。
【００４５】
正負画像生成部１３によって、図７に示す入力画像５０を分割した全てのブロック画像に同様の処理が施され、図４（Ａ）に示す正画像５２Ａと、図４（Ｂ）に示す負画像５２Ｂとが生成される。また、膨張処理部１４によって、図４（Ａ）に示す正画像５２Ａからは図５（Ａ）に示す正特徴画像５３Ａが生成され、図４（Ｂ）に示す負画像５２Ｂからは図５（Ｂ）に示す負特徴画像５３Ｂが生成される。
【００４６】
こうして、画像特徴抽出部１０によって図３（Ａ）に示す文字画像５０から抽出された、図５（Ａ）に示す正特徴画像５３Ａと同図（Ｂ）に示す負特徴画像５３Ｂとが、特徴情報２３として記憶部２０に保存される（図６ステップＳ５）。
【００４７】
ここでは、Ｘ軸方向に、微分画像を生成し（ステップＳ２）、正負画像を生成し（ステップＳ３）、特徴画像を生成する（ステップＳ４）方法を示したが、本実施例がこれに限定されるものではない。Ｘ軸方向に代えて又はこれに加えて、Ｙ方向、Ｘ軸に対して４５度方向、Ｘ軸に対して−４５度方向等についても、同様の処理を施して、各方向での特徴画像を生成することもできる。
【００４８】
また、一次微分を利用して画像を正画像及び負画像に分ける方法を示したが、本実施例がこれに限定されるものではない。具体的には、例えば、図１４に示す一次微分と二次微分との関係から分かるように、二次微分を利用する場合でも、同様の処理を実現することができる。二次微分を利用する場合には、例えば、微分値が正の値を示してから、ゼロクロスを経て、負のピーク値を示した後再びゼロとなる位置までを正領域として、その後負の値を示してから、ゼロクロスを経て、正のピーク値を示した後再びゼロとなる位置までを負の領域とすればよい。
【００４９】
次に、本実施例に係る画像特徴抽出方法（図６ステップＳ１〜Ｓ５）によって抽出された特徴画像では、エッジに関する情報を失うことなくエッジの位置ずれによる影響を抑制できることを示す。
【００５０】
図８（Ａ）に示したブロック画像１００は、図３（Ａ）に示す文字画像５０の部分画像である。このブロック画像１００は、図７の領域１００に対応しており、文字の一部を形成する領域１１０（以下「エッジ」と記載する）を含んでいる。
【００５１】
これに対して、図８（Ｂ）に示すブロック画像２００は、図３（Ａ）と同じ文字を対象として撮像した異なる画像から、図７の領域１００に対応する部分画像を抽出したものである。カメラの位置や向きの違い或いは撮像対象となる文字が印字された紙の歪み等によって、同じ文字を撮像したにも拘わらず、画像上で文字の位置がずれる場合がある。図８（Ｂ）は、同図（Ａ）に対して文字の位置がＸ軸方向にずれた場合の例を示している。図８（Ｂ）に示すブロック画像２００では、同じ文字画像を形成するエッジ２１０が、同図（Ａ）のエッジ１１０の位置からずれた位置に表れている。
【００５２】
また、図８（Ｃ）に示すブロック画像３００は、図３（Ａ）とは異なる文字を撮像した画像から図７の領域１００に対応する部分画像を抽出したものである。
【００５３】
よって、画像から正確に特徴が抽出された場合には、図８（Ａ）と同図（Ｂ）とが同じ特徴を示すとともに、これらと同図（Ｃ）とが異なる特徴を示すことになる。
【００５４】
しかし、従来技術によれば、図８（Ａ）〜（Ｃ）のエッジ１１０，２１０及び３１０に最大値フィルタを適用して膨張させた図９（Ａ）〜（Ｃ）の特徴画像は、全て同じ画像となり、図８（Ａ）及び（Ｂ）と、同図（Ｃ）の画像とを区別することができない。
【００５５】
これに対して、本実施例では、図１０を参照しながら説明したように膨張フィルタを適用する前段階で微分フィルタを適用する。この結果、図８（Ａ）〜（Ｃ）に示すブロック画像１００，２００及び３００上で、各々、図１１（Ａ）〜（Ｃ）に示すように正領域（１１２Ａ、２１２Ａ及び３１２）と負領域（１１２Ｂ及び２１２Ｂ）とを特定することができる。
【００５６】
すなわち、図８（Ｂ）のブロック画像２００では、図１１（Ｂ）に示すように、同図（Ａ）と同様に正領域２１２Ａ及び負領域２１２Ｂが生成される。しかし、図８（Ｃ）のブロック画像３００では、図１１（Ｃ）に示すように、同図（Ａ）及び（Ｂ）とは異なり、正領域３１２のみが得られ、負領域は得られない。
【００５７】
正負画像生成部１３によって、微分フィルタを適用して得られた図１１（Ａ）〜（Ｃ）に示す画像１０２，２０２及び３０２から、各々、図１２（Ａ）〜（Ｃ）に示す正画像１０３Ａ，２０３Ａ及び３０３Ａと、負画像１０３Ｂ，２０３Ｂ及び３０３Ｂが生成される。そして、膨張処理部１４によって、図１２（Ａ）〜（Ｃ）に示す正画像及び負画像から、各々、図１３（Ａ）〜（Ｃ）に示す正特徴画像及び負特徴画像が生成される。
【００５８】
すなわち、図８（Ａ）に示すエッジ１１０のブロック画像１００から図１３（Ａ）に示す正特徴画像１０４Ａ及び負特徴画像１０４Ｂが生成され、図８（Ｂ）に示すエッジ２１０のブロック画像２００から図１３（Ｂ）に示す正特徴画像２０４Ａ及び負特徴画像２０４Ｂが生成される。また、図８（Ｃ）に示すエッジ３１０のブロック画像３００からは、図１３（Ｃ）に示す正特徴画像３０４Ａ及び負特徴画像３０４Ｂが生成される。
【００５９】
こうして、生成された特徴画像を比較すると、図８（Ａ）に示すブロック画像１００から得られた図１３（Ａ）左図の正特徴画像１０４Ａと、図８（Ｂ）に示すブロック画像２００から得られた図１３（Ｂ）左図の正特徴画像２０４Ａとは一致する。また、同様に、図８（Ａ）に示すブロック画像１００から得られた負特徴画像１０４Ｂと、図８（Ｂ）に示すブロック画像２００から得られた負特徴画像２０４Ｂとは一致する。
【００６０】
このように、正特徴画像及び負特徴画像を比較することにより、エッジの位置がずれている場合でも、位置ずれによる影響を抑制して、これらが同じエッジであることを判定することができる。すなわち、例えば撮像された文字が位置ずれした画像間においても、文字が一致することを正しく判定することができる。
【００６１】
次に、図８（Ｃ）に示すブロック画像３００について比較を行うと、同図から得られた図１３（Ｃ）左図の正特徴画像３０４Ａは、図８（Ａ）及び（Ｂ）から得られた図１３（Ａ）及び（Ｂ）の左図に示す正特徴画像１０４Ａ及び２０４Ａと一致する。
【００６２】
しかし、図８（Ｃ）に示すブロック画像３００から得られた図１３（Ｃ）右図の負特徴画像３０４Ｂは、図８（Ａ）及び（Ｂ）から得られた図１３（Ａ）及び（Ｂ）の右図に示す負特徴画像１０４Ｂ及び２０４Ｂとは異なる特徴を示す画像となる。よって、図８（Ａ）及び（Ｂ）と、同図（Ｃ）の画像を、特徴画像に基づいて区別することができる。
【００６３】
このように、本実施例によれば、正特徴画像及び負特徴画像を比較することにより、図８（Ａ）及び（Ｂ）に示すエッジ１１０及び２１０と、同図（Ｃ）に示すエッジ３１０とが異なるエッジであることを正確に判定することができる。すなわち、膨張処理を行った後も画像に係る特徴を維持して、撮像対象が異なる文字であることを正しく判定することができる。
【００６４】
なお、図１１及び図１２から分かるように、微分フィルタを適用して正領域と負領域とを分けた段階で、同図（Ａ）及び（Ｂ）と、同図（Ｃ）とが異なる画像であることを判定することも可能である。しかし、この段階では、同図（Ａ）と（Ｂ）の間のエッジの位置ずれによる影響が残っているので、これらが同じ画像であることを判定するためには、（Ａ）又は（Ｂ）の画像をずらしながら、２つの画像が一致するか否かを判定する必要がある。これに対し、本実施例で得られた図１３（Ａ）〜（Ｃ）に示す特徴画像では、画像をずらすような複雑な処理を必要とせず、容易かつ高速に特徴画像が一致するか否かを判定することができる。
【００６５】
このように、本実施例に係る正特徴画像及び負特徴画像を比較することにより、従来技術と同様にエッジの位置ずれによる影響を抑制しながら、従来技術では同じ画像であると誤判定されるような場合にも異なる画像であることを正確に判定することができる。
【００６６】
上述した特徴画像を利用すれば、文字や人物等を撮像した入力画像と予め準備された参照画像との間で正確な画像照合を行うことができる。図１５は、このような画像照合を行う画像照合装置４００の概要を示すブロック図である。
【００６７】
画像照合装置４００は、図１に示す画像処理装置１によって生成された特徴画像を利用して画像照合を行う。なお、以下では、画像処理装置１を、特徴画像を生成する機能部として画像特徴抽出装置１と記載する。画像照合装置４００は、この画像特徴抽出装置１の他に、画像照合の対象となる文字等を撮像するためのカメラ４０１と、画像照合結果等の各種情報を表示するための表示装置４０２と、各部の動作を制御して画像照合を行うための制御部４０３と、制御部４０３に対する命令信号の入力や処理内容に関する設定データを入力するための操作部４０４と、各部の動作に必要な各種のデータを保存するための記憶部４０５とを備えている。
【００６８】
カメラ４０１は、ＣＣＤセンサ等の撮像素子を利用して画像照合の処理対象となる文字等を撮像し、画像データを生成する機能を有する。生成された画像データは制御部４０３を介して、入力画像４０５Ａとして記憶部４０５に保存される。なお、カメラ４０１は一例であって、対象物を撮像した画像データを生成することができれば特に限定されない。例えば、撮像対象が紙媒体に印字された文字である場合には、カメラ４０１に代えてスキャナを利用してもよい。
【００６９】
表示装置４０２は例えば液晶ディスプレイであり、制御部４０３から出力される情報を視認可能に表示する機能を有する。また、操作部４０４は例えば液晶ディスプレイの備えるタッチパネルであり、制御部４０３へ信号やデータを入力するための機能を有する。
【００７０】
また、記憶部４０５は、例えば半導体メモリであり、カメラ４０１で撮像された入力画像４０５Ａや、画像照合に利用する参照画像４０５Ｂを保存するために利用される。また、画像特徴抽出装置１の処理過程で生成されるデータの一時的な保存にも利用される。例えば、図２に示す画像４０が入力画像４０５Ａとして保存される。また、図３Ａに示す濃淡画像である参照画像４０５Ｂが保存され、この画像から予め生成された図５に示すような正特徴画像５３Ａ及び負特徴画像５３Ｂが参照用特徴画像として保存される。また、入力画像４０５Ａから特徴画像を生成する過程で図３及び図４に示す微分画像や正画像及び負画像を一時保存するために記憶装置４０５が利用される。
【００７１】
制御部４０３は、画像照合部４０３Ａを有する。画像特徴抽出装置１によって入力画像４０５Ａから特徴画像が生成され、画像照合部４０３Ａに入力される。画像照合部４０３Ａは、画像特徴抽出装置１から特徴画像が入力されると、予め記憶部４０５に保存されていた参照用特徴画像を読み出す。そして、入力画像４０５Ａから生成された特徴画像と参照用特徴画像とを比較することによって、入力画像４０５Ａと参照画像４０５Ｂとが一致するか否かを判定する画像照合を行う。
【００７２】
具体的には、入力画像４０５Ａから生成された正特徴画像と参照用特徴画像として保存された正特徴画像とを比較すると共に、入力画像４０５Ａから生成された負特徴画像と参照特徴画像として保存された負特徴画像とが比較される。画像の比較は、例えば、相関係数を利用したパターンマッチング処理によって行われる。
【００７３】
そして、入力画像４０５Ａと一致すると判定された参照画像４０５Ｂがあった場合には、制御部４０３によって、これを報知する情報が表示部４０２上に表示される。
【００７４】
画像照合部４０３Ａは、予め生成された参照用特徴画像を利用する態様の他、参照画像４０５Ｂを利用して画像照合を行うこともできる。具体的には、画像照合部４０３Ａは、画像特徴抽出装置１を利用して記憶部４０５に保存された参照画像４０５Ｂから参照用特徴画像を生成する。そして、入力画像４０５Ａから生成された特徴画像と、参照画像４０５Ｂから生成した参照用特徴画像とを比較することによって画像照合を行う。例えば、従来から利用されていた参照画像４０５Ｂがある場合には、事前に参照用特徴画像を生成する処理を行わずとも、従来の参照画像４０５Ｂをそのまま記憶装置４０５に保存して本実施例に係る画像照合に利用することができる。
【００７５】
参照画像４０５Ｂから特徴画像を生成する処理と、予め準備された参照用特徴画像を利用する処理とのいずれを行うかは操作部４０４を利用して設定することができる。操作部４０４によって設定された内容は記憶部４０５に保存される。制御部４０３は、記憶部４０５保存された設定内容に基づいて各部を制御して特徴画像の生成や画像照合等の処理を実現する。
【００７６】
なお、図１５では、画像特徴抽出装置１を、制御部４０３から独立した構成として示しているが、本実施例がこれに限定されるものではなく、上述した機能を実現可能な範囲で装置の構成を変更してもよい。例えば、制御部４０３内に画像特徴抽出装置１が含まれるような構成であっても構わない。また、画像特徴抽出装置１が内部に記憶部２０を有さず、制御部４０３に接続された記憶部４０５を利用する態様であっても構わない。
【００７７】
このように、画像照合装置４００が、画像特徴抽出装置１を備えることによって、入力画像４０５Ａから特徴画像を生成し、正確な画像照合を行うことができる。また、従来装置で利用されていた参照画像４０５Ｂから特徴画像を生成することができるので、従来の参照画像４０５Ｂデータを活用することができる。また、従来の画像照合装置に画像特徴抽出装置１を組み込んで利用することも可能である。
【００７８】
なお、本実施例では、文字を利用して説明を行ったが、本発明がこれに限定されるものではない。画像上でエッジ部分を抽出して画像照合を正確に行うことができることから、例えば、画像に含まれる対象は特に限定されない。例えば、人物を撮像して認証を行う場合の顔画像の照合等にも利用することができる。
【００７９】
上述してきたように、本実施例によれば、微分画像を正領域と負領域とに分離して生成した特徴画像を利用することとしたので、従来技術では区別できなかった画像を異なるものとして正確に判定することができる。
【００８０】
また、正画像及び負画像に膨張処理を施すこととしたので、従来と同様に、エッジのずれによる影響を抑制して正確に判定を行うことができる。
【産業上の利用可能性】
【００８１】
以上のように、本発明は、エッジのずれによる影響を抑制しながら、エッジに関する特徴を失うことなく抽出するために有用な技術である。また、画像間に位置ずれ等の変形がある場合にも画像照合を正確に行うために有用な技術である。
【符号の説明】
【００８２】
１  画像処理装置
１０  画像特徴抽出部
１１  画像切出部
１２  微分画像生成部
１３  正負画像生成部
１４  膨張処理部
２０  記憶部
２１  画像データ
２２  フィルタデータ
２３  特徴情報
３０  通信インターフェイス
５０  顔領域
５１  微分画像
５２Ａ  正画像
５２Ｂ  負画像
５３Ａ  正特徴画像
５３Ｂ  負特徴画像
１００、２００、３００  ブロック画像
１０１、２０１、３０１  膨張処理後のブロック画像
１０３Ａ、２０３Ａ、３０３Ａ  正のブロック画像
１０３Ｂ、２０３Ｂ、３０３Ｂ  負のブロック画像
１０４Ａ、２０４Ａ、３０４Ａ  正特徴画像
１０４Ｂ、２０４Ｂ、３０４Ｂ  負特徴画像
１１０、２１０、３１０  エッジ
１１２Ａ、２１２Ａ、３１２  正領域
１１２Ｂ、２１２Ｂ  負領域
４００  画像照合装置
４０１  カメラ
４０２  表示装置
４０３  制御部
４０３Ａ  画像照合部
４０４  操作部
４０５  記憶部
【図１】
0005804862.tif 000002
【図２】
0005804862.tif 000003
【図３】
0005804862.tif 000004
【図４】
0005804862.tif 000005
【図５】
0005804862.tif 000006
【図６】
0005804862.tif 000007
【図７】
0005804862.tif 000008
【図８】
0005804862.tif 000009
【図９】
0005804862.tif 000010
【図１０】
0005804862.tif 000011
【図１１】
0005804862.tif 000012
【図１２】
0005804862.tif 000013
【図１３】
0005804862.tif 000014
【図１４】
0005804862.tif 000015
【図１５】
0005804862.tif 000016