(57)【要約】【課題】ガボール・ウェーブレット変換により抽出した特徴量を用いて画像の認識を行う画像認識方法において、演算する特徴量の数を可及的に少なくしつつ、的確な画像認識をすることができる画像認識方法を提供する。【解決手段】本発明に係る画像認識方法は、入力画像およびモデル画像において、ガボール・ウェーブレット変換により抽出した一群の特徴量から周波数成分および方位成分のそれぞれについて入力画像とモデル画像とに関する平均値を求め、得られた平均値から入力画像とモデル画像の類似度を求めて、この類似度の値により最も見込みのあるスケールおよび回転変換状態を割り出し、入力画像の判別を行うものである。【選択図】図１
2010160707.tif 000002
【特許請求の範囲】
【請求項１】
複数の周波数成分と複数の方位成分との二次元マトリックスで構成された一群のガボールフィルタによるガボール・ウェーブレット変換を用いて、入力画像とモデル画像のそれぞれから第１の特徴量を抽出し、これら第１の特徴量から所定の演算により第２の特徴量を算出して前記入力画像と前記モデル画像とを比較する画像認識方法であって、
前記入力画像および前記モデル画像それぞれの中心点を基準として前記ガボール・ウェーブレット変換を用いて第１の特徴量を抽出する第１のステップと、
前記第１の特徴量から、下記数式１および下記数式２を用いて第２の特徴量を算出する第２のステップと、この第２のステップにおいて算出された第２の特徴量の内、
前記入力画像から抽出された第１の特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものが入力画像スケール・マージナライズド特徴量であり、
前記入力画像から抽出された第１の特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものが入力画像回転・マージナライズド特徴量であり、
前記モデル画像から抽出された特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものがモデル画像スケール・マージナライズド特徴量であり、
前記モデル画像から抽出された特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものがモデル画像回転・マージナライズド特徴量であり、
前記各周波数成分において、前記入力画像スケール・マージナライズド特徴量と前記モデル画像スケール・マージナライズド特徴量とから下記数式３によりスケール変換パラメータに関する類似度を算出すると共に、前記各方位成分において、前記入力画像回転・マージナライズド特徴量と前記モデル画像回転・マージナライズド特徴量とから下記数式４により回転変換パラメータに関する類似度を算出する第３のステップと、
前記スケール変換パラメータに関する類似度の内、最大の類似度となるスケール変換パラメータと、前記回転変換パラメータに関する類似度の内、最大の類似度となる回転変換パラメータとを割り出す第４のステップとを含んでいることを特徴とする画像認識方法。
【数１】
2010160707.tif 000013
【数２】
2010160707.tif 000014
【数３】
2010160707.tif 000015
【数４】
2010160707.tif 000016
【請求項２】
さらに、スケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する第５のステップとを含んでいることを特徴とする請求項１記載の画像認識方法。
【請求項３】
複数の空間周波数成分と複数の方位成分との二次元マトリックスで構成された一群のガボールフィルタによるガボール・ウェーブレット変換を用いて、入力画像とモデル画像のそれぞれから第１の特徴量を抽出し、これら第１の特徴量から所定の演算により第２の特徴量を算出して前記入力画像と前記モデル画像とを比較する画像認識装置であって、
前記入力画像を受信する画像入力手段と、
この画像入力手段に接続され、該画像入力手段が受信した前記入力画像を記憶すると共に、前記モデル画像を予め記憶しておく画像記憶手段と、この画像記憶手段は、前記入力画像を記憶する入力画像記憶部と、前記モデル画像を記憶するモデル画像記憶部とを有し、
前記画像記憶手段に接続され、該画像記憶手段から前記入力画像および前記モデル画像を読み込んで演算する演算手段と、この演算手段は、
前記入力画像および前記モデル画像それぞれの中心点を基準としてガボール・ウェーブレット変換を用いて前記第１の特徴量を抽出するガボール・ウェーブレット変換部と、
前記第１の特徴量から、下記数式１および下記数式２を用いて第２の特徴量を算出するマージナライズド特徴量演算部と、
このマージナライズド特徴量演算部において算出された第２の特徴量の内、
前記入力画像から抽出された第１の特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものが入力画像スケール・マージナライズド特徴量であり、
前記入力画像から抽出された第１の特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものが入力画像回転・マージナライズド特徴量であり、
前記モデル画像から抽出された特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものがモデル画像スケール・マージナライズド特徴量であり、
前記モデル画像から抽出された特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものがモデル画像回転・マージナライズド特徴量であり、
前記各周波数成分において、前記入力画像スケール・マージナライズド特徴量と前記モデル画像スケール・マージナライズド特徴量とから下記数式３によりスケール変換パラメータに関する類似度を算出すると共に、前記各方位成分において、前記入力画像回転・マージナライズド特徴量と前記モデル画像回転・マージナライズド特徴量とから下記数式４により回転変換パラメータに関する類似度を算出する類似度演算部と、
前記スケール変換パラメータに関する類似度の内、最大の類似度となるスケール変換パラメータと、前記回転変換パラメータに関する類似度の内、最大の類似度となる回転変換パラメータとを割り出す変換状態演算部とを備えていることを特徴とする画像認識装置。
【数１】
2010160707.tif 000017
【数２】
2010160707.tif 000018
【数３】
2010160707.tif 000019
【数４】
2010160707.tif 000020
【請求項４】
演算手段に接続され、該演算手段により算出されたスケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する判別手段とを備えていることを特徴とする請求項３記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の中から特定の画像を判別して認識する画像認識方法に係り、特に、特定の画像を含むモデル画像に対して回転および／またはスケールの変換がなされた入力画像から特定の画像を効率良く判別するものに関する。
【背景技術】
【０００２】
従来の画像認識方法では、テンプレート・マッチングと呼ばれるものが主流であるが、このテンプレート・マッチングにあっては、入力画像に対して予め記憶手段に記憶されている複数個の画像を順次照合（マッチング）し、最も見込みのある画像を特定して、入力画像が何であるかを判別するものであった。
【０００３】
このようなテンプレートマッチングの内、最も一般的なものは、エラスティック・バンチ・グラフ・マッチング（ＥＢＧＭ）（特許文献１参照）と呼ばれるもので、画像認識用に考え出されたアルゴリズムであり、このＥＢＧＭでは、入力画像およびモデル画像のそれぞれの上に座標（グラフ）を定義し、該グラフ上の各座標点をマッチング点として用いて判別するものである。
【０００４】
具体的には、入力画像とモデル画像の対応するマッチング点において、各画像から抽出された特徴量の類似度の大きさとグラフの歪みの少なさで定義される評価関数を最大にするように座標点を移動させ、この評価関数が最大となったときの類似度を、入力画像とモデル画像との類似度とし、入力画像の中から特定の画像を識別するものである。
【０００５】
また、他のテンプレート・マッチングとしては、特徴量を求める演算処理において、入力画像中の所定の部位（例えば、入力画像が顔画像であれば、目、鼻、鼻孔、口、顎、額等）を検出し、この検出された各所定の部位の位置関係から、特に、入力画像内での顔画像の大きさを補正し、この補正された顔画像上の複数の位置から抽出された特徴量と、記憶手段により予め記憶されている複数の顔画像のそれぞれについて、前述の顔画像に対応する位置から抽出された特徴量とから類似度を算出し、類似度が最も高い値の画像を入力画像中の顔画像であると識別するものである（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００４−５０５３５３号公報
【特許文献２】特開２００６−２０２０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した画像認識方法にあっては、認識の精度を高めていくために、１つの入力画像およびモデル画像のそれぞれから複数箇所の特徴量を抽出するものであり、しかも、各画像からの特徴量の抽出には、計算量が非常に多いガボール・ウェーブレット変換を用いるものであり、加えて、入力画像に対して記憶手段に記憶されている全モデル画像とマッチングを実行する必要があるため、限られたハードウェア資源を用いて演算処理を行う際、時間がかかりすぎてリアルタイム処理が非常に難しく、特に、モデル画像が多いほど、その傾向は顕著であった。
【０００８】
本発明は、上述した問題点を解決するためになされたものである。
【課題を解決するための手段】
【０００９】
請求項１に係る発明は、複数の周波数成分と複数の方位成分との二次元マトリックスで構成された一群のガボールフィルタによるガボール・ウェーブレット変換を用いて、入力画像とモデル画像のそれぞれから第１の特徴量を抽出し、これら第１の特徴量から所定の演算により第２の特徴量を算出して前記入力画像と前記モデル画像とを比較する画像認識方法であって、前記入力画像および前記モデル画像それぞれの中心点を基準として前記ガボール・ウェーブレット変換を用いて第１の特徴量を抽出する第１のステップと、前記第１の特徴量から、下記数式１および下記数式２を用いて第２の特徴量を算出する第２のステップと、この第２のステップにおいて算出された第２の特徴量の内、前記入力画像から抽出された第１の特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものが入力画像スケール・マージナライズド特徴量であり、前記入力画像から抽出された第１の特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものが入力画像回転・マージナライズド特徴量であり、前記モデル画像から抽出された特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものがモデル画像スケール・マージナライズド特徴量であり、前記モデル画像から抽出された特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものがモデル画像回転・マージナライズド特徴量であり、前記各周波数成分において、前記入力画像スケール・マージナライズド特徴量と前記モデル画像スケール・マージナライズド特徴量とから下記数式３によりスケール変換パラメータに関する類似度を算出すると共に、前記各方位成分において、前記入力画像回転・マージナライズド特徴量と前記モデル画像回転・マージナライズド特徴量とから下記数式４により回転変換パラメータに関する類似度を算出する第３のステップと、前記スケール変換パラメータに関する類似度の内、最大の類似度となるスケール変換パラメータと、前記回転変換パラメータに関する類似度の内、最大の類似度となる回転変換パラメータとを割り出す第４のステップとを含んでいる画像認識方法である。
【００１０】
請求項２に係る発明は、請求項１記載の画像認識方法において、さらに、スケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する第５のステップとを含んでいるものである。
【００１１】
請求項３に係る発明は、複数の空間周波数成分と複数の方位成分との二次元マトリックスで構成された一群のガボールフィルタによるガボール・ウェーブレット変換を用いて、入力画像とモデル画像のそれぞれから第１の特徴量を抽出し、これら第１の特徴量から所定の演算により第２の特徴量を算出して前記入力画像と前記モデル画像とを比較する画像認識装置であって、前記入力画像を受信する画像入力手段と、この画像入力手段に接続され、該画像入力手段が受信した前記入力画像を記憶すると共に、前記モデル画像を予め記憶しておく画像記憶手段と、この画像記憶手段は、前記入力画像を記憶する入力画像記憶部と、前記モデル画像を記憶するモデル画像記憶部とを有し、前記画像記憶手段に接続され、該画像記憶手段から前記入力画像および前記モデル画像を読み込んで演算する演算手段と、この演算手段は、前記入力画像および前記モデル画像それぞれの中心点を基準としてガボール・ウェーブレット変換を用いて前記第１の特徴量を抽出するガボール・ウェーブレット変換部と、前記第１の特徴量から、下記数式１および下記数式２を用いて第２の特徴量を算出するマージナライズド特徴量演算部と、このマージナライズド特徴量演算部において算出された第２の特徴量の内、前記入力画像から抽出された第１の特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものが入力画像スケール・マージナライズド特徴量であり、前記入力画像から抽出された第１の特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものが入力画像回転・マージナライズド特徴量であり、前記モデル画像から抽出された特徴量を前記各周波数成分毎に前記複数の方位成分について算出したものがモデル画像スケール・マージナライズド特徴量であり、前記モデル画像から抽出された特徴量を前記各方位成分毎に前記複数の周波数成分について算出したものがモデル画像回転・マージナライズド特徴量であり、前記各周波数成分において、前記入力画像スケール・マージナライズド特徴量と前記モデル画像スケール・マージナライズド特徴量とから下記数式３によりスケール変換パラメータに関する類似度を算出すると共に、前記各方位成分において、前記入力画像回転・マージナライズド特徴量と前記モデル画像回転・マージナライズド特徴量とから下記数式４により回転変換パラメータに関する類似度を算出する類似度演算部と、前記スケール変換パラメータに関する類似度の内、最大の類似度となるスケール変換パラメータと、前記回転変換パラメータに関する類似度の内、最大の類似度となる回転変換パラメータとを割り出す変換状態演算部とを備えている画像認識装置である。
【００１２】
請求項４に係る発明は、請求項３記載の画像認識装置において、演算手段に接続され、該演算手段により算出されたスケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する判別手段とを備えているものである。
【発明の効果】
【００１３】
請求項１記載の画像認識方法によれば、入力画像およびモデル画像それぞれの中心点を基準としてガボール・ウェーブレット変換を用いて抽出した第１の特徴量に対し所定の演算を行い、第２の特徴量である入力画像スケール・マージナライズド特徴量、入力画像回転・マージナライズド特徴量、モデル画像スケール・マージナライズド特徴量およびモデル画像回転・マージナライズド特徴量を算出し、これら第２の特徴量により画像認識を行うこと、つまり、特徴量の抽出を画像の中心点のみを基準とすると共に、計算量の多いガボール・ウェーブレット変換により得られた第１の特徴量を、所定の演算により第２の特徴量であるマージナライズド特徴量に集約して画像認識を行うため、
数値計算による演算量を可及的に減らし、限られたハードウェア資源にあって、該数値計算を迅速かつ的確に行うことができる。
【００１４】
請求項２記載の発明によれば、請求項１記載の画像認識方法の効果に加え、スケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する第５のステップとを含んでいるため、
入力画像内に、モデル画像中に表示された特定画像が存在するか否かを判別することができる。
【００１５】
請求項３記載の画像認識装置によれば、データの演算を行う演算手段は、入力画像およびモデル画像それぞれの中心点を基準としてガボール・ウェーブレット変換を用いて前記第１の特徴量を抽出するガボール・ウェーブレット変換部と、第１の特徴量から、数式１および数式２を用いて第２の特徴量を算出するマージナライズド特徴量演算部とを有していること、つまり、特徴量の抽出を画像の中心点のみを基準とすると共に、計算量の多いガボール・ウェーブレット変換により得られた第１の特徴量を、所定の演算により第２の特徴量であるマージナライズド特徴量に集約して画像認識を行うため、
数値計算による演算量を可及的に減らし、限られたハードウェア資源にあって、該数値計算を迅速かつ的確に行うことができる。
【００１６】
請求項４記載の画像認識装置によれば、請求項３記載の画像認識装置の効果に加え、スケール変換パラメータに関する類似度の内、最大の類似度と、回転変換パラメータに関する類似度の内、最大の類似度とから、入力画像内に、モデル画像中に表示された特定画像が含まれているか否かを判別する判別手段を備えているため、
入力画像内に、モデル画像中に表示された特定画像が存在するか否かを判別することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像認識装置の構成の一例を示した概略的ブロック図である。
【図２】本発明に係る画像認識方法を説明するための画像例であり、図２（ａ）は入力画像を、図２（ｂ）はモデル画像をそれぞれ示している。
【図３】ガボール・カーネルの一例を示した概略図であり、図３（ａ）はガボール・カーネルの斜視図を、図３（ｂ）は一群のガボール・カーネルの二次元図の一例をそれぞれ示している。
【図４】図２の入力画像とモデル画像との対応関係を示した図である。
【図５】ガボール・ウェーブレット変換における周波数成分と方位成分とを二次元マトリックスに展開すると共に、スケール・マージナライズド特徴量および回転・マージナライズド特徴量との関係を示した図である。
【図６】類似度の算出における入力画像とモデル画像との対応関係の例を示した図であり、図６（ａ）は周波数成分の例を、図６（ｂ）は方位成分の例をそれぞれ示している。
【図７】本発明に係る画像認識方法を用いた数値実験による実験結果を示した図であり、図７（ａ）は入力画像サイズと類似度との関係を、図７（ｂ）は回転角と類似度との関係をそれぞれ示している。
【図８】入力画像上の特徴量抽出点（白色のドットの点）を示した図である。
【図９】数値実験３の検出率の結果を示した図である。
【発明を実施するための形態】
【００１８】
本発明の画像認識装置の一実施例を、図１を参照して説明する。図１において、Ａは本発明に係る画像認識装置であり、画像認識装置Ａは、複数の空間周波数成分と複数の方位成分との二次元マトリックスで構成された一群のガボールフィルタによるガボール・ウェーブレット変換を用いて、入力画像とモデル画像のそれぞれから第１の特徴量を抽出し、これら第１の特徴量から所定の演算により第２の特徴量を算出して入力画像とモデル画像とを比較するものであって、概略的に、画像入力手段２と、画像記憶手段３と、演算手段４とにより構成されている。
【００１９】
画像入力手段２は、例えば、スチルカメラやビデオカメラなどの撮影手段１により撮影した入力画像ａ（図２（ａ）参照）やＵＳＢメモリなどの外部記憶手段７から取り込んだ入力画像ａを受信するものであり、受信する入力画像ａはアナログ信号あるいはデジタル信号のいずれであってもよいが、これらの信号は、この画像入力手段２に設けられた信号変換装置（不図示）によりモノクロのデジタルデータに変換して用いられる。
【００２０】
画像記憶手段３は、画像入力手段２に接続され、画像入力手段２が受信した入力画像ａを記憶すると共に、モデル画像ｂ（図２（ｂ）参照）を予め記憶しておくもので、例えば、公知の磁気記録装置や光磁気記録装置、半導体メモリ装置などが用いられる。この画像記憶手段３は、入力画像ａを記憶する入力画像記憶部３１と、モデル画像ｂを記憶するモデル画像記憶部３２とを有する。なお、モデル画像ｂも入力画像ａと同様に、撮影手段１や外部記憶手段７から画像入力手段２を介して取り込むことができる。
【００２１】
演算手段４は、画像記憶手段３に接続され、該画像記憶手段３から入力画像ａおよびモデル画像ｂを読み込んで、これらの画像データに対してガボール・ウェーブレット変換を行い、後述するように、第１の特徴量ＪLl,kを求めたり、得られた第１の特徴量ＪLl,kから第２の特徴量ＸLk、ＹLl（スケールおよび回転・マージナライズド特徴量）を求めたり、スケールおよび回転に関する類似度Ｓｓ、Ｓｒを求めて入力画像ａとモデル画像ｂとの対応関係を割り出したりするものであり、入力画像ａとモデル画像ｂとの間のスケール（サイズ）に関する対応関係（以下、「スケール変換状態」という。）および／または回転に関する対応関係（以下、「回転変換状態」という。）が予め分かっていない状態において、最も可能性の高いスケールおよび回転変換状態を割り出すものである。
【００２２】
この演算手段４は、図１に示したように、ガボール・ウェーブレット変換を用いて第１の特徴量ＪLl,kを抽出するガボール・ウェーブレット変換部４１と、第１の特徴量ＪLl,kから第２の特徴量ＸLk、ＹLlを算出するマージナライズド特徴量演算部４２と、第２の特徴量ＸLk、ＹLlからスケールおよび回転変換パラメータｓ、ｒに関する類似度Ｓｓ、Ｓｒを算出する類似度演算部４３と、スケールおよび回転変換パラメータｓ、ｒに関する類似度Ｓｓ、Ｓｒの内、最大の類似度Ｓｓ’、Ｓｒ’となるスケールおよび回転変換パラメータｓ’、ｒ’を割り出す変換状態演算部４４とにより構成されている。
【００２３】
ところで、上述した演算手段４には判別手段５を接続できるもので、この判別手段５は、後述するように、演算手段４により算出されたスケール変換パラメータｓに関する類似度Ｓｓの内、最大の類似度Ｓｓ’と、回転変換パラメータｒに関する類似度Ｓｒの内、最大の類似度Ｓｒ’とから、入力画像ａ内に、モデル画像ｂ中に表示された特定の画像（以下、「特定画像」という。本実施例にあっては、図２（ｂ）に図示した顔画像）が含まれているか否かを判別するものである。
【００２４】
次に、上述した構成の画像認識装置Ａにより実行される画像認識方法について、図１〜図６を参照して以下に説明する。なお、画像入力手段２により入力される画像が人の顔画像である場合を例にとって説明する。
【００２５】
まず、画像記憶手段３のモデル画像記憶部３２には、図２（ｂ）に示したようなモデル画像ｂが、例えば、図１に示したように、ＵＳＢメモリなどの外部記憶手段７から画像入力手段２を介して取り込まれ、記憶されているものとする。
【００２６】
また、画像認識の対象となる入力画像ａの顔は、例えば、撮影手段１により撮影され、画像入力手段２を介して画像記憶手段３の入力画像記憶部３１に記憶されるもので、この入力画像ａは、モデル画像ｂの顔画像に対して相対的に回転および／またはスケールの変換が施され、そのスケールおよび回転変換状態は予め判らないものとする。なお、入力画像ａおよびモデル画像ｂ内における顔画像は、各画像ａ、ｂの中心に位置しているものとする。
【００２７】
そして、画像記憶手段３に記憶された入力画像ａのデータを演算手段４のガボール・ウェーブレット変換部４１に読み込んで、入力画像ａの中心点を基準としてガボール・ウェーブレット変換部４１において第１の特徴量ＪIl,k（ＪLl,k）を抽出する。この第１の特徴量ＪLl,kは、下記数式１および数式２で示したガボール・ウェーブレット変換により算出されるものである。なお、第１の特徴量Ｊに付された上付き文字”Ｌ”は、入力画像ａとモデル画像ｂとを区別する記号であり、入力画像ａに関するものには”Ｉ”を、モデル画像ｂに関するものには”Ｍ”をそれぞれ表記している。
【数１】
2010160707.tif 000003
【数２】
2010160707.tif 000004
ここで、Iはガボール・ウェーブレット変換対象となる画像（入力画像ａやモデル画像ｂ）、ｘベクトルは各画像上の位置座量、ｘ0ベクトルはガボール・カーネルの中心位置座標で、数式２の｛  ｝内の第２項は直流成分を０にするための補正項であり、σはガボール・カーネルの基準となる大きさを表している。また、数式１および数式２中のａベクトル、ｌ、ｋは下記数式３による。
【数３】
2010160707.tif 000005
ここで、ａ0はガボール・カーネルのスケールファクタ、ｌは周波数成分で、ｍはその成分数であり、周波数成分ｌは、ガボール・カーネルの大きさに対応する。また、ｋは方位成分で、ｎはその成分数であり、ガボール・カーネルを回転させた状態に対応する。
【００２８】
また、画像記憶手段３に記憶されたモデル画像ｂのデータも、同様に、演算手段４のガボール・ウェーブレット変換部４１においてモデル画像ｂの中心点を基準として第１の特徴量ＪMl,kを求める（第１のステップＳ１）。
【００２９】
なお、このガボール・ウェーブレット変換（数式１、２）は、画像のデータから該画像の特徴を的確に抽出可能な優れた変換方法であり、計算量は多いものの、照明の変化などの影響を受けにくいもので、脊椎動物の１次視覚野の働きをよく表現したモデルとして知られている。
【００３０】
ところで、図３（ａ）は、上述したガボール・カーネルの一例を示したものであり、複数の周波数成分ｌと複数の方位成分ｋとの二次元マトリックスで表される一群のガボール・カーネルにより構成されているものである。図３（ｂ）は、この一群のガボール・カーネルを二次元的に例示したもの（この例は、ｍ＝２、ｎ＝３）である。
【００３１】
モデル画像ｂの中心点（例えば、図４の顔画像の鼻頂部）を基準として抽出される特徴量ＪMl,kは、図５の領域１０（太枠）内に示した二次元マトリックスのように、ｍｆ×ｎ個のガボール・ウェーブレット変換値の集合で構成されている。ここで、ｍｆは基本周波数成分数、ｎは方位成分数である。
【００３２】
また、入力画像ａの中心点を基準として抽出される特徴量ＪIl,kは、図５の領域１１（破線枠）内に示した二次元マトリックスのように、（ｍｄ＋ｍｆ＋ｍｕ）×ｎ個のガボール・ウェーブレット変換値の集合で構成されている。この入力画像ａから抽出される特徴量ＪIl,kの周波数成分数ｍは、図４の顔画像上に図示した極座標で表したとき、基本周波数成分数ｍｆ（図４の実線で示した部位）に、半径方向における基本周波数成分の外側の増分数ｍｄと内側の増分数ｍｕと（図４の破線で示した部位）を加えたものである。
【００３３】
これは、入力画像ａ中の顔画像のサイズが、モデル画像ｂ中の顔画像のサイズに対して大きいか否かが不明であるため、基本周波数成分の両側に周波数成分を拡張し、大きさが不明な入力画像ａ中の顔画像のサイズに対して適宜対応できるようにするためである。
【００３４】
ところで、入力画像ａとモデル画像ｂとのスケール変換状態はスケール変換パラメータｓにより、入力画像ａとモデル画像ｂとの回転変換状態は回転変換パラメータｒにより対応づけられる。
【００３５】
ここで、スケール変換パラメータｓの数は（ｍｄ＋１＋ｍｕ）個であり、ｓ＝｛−ｍｄ，−（ｍｄ−１），・・・，−１，０，＋１，・・・，（ｍｕ−１），ｍｕ｝の値をとるもので、例えば、ｓ＝０の場合、入力画像ａの顔画像のサイズがモデル画像ｂのものと同じであることを意味し、ｓ＝＋１の場合、入力画像ａの顔画像のサイズがモデル画像ｂのものに比べ、１サイズ分大きいことを意味する。また、回転変換パラメータｒの数は、方位成分数ｎと同数に定めることができ、かかる場合、この回転変換パラメータｒは、ｒ＝｛０，１，・・・，ｎ−１｝の値をとるもので、例えば、ｒ＝１の場合、モデル画像ｂに対して入力画像ａが１８０°／ｎ回転していることを意味する。
【００３６】
更に詳述すれば、例えば、図４の右側に図示したモデル画像ｂに対して顔画像のサイズが１スケール分大きく、反時計回りに２ステップ分回転したものが入力画像ａとして入力されたものとすると、入力画像ａとモデル画像ｂとの対応関係を見るとき、例えば、図４の右側に示したモデル画像b上のＢ点で示される部位から抽出した第１の特徴量ＪMl,kは、図４の左側に示した入力画像a上のＡ点で示される部位から抽出した第１の特徴量ＪIl,kと対応関係にある。
【００３７】
次に、マージナライズド特徴量演算部４２において、前述の第１ステップＳ１により得られた第１の特徴量ＪLl,kから第２の特徴量ＸLk、ＹLlを求める（第２のステップＳ２）。ここで、第２の特徴量ＸLk、ＹLkは、図５の領域１１内で示した２次元マトリックスにおいて、入力画像ａから抽出された第１の特徴量ＪIl,kを各周波数成分ｌ毎に複数（ｎ個）の方位成分ｋについて、下記数式４により算出した入力画像スケール・マージナライズド特徴量ＹIlと、入力画像ａから抽出された第１の特徴量ＪIl,kを各方位成分ｋ毎に複数（（ｍｄ＋ｍｆ＋ｍｕ）個）の周波数成分ｌについて、下記数式５により算出した入力画像回転・マージナライズド特徴量ＸIkと、図５の領域１０内で示した２次元マトリックスにおいて、モデル画像ｂから抽出された第１の特徴量ＪMl,kを各周波数成分ｌ毎に複数（ｎ個）の方位成分ｋについて、下記数式４により算出したモデル画像スケール・マージナライズド特徴量ＹMlと、モデル画像ｂから抽出された第１の特徴量ＪMl,kを各方位成分ｋ毎に複数（ｍｆ個）の周波数成分ｌについて、下記数式５により算出したモデル画像回転・マージナライズド特徴量ＸMkとにより構成されている。なお、第２の特徴量ＸLk、ＹLlに付された上付き文字”Ｌ”は、入力画像ａとモデル画像ｂとを区別する記号であり、入力画像ａに関するものには”Ｉ”を、モデル画像ｂに関するものには”Ｍ”をそれぞれ表記している。
【数４】
2010160707.tif 000006
【数５】
2010160707.tif 000007
【００３８】
ところで、上述したように入力画像ａおよびモデル画像ｂの二次元マトリックス内の第１の特徴量ＪLl,kから第２の特徴量である入力画像スケール・マージナライズド特徴量ＹIl、入力画像回転・マージナライズド特徴量ＸIk、モデル画像スケール・マージナライズド特徴量ＹMl、モデル画像回転・マージナライズド特徴量ＸMkを求めたのは、二次元マトリックス内の第１の特徴量ＪLl,kを新たな第２の特徴量ＸLk、ＹLl（各マージナライズド特徴量）に置き換えることで、取り扱う特徴量の数を減らすためであり、数値計算による演算量を可及的に減らして迅速に画像認識を行うためである。
【００３９】
次に、類似度演算部４３で、各周波数成分ｌにおいて、第２のステップＳ２により得られた入力画像スケール・マージナライズド特徴量ＹIlとモデル画像スケール・マージナライズド特徴量ＹMlとから下記数式６によりスケール変換パラメータｓに関する類似度Ｓｓを算出すると共に、各方位成分ｋにおいて、第２のステップＳ２により得られた入力画像回転・マージナライズド特徴量ＸIkとモデル画像回転・マージナライズド特徴量ＸMkとから下記数式７により回転変換パラメータｒに関する類似度Ｓｒを算出する（第３のステップＳ３）。
【数６】
2010160707.tif 000008
【数７】
2010160707.tif 000009
【００４０】
ここで、上述した類似度Ｓｓ、Ｓｒの算出に関し例を挙げれば、まず、スケール変換パラメータｓに関しては、例えば、スケール変換パラメータｓ＝−１の場合は、図６（ａ）の実線の双矢印で表される入力画像スケール・マージナライズド特徴量ＹIl+sとモデル画像スケール・マージナライズド特徴量ＹMlとの間で内積をとる（数式６の右辺の分子）。そして、この内積を更に正規化したもの（数式６の右辺）がスケール変換パラメータ（ｓ＝−１）に関する類似度Ｓｓとなる。また、スケール変換パラメータｓ＝＋１の場合は、図６（ａ）の破線の双矢印で表される入力画像スケール・マージナライズド特徴量ＹIl+sとモデル画像スケール・マージナライズド特徴量ＹMlとの間で、同様の演算によりスケール変換パラメータ（ｓ＝＋１）に関する類似度Ｓｓを求める。
【００４１】
また、回転変換パラメータｒに関しては、入力画像ａとモデル画像ｂとの間での回転変換パラメータｒに関する類似度Ｓｒの算出がなされるもので、例えば、回転変換パラメータｒ＝０の場合は、図６（ｂ）の実線の双矢印で表される入力画像回転・マージナライズド特徴量ＸIkとモデル画像回転・マージナライズド特徴量ＸMkとの間で内積をとる（数式７の右辺の分数の分子）。そして、この内積を正規化したもの（数式７の右辺）が回転変換パラメータ（ｒ＝０）に関する類似度Ｓｒとなる。また、回転変換パラメータｒ＝１の場合は、図６（ｂ）の破線の双矢印で表されるように、入力画像回転・マージナライズド特徴量ＸIkは、モデル画像回転・マージナライズド特徴量ＸMk+rとの間で、同様の演算により回転変換パラメータ（ｒ＝１）に関する類似度Ｓｒを求める。
【００４２】
なお、これら類似度Ｓｓ、Ｓｒは、入力画像ａとモデル画像ｂ間での類似の度合いを表し、類似度Ｓｓ、Ｓｒが１に近づけば近づく程、両画像は類似していき、０に近づけば近づく程、両画像は非類似になっていく。
【００４３】
以上のようにして、全てのスケール変換パラメータｓおよび回転変換パラメータｒに関する類似度Ｓｓ、Ｓｒが求められる。なお、全てのスケール変換パラメータｓおよび回転変換パラメータｒについて類似度Ｓｓ、Ｓｒを計算するのは、モデル画像ｂに対する入力画像ａのスケール変換状態や回転変換状態が予め判らないためである。
【００４４】
そして、変換状態演算部４４において、前述の第３のステップＳ３で得られたスケール変換パラメータｓに関する類似度Ｓｓの内、最大の類似度Ｓｓ’（以下、「スケール最大類似度Ｓｓ’」という。）となるスケール変換パラメータｓ’（下記数式８参照）と、回転変換パラメータｒに関する類似度Ｓｒの内、最大の類似度Ｓｒ’（以下、「回転最大類似度」という。）となる回転変換パラメータｒ’（下記数式９参照）とを割り出す（第４のステップＳ４）もので、得られた各パラメータｓ’、ｒ’に対応するスケールおよび回転変換状態が、予めスケールおよび回転変換状態が判らない入力画像ａにおいて、モデル画像ｂに対する最も可能性の高い変換状態であるものと判断することができる。ここで、スケール最大類似度Ｓｓ’および回転最大類似度Ｓｒ’が共に１に近づくほど、入力画像ａ内に、モデル画像ｂ中に表示された特定画像（本実施例では顔画像）と同一または類似の顔画像が含まれている確率が高いと判断することができる。
【数８】
2010160707.tif 000010
【数９】
2010160707.tif 000011
【００４５】
ところで、判別手段５により、第４のステップＳ４により得られたスケール最大類似度Ｓｓ’と、回転最大類似度Ｓｒ’とから、例えば、各最大類似度Ｓｓ’、Ｓｒ’が共に所定の値（しきい値）以上であるか否かにより、入力画像ａ内に、モデル画像ｂ中に表示された特定画像と同一または類似の画像が含まれているか否かを判別（第５のステップＳ５）するようにしてもよい。そして、これらの判別結果は、表示端末等の出力手段６（図１参照）により、出力することができる。
【００４６】
［検証１］
次に、本発明に係る画像認識装置および画像認識方法により算出されるスケールおよび回転変換状態とスケールおよび回転変換パラメータｓ、ｒに関する類似度Ｓｓ、Ｓｒとの関係（スケールおよび回転変換状態を正しく判定できたか否か）について、数値実験により検証を行う。
【００４７】
［数値実験１］・・・スケール変換状態と類似度との関係
入力画像ａとモデル画像ｂとが同じ回転状態（同じ方向を向いている状態）であって、同じ大きさ（１３０×１３０（ピクセル））である状態を基準にし、入力画像を４ピクセルごとに相似的に大きくしたり、小さくしたりして類似度Ｓｓを評価した。
【００４８】
［数値実験２］・・・回転変換状態と類似度との関係
入力画像ａとモデル画像ｂとが同じ大きさ１３０×１３０（ピクセル））であって、同じ回転状態（入力画像ａとモデル画像ｂとが同じ方向を向いている場合）を基準にし、入力画像を２°毎に右回転させたり、左回転させて、回転角θに対する類似度Ｓｒを評価した。
【００４９】
上記数値実験１、２の結果を、それぞれ図７（ａ）、（ｂ）に示した。図７（ａ）に示したように、ｓ＝０（入力画像とモデル画像とが同じ大きさ）のときにスケール変換パラメータｓに関する類似度Ｓｓが最大になり、スケール最大類似度Ｓｓ’は１であった。また、図７（ｂ）に示したように、ｒ＝０（入力画像ａとモデル画像ｂが同じ回転方向）のときに回転変換パラメータｒに関する類似度Ｓｒが最大（Ｓｒ’）になった。なお、回転最大類似度Ｓｒ’が１にならなかったのは、図５に示したように、入力画像ａとモデル画像ｂとで回転・マージナライズド特徴量ＸIk、ＸMkの算出の基礎となった周波数成分数ｍが異なったためであると考えられる。
【００５０】
［検証２］
次に、本発明に係る画像認識装置および画像認識方法によって、入力画像ａとモデル画像ｂとの間におけるスケールおよび回転変換状態が正しく検出されるか否かについて、数値実験により検証を行った。
【００５１】
［検証２の条件］
・モデル画像：２５６×２５６ピクセルの画像の中央に、（大きさＤ）2＝１３０×１３０ピクセル、回転無し（回転角０．０°）、無表情の顔画像を配置した。
・入力画像：２５６×２５６ピクセルの画像の中央に、モデル画像ｂの顔画像に対して、同サイズ・不回転（１３０×１３０ピクセル、回転角０．０°）を含め、５種類の異なるサイズ変換（８３×８３、１０４×１０４、１３０×１３０、１６３×１６３、２０４×２０４ピクセル）と８種類の異なる回転変換（回転角０．０°、２２．５°、４５．０°、６７．５°、９０．０°、１１２．５°、１３５．０°、１５７．５°）がなされた合計４０種類の異なるスケールおよび回転変換状態の顔画像を配置した。
なお、検証は１００人の異なる顔画像について行った。
【００５２】
［検証２の判定方法］
（１）スケールおよび回転変換状態が正しく検出できた否かの判定
スケール最大類似度Ｓｓ’をとるスケールパラメータｓ’が実際に入力画像に施されているスケール変換状態と同じであり、かつ  回転最大類似度Ｓｒ’をとるスケールパラメータｒ’が実際に入力画像に施されている回転変換状態と同じであるとき、スケールおよび回転変換状態を正しく検出できたものと判定した。
（２）本画像認識方法の有効性の判定
下記式により検出率を求め、各種条件を変えた数値実験３〜６に基づき判定した。
検出率（％）＝（スケールおよび回転変換状態の両方を正しく検出した画像数）／（供試画像数＝４０枚／人×１００人分）×１００
【００５３】
［数値実験３］・・・位置ズレによる依存性
顔画像の大きさＤ（ピクセル）に対して中心点からｄ（ピクセル）（相対距離Ｓｐ＝ｄ／Ｄ）ずらした点（図８の白色のドットで示した点）を基準として特徴量を抽出して検出率を求めた。
【００５４】
［数値実験４］・・・表情による依存性
モデル画像ｂに対して不回転かつ同一サイズで表情の異なる入力画像ａを用い、各画像の中心点を基準として特徴量を抽出して検出率を求めた。
【００５５】
［数値実験５］・・・表情、位置ズレ、スケール／回転による依存性
数値実験３および４を組み合わせたものであり、モデル画像ｂに対してスケールおよび回転の変換を施し、更に、表情を異ならせ、中心点からずれた点を基準として特徴量を抽出して検出率を求めた。
【００５６】
［数値実験６］・・・人物による依存性
数値実験３において、入力画像ａとモデル画像ｂの人物を異ならせて特徴量を抽出し、検出率を求めた。
【表１】
2010160707.tif 000012
【００５７】
上記数値実験３〜６の検出率の結果を図９および表１に示した。数値実験３の位置ズレによる依存性に関し、図９に示したように、中心点からの相対距離Ｓｐ（＝ｄ／Ｄ）が約０．１以下では検出率が９８％以上の値を示し、ほぼ正しい検出が行なわれるという結果を得た（中心点を基準として特徴量を抽出したものの検出率は、いずれも１００％であった。）。また、表１に示した数値実験３〜５の検出率と数値実験６の検出率との差からも判るように、入力画像ａ上の特徴量の抽出の位置、スケールおよび回転、顔の表情を変えても高い確率で同一人物を同定することが可能であった。
【００５８】
ところで、上述した数値実験にあっては、人の顔画像を用いた検証結果について示したが、数値実験３〜６と同様な実験であって、モデル画像ｂとして、２１種類の犬の画像、１９種類の猫の画像、２０種類の自動車の画像であっても同様の結果が得られた。
【符号の説明】
【００５９】
Ａ      画像認識装置
２      画像入力手段
３      画像記憶手段
４      演算手段
５      判別手段
【図１】
2010160707.tif 000021
【図２】
2010160707.tif 000022
【図３】
2010160707.tif 000023
【図４】
2010160707.tif 000024
【図５】
2010160707.tif 000025
【図６】
2010160707.tif 000026
【図７】
2010160707.tif 000027
【図８】
2010160707.tif 000028
【図９】
2010160707.tif 000029