(57)【要約】【課題】認識に有効で高速に計算できる類似度を使用することにより、短い時間で認識を行うことができるパターン認識装置を提供する。【解決手段】画像入力部１１、顔領域抽出部１２、顔特徴点検出部１３、正規化画像生成部１４、部分空間生成部１５、類似度計算部１６、辞書部分空間格納部１７、判定部１８、表示部１９からなり、入力パターンから入力部分空間を算出し、辞書パターンから辞書部分空間を算出し、入力部分空間の正規直交基底Φ１，・・・ΦＭと辞書部分空間の正規直交基底Φ１，・・・ΦＭに対してΦｉとΨｊの距離（ｉ＝１，・・・Ｍ、ｊ＝１，・・・Ｎ）の平均を入力パターンと辞書パターンの類似度とし、この類似度を用いて識別をする。【選択図】      図１
2007233873.tif 000002
【特許請求の範囲】
【請求項１】
認識対象のパターンを入力するパターン入力部と、
前記入力パターンから入力部分空間を生成する入力部分空間生成部と、
前記認識対象に関する辞書パターンから辞書部分空間を生成する辞書部分空間生成部と、
前記入力部分空間と前記辞書部分空間とから前記入力パターンと前記辞書パターンの類似度を計算する類似度計算部と、
前記類似度から前記認識対象を識別する識別部と、
を有し、
前記類似度計算部は、
前記入力部分空間の正規直交基底Φ１，・・・ΦＭと前記辞書部分空間の正規直交基底Ψ１，・・・ΨＮを求め、
前記全ての正規直交基底Φｉ（但し、ｉ＝１，・・・Ｍである）と前記全ての正規直交基底Ψｊ（但し、ｊ＝１，・・・Ｎである）の距離をそれぞれ求め、
前記各距離の平均値を求めて、この平均値を前記類似度とする
ことを特徴とするパターン認識装置。
【請求項２】
前記距離は、前記正規直交基底Φｉと前記正規直交基底Ψｊの内積の二乗の値である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項３】
前記距離は、前記正規直交基底Φｉと前記正規直交基底Ψｊの内積のべき乗和の値である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項４】
前記距離は、前記正規直交基底Φｉと前記正規直交基底Ψｊの差の絶対値のべき乗の逆正接の余弦の和の値である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項５】
前記距離は、前記正規直交基底Φｉと前記正規直交基底Ψｊのノルムのべき乗の逆正接の余弦の和の値である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項６】
前記認識対象が、顔、文字、または、音声である
ことを特徴とする請求項１記載のパターン認識装置。
【請求項７】
前記距離は、前記正規直交基底Φｉと前記正規直交基底Ψｊとから計算される０以上１以下の実数であって、（１）前記正規直交基底Φｉと前記正規直交基底Ψｊとが一致した場合に距離が１であり、（２）前記正規直交基底Φｉと前記正規直交基底Ψｊとの距離が前記正規直交基底Ψｊと前記正規直交基底Φｉとの距離と一致するものである
ことを特徴とする請求項１記載のパターン認識装置。
【請求項８】
認識対象のパターンを入力し、
前記入力パターンから入力部分空間を生成し、
前記認識対象に関する辞書パターンから辞書部分空間を生成し、
前記入力部分空間と前記辞書部分空間とから前記入力パターンと前記辞書パターンの類似度を計算し、
前記類似度から前記認識対象を識別し、
前記類似度を計算するときは、
前記入力部分空間の正規直交基底Φ１，・・・ΦＭと前記辞書部分空間の正規直交基底Ψ１，・・・ΨＮを求め、
前記全ての正規直交基底Φｉ（但し、ｉ＝１，・・・Ｍである）と前記全ての正規直交基底Ψｊ（但し、ｊ＝１，・・・Ｎである）の距離をそれぞれ求め、
前記各距離の平均値を求めて、この平均値を前記類似度とする
ことを特徴とするパターン認識方法。
【請求項９】
認識対象のパターンを入力するパターン入力機能と、
前記入力パターンから入力部分空間を生成する入力部分空間生成機能と、
前記認識対象に関する辞書パターンから辞書部分空間を生成する辞書部分空間生成機能と、
前記入力部分空間と前記辞書部分空間とから前記入力パターンと前記辞書パターンの類似度を計算する類似度計算機能と、
前記類似度から前記認識対象を識別する識別機能と、
をコンピュータによって実現し、
前記類似度計算機能は、
前記入力部分空間の正規直交基底Φ１，・・・ΦＭと前記辞書部分空間の正規直交基底Ψ１，・・・ΨＮを求め、
前記全ての正規直交基底Φｉ（但し、ｉ＝１，・・・Ｍである）と前記全ての正規直交基底Ψｊ（但し、ｊ＝１，・・・Ｎである）の距離をそれぞれ求め、
前記各距離の平均値を求めて、この平均値を前記類似度とする
ことを特徴とするパターン認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
パターン認識を高精度及び高速に行うパターン認識装置及びその方法に関するものである。
【背景技術】
【０００２】
文字認識や顔認識等のパターン認識の分野では、相互部分空間法（例えば、非特許文献１、特許文献１参照）、制約相互部分空間法（例えば、非特許文献２、特許文献２参照）、直交相互部分空間法（例えば、非特許文献３参照）が用いられている。
【０００３】
これらの方法で認識を行うときには、入力パターンと辞書パターンのそれぞれから特徴空間内の部分空間を生成し、生成した入力部分空間と辞書部分空間のなす角θ１の余弦の２乗（＝ｃｏｓ２θ１）を類似度としている。
【０００４】
この類似度ｃｏｓ２θ１の計算方法は次の通りである。入力部分空間と辞書部分空間の正規直交基底をそれぞれΦ１，・・・ΦＭ、Ψ１，・・・ΨＮとし、式（１）のｘｉｊを成分に持つＭ×Ｍ行列Ｘ＝（ｘｉｊ）について、
【数１】
2007233873.tif 000003
【０００５】
とする。但し、ｉ＝１，・・・Ｍ、ｊ＝１，・・・Ｎである。
【０００６】
Ｘの固有値をλ１，・・・λＭ（λ１＞＝・・・＞＝λＭ）とすると、最大固有値λ１が求める類似度が式（２）のようになる。
【０００７】
λ１＝ｃｏｓ２θ１      （２）
また、λ２，・・・λＭについても、入力部分空間、辞書部分空間それぞれでなす角θ１を定めるベクトルをｕ１，ｖ１とし、入力部分空間内でのｕ１の直交補空間と辞書部分空間内でのｖ１の直交補空間のなす角をθ２とすると式（３）のようになる。
【０００８】
λ２＝ｃｏｓ２θ２      （３）
以下、θｉを同様に定めると、ｃｏｓ２θｉが行列Ｘの固有値に対応するため、特許文献２では類似度としてＸの固有値の平均を使う場合が提案されている。
【０００９】
これらＭ個の角度θ１，・・・θＭを入力部分空間と辞書部分空間がなす「正準角」として知られている。正準角については、非特許文献４などに詳しい。
【００１０】
以下、本明細書で引用する全ての文献を記載する。
【特許文献１】特開平１１−２６５４５２号公報
【特許文献２】特開２０００−３００６５公報
【特許文献３】特開平  ９−２５１５２４号公報
【特許文献４】特開平  ９−２５１５３４号公報
【特許文献５】特開２０００−３００６５公報
【非特許文献１】前田賢一、渡辺貞一、「局所的構造を導入したパターン・マッチング法」、信学論(D)、vol. J68-D、No.3、pp.345-352、1985
【非特許文献２】福井和広、山口修、鈴木薫、前田賢一「制約相互部分空間法を用いた環境変動にロバストな顔画像認識」、信学論D-II, vol. J82-D-II、No.4、pp.613-620、1999
【非特許文献３】河原智一、西山正志、山口修「直交相互部分空間法を用いた顔認識」、情報処理学会研究報告, 2005-CVIM-151, Vol.2005, No. 112, pp.17-24(2005
【非特許文献４】F. chatelin, 「行列の固有値」、伊理正夫、伊理由実訳、シュプリンガー・フェアラーク東京、１９９３年
【非特許文献５】William H. Press, Saul A. Teukolsky, William T. Vetterling, Brian P. Flannery, 「NUMERICAL RECIPES in C」、丹慶勝市、奥村晴彦、佐藤俊郎、小林誠訳、技術評論社
【非特許文献６】坂本静生、宮尾洋子、田島譲二、「顔画像からの目の特徴点抽出」、信学論D-II, vol. J76-D-II, No. 8, pp. 1796-1804, August, 1993
【非特許文献７】Alex Pentland, Rahark Moghaddam, ThadStarner, 」View-based and modular eigenspaces for face recognition」, CVPR '94, PP. 84-91, 1994
【非特許文献８】佐々木努、赤松茂、末松康仁、「顔認識のための色情報を用いた顔の位置あわせ法」、IE91-2, pp. 9-15, 1991）
【非特許文献９】山口修、福井和広、前田賢一、「動画像を用いた顔認識システム」、信学技報、PRMU97-50, pp. 17-24, 1997
【非特許文献１０】エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、1986年
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記のように従来方法では、入力部分空間と辞書部分空間の類似度計算が頻繁に行われる。そして、この類似度計算処理のたびに、非特許文献５などにあるように一般に計算時間がかかる固有値計算を入力部分空間と辞書部分空間の正規直交基底から生成した行列に対して行う必要がある。そのため、認識に非常に時間がかかるという問題点がある。
【００１２】
そこで、本発明は、上記問題点に鑑み、固有値計算を行わず認識時間を短縮することができるパターン認識装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、認識対象のパターンを入力するパターン入力部と、前記入力パターンから入力部分空間を生成する入力部分空間生成部と、前記認識対象に関する辞書パターンから辞書部分空間を生成する辞書部分空間生成部と、前記入力部分空間と前記辞書部分空間とから前記入力パターンと前記辞書パターンの類似度を計算する類似度計算部と、前記類似度から前記認識対象を識別する識別部と、を有し、前記類似度計算部は、前記入力部分空間の正規直交基底Φ１，・・・ΦＭと前記辞書部分空間の正規直交基底Ψ１，・・・ΨＮを求め、前記全ての正規直交基底Φｉ（但し、ｉ＝１，・・・Ｍである）と前記全ての正規直交基底Ψｊ（但し、ｊ＝１，・・・Ｎである）の距離をそれぞれ求め、前記各距離の平均値を求めて、この平均値を前記類似度とすることを特徴とするパターン認識装置である。
【発明の効果】
【００１４】
以上、本発明によれば、識別性能を落とさずに入力部分空間と辞書部分空間の類似度計算において固有値計算を行わないため、認識時間を短縮することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態のパターン認識装置の一つである顔画像認識装置１０について説明する。すなわち、本発明は画像をはじめとする様々なパターンの認識に適用可能であるが、説明をより具体的にするために、顔画像パターンを用いて個人の識別を行う場合を用いて説明する。
【００１６】
（１）顔画像認識装置１０の構成
以下、本実施形態の顔画像認識装置１０の構成について図１、図２に基づいて説明する。図１は顔画像認識装置１０の概略構成図を示すブロック図である。
【００１７】
顔画像認識装置１０は、画像入力部１１、顔領域抽出部１２、顔特徴点検出部１３、正規化画像生成部１４、部分空間生成部１５、類似度計算部１６、辞書部分空間が予め記憶されている辞書部分空間格納部１７、判定部１８、表示部１９からなる。
【００１８】
この顔画像認識装置１０は、ＣＭＯＳカメラをパソコンに接続してその機能を実現できる。この場合に、顔領域抽出部１２、顔特徴点検出部１３、正規化画像生成部１４、部分空間生成部１５、類似度計算部１６、判定部１８の各機能を実現するプログラムをＦＤ、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体に記憶させておき、それをパソコンに記憶させれば良い。
【００１９】
以下、各部１１〜１９の処理について図２のフローチャートと図３の入力画像に基づいて説明する。
【００２０】
（２）画像入力部１１
画像入力部１１は、例えばＣＭＯＳカメラからなり、ステップ１に示すように認識対象となる人物の画像を入力する。この画像入力部１１から入力された図３に示す画像０１はＡ／Ｄ変換器によりデジタル化されて顔領域抽出部１２に送られる。例えば、ＣＭＯＳカメラはモニタの下部に設置される。
【００２１】
（３）顔領域抽出部１２
顔領域抽出部１２は、ステップ２に示すように画像入力部１１から送られてきた入力画像から図３に示す顔領域０２を常時抽出し続ける。
【００２２】
本実施形態では、予め登録された標準顔画像（テンプレート）を全画面にわたって移動させながら相関値を計算し、最も高い相関値を持っている領域を顔領域とする。相関値が設定された閾値より低い場合は、顔が存在しないとする。
【００２３】
顔向き変化に対応するために部分空間法や複合類似度などにより複数のテンプレートを用いるとさらに安定に顔領域を抽出できる。
【００２４】
（４）顔特徴点抽出部１３
顔特徴点抽出部１３では、ステップ３に示すように抽出された顔領域内から瞳、鼻、口端などの特徴点を抽出する。形状情報とパターン情報を組み合わせた方法（特許文献３参照）が適用可能である。
【００２５】
この方法の基本的な考え方は、位置精度の高い形状情報により特徴点の候補を求め、それをパターン照合で検証するというものである。本方法は形状情報により位置決めを行うので高い位置精度が期待できる。また候補群からの正しい特徴点の選択にマルチテンプレートを用いたマッチングを適用しているために、特徴点の形状輝度の変動に対してロバストである。処理速度に関しては計算コストの少ない分離度フィルタで絞り込んだ候補に対してのみパターン照合するので、全体をパターン照合する方法に比べ計算量の大幅な削減が実現できる。
【００２６】
この他にも、エッジ情報に基づく方法（非特許文献６参照）や固有空間法を適用したEigen feature法（非特許文献７参照）、カラー情報（非特許文献８参照）に基づく方法が適用可能である。
【００２７】
（５）正規化画像生成部１４
正規化画像生成部１４では、ステップ４に示すように特徴点を基準にして正規化を施す。例えば、非特許文献９に示された瞳、鼻孔を基準にした正規化処理を適用しても良い。この場合は、両瞳を結んだベクトル、及び鼻孔の中点と瞳中点を結んだベクトルの方向をそれぞれ水平、垂直に変換し、その長さを一定になるようにアフィン変換を施す。
【００２８】
（６）部分空間生成部１５
部分空間生成部１５では、ステップ５に示すように入力部分空間の生成をする。
【００２９】
まず、正規化画像生成部１４で逐次生成される正規化画像をヒストグラム平坦化、ベクトル長正規化を施した後でメモリに蓄える。
【００３０】
次に、予め規定された枚数の正規化画像が蓄えられたら、入力部分空間の生成を開始する。
【００３１】
部分空間を逐次生成するために、同時反復法（非特許文献１０参照）を適用する。これにより新しい正規化画像が入力される毎に部分空間が更新されてゆく。なお、入力部分空間を生成するまでの処理についての詳細は、特許文献４及び非特許文献９に詳しい。
【００３２】
また、前記方法で生成した入力部分空間や辞書部分空間格納部１７に格納された辞書部分空間に対して、識別に効果のある変換を施しても良い。これらの変換として下記の方法がある。
【００３３】
第１の変換方法は、特許文献５にあるような、識別に不必要な情報を効率よく取り除く変換である。
【００３４】
第２の変換方法は、非特許文献３にあるような、異なるクラス間の距離を離す変換である。
【００３５】
また、辞書部分空間に関してはこれらの変換を施した後に辞書部分空間格納部１７に格納しても良い。
【００３６】
（７）類似度計算部１６
類似度計算部１６では、ステップ６に示すように部分空間生成部１５で生成された入力部分空間と辞書部分空間格納部１７に格納された人物ｉの各辞書部分空間との類似度を、入力部分空間の正規直交基底Φｉと辞書部分空間の正規直交基底Ψｊの距離の平均値で計算し、この平均値を類似度とする。但し、ｉ＝１，・・・Ｍ、ｊ＝１，・・・Ｎである。
【００３７】
ここで、「距離」とは、２つのベクトルから計算される０以上１以下の実数で、次の２つの条件を満たすものと定義する。１つ目の条件は、２つのベクトルが一致した場合またその場合に限り距離が１である。２つ目の条件は、ベクトルＡとベクトルＢの距離は、ベクトルＢとベクトルＡの距離と一致する。
【００３８】
距離はベクトルの内積の２乗で計算し、具体的には式（４）で計算する。但し、入力部分空間の正規直交基底をΦ１，・・・ΦＭ、辞書部分空間の正規直交基底をΨ１，・・・ΨＮとする。
【数２】
2007233873.tif 000004
【００３９】
これは、式（２）で与えられる行列Ｘの対角成分の和をＭで割ったものになるため、入力部分空間と辞書部分空間の正準角をθ１，・・・θＭとしたとき、式（５）が成り立つ（非特許文献４参照）。
【数３】
2007233873.tif 000005
【００４０】
この他にも類似度として、Ｍ以外の値で平均をとっても良い。例えばＭとＮの小さい方の値をＬ、ＭとＮの大きい方の値をＬ’としたとき、Ｎ、Ｍ、Ｌ、Ｌ’ＭＮなどを使用しても良い。さらに別の値を掛けてもよい。例えばＮ、Ｍ、Ｌ、Ｌ’ＭＮを掛けても良い。
【００４１】
また、距離の計算方法は正規直交基底同士の内積の２乗だけでなく下記の計算方法がある。
【００４２】
第１の計算方法は、下記の式（６）のように正規直交基底Φｉと正規直交基底Ψｊの内積のべき乗和を計算する方法である。
【００４３】
第２の計算方法は、下記の式（７）のように正規直交基底Φｉと正規直交基底Ψｊの差の絶対値のべき乗の逆正接（ａｒｃｔａｎ）の余弦（ｃｏｓ）を計算する方法である。
【００４４】
第３の計算方法は、下記の式（８）のように正規直交基底Φｉと正規直交基底ΨｊのＬＰノルムのべき乗の逆正接（ａｒｃｔａｎ）の余弦（ｃｏｓ）を計算する方法である。
【００４５】
なお、これらの計算方法においても、Ｍ以外の値で平均をとってもよい。さらに別の値をかけてもよい。
【数４】
2007233873.tif 000006
【００４６】
この類似度を辞書登録されているｍ人に対して求める。
【００４７】
（８）判定部１８
判定部１８では、ステップ７に示すようにｍ人の中で最も類似度が高く、その値が予め設定された閾値より大きい場合、対応する人物を本人と同定する。
【００４８】
この場合、第２候補以降の類似度を考慮して決定しても良い。例えば、第２候補との類似度の差が閾値より大きい場合は不確定とすることができる。
【００４９】
（９）表示部１９
ＣＲＴ、スピーカなどの表示部１９では、ステップ８に示すように識別結果を画面に表示したり音声で知らせたりする。
【００５０】
本実施形態のパターン認識装置１０の認識性能について、顔画像を用いた認識実験の結果を下記に示す。
【００５１】
（１０）認識実験結果
顔の動画像を用いた認識実験を行い、認識性能において従来の類似度と今回提案した類似度が同等の性能を出すことを示す。
【００５２】
実験は２５人の顔画像を用いてエラー率を求めた。但し、エラー率は本人類似度より他人類似度が高くなる割合である。実験の仕様の詳細は非特許文献３に記載されている「実験１」の直交相互部分空間法と同じである。その結果を下記に示す。
【００５３】
従来方法          １．０６％
本実施形態        １．６３％
従来方法の比較例  ４．３３％、４．４９％
上記のように、従来の類似度である式（１）のｘｉｊを成分に持つＭ×Ｍ行列Ｘ＝（ｘｉｊ）の最大固有値を類似度とする場合のエラー率が１．０６％であるのに対し、今回提案した類似度で、距離をベクトルの内積の２乗とした場合のエラー率は１．６３％となった。
【００５４】
本実施形態の結果は、非特許文献３に比較のために示された他の従来方法のエラー率（４．３３％、４．４９％）と比べ十分低い値であり、本実施形態が従来の類似度を用いた方法（直交相互部分空間法を用いる方法）と同等の認識性能を有し、かつ、計算時間を短縮することができることが判明した。
【００５５】
（１１）変更例
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００５６】
例えば、本発明は、上記の顔画像パターンを用いて個人の識別を行う場合以外に、文字パターンや音声パターンなどあらゆるパターン情報に対しても成り立つ。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態を示す顔認識装置のブロック図である。
【図２】図１の顔認識装置の処理内容を示すフローチャートである。
【図３】入力画像の説明図である。
【符号の説明】
【００５８】
１０    顔画像認識装置
１１    画像入力部
１２    顔領域抽出部
１３    顔特徴点検出部
１４    正規化画像生成部
１５    部分空間生成部
１６    類似度計算部
１７    辞書部分空間格納部
１８    判定部
１９    表示部
【図１】
2007233873.tif 000007
【図２】
2007233873.tif 000008
【図３】
2007233873.tif 000009