(57)【特許請求の範囲】
【請求項１】
入力画像データから所定の複数の部分領域のデータを抽出し、前記抽出した複数の部分領域のデータそれぞれに対して、予め登録されている登録画像データの対応する部分領域のデータとの間で第１の類似度を算出する類似度算出手段と、
前記所定の複数の部分領域のそれぞれについて算出された複数の第１の類似度を、学習された部分領域毎の識別関数を用いて、それぞれ複数の第２の類似度に変換する変換手段と、
前記変換手段によって変換された複数の第２の類似度を統合して第３の類似度を算出する統合手段と、
前記統合手段によって算出された第３の類似度に基づいて、前記入力画像データが前記登録画像データと同一のカテゴリに属するデータであるか否かを識別する識別手段とを備え、
前記類似度算出手段が、複数のカテゴリについて各カテゴリに属する複数の学習用画像データのそれぞれから前記所定の複数の部分領域のデータを抽出し、部分領域毎に、同一カテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度と、異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度とを算出し、
前記部分領域毎の識別関数は、前記同一のカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第１の識別値に近づくように変換し、前記異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第２の識別値に近づくように変換するように学習された識別関数であることを特徴とするパターン認識装置。
【請求項２】
前記変換手段は、前記学習された部分領域毎の識別関数に前記第１の類似度を代入することによって、前記第２の類似度に変換することを特徴とする請求項１に記載のパターン認識装置。
【請求項３】
前記識別関数の学習は、非線形ＳＶＭ（Support Vector Machine）により行われることを特徴とする請求項１又は２に記載のパターン認識装置。
【請求項４】
前記非線形ＳＶＭのカーネルがガウシアンカーネルであることを特徴とする請求項３に記載のパターン認識装置。
【請求項５】
前記類似度算出手段は、前記入力画像データの部分領域のデータと、前記登録画像データの対応する部分領域のデータとの正規化相関値を用いて前記第１の類似度を算出することを特徴とする請求項１乃至４の何れか１項に記載のパターン認識装置。
【請求項６】
前記類似度算出手段は、前記入力画像データの部分領域のデータを示すベクトルと、前記登録画像データの対応する部分領域のデータを示すベクトルとの間のなす角の余弦を用いて前記第１の類似度を算出することを特徴とする請求項１乃至４の何れか１項に記載のパターン認識装置。
【請求項７】
前記統合手段は、前記複数の第２の類似度から値の大きい順に所定数の第２の類似度を選択し、前記選択した第２の類似度を統合することを特徴とする請求項１乃至６の何れか１項に記載のパターン認識装置。
【請求項８】
前記統合手段は、前記複数の第２の類似度のそれぞれに対して重み付けして、前記重み付けした第２の類似度を加算することを特徴とする請求項１乃至７の何れか１項に記載のパターン認識装置。
【請求項９】
入力画像データから所定の複数の部分領域のデータを抽出し、前記抽出した複数の部分領域のデータそれぞれに対して、予め登録されている登録画像データの対応する部分領域のデータとの間で第１の類似度を算出する類似度算出工程と、
前記所定の複数の部分領域のそれぞれについて算出された複数の第１の類似度を、学習された部分領域毎の識別関数を用いて、それぞれ複数の第２の類似度に変換する変換工程と、
前記変換工程において変換された複数の第２の類似度を統合して第３の類似度を算出する統合工程と、
前記統合工程において算出された第３の類似度に基づいて、前記入力画像データが前記登録画像データと同一のカテゴリに属するデータであるか否かを識別する識別工程と、
複数のカテゴリについて各カテゴリに属する複数の学習用画像データのそれぞれから前記所定の複数の部分領域のデータを抽出し、部分領域毎に、同一カテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度と、異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度とを算出する工程とを備え、
前記部分領域毎の識別関数は、前記同一のカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第１の識別値に近づくように変換し、前記異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第２の識別値に近づくように変換するように学習された識別関数であることを特徴とするパターン認識方法。
【請求項１０】
入力画像データから所定の複数の部分領域のデータを抽出し、前記抽出した複数の部分領域のデータそれぞれに対して、予め登録されている登録画像データの対応する部分領域のデータとの間で第１の類似度を算出する類似度算出工程と、
前記所定の複数の部分領域のそれぞれについて算出された複数の第１の類似度を、学習された部分領域毎の識別関数を用いて、それぞれ複数の第２の類似度に変換する変換工程と、
前記変換工程において変換された複数の第２の類似度を統合して第３の類似度を算出する統合工程と、
前記統合工程において算出された第３の類似度に基づいて、前記入力画像データが前記登録画像データと同一のカテゴリに属するデータであるか否かを識別する識別工程と、
複数のカテゴリについて各カテゴリに属する複数の学習用画像データのそれぞれから前記所定の複数の部分領域のデータを抽出し、部分領域毎に、同一カテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度と、異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度とを算出する工程とをコンピュータに実行させ、
前記部分領域毎の識別関数は、前記同一のカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第１の識別値に近づくように変換し、前記異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第２の識別値に近づくように変換するように学習された識別関数であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパターン認識装置、パターン認識方法及びプログラムに関し、例えば、顔などを識別するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、画像処理により画像から対象パターンを検出する実用的な手法が提案されている。特に対象パターンを人間の顔とした場合には、様々な応用が考えられるため、その検出手法に関して盛んに研究開発が行われている。さらには、顔を検出するだけでなく、検出した顔が、予め登録している人物の中の誰であるのかを識別する顔認識の手法に関しても盛んに研究開発が行われている。これらの検出／認識手法においてよく用いられる技術としてマッチング手法がある。マッチング手法では、予め用意してあるテンプレート（登録画像）と処理対象画像（入力画像）との間で、正規化相関処理や距離算出処理等の識別処理により類似度を算出している。
【０００３】
例えば特許文献１には、照明変動やオクルージョンの状態に関係なく、入力画像を正しく分類するように、入力画像と登録画像とをそれぞれ部分領域に分割して認識処理を行う手法が開示されている。特許文献１に示す手法では、まず、入力画像と登録画像とをそれぞれ部分領域に分割し、分割した部分領域同士の距離を算出する。続いて、各部分領域について得られた距離を平均して統合距離値を算出する。そして、これらの処理を各カテゴリの登録画像について行い、算出した統合距離値の最小値を求め、その最小値が閾値よりも小さい場合にその最小距離を持つカテゴリを認識結果として出力する。
【０００４】
また、特許文献２には、２つの画像の共通パターンを探し出すために、一方の画像を部分領域に分割し、他方の画像に対して、スキャンさせながら相関値を算出する手法が開示されている。この手法では、スキャンさせた後に最大の相関値を算出した位置に対して、相関値の２乗である類似度を投票する。この処理を全ての部分領域で行うことにより投票空間において類似度の累積が行われ、その中の最大の類似度と閾値とを比較することによって、共通パターンの有無を判定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１６１６５９号公報
【特許文献２】特許第３９９７７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２に示す手法では、部分領域毎に算出された距離や相関値を単純にそのまま加算して、最終的な類似度を算出している。そのため、以下に示すような問題点がある。
【０００７】
例えば、距離を加算して類似度とした場合には、各部分領域で正規化されていないので、ある部分領域で極端に大きな距離が算出されると、平均値として統合距離値は大きくなる。このように、部分領域毎に得られる距離を加算したものを最終的な類似度（統合距離値）と定義すると、統合距離値同士を比較した場合に信頼度が低下するという問題点がある。
【０００８】
また、相関値を加算して類似度とした場合には、一般的に相関値は間隔尺度ではないことから、相関値を加算（または加算結果から平均を算出）するという処理がなじまない。このように、部分領域毎に得られる相関値をそのまま加算したものを最終的な類似度（統合類似度）と定義すると、統合類似度同士を比較した場合に信頼度が低下するという問題点がある。
【０００９】
このように、距離或いは相関値を単純に加算すると、特定の部分領域での結果が統合類似度に相対的に大きく影響を与えてしまう可能性がある。
【００１０】
本発明は前述の問題点に鑑み、より信頼度の高いパターンの認識結果を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明のパターン認識装置は、入力画像データから所定の複数の部分領域のデータを抽出し、前記抽出した複数の部分領域のデータそれぞれに対して、予め登録されている登録画像データの対応する部分領域のデータとの間で第１の類似度を算出する類似度算出手段と、前記所定の複数の部分領域のそれぞれについて算出された複数の第１の類似度を、学習された部分領域毎の識別関数を用いて、それぞれ複数の第２の類似度に変換する変換手段と、前記変換手段によって変換された複数の第２の類似度を統合して第３の類似度を算出する統合手段と、前記統合手段によって算出された第３の類似度に基づいて、前記入力画像データが前記登録画像データと同一のカテゴリに属するデータであるか否かを識別する識別手段とを備え、前記類似度算出手段が、複数のカテゴリについて各カテゴリに属する複数の学習用画像データのそれぞれから前記所定の複数の部分領域のデータを抽出し、部分領域毎に、同一カテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度と、異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度とを算出し、前記部分領域毎の識別関数は、前記同一のカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第１の識別値に近づくように変換し、前記異なるカテゴリに属する学習用画像データの組からそれぞれ抽出された当該部分領域のデータの前記第１の類似度を第２の識別値に近づくように変換するように学習された識別関数であることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、同一カテゴリである場合に算出される類似度と、異なるカテゴリである場合に算出される類似度との間に十分なマージンができる。したがって、類似度の信頼性が増加し、信頼度の高いパターンの認識結果を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態における顔認識システムの機能構成例を示すブロック図である。
【図２】部分領域の一例を示す図である。
【図３】部分領域データの一例を模式的に示した図である。
【図４】学習用の部分領域データの一例を模式的に示した図である。
【図５】イントラ類似度及びエクストラ類似度の分布例を示す図である。
【図６】イントラ類似度及びエクストラ類似度の頻度ヒストグラムを示す図である。
【図７】顔認識システムを構成する装置のハード構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態における認識システムについて説明する。ここで、認識とは、認識対象がいくつかの概念（カテゴリ）に分類できる時に、観測された認識対象をそれらのカテゴリの１つに対応させる処理である。例えば顔認識とは、入力された画像中に存在する顔が、予め登録している人物の中の誰であるのかを識別する処理である。本実施形態では、パターン認識として顔認識を例にして説明する。なお、顔認識処理の前段である顔検出処理（画像中での顔の位置、サイズ、傾きの検出）において、公知の手法により顔が検出されているものとする。ここで本実施形態における顔の傾きとは、画像内の回転角度（面内回転角度）を指すものとする。
【００１５】
本実施形態では、顔検出処理によって検出された顔の位置、サイズ、及び傾きに応じて顔の周囲画像が既に切り出されており、さらに予め定められた顔のサイズ、傾きに正規化されている。したがって、本実施形態による処理が行われる画像は、画像中において目、鼻、口等の位置が概ね揃っているものとする。また、本実施形態では、説明を簡単化するため、画像は全てグレースケール画像（輝度画像）であるものとする。
【００１６】
次に、本実施形態に係る顔認識システムを実行するハードウェア構成について説明する。
図７は、本実施形態に係る顔認識システムを構成する情報処理装置のハードウェア構成例を示すブロック図である。
図７において、ＣＰＵ（中央演算装置）１１００は、本実施形態に係る顔認識システムをプログラムに従って実行する。プログラムメモリ１１０１には、ＣＰＵ１１００により実行されるプログラムが記憶されている。ＲＡＭ１１０２は、ＣＰＵ１１００によりプログラムを実行する時に、各種情報を一時的に記憶するためのメモリとして機能する。ハードディスクドライブ１１０３は、画像ファイルや登録画像の部分領域データなどを記憶するための記憶媒体である。ディスプレイ１１０４は、本実施形態の処理によって出力される処理結果をユーザに提示するための表示装置である。制御バス・データバス１１０５は、これら各部とＣＰＵ１１００とを接続するためのバスである。
【００１７】
図７に示すハードウェア構成は、顔認識システムの全てをＣＰＵ１１００の処理によって行う場合の構成であるが、一部の処理を専用ハードウェアに置き換えることも可能である。例えば、顔認識システムで行われる処理を専用ハードウェアで行うといったことも可能である。
【００１８】
図１は、本実施形態における顔認識システム１００の機能構成例を示すブロック図である。
図１において、顔認識システム１００には、入力データとして処理対象画像が入力され、認識処理結果が出力される。認識処理結果としては、予め登録されている人物が処理対象画像中に存在すると判断した場合には、その人物を特定する情報が出力される。一方、予め登録されているどの人物も処理対象画像中に存在しないと判断した場合は、その旨が出力される。
【００１９】
顔認識システム１００の動作モードとしては、登録モードと認識モードとがある。登録モードの時には、部分領域データ抽出部１０１は、処理対象画像として登録画像（認識したい人物が映っている画像）を入力し、処理対象画像に対して複数の部分領域を設定してその部分領域データ（画素値）を抽出する。そして、登録部分領域データ格納部１０３に登録画像の部分領域データを格納する。一方、認識モードの時は、部分領域データ抽出部１０１は、処理対象画像として検査画像（認識したい人物が映っているか否かを調べたい画像）を入力する。そして、同様に処理対象画像に対して複数の部分領域を設定してその部分領域データ（画素値）を抽出する。そして、類似度算出部１０２は、登録モードの時に登録部分領域データ格納部１０３に格納した登録画像の部分領域データと、検査画像の部分領域データとの類似度を算出する。
【００２０】
また、図１に示す処理対象画像とは、前述したように、公知の顔検出処理によって顔のサイズや傾きが一定になるように、元の画像から切り出され、正規化された画像である。
【００２１】
部分領域情報格納部１０４には、処理対象画像に対して設定する部分領域それぞれの位置、大きさ、形状等の情報が格納されており、これらの情報は、予め決定されている。部分領域データ抽出部１０１は、部分領域情報格納部１０４に格納されているこれらの情報に基づいて複数の部分領域を設定する。
【００２２】
図２は、部分領域の一例を示す図である。図２に示すように、処理対象画像２００に対して部分領域２０１〜２０４が設定されている。なお、本実施形態では、部分領域の数は４つの例を示しているが、さらに多くても少なくてもよい。また、図２に示す例では、それぞれの部分領域は重ならないように配置されているが、一部重なっていてもよく、碁盤の目状に隙間なく配置されていてもよい。さらに、部分領域の大きさは全て同じでも異なっていてもよく、形状は矩形に限定されない。
【００２３】
部分領域情報格納部１０４には、例えば図２に示すような部分領域２０１〜２０４の位置、大きさ、形状の情報が格納されている。位置の情報としては、顔検出処理によって切り出して正規化された画像であるため、処理対象画像２００内の相対位置でよい。或いは、目や口等の器官位置を検出し、検出した器官位置を基準とする位置としてもよい。
【００２４】
登録部分領域データ格納部１０３には、登録モードの時に部分領域データ抽出部１０１から出力される登録画像の部分領域データが格納される。このとき、その登録画像のＩＤ（登録画像中の人物を特定する情報）、及び画像番号（登録画像各々を特定する情報）も対応付けて格納される。一方、認識モードの時には、登録部分領域データ格納部１０３に格納さている登録画像の部分領域データがその対応するＩＤ、画像番号と共に出力される。なお、登録モードの時に複数の登録画像が登録されている場合には、全ての登録画像の部分領域データが出力される。
【００２５】
図３は、登録部分領域データ格納部１０３に格納された部分領域データの一例を模式的に示した図である。図３に示す例では、４枚の登録画像に対してそれぞれ４つの部分領域データが格納されている。例えば「ID＿0」の部分領域２０１のデータは「LA＿0＿0」である。４枚の登録画像のうち、最初の２枚のＩＤは「ID＿0」であり、残りの２枚のＩＤはそれぞれ「ID＿1」、「ID＿2」である。なお、「ID＿0」の２枚の登録画像は、ＩＤは同じだが画像は異なるものである。
【００２６】
類似度算出部１０２は認識モードの時に動作し、登録画像の部分領域データと、入力された検査画像の部分領域データとの間で、対応する部分領域毎の類似度（第１の類似度）を算出する。本実施形態では、部分領域データを単純に１次元ベクトル化し、登録画像と検査画像との対応する部分領域のベクトル間のなす角（θ）の余弦（cosθ）を算出し、算出した余弦（cosθ）の値を類似度とする。
【００２７】
例えば、部分領域２０１〜２０４に対応する部分領域データ抽出部１０１から送られる検査画像の部分領域データを順に「LA＿x＿0」、「LA＿x＿1」、「LA＿x＿2」、「LA＿x＿3」とする。類似度算出部１０２は、「LA＿x＿0」に対して、図３に示す「LA＿0＿0＿0」、「LA＿0＿1＿0」、「LA＿1＿0＿0」、「LA＿2＿0＿0」との間で部分領域２０１に関する類似度を求める。さらに、部分領域２０２に対応する「LA＿x＿1」、部分領域２０３に対応する「LA＿x＿2」及び部分領域２０４に対応する「LA＿x＿3」に対して同様の処理を行う。このように、類似度算出部１０２から出力される類似度は、（部分領域の数）×（登録された画像枚数）に等しい数となり、図３に示す例の場合には１６個の類似度が出力される。また、出力される類似度には、類似度を算出する際に用いられたＩＤと画像番号と部分領域名とが対応付けられているものとする。
【００２８】
類似度変換パラメータ格納部１０５には、類似度算出部１０２から出力される類似度に対して、学習によって予め決定されている変換を行うためのパラメータが格納されている。本実施形態では、以下に示すような学習を行って類似度変換パラメータを算出する。
【００２９】
まず、パラメータ学習用としてＩＤが付与された学習用顔画像に対し、顔検出処理を経て、部分領域データ抽出部１０１と同様の処理により部分領域データを抽出し、図４に示すようにＩＤ情報と対応付けておく。学習画像としては、ＩＤの異なる顔画像だけでなく、ＩＤが同一だが画像は異なるものも多数用意する。なお、学習においては、図１に示した顔認識システム１００を使用する必要はなく、同じ機能をもつものを使用してもよい。
【００３０】
次に、類似度算出部１０２は、部分領域毎に学習画像間で総当たりにより類似度を算出する。例えば図４に示すような学習用の部分領域を例に説明する。部分領域２０１においては、「LA＿a＿0＿0」と「LA＿a＿1＿0」との間の類似度、．．．、「LA＿a＿0＿0」と「LA＿b＿0＿0」との間の類似度、．．．というように全ての部分領域２０１のデータ間で総当たりにより類似度を算出する。
【００３１】
このとき、類似度の算出に用いた２つの部分領域が同じＩＤに属する場合、その類似度をイントラ類似度と定義する。例えば、「LA＿a＿0＿0」と「LA＿a＿1＿0」との間で算出した類似度をイントラ類似度と定義する。同様に、類似度の算出に用いた２つの部分領域が異なるＩＤに属する場合、その類似度をエクストラ類似度と定義する。例えば、「LA＿a＿0＿0」と「LA＿b＿0＿0」との間で算出した類似度をエクストラ類似度と定義する。このような処理を行うことにより、部分領域毎にイントラ類似度とエクストラ類似度とが多数算出される。ここで、イントラ類似度のラベルを＋１とし、エクストラ類似度のラベルを−１とする。
【００３２】
次に、部分領域毎にイントラ類似度とエクストラ類似度とを分離する識別関数を非線形ＳＶＭ（Support Vector Machine）により学習させる。このときの非線形カーネルとしてはガウシアンカーネルを採用する。このようにして学習で得られた部分領域毎の識別関数を類似度変換パラメータとし、類似度変換パラメータ格納部１０５に格納される。
【００３３】
類似度変換部１０６は、類似度算出部１０２から送られてくる類似度に対し、類似度変換パラメータ格納部１０５に格納された類似度変換パラメータ（識別関数）を用いて、以下に示すような変換を部分領域毎に行い、変換後類似度（第２の類似度）を出力する。例えば、部分領域２０１に対応する類似度変換パラメータ（識別関数）に、類似度算出部１０２から送られてくる部分領域２０１の類似度を代入し、識別関数の出力値を得る。識別関数の出力値としては、符号（ラベル）等の２値化情報ではなく、識別関数の出力値をそのまま用い、この識別関数の出力値を部分領域の変換後類似度として出力する。この処理を全ての部分領域に対して行い、全部分領域の変換後類似度を算出して出力する。出力する変換後類似度には、変換後類似度の算出に用いられた登録画像のＩＤと画像番号と部分領域名とを対応付けておく。
【００３４】
次に、類似度変換部１０６による変換処理に関して、図５を参照しながら詳細に説明する。図５において、横軸は類似度を示しており、縦軸は、学習のときに用いたラベル（＋１或いは−１）の値を示している。また、図５における印５０１は、学習に用いたイントラ類似度をプロットしたものであり、印５０２は、学習に用いたエクストラ類似度をプロットしたものである。なお、図５に示す例では、簡略化してイントラ類似度及びエクストラ類似度をそれぞれ２点のみを示している。
【００３５】
類似度変換部１０６では、識別関数の出力値をそのまま変換後類似度として用いている。したがって、前述の類似度変換パラメータの学習は、ラベル（＋１或いは−１）を値として扱ったイントラ類似度及びエクストラ類似度の分布に対して、回帰関数を学習するのと同じである。図５の曲線５０３は、学習結果の回帰関数の例を示している。このようにして学習された回帰関数の出力値を変換後類似度として用いると、イントラ類似度は１．０に近い値に変換され、エクストラ類似度は−１．０に近い値に変換される。
【００３６】
この様子を図６に模式的に示している。図６（ａ）には、変換前のイントラ類似度とエクストラ類似度との頻度ヒストグラムを示し、図６（ｂ）には、変換後のイントラ類似度とエクストラ類似度との頻度ヒストグラムを示している。図６に示すように、変換後のイントラ類似度とエクストラ類似度との間の分離度は、変換前のイントラ類似度とエクストラ類似度との間の分離度に比べて向上していることがわかる。
【００３７】
ここで分離度を向上させる意義について説明する。本実施形態では、複数の部分領域それぞれで算出される類似度に対して、イントラ類似度とエクストラ類似度との間の分離度を向上させるような変換を行う。仮に、部分領域を用いずに単一の領域（例えば顔全体を包含するような領域）で認識システムを構築する場合には、図６に示したようなヒストグラムが１つずつできるだけであり、分離度を向上させる意義は乏しい。つまり、入力画像と登録画像とが同一ＩＤと判断するか、異なるＩＤと判断するかの閾値として、図６（ａ）に示すヒストグラムを用いても、図６（ｂ）に示すヒストグラムを用いても、認識性能にはあまり差がない。
【００３８】
しかしながら、部分領域が複数有り、類似度や変換後類似度が複数算出される場合には、複数の類似度や変換後類似度を統合して、閾値と比較することになる。したがって、各部分領域でのイントラ類似度とエクストラ類似度との間の分離度を高めておいた上で、統合処理を行ったほうが、統合後の類似度（統合類似度）においても高い分離度が期待できる。つまり、各部分領域の類似度をそのまま統合するよりも、変換後類似度に変換してから統合したほうが、認識性能を向上させることができる。複数の類似度の具体的な統合処理に関しては後述する。
【００３９】
類似度統合部１０７は、部分領域毎に算出される変換後類似度を統合して統合類似度（第３の類似度）を算出する。そして、算出した統合類似度と予め決められた閾値とを比較して、認識処理結果を出力する。認識処理結果としては、入力画像が、予め登録している人物のうちの誰であるのか、あるいは該当する人物がいないといった判定結果となる。
【００４０】
類似度統合部１０７には、類似度変換部１０６から変換後類似度が入力される。入力される変換後類似度の個数は、（部分領域の数）×（登録された画像枚数）であり、それぞれの変換後類似度には、その類似度を算出する際に用いられたＩＤと画像番号と部分領域名とが対応付けられている。類似度統合部１０７では、入力された変換後類似度に対して、画像番号が同一のもの同士を加算し、それぞれの画像番号ごとに統合類似度を算出する。次に、画像番号ごとに算出された統合類似度のうちから最大の統合類似度（最大統合類似度と呼ぶ）を持つ画像番号と、そのＩＤを特定する。その後、最大の統合類似度と、予め決められた閾値とを比較して、その最大統合類似度が閾値を超えた場合に、その最大統合類似度に関連付けられたＩＤ情報の人物が、検査画像中に存在すると判断する。一方、最大統合類似度が閾値を超えない場合は、登録しているどの人物も検査画像中に存在しないと判断する。
【００４１】
本実施形態の顔認識システム１００では、登録モードと認識モードとが存在するが、登録モードは必ずしも存在しなくてもよい。例えば、登録画像に対して、登録モードと同等の処理を予め他の装置等で行って部分領域データを算出しておき、登録部分領域データ格納部１０３に格納してもよい。
【００４２】
また、本実施形態では、部分領域データ抽出部１０１は、部分領域情報格納部１０４に格納された部分領域の情報を用いて部分領域のデータ（画素値）を抽出している。一方、画素値ではなく、部分領域から何らかの特徴量抽出処理を行った結果を部分領域データとして出力してもよい。例えば、部分領域に対して、主成分分析を行った結果を部分領域データとしてもよい。その場合には、学習画像から、主成分分析に必要な射影行列を部分領域毎に算出しておいて、部分領域情報格納部１０４に格納しておけばよい。また、部分領域データ抽出部１０１において、各部分領域ごとに増分符号を算出し、それを部分領域データとしてもよい。
【００４３】
また、本実施形態では、類似度変換パラメータを学習する際に、学習画像間で総当たりにより類似度を算出した。一方、学習画像の枚数が十分にある場合には、必ずしも総当りで類似度を算出する必要はなく、一部をサンプリングして類似度を算出してもよい。
【００４４】
また、本実施形態では、類似度変換パラメータ格納部１０５に、部分領域毎の識別関数を類似度変換パラメータとして格納しているが、必ずしも識別関数そのものを格納しておく必要はない。例えば、識別関数をテーブル形式にして類似度変換パラメータとして格納してもよい。その場合、図５に示す曲線５０３を表現するテーブルを、部分領域の数だけ格納する。類似度変換パラメータをテーブル形式にすると、類似度変換部１０６での演算が軽量化される。つまり、識別関数そのものを類似度変換パラメータとした場合には、類似度変換部１０６において多数の積和演算を実行する必要があるのに対して、識別関数をテーブル形式にしたものを類似度変換パラメータとした場合には、その必要はなくなる。
【００４５】
また、本実施形態では、類似度統合部１０７において、画像番号が同一のもの同士で変換後類似度を加算した値を統合類似度としたが、画像番号が同一である変換後類似度の平均値を統合類似度としてもよい。また、全ての部分領域の変換後類似度を加算するのではなく、画像番号ごとに、全ての部分領域の変換後類似度のうち、大きいほうから所定数の変換後類似度を選択し、選択した変換後類似度のみを加算して統合類似度としてもよい。また、単純に加算するのではなく、部分領域によって重み付けをして加算してもよい。
【００４６】
また、本実施形態では、類似度変換パラメータの学習に非線形のＳＶＭを用いたが、本発明はそれに限定されるものではない。本実施形態では、部分領域ごとの類似度をそのまま加算して統合類似度とするのではなく、イントラ類似度とエクストラ類似度とでより差別化させるように学習した変換を類似度に施してから統合類似度を算出する。したがって、この趣旨に沿った学習によって類似度変換パラメータを算出するものであってもよい。
【００４７】
また、本実施形態では、類似度として、登録画像及び検査画像の対応する部分領域のベクトル間のなす角の余弦値としたが、例えば、ベクトル同士の正規化相関値や内積を用いてもよい。
【００４８】
また、本実施形態では、顔認識システムに入力する入力データ、登録データとして画像を用いた場合の例を示したが、処理対象とするのは画像だけに限らず、音声データを用いた音声認識等でもよい。音声データのような時系列データでは、部分データとしては、時間で区切ったデータとすればよい。
【００４９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５０】
１０２  類似度算出部
１０６  類似度変換部
１０７  類似度統合部
【図１】
0005800557.tif 000002
【図２】
0005800557.tif 000003
【図３】
0005800557.tif 000004
【図４】
0005800557.tif 000005
【図５】
0005800557.tif 000006
【図６】
0005800557.tif 000007
【図７】
0005800557.tif 000008