(57)【要約】【課題】学習に依存しない手法により照明変動にロバストな画像照合手法、例えば顔認識手法を提供する【解決手段】照合対象物体を含む入力画像から、該照合対象物体の特定部位に関連する領域を検出する検出手段と、前記特定部位に関連する領域の面積を算出する算出手段と、前記面積が予め設定された範囲に属するか否かを判定する判定手段と、前記判定手段により、前記予め定められた範囲に属しないと判定された場合に、前記入力画像の輝度値を補正する補正手段と、照合対象物体に関する照合用の情報を予め登録する登録手段と、前記補正手段による補正後の入力画像について、前記領域の面積が前記予め定められた範囲に属すると判定された場合に、前記照合用の情報を用いて、前記補正後の画像の照合を行う照合手段とを備えることを特徴とする。【選択図】図１
2008059197.tif 000002
【特許請求の範囲】
【請求項１】
照合対象物体を含む入力画像から該物体の存在する領域を検出する検出手段と、
前記領域の画像に基づいて表示特性に関するパラメータを推定する推定手段と、
前記パラメータに基づいて前記入力画像の表示特性を補正する補正手段と、
前記補正手段による補正後の前記照合対象物体を含む入力画像と、照合用物体を含む画像との照合を行う照合手段と
を備えることを特徴とする画像照合装置。
【請求項２】
前記領域に関連する位置分布の面積を算出する算出手段と、
前記面積が予め設定された範囲に属するか否かを判定する判定手段とを備え、
前記補正手段は、前記判定手段により、前記予め定められた範囲に属しないと判定された場合に、前記入力画像の表示特性を補正することを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記検出手段は、前記照合対象物体が人間の顔である場合に、
前記顔における目及び口が位置する領域を検出する第１の検出手段と、
前記目及び前記口が位置する領域に基づき、前記顔が位置する領域を検出する第２の検出手段と
を備えることを特徴とする請求項１に記載の画像照合装置。
【請求項４】
前記表示特性は輝度値であり、前記補正手段は、
前記画像の輝度値を、
第１の閾値を下回る輝度値を最小輝度値に設定し、
第２の閾値を上回る輝度値を最大輝度値に設定し、
前記第１及び第２の閾値の間に位置する輝度値を、線形補間することにより、
前記補正を行うことを特徴とする請求項１又は２に記載の画像照合装置。
【請求項５】
前記照合手段は、
前記補正後の画像から特定領域を抽出する抽出手段と
前記特定領域の表示特性に基づく特徴ベクトルを生成するベクトル生成手段と、
前記特徴ベクトルと、前記登録手段に登録された前記照合用の情報とを用いてサポートベクトルマシンにより照合を行う、ベクトル照合手段と
を備えることを特徴とする請求項１に記載の画像照合装置。
【請求項６】
前記特定領域は、前記照合対象物体が人間である場合の、目及び口であることを特徴とする請求項５に記載の画像照合装置。
【請求項７】
照合対象物体を含む入力画像から該物体の存在する領域を検出する検出工程と、
前記領域の画像に基づいて表示特性に関するパラメータを推定する推定工程と、
前記パラメータに基づいて前記入力画像の表示特性を補正する補正工程と、
前記補正工程における補正後の前記照合対象物体を含む入力画像と、照合用物体を含む画像との照合を行う照合工程と
を備えることを特徴とする画像照合方法。
【請求項８】
前記領域に関連する位置分布の面積を算出する算出工程と、
前記面積が予め設定された範囲に属するか否かを判定する判定工程とを備え、
前記補正工程では、前記判定工程において、前記予め定められた範囲に属しないと判定された場合に、前記入力画像の表示特性を補正することを特徴とする請求項７に記載の画像照合方法。
【請求項９】
前記検出工程では、前記照合対象物体が人間の顔である場合に、
前記顔における目及び口が位置する領域を検出する第１の検出工程と、
前記目及び前記口が位置する領域に基づき、前記顔が位置する領域を検出する第２の検出工程と
を備えることを特徴とする請求項８に記載の画像照合方法。
【請求項１０】
前記表示特性は輝度値であり、前記補正工程では、
前記画像の輝度値を、
第１の閾値を下回る輝度値を最小輝度値に設定し、
第２の閾値を上回る輝度値を最大輝度値に設定し、
前記第１及び第２の閾値の間に位置する輝度値を、線形補間することにより、
前記補正を行うことを特徴とする請求項８又は９に記載の画像照合方法。
【請求項１１】
前記照合工程は、
前記補正後の画像から特定領域を抽出する抽出工程と
前記特定領域の輝度値に基づく特徴ベクトルを生成するベクトル生成工程と、
前記特徴ベクトルと、前記照合用の情報とを用いてサポートベクトルマシンにより照合を行う、ベクトル照合工程と
を備えることを特徴とする請求項８に記載の画像照合方法。
【請求項１２】
前記特定領域は、前記照合対象物体が人間である場合の、目及び口であることを特徴とする請求項１１に記載の画像照合方法。
【請求項１３】
請求項１乃至６のいずれかに記載の画像照合装置としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
ある物体が含まれる入力画像から特徴量を抽出し、物体のパターン認識を行う画像認識処理方法が提案されている。このような画像認識処理方法は、例えば、取得した顔画像に基づき個人認識を行う場合に利用することができる。顔画像による個人認識は、指紋認識あるいは静脈認識と比較して非接触で行え、かつ対象者に動作の制限を与えない認識技術として注目されている。
【０００３】
顔画像による個人認識のアプローチは、大きく２つに分類される。まず、第１のアプローチは、顔を各画素の濃淡値の２次元配列として表現される画像パターンとして捕らえ、そのマッチングによって認識を行う「パターン整合法」である。次に、第２のアプローチは、顔の目・口・鼻といった造作を示す特徴点を抽出することで、各造作の形状および空間配置関係を数値的に表した特徴ベクトルのマッチングにより認識する「造作ベース法」である。
【０００４】
以下では、各アプローチの代表的な手法の内容を簡単に説明する。
【０００５】
パターン整合法の代表的な一例は、主成分分析（PCA：Principal Component Analysis）を用いた固有顔（Eigenface）法(特許文献１を参照。)である。固有顔法の基本的な枠組みを以下に示す。固有顔法は、多数の顔画像の濃淡値パターンに対して主成分分析（PCA：Principal Component Analysis）を適用し、固有顔と呼ばれる正規直交基底を求める。
【０００６】
そしてその正規直交基底を用い、任意顔画像の濃淡パターンに対してKL（Karhunen-Loeve）展開を施し、パターンの次元圧縮されたベクトルを求める。最終的にこのベクトルを認識用の特徴ベクトルとし、入力パターンおよびあらかじめ登録されている登録パターンの特徴ベクトル間の統計処理により認識を行う。以上が上記固有顔法の基本的な枠組みである。
【０００７】
また第２のアプローチである造作ベース法の代表的な一例は、Dynamic link architectureをベースとした手法(特許文献２)である。手法の基本的な枠組みを以下に示す。本手法は、顔パターン上に設定された多数のサンプル点（例えば、目・口・鼻・顔の輪郭）において、濃淡特徴の周期性と方向性を抽出するガボールフィルタを適用し、局所的なテクスチャ情報を特徴ベクトルとする。
【０００８】
さらに、サンプリング点を各ノードで対応付けたグラフを求め、そのグラフをサンプリング点の空間配置情報とサンプリング点に対応する各ノードの属性値として特徴ベクトルを適用し構築する。認識処理は、入力パターンおよびあらかじめ登録されている登録パターンのグラフ間を、ノード間の空間配置情報を弾性的に変形させ、最も類似度が高い登録パターンを選定することにより行われる（Dynamic graph matching）。
【０００９】
以上が上記Dynamic link architectureベースとした手法の基本的な枠組みである。ただし、これらのアプローチをベースとする手法のみならず、顔認識技術には様々な派生技術も生み出されている。
【００１０】
画像照合技術の一つである顔画像による顔認識の精度は、対象物体の姿勢あるいは撮像方向の相違による幾何学的変動と照明条件の相違といった光学的変動とに大きく依存している。このうち、光学的変動の影響を除去する目的で、特許文献３や特許文献４に記載されるような画像照合装置、画像照合方法および画像照合プログラムが提案されている。
【００１１】
特許文献３は、あらかじめ複数の任意画像より照明変動を除去する知識を学習により獲得し、学習によって得られた照明変動に係る知識に基づいて、入力画像および登録画像より照明変動の影響がない特徴量を抽出し比較照合する技術を開示している。照明変動に係る知識を得るための学習処理は、学習画像に低解像度化あるいは学習画像より低周波成分の抽出を行い、それら低解像度画像あるいは低周波数画像より照明特徴ベクトルを生成し当該部分空間を構築するという処理工程により行われる。
【００１２】
一方、特許文献４は、顔パターンの変形に対し高い吸収性をもつ相互部分空間法を拡張した、照明変動にロバストな顔認識手法として制約相互部分空間法を開示している。まず、相互部分空間法とは、動画像系列から得られる複数の顔パターンから入力部分空間を生成し、生成された入力部分空間と登録者の動画像系列からあらかじめ生成されている登録者辞書部分空間とのなす角を類似度として識別する手法である。制約相互部分空間法は、相互部分空間法における入力部分空間と登録者部分空間とを照明変動を含まない部分空間（非特許文献１を参照。）へ射影し、部分空間上で射影された入力部分空間と登録者部分空と間のなす角を類似度として識別する。
【００１３】
なお、照明変動を含まない部分空間は、複数人の人物に対する照明条件の等しい環境下で撮像した動画像系列より、全ての人物の組み合わせペアについて各人物の動画像より生成された部分空間の差分部分空間を構築し、該差分部分空間から生成される。
【特許文献１】米国特許第５１６４９９２号明細書
【特許文献２】米国特許第６３５６６５９号明細書
【特許文献３】特開２００４-１４５５７６号公報
【特許文献４】特開２０００-３００６５号公報
【非特許文献１】福井  和広等「制約相互部分空間法を用いた環境変動にロバストな顔画像認識」  電子情報通信学会論文誌D-II Vol.J８２-DII,No.４, pp６１３-６２０
【発明の開示】
【発明が解決しようとする課題】
【００１４】
以上のように、複数の画像データより照明変動の影響を除去するための知識を学習により獲得し、その知識を元に入力画像より照明に係る変動を除外することで照明変動にロバストな顔認識を提供することが可能となっている。
【００１５】
しかし、学習依存により照明変動に対して高ロバスト性を実現するには十分な数の学習サンプルが必要となる一方で、一般的に十分な学習サンプルの数は不明確であるといった問題がある。また、認識性能が学習パターンに依存する可能性を有している点、さらに学習に係る負荷も多大である点といった問題もある。
【００１６】
そこで本発明は、学習に依存しない手法により照明変動ロバストな画像照合手法、例えば顔認識手法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、照合対象物体を含む入力画像から、該照合対象物体の特定部位に関連する領域を検出する検出手段と、前記特定部位に関連する領域の面積を算出する算出手段と、前記面積が予め設定された範囲に属するか否かを判定する判定手段と、前記判定手段により、前記予め定められた範囲に属しないと判定された場合に、前記入力画像の輝度値を補正する補正手段と、照合対象物体に関する照合用の情報を予め登録する登録手段と、前記補正手段による補正後の入力画像について、前記領域の面積が前記予め定められた範囲に属すると判定された場合に、前記照合用の情報を用いて、前記補正後の画像の照合を行う照合手段とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、学習に依存しない手法により照明変動にロバストな画像照合手法、例えば顔認識手法を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付する図面を参照して、本発明の実施形態を説明する。
【００２０】
本発明の基本的な実施の形態としては、まず、物体が含まれる画像より所定の物体を抽出する。次に、該物体を抽出する過程で生成される最終出力結果もしくは中間出力結果の所定の状態値が、入力画像においてほぼ等しくなるよう補正し、入力画像に係る照明変動の影響を、全ての入力画像について可能な限り減少させ、ほぼ等しいレベルとする。その後に、入力画像についての照合を行う。
【００２１】
まず、図１を参照して、本発明の実施形態に対応する画像照合処理について説明する。図１は、発明の実施形態に対応する画像照合処理の一例を示すフローチャートである。
【００２２】
図１において、まず、ステップＳ１００では、照合を行おうとする物体（照合対象物体）を含む画像が入力される。ステップＳ１０１では、入力された画像（入力画像）中から該物体が含まれる物体領域が抽出される。ステップＳ１０２では、ステップＳ１０１において抽出された物体領域について、画像パラメータを推定する処理を行う。ステップＳ１０３では、ステップＳ１０２で推定された画像パラメータに基づき入力画像を補正する。ステップＳ１０４では、ステップＳ１３で補正された入力画像と、以上と同様の処理工程を経て得られる新たな画像との比較・照合を行う。これにより、照明変動に影響されない画像照合が可能となる。
【００２３】
次に、図２を参照して発明の実施形態に対応する画像処理装置としての画像照合装置の構成の一例を説明する。図２は、画像処理装置としての画像照合装置の機能ブロック図である。
【００２４】
画像入力部２０１は、レンズおよびCCDあるいはCMOSといったイメージング素子で構成され、物体を撮像し画像データを画像照合装置に取り込む機能を有する。画像出力部２０２は、画像入力部２０１で取り込んだ画像データをCRTやLCDといった外部表示機器に出力する機能を有する。物体検出部２０３は、人間の神経回路を模したニューロチップのような専用チップあるいはFPGAやASICのような汎用チップで構成され、画像から物体検出を行う機能を有する。
【００２５】
画像パラメータ推定部２０４は、画像処理専用プロセッサあるいは汎用プロセッサで構成され、物体検出部２０３からの物体検出に関する出力結果に基づき、入力画像の画像パラメータを推定する機能を有する。画像補正部２０５は画像パラメータ推定部２０４と同様に画像処理専用プロセッサあるいは汎用プロセッサで構成され、画像パラメータ推定部２０４からの画像パラメータに基づき入力画像の補正処理を行う。
【００２６】
物体照合部２０６は、画像パラメータ推定部２０４および画像補正部２０５と同様に画像処理専用プロセッサあるいは汎用プロセッサで構成され、以上の処理ブロックにおいて同様に処理された他の画像との比較・照合を行う機能を有している。
【００２７】
なお、画像照合装置は、画像入力部２０１乃至画像照合部２０６が同一装置内に一体的に構成されても良い。その際には、各ブロックにおける処理機能をソフトウエアモジュールを利用して実現しても良い。また、画像入力部２０１をデジタルカメラにより構成し、画像出力部２０２乃至物体照合部２０５をパーソナルコンピュータ等の情報処理装置により構成しても良い。
【００２８】
［第１の実施形態］
次に、本発明の第１の実施形態について説明する。第１の実施形態では、画像照合方法を用いて、画像中の顔より個人を同定する顔認識システムについて説明する。図３は、本実施形態に対応する処理の一例を示すフローチャートである。
【００２９】
図３において、ステップＳ３００では、画像入力部２０１を用いて、認識対象者を含む画像データを入力する。次にステップＳ３０１において、画像出力部２０２を利用して、入力された画像データを外部表示機器に出力して画面表示させる。
【００３０】
ステップＳ３０２では、物体検出部２０３を利用して、画像データに含まれる認識対象者の顔領域を検出する。ここでの顔領域の検出は、画像処理装置としての画像照合装置が有する操作部、例えばポインティングデバイス等を用いて、ユーザーから外部表示機器に表示された画像データ中で顔領域に相当する部分の位置指定を受け付けることで行うことができる。また、顔検出テンプレート等のフィルタによる公知のテンプレートマッチング技術を用いて、顔領域を検出しても構わない。
【００３１】
本実施形態では、ニューラルネットワークベースの顔検出技術を用いて顔検出を行う。このとき、物体検出部２０３は、次のステップＳ３０３における顔検出判定において、ニューロン発火分布がある所定値を超えた場合、顔が検出されたと判定する。ここで、本実施形態で用いた顔検出ニューラルネットワークについて、図４を用いて簡単に説明する。この詳細は例えば、真継、森等「ロバストな顔検出のための畳込みスパイキング・ニューラル・ネットワークモデル」（ＩＣＯＮＩＰＯ０２）（M.Matsugu,K.Mori,et.al, "Convolutional Spiking Neural Network Model for Robust Face Detection",2002,Internatinal Conference On Neural Information Processing (ICONIP02)）に記載される。
【００３２】
本実施形態で用いる顔検出ニューラルネットワークは階層的構造を採り、低次特徴から高次特徴を順次認識する処理工程を有する。
【００３３】
図４において、入力画像データ４０１は、顔検出の処理対象となる画像データである。この入力画像データ４０１が、第１階層レベル４０２に入力される。第１階層レベル４０２は、検出モジュール４０２ａと統合モジュール４０２ｂとで構成される。まず、検出モジュール４０２ａにおいて入力画像データ４０１からプリミティブな（低次の）第１の特徴情報が抽出される。この第１の特徴情報とは、例えば、入力画像データ４０１におけるエッジの情報である。検出モジュール４０２ａにおいて抽出されたエッジ情報などの特徴情報は、統合モジュール４０２ｂにおいて統合され、第２階層レベル４０３に渡される。
【００３４】
第２階層レベル４０３では、第１階層レベル４０２において検出された特徴情報を用いて、より高次の第２の特徴情報を検出する。このより第２の特徴情報には、例えば目尻・目頭・口の端を構成するＶ字エッジが含まれる。第２階層レベル４０３も、検出モジュール４０３ａと統合モジュール４０３ｂとで構成され、検出モジュール４０３ａにおける検出結果が統合モジュール４０３ｂで統合される。
【００３５】
第２階層レベル４０３は、第３階層レベル４０４に接続される。第３階層レベル４０４では、第２階層レベル４０３における統合結果を用いて更に高次の第３の特徴情報を検出する。この第３の特徴情報には、特定部位に関連する領域を構成するエッジ、より具体的には、目や口を構成するエッジ、鼻によって形成された影を構成するエッジが含まれる。第３階層レベル４０４も、検出モジュール４０４ａと統合モジュール４０４ｂとで構成され、検出モジュール４０４ａにおける検出結果が統合モジュール４０４ｂで統合される。
【００３６】
最後に、第４階層レベル４０５で、第３階層レベル４０４における統合結果を用いて顔の検出が行われる。
【００３７】
次に顔検出で検出される特徴について図５を用いて説明する。図５は、本実施形態における顔検出を説明するための図である。図５の（ａ）において、顔の特徴は、左口端点５０７、右口端点５０８、左目目尻５０９、右目目尻５１０、左目目頭５１１、右目目頭５１２、上まぶた５１３、下まぶた５１４、上唇５１５、下唇５１６とに分類される。なお、顔の特徴における上下、左右を特定するための方向性として、原点Ｏを中心としたｘｙ座標系を設定する。即ち、顔検出において「左（方向）」とは、ｘ軸の負（減少）の方向に相当する。また、「右（方向）」とは、ｘ軸の正（増加）の方向に相当する。更に「上（方向）」とは、ｙ軸の負（減少）の方向に相当する。また、「下（方向）」とは、ｙ軸の正（増加）の方向に相当する。
【００３８】
また、本実施形態では、顔検出処理に伴い、両目の目頭（５１１、５１２）および目尻（５０９、５１０）・口両端（５０７、５０８）・目・口の特徴（５１３から５１６）近辺においてニューロンの発火分布が取得できる。取得された分布を、本実施形態では、中間出力分布、あるいは、検出出力分布と呼ぶ。
【００３９】
図４の第１階層レベル４０２では、顔の造作に関する最も低次の特徴として第１の特徴情報を検出する。なお、本実施形態で用いる顔検出ニューラルネットワークでは、第１階層レベル４０２において第１から第８まで８つの検出モジュール４０２ａを有している。ここで抽出される第１の特徴情報は、例えば、輝度変化あるいは線分方向に関連するエッジの情報でよい。
【００４０】
次に、第２階層レベル(４０３)では、Ｖ字エッジや線分エッジの検出を行う。より具体的に、例えば、右開きＶ字エッジ検出出力分布、左開きＶ字エッジ検出出力分布、線分エッジ１検出出力分布、線分エッジ２検出出力分布、といった出力分布が出力される。
【００４１】
まず、右開きＶ字エッジとは、開口部が右側に位置するようなＶ字型のエッジである。このような右開きＶ字エッジを検出した場合の検出出力分布は、図５（ｂ）に示すようになる。次に、左開きＶ字エッジとは、開口部が左側に位置するようなＶ字型のエッジである。このような左開きＶ字エッジを検出した場合の検出出力分布は、図５（ｃ）に示すようになる。線分エッジ１は、ｙ軸正方向の輝度値の変化をスキャンしていった場合に検出された、所定以上の減少変化に基づき構成されるエッジである。このような線分エッジ１を検出した場合の検出出力分布は、図５（ｄ）に示すようになる。次に線分エッジ２は、ｙ軸負方向の輝度値の変化をスキャンしていった場合に検出された、所定以上の減少変化に基づき構成されるエッジである。このような線分エッジ２を検出した場合の検出出力分布は、図５（ｅ）に示すようになる。
【００４２】
ここで、Ｖ字エッジ特徴は口の左右両端特徴(５０７、５０８)、両目の目尻特徴(５０９、５１０)及び両目の目頭特徴(５１１および５１２)を検出するのに有効である。また、線分エッジ１および線分エッジ２は目の上下まぶた(５１３、５１４)、上下唇(５１５、５１６)の検出に有効である。
【００４３】
次に第３階層レベル(４０４)では、第２階層レベル(４０３)における特徴検出結果に基づき、目検出出力分布、及び、口検出出力分布を出力する。目検出出力分布とは、顔の造作のうち目の部分に相当する画素の分布を示すものであって、上述の目尻（５０９、５１０）、目頭（５１１、５１２）及びまぶた（５１３及び５１４）により特定される領域がこれに相当する。本実施形態における目検出出力分布の一例は、図５（ｆ）に示すようになる。また、口検出出力分布とは、顔の造作のうち口の部分に相当する画素の分布を示すものであって、上述の口端点（５０７、５０８）及び唇（５１５、５１６）により特定される領域がこれに相当する。本実施形態における口検出出力分布の一例は、図５（ｇ）に示すようになる。
【００４４】
更に、最後の第４階層レベル(４０５)では、第３階層レベル(４０４)の目及び口の検出結果に基づき、顔検出出力分布を出力する。顔検出出力分布とは、目及び口の配置に基づく顔の中心に相当する位置の分布を示すもので、上記の目検出出力分布及び口検出出力分布により特定される。本実施形態における顔検出出力分布の一例は、図５（ｈ）に示すようになる。
【００４５】
以上が、顔検出ニューラルネットワークを用いた顔検出工程（ステップＳ３０２）で生成される一連の検出出力分布である。
【００４６】
次にステップＳ３０４では、物体検出部２０３により算出された検出出力分布の面積Ｓｐを画像パラメータ推定部２０４が算出する。ここでの面積Ｓｐの算出には、図５（ｈ）に示す顔検出出力分布を用いる。この面積Ｓｐは、顔検出出力分布のうち、例えばニューロンの発火の状態値が０.９以上である分布に基づいて算出することができる。
【００４７】
次に、ステップＳ３０５では、ステップＳ３０４で算出された面積Ｓｐが所定範囲内に属するか否かを画像パラメータ推定部２０４が更に判定する。この所定範囲は、例えば（１０±１（画素））2の範囲とすることができる。この数値はあくまで一例であって、顔認識システム内での顔検出出力分布に関する一定のルールに基づいて、範囲を定めることができる。
【００４８】
もし、顔検出出力分布の面積Ｓｐが所定範囲内にないと判定された場合には（ステップＳ３０５において「ＮＯ」）、ステップＳ３０６に移行する。一方、所定範囲内にあると判定された場合は（ステップＳ３０５において「ＹＥＳ」）、ステップＳ３０８に移行する。
【００４９】
ステップＳ３０６では、画像パラメータ推定部２０４がヒストグラム補正パラメータの設定を行う。このヒストグラム補正パラメータの設定処理では、ステップＳ３０５における処理結果に基づき、ヒストグラム補正パラメータとして、本実施形態において線形補間を適用するための上下しきい輝度値を設定する。続いて、ステップＳ３０７では、画像補正部２０５がステップＳ３０６で設定されたヒストグラム補正パラメータを用いて、入力画像に対し、公知のヒストグラム補正を行う。
【００５０】
以下、ステップＳ３０６及び３０７における処理の詳細を説明する。図６は、ヒストグラム補正パラメータの設定処理を説明するための図である。本実施形態では、入力画像のＧ（緑）チャネルの下しきい輝度値Ｔｈ１(６０１)以下の輝度値を０とし、上しきい輝度値Ｔｈ２(６０２)以上の輝度値を２５５として、上下しきい輝度値Ｔｈ１及びＴｈ２間を０〜２５５の範囲に線形補間する。
【００５１】
即ち、注目画素の補正前の輝度値をＰとすると、補正後の輝度値Ｐ’は、
Ｐ＜Ｔｈ１、Ｐ’＝０、
Ｐ＞Ｔｈ２、Ｐ’＝２５５、
Ｔｈ１≦Ｐ≦Ｔｈ２、Ｐ’＝（Ｐ−Ｔｈ１）＊２５５／（Ｔｈ２−Ｔｈ１）
となる。
【００５２】
このように、上下しきい輝度値Ｔｈ１及びＴｈ２は、線形補間を適用する輝度値の範囲を示している。よって、上下しきい輝度値Ｔｈ１及びＴｈ２は、顔検出出力分布の面積が所定範囲内に収まるように設定される。
【００５３】
以下、ヒストグラム補正パラメータの設定処理の内容を、更に具体的に説明する。まず、種々の画質変動を加えた画像を投入し、図５に示す一連の検出出力分布に所望特徴点以外に発火が確認されない上下しきい輝度値Ｔｈ１およびＴｈ２をあらかじめ求めておく。例えば、図５（ｆ）に示すような目検出出力分布、或いは、図５（ｇ）に示すような口検出出力分布において、目や口以外に発火が表れないような上下しきい輝度値を算出する。これはＴｈ１やＴｈ２の設定の仕方によっては、本来目や口に相当しない領域までが、該領域に含まれてしまう場合が生じ得るためである。そこで、Ｔｈ１やＴｈ２は、目検出出力分布や口検出出力分布に変化が生じない範囲で設定される。
【００５４】
ステップＳ３０６では、このようにして算出された閾値を１０％下回る値を初期の上下しきい輝度値に設定する。この初期設定された上下しきい輝度値を利用して、入力画像はステップＳ３０７において、線形補間による輝度値の補正が行われる。そして、補正された入力画像を用いて再度ステップＳ３０２における顔検出部で顔検出を行って、ステップＳ３０５までの処理を行う。この結果、１回目の補正後に算出された面積Ｓｐが再度所定範囲内に収まらないと判定された場合には、再度ステップＳ３０６に移行することとなる。この場合はすでに所定範囲に十分近いと仮定して、ステップＳ３０６では１回目のヒストグラム補正で設定した上下しきい輝度値に１％程度の正方向の増分を上乗せする。そして、再度ステップＳ３０７の輝度値補正を実行する。以上のように顔検出出力分布の面積Ｓｐが所定範囲内に収束するまで、ステップＳ３０６は上下しきい輝度値の再設定を繰り返す。
【００５５】
このようにして、顔検出出力分布の面積Ｓｐを所定範囲内に収束させることができる。
【００５６】
次に、ステップＳ３０８では、物体照合部２０６が顔領域内のある造作(例えば、目・口)の空間配置決定を行う。その手法は、造作のテンプレートをスキャンして求める公知のテンプレートマッチングといった技術を応用したものでよい。本実施形態では、ステップＳ３０２の顔検出処理における目および口の検出出力分布における重心を算出し、顔領域内における目および口の空間配置を求める。
【００５７】
次にステップＳ３０９において、物体照合部２０６がステップＳ３０８において抽出された特徴の配置関係を判定する。もし、抽出された特徴座標が、対象物体を記述する上で不適切であった場合（ステップＳ３０９において「ＮＧ」）、次のステップに進まず再度ステップＳ３００の画像入力部へと分岐する。例えば、両目それそれの位置がステップＳ３０２において抽出された顔領域の中心位置より下方となる場合に、特徴抽出が十分ではないと判定することができる。但し、上下逆の顔画像の入力を容認するのであれば、この条件の限りではない。これはシステムの使用シーンに依存するが、認識すべき対象の種類に応じた特徴の配置法則に基づく特徴の整合性判定は必要である。
【００５８】
次に、ステップＳ３１０において、物体照合部２０６が画像データのサイズおよび回転の正規化を行う。各正規化を行う方法としては、公知の正規化手法を用いて行うことができる。本実施形態では、例えば図７に示すようにステップＳ３０６で抽出された両目の目頭特徴位置より目頭間距離７０１が、全ての画像に対し同一になるようアフィン変換を施している。なお、目頭間の距離ではなく、ステップＳ３０８において算出した重心間の距離でも良い。更に、同時に目頭間を結ぶ直線の傾き７０２を算出し、回転を考慮したアフィン変換補正を加えることで面内回転変動に対応することができる。
【００５９】
次にステップＳ３１１では、物体照合部２０６が辞書データとの比較部で登録者の特徴を学習している辞書データとの比較を行う。この辞書データは、照合対象物体である登録者に関する照合用の情報が含まれる。より具体的に本実施形態において、辞書データとは顔認識システムの場合認識したい登録者毎の画像もしくは登録者を特徴付ける特徴空間を有しているデータベースをいう。このデータベースは、物体照合部２０６が保持している。なお、本実施形態では、辞書データを生成するための画像に対しても図３に示す処理を適用し、処理結果の画像を顔認識用の辞書データ生成画像とし、またその画像より顔認識に必要な特徴量を抽出している。
【００６０】
このようにして、辞書データと未知データは概略同一のヒストグラム条件の画像に基づいて比較されることになり、安定した認識結果を得ることができる。ステップＳ３１１における辞書データとの比較処理は、公知の照合手法を用いて達成される。例えば、入力画像と辞書画像群とのテンプレートマッチングにより相関値を類似度として照合する手法や、前述の背景技術にあるように主成分分析を用いるといった統計的手法を利用することができる。
【００６１】
本実施形態では、図８に示すように、ステップＳ３０８で抽出された目あるいは口の特徴点(８０２、８０４及び８０６)を手がかりとして、特徴点まわりに所定サイズの局所領域(８０１、８０２及び８０５)を設定する。これらは、右目、左目および口といった特徴部位に相当し、これらの領域を補正後の入力画像から切り出す。
【００６２】
そして図９に示すように、切り出した局所領域９０１内の輝度値ｆｎを１次元のベクトルデータＦと見なす。ここで、Ｆ＝（ｆ１、ｆ２、・・・ｆｎ）となる。ベクトルデータＦを構成するための局所領域９０１内におけるスキャン方向は、９０２に示すようになる。また、右目局所領域８０１、左目局所領域８０２及び口局所領域８０５について生成される各ベクトルデータＦ１乃至Ｆ３から、更に高次特徴ベクトルＦｈを生成する。このときＦｈは、Ｆｈ＝（Ｆ１、Ｆ２、Ｆ３）で表される。
【００６３】
生成した高次特徴ベクトルＦｈと、辞書データとのパターン識別をサポートベクトルマシン(以下ＳＶＭと略記する場合がある。)により比較する。以下に、サポートベクトルマシンについて記す。
【００６４】
サポートベクトルマシンは公知の学習アルゴリズムのひとつであり、インターネット上で公開されている。ＳＶＭの一例としてhttp://www.csie.ntu.edu.tw/~cjlin/libsvmに公開されているlibsvm-２.５が上げることができる。libsvmはさまざまなクラスタリングタイプとカーネル関数を有しており、本実施形態ではコスト変数を用いたC-SVCと呼ばれるクラスタリングタイプとカーネル関数を線形関数とする。これ以上の詳細については、本明細書では省略する。
【００６５】
本実施形態における辞書データの生成の流れは以下である。まず前提として、登録者の画像データおよび登録者以外の画像データを必要とする。そして、これらの画像データ対し図３のステップＳ３００乃至ステップＳ３１０における処理と同様の処理を実行し、図９に示す高次特徴ベクトルＦｈを生成する。生成された高次特徴ベクトルＦｈは、属性情報（例えば、登録者を識別するための情報）と関連づけられて学習データファイルが生成される。この学習データファイルを元に、上記のクラスタリングタイプとカーネル関数を指定したＳＶＭ学習アルゴリズムにより、辞書データの生成を行う。
【００６６】
この辞書データについて以下により詳細に説明する。まず、この辞書データは「２クラス分類する関数」を複数有する形式を持つ。例えば、登録者を４人としそれぞれをＡクラス、Ｂクラス、Ｃクラス、Ｄクラス、登録者以外のクラスをＥクラスと仮定する。ここで、「２クラス分類する関数」とは、例えばＡ又はＢのどちらが最もらしいかを閾値判別(閾値は辞書データを生成する際に、２クラス毎に生成される)するための関数である。
【００６７】
このように、辞書データは、登録者の識別情報と高次特徴ベクトルＦｈ及び２クラス分類する関数が少なくとも含まれることとなる。そして、入力画像データについて顔検出を行い新たに生成された高次特徴ベクトルＦｈには、全ての２クラス分類する関数が適用される。上記の例では、Ａ又はＢ、Ａ又はＣ、Ａ又はＤ、Ａ又はＥ、Ｂ又はＣ・・・といったように全てのクラス間での２クラス分類が行われ、それら分類結果の多数決処理により最終的なクラスが決定される。これにより、入力画像データに含まれる人物を登録者のいずれか、或いは未登録者として特定することができる。
【００６８】
以上のように本実施形態では、顔検出出力分布より画像に係る照明条件を鼻により形成される影の面積に基づいて推定し、補正を行うことで、入力画像と辞書画像との照明条件を略同一とし、照明条件の等しい画像照合を可能とする。これにより、照明変動に対してロバストな顔認識手法を提供することができる。
【００６９】
なお、上記では入力画像及び登録用の顔画像に対してヒストグラム補正を行った。しかしながら、登録用の顔画像についてはヒストグラム補正を行わず、入力画像のみを登録顔画像のヒストグラム分布と略一致するようにヒストグラム補正を行ってもよい。その場合、登録顔画像のヒストグラム分布が前述の所定範囲となる。
【００７０】
［第２の実施形態］
本実施形態も、第１の実施形態と同様に顔認識システムに係るものである。第１の実施形態ではヒストグラム補正後の原画像から、特徴点に基づく局所領域を切り出して照合を行ったが、本実施形態では図３のステップＳ３０２の顔検出処理における中間出力分布同士を照合する点に特徴がある。
【００７１】
本実施形態において、照合に用いる中間出力分布に対する顔検出出力分布（図５（ｈ））のニューロン発火分布の面積が所定閾値を超えているものとするという考え方は、第１の実施形態と同様である。
【００７２】
本実施形態に対応する顔検出の検出出力分布ベースによる顔認識処理フローを図１０に示す。第１の実施形態における顔認識システムの処理フローと異なるのは、まず、ステップＳ１０１０の検出出力分布の取得に関する処理が追加される点である。その他のステップＳ１０００からステップＳ１００９は、第１の実施形態における図３のステップＳ３００からステップＳ３０９に対応する。
【００７３】
ステップＳ１０１０では、物体照合部２０６がステップＳ１００２において生成された検出出力分布（図５（ｂ）から図５（ｈ））を取得する。最新の検出出力分布、顔検出出力分布の面積が所定範囲内である場合における一連の検出出力分布は、装置の主記憶領域（例えば、ＲＡＭ）に常時更新しながら確保しておくことで容易に取得することができる。
【００７４】
ステップＳ１０１０において取得した検出出力分布に対し、次のステップＳ１０１１では、物体照合部２０６がステップＳ１００８において抽出された特徴点を元に、サイズおよび回転の正規化をおこなう。ここでの正規化手法は、第１の実施形態で図６を参照して説明したのと同様にして行うことができる。次に、ステップＳ１０１２では、物体照合部２０６が同種の検出出力分布で構築された辞書データと比較を行う。比較方法は、第１の実施形態と同様の手法でよい。
【００７５】
以上のように、本実施形態では、顔検出処理における中間出力分布を照合することにより、顔認識を行うことができる。このときも、顔検出出力分布より画像に係る照明条件を鼻により形成される影の面積に基づいて推定し、補正を行うことで、入力画像と辞書画像との照明条件を略同一とし、照明条件の等しい画像照合が可能である。これにより、照明変動に対してロバストな顔認識手法を提供することができる。
【図面の簡単な説明】
【００７６】
【図１】発明の実施形態に対応する画像照合処理の全体像を説明するためのフローチャートである。
【図２】発明の実施形態に対応する画像照合装置の機能ブロック図である。
【図３】発明の第１の実施形態に対応する画像照合処理の一例の詳細を示すフローチャートである。
【図４】発明の第１の実施形態に対応する顔検出の階層的神経回路網の一例を示す図である。
【図５】発明の第１の実施形態に対応する階層的神経回路網において検出される検出出力分布の一例を示す図である。
【図６】発明の第１の実施形態に対応するヒストグラム補正の概念を説明するための図である。
【図７】発明の第１の実施形態に対応するサイズ正規化および回転変動を説明するための図である。
【図８】発明の第１の実施形態に対応する局所領域設定方法を説明するための図である。
【図９】発明の第１の実施形態に対応する高次特徴ベクトル生成を説明するための図である。
【図１０】発明の第２の実施形態に対応する画像照合処理の一例の詳細を示すフローチャートである。
【図１】
2008059197.tif 000003
【図２】
2008059197.tif 000004
【図３】
2008059197.tif 000005
【図４】
2008059197.tif 000006
【図５】
2008059197.tif 000007
【図６】
2008059197.tif 000008
【図７】
2008059197.tif 000009
【図８】
2008059197.tif 000010
【図９】
2008059197.tif 000011
【図１０】
2008059197.tif 000012