(57)【要約】【課題】符号化画像を得るために必要なパラメータを精度よく学習できるようにする。【解決手段】まず、符号化処理を局所パターンに対して行うための仮パラメータを設定する。そして、仮パラメータを用いて符号化処理がなされた顔画像の照明条件間における分散と、符号化処理がなされた顔画像の照明条件内における分散との比を評価して射影パラメータを決定する。そして、ノードごとに射影パラメータを取得し、特徴抽出パラメータ保持部１２２に保持する。【選択図】図４
2014078117.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト画像の局所パターンにおける変動要因を打ち消す符号化処理を前記局所パターンに対して行うための射影パラメータを生成する画像処理装置であって、
前記変動要因を複数の条件に分類する条件分類手段と、
前記条件分類手段によって分類された条件間における、前記符号化処理が行われた場合の前記オブジェクト画像の分布と、前記条件分類手段によって分類された条件内における、前記符号化処理が行われた場合の前記オブジェクト画像の分布とが所定の条件を満たすか否かを評価する評価手段と、
前記評価手段によって前記所定の条件を満たすと評価された分布に基づいて、前記射影パラメータを決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記符号化処理を前記局所パターンに対して行うための仮パラメータを生成する生成手段をさらに有し、
前記評価手段は、前記生成手段によって生成された仮パラメータを用いて前記符号化処理を行った場合の前記オブジェクト画像の分布が所定の条件を満たすか否かを評価し、
前記決定手段は、前記評価手段によって前記所定の条件を満たすと評価された分布の仮パラメータを前記射影パラメータとして決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記局所パターンを射影によって複数のクラスに分類するパターン分類手段をさらに有し、
前記決定手段は、前記パターン分類手段によって分類されたクラスごとに前記射影パラメータを決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記パターン分類手段は、階層的に形成された複数のクラスに分類することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記パターン分類手段は、前記符号化処理が行われた場合の前記オブジェクト画像の分布を形成するための局所パターンを前記階層的に形成された複数のクラスに分類することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
入力画像からオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段によってオブジェクトから局所パターンを抽出する抽出手段と、
前記抽出手段によって抽出された局所パターンに対して、前記決定手段により決定された射影パラメータを用いて前記変動要因を打ち消す符号化処理を行う符号化手段と、
前記符号化手段によって符号化されたオブジェクトを識別する識別手段とをさらに有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記オブジェクトは人物の顔であることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記変動要因は、前記オブジェクトに対する照明条件であることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
オブジェクト画像の局所パターンにおける変動要因を打ち消す符号化処理を前記局所パターンに対して行うための射影パラメータを生成する画像処理方法であって、
前記変動要因を複数の条件に分類する条件分類工程と、
前記条件分類工程において分類された条件間における、前記符号化処理が行われた場合の前記オブジェクト画像の分布と、前記条件分類工程において分類された条件内における、前記符号化処理が行われた場合の前記オブジェクト画像の分布とが所定の条件を満たすか否かを評価する評価工程と、
前記評価工程において前記所定の条件を満たすと評価された分布に基づいて、前記射影パラメータを決定する決定工程とを有することを特徴とする画像処理方法。
【請求項１０】
オブジェクト画像の局所パターンにおける変動要因を打ち消す符号化処理を前記局所パターンに対して行うための射影パラメータを生成する画像処理装置を制御するためのプログラムであって、
前記変動要因を複数の条件に分類する条件分類工程と、
前記条件分類工程において分類された条件間における、前記符号化処理が行われた場合の前記オブジェクト画像の分布と、前記条件分類工程において分類された条件内における、前記符号化処理が行われた場合の前記オブジェクト画像の分布とが所定の条件を満たすか否かを評価する評価工程と、
前記評価工程において前記所定の条件を満たすと評価された分布に基づいて、前記射影パラメータを決定する決定工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、照明条件などの変動要因を打ち消す符号化処理を行う際に用いられるパラメータを学習するために用いて好適な技術に関する。
【背景技術】
【０００２】
入力された画像データを予め登録済みの画像データと比較することにより、入力された画像データに表現されるオブジェクトが、予め登録済みのどのカテゴリに属するか識別する技術が多く提案されている。そのオブジェクトを識別する具体例として、人物認証がある。人物認証は、顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれる。
【０００３】
人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証など、オブジェクトを識別する場合においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として名前やＩＤと併せて登録しておく必要がある。この登録を経たのち、識別を実際に運用できることになる。
【０００４】
識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている登録画像それぞれと照合し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクトなしとして出力する。以下の説明では、オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することを意味するものとする。一方、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、画像から顔を検出する）ことを意味するものとする。
【０００５】
顔画像から人物を認証する技術的な方法として、顔画像そのものの画素を特徴として、画素同士を直接比較する方法が考えられる。ただしこの方法では、顔の向き・表情・照明条件の変動が、人物の違いによる変動よりも強く、識別が困難である。そこで、画像に所定の変換を施して変動の影響を避ける技術的な方法が多数提案されている。
【０００６】
例えば、非特許文献１には、線形判別分析を利用して顔画像の画素のベクトルを低次元の空間に射影して識別する技術が開示されている。また、非特許文献２及び３には、顔画像に対して所定の画像変換を加える技術が開示されている。非特許文献２及び３に記載されている技術では、顔画像の一部、典型的には数ピクセル四方の画素ブロックを、予め定められた有限個の符号のうちの１つに類型化（符号化）する。この処理を顔画像のあらゆる箇所に行うことによって、符号化画像を得ることができる。
【０００７】
その中で、非特許文献２に記載の技術では、ブロック中央の画素値と周辺の画素値との大小を予め定められた順番に比較した結果を符号に変換する。一方、非特許文献３に記載の技術は、ブロック中の画素を並べたベクトルと予め定められた射影ベクトルとの内積をとり、閾値によって２種類に類型化する。この類型化処理を二分木のノードとみなして階層的に類型化することにより、終端ノードでの類型化結果を符号とする。
【０００８】
また、非特許文献１〜３に記載の技術では、大量の学習用データを用いた機械学習によって射影あるいは変換の方法を予め獲得させておく。その中で、非特許文献１に記載の技術では、線形判別分析の考えに基づいて、人物間の特徴量の分散と人物内の特徴量の分散との比を最大化する空間への射影行列を学習する。非特許文献２に記載の技術では、人物識別が最適するように画素を比較する順番を学習する。さらに、非特許文献３に記載の技術では、前述したベクトルの統計的分布に従い、各符号の生起確率が均等になるよう射影ベクトルと閾値とを定める。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Peter N. Belhurmeurら, "Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, 1997
【非特許文献２】Daniel Maturanaら, "Face Recognition with Decision Tree-based Local Binary Patterns", Asian Conference on Computer Vision(ACCV), 2010
【非特許文献３】Zhimin Caoら, "Face Recognition with Learning-based Descriptor", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010
【非特許文献４】Learning the structure of manifolds using random projections", Y. Freundら, NIPS, 2007
【非特許文献５】Discriminant Analysis and Statistical Pattern Recognition", G. J. McLachlan, 2004
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところが、非特許文献１に記載の技術は線形変換であるため、非線形な特徴量の分布を最適に射影することは原理的に難しい。照明変動とオブジェクトの向き変動との組み合わせなどの複合的な変動が加わったとき、特徴量の分布はより複雑になると考えられる。また、非特許文献２に記載の技術は、ブロック中央の画素値と周辺の画素値との大小を比較することにより顔画像全体の明るさの変動に頑健な符号化画像を得ることができるが、斜光などによって凸部に発生するような局所的な陰影は吸収できない。さらに、非特許文献３に記載の技術は、各符号が均等の確率で含まれるような識別のための情報が密な符号化画像が得られるが、それが識別最適あるいは変動を吸収できる原理的な裏付けはない。このように非特許文献１〜３に記載の技術であっても十分な符号化画像が得られないため、オブジェクトの向きや照明などの変動によってオブジェクトの識別結果の誤差を十分に小さくすることはできない。
【００１１】
本発明は前述の問題点に鑑み、符号化画像を得るために必要なパラメータを精度よく学習できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、オブジェクト画像の局所パターンにおける変動要因を打ち消す符号化処理を前記局所パターンに対して行うための射影パラメータを生成する画像処理装置であって、前記変動要因を複数の条件に分類する条件分類手段と、前記条件分類手段によって分類された条件間における、前記符号化処理が行われた場合の前記オブジェクト画像の分布と、前記条件分類手段によって分類された条件内における、前記符号化処理が行われた場合の前記オブジェクト画像の分布とが所定の条件を満たすか否かを評価する評価手段と、前記評価手段によって前記所定の条件を満たすと評価された分布に基づいて、前記射影パラメータを決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、符号化画像を得るために必要なパラメータを精度よく学習することができ、撮影条件によりオブジェクトの見え方の変動が生じても、より精度の高いオブジェクトの認識結果を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係るオブジェクト識別装置の構成例を示すブロック図である。
【図２】第１の実施形態におけるオブジェクト識別装置が顔画像を識別する処理手順の一例を示すフローチャートある。
【図３】図２のＳ２０４の詳細な処理手順の一例を示すフローチャートである。
【図４】実施形態における画像識別部の詳細な構成例を示すブロック図である。
【図５】図３のＳ３０３の識別処理の一部として、符号化画像を生成する処理手順の一例を示すフローチャートである。
【図６】図５のＳ５０３における局所パターンを符号化する詳細な処理手順の一例を示すフローチャートである。
【図７】第１の実施形態において、１つのノードを学習する処理手順の一例を示すフローチャートである。
【図８】図７のＳ７０３における射影パラメータを獲得する詳細な処理手順の一例を示すフローチャートである。
【図９】照明変動が生じている場合における符号化前後の顔画像の位置関係の一例を示す図である。
【図１０】第１の実施形態において、各ノードを階層的に学習して、照明変動を打ち消すように顔画像を符号化するツリーを獲得する流れを説明する図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態に係る画像処理装置について詳細に説明する。本実施形態では人間の顔をオブジェクトとし、カテゴリとして人物の違いを画像から識別する顔認証を例に説明する。また、変動要因として、顔の向き、表情などあるが、以下の説明では照明条件を例に説明する。なお本発明の用途は人物認証に限ったものではない。例えばオブジェクトとして自動車を対象として、カテゴリとして車種（自動車の型番など）を識別する実施形態などもありうる。
【００１６】
＜全体の構成＞
図１は、本実施形態に係るオブジェクト識別装置１００の構成例を示すブロック図である。
図１に示すように、オブジェクト識別装置１００は、画像を入力する画像入力部１１０、画像を識別する画像識別部１２０、登録画像を保持する登録画像記録部１３０、及びオブジェクトの識別結果と属性判定結果を出力する外部出力部１４０とを有する。さらに、各構成要素の制御・データ接続を行うための接続バス１５０を有する。
【００１７】
画像入力部１１０は、識別すべき画像データを供給する装置であり、光学レンズと映像センサとを備えた撮像装置でも構わないし、画像データが保持された半導体メモリから読み出す構成であってもよい。また、画像入力部１１０から時刻で連続して識別すべき画像データが供給される。
【００１８】
画像識別部１２０は、専用回路（ＡＳＩＣ）であっても、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路であっても、汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。なお、画像識別部１２０の詳細な構成に関しては、後述する。
【００１９】
登録画像記録部１３０は、画像入力部１１０より登録画像として入力された画像データを記録・保持する辞書として用いられる。典型的には、繰り返し書き換え可能な半導体メモリである。画像データを数十枚もしくはそれ以上を保持するために十分な大容量を持つことが望ましいが、画像識別部１２０で使用する情報のみ保持しておくようにしてもよい。
【００２０】
外部出力部１４０は、画像識別部１２０から出力される情報、つまり入力画像に対応するカテゴリの情報を適切な形で外部に出力する。外部出力部１４０は、典型的にはＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１１０から取得した画像データに係る画像を表示する。または、画像データに画像識別部１２０から出力される情報を重畳して表示する。また、それらの結果を電子データとして外部の記憶媒体などに出力したり、紙媒体に印刷する形式をとったりしてもよい。なお、出力の手段は上に挙げた限りではなく、さらに複数の手段を同時に行使してもよい。
【００２１】
接続バス１５０は、前記構成要素間の制御・データ接続を行うためのバスである。オブジェクト検出部１６０は、画像入力部１１０から入力された画像に顔などのオブジェクトが存在するか否かを検出する。
【００２２】
図４は、画像識別部１２０の詳細な構成例を示すブロック図である。画像識別部１２０は、特徴抽出部１２１、特徴抽出パラメータ保持部１２２、及び類似度算出部１２３を備えている。
【００２３】
特徴抽出部１２１は、入力画像と登録画像について所定の変換を施す。ここではその一連の処理を符号化と呼び、変換された画像を符号化画像と呼ぶ。なお、本実施形態ではオブジェクト画像（ここでは顔画像）全体を符号化して符号化画像を得る例を述べるが、必ずしもその必要はない。例えば照明変動の影響を受けやすい鼻や顔の輪郭など一部分のみを符号化することもできる。特徴抽出パラメータ保持部１２２は、後述する射影パラメータを保持している。
【００２４】
類似度算出部１２３は、入力画像と登録画像とを照合し、人物の同異を判定するための類似度を求める。具体的には、入力画像と登録画像とから得られた特徴量について類似度を算出する。特徴量同士の類似度の求め方はいくつかあるが、特徴抽出部１２１で得られた符号化画像の画素をベクトルとみなして、ベクトル間のユークリッド距離を類似度としてもよく、ベクトルが成す角度を類似度としてもよい。いずれにせよ、同一人物の特徴量間の類似度の分布と、別人物間の特徴量間の類似度の分布が大きく異なることがカテゴリを識別し得る類似度の条件であるため、類似度の尺度を問題に合わせて選ぶことが良い。
【００２５】
＜識別フロー＞
図２は、本実施形態におけるオブジェクト識別装置１００が顔画像を識別する処理手順の一例を示すフローチャートある。以下、図２を参照しながら、オブジェクト識別装置１００が顔画像を識別する実際の処理について説明する。
【００２６】
始めに、画像入力部１１０は、撮影により生成された撮像画像を取得する（Ｓ２０１）。続いて、オブジェクト検出部１６０は、取得した撮像画像に対して顔検出処理を行う（Ｓ２０２）。そして、顔検出の結果、撮像画像中に顔が存在したか否かを判定する（Ｓ２０３）。この判定の結果、撮像画像中に顔が存在しない場合（Ｓ２０３でNoの場合）には処理を終了する。
【００２７】
一方、撮像画像中に顔が存在する場合（Ｓ２０３でYesの場合）は、画像識別部１２０は、検出された顔画像を入力画像として、顔のカテゴリ、すなわち人物を判定する処理を行う（Ｓ２０４）。Ｓ２０４の処理の詳細については後述するが、この処理では、登録画像それぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。そして、これらの類似度を比較して、最も類似度が高い登録画像を選び出し、その登録人物のカテゴリとして入力画像のカテゴリを判定する。
【００２８】
続いて、画像識別部１２０は、撮像画像中の全ての顔について処理を行ったか否かを判定する（Ｓ２０５）。この判定の結果、まだ顔が残っている場合は、Ｓ２０４に戻り、カテゴリの判定処理を行う。一方、全ての顔について処理を行った場合は、処理を終了する。以上のように処理が終了すると、次の撮像画像について図２の処理を行うことになる。これら一連の処理はリアルタイムで実行され、外部出力部１４０にリアルタイムでカテゴリ判定結果を出力することもできる。
【００２９】
図３は、画像識別部１２０による図２のＳ２０４の詳細な処理手順の一例を示すフローチャートである。図３を参照しながら、オブジェクト識別装置１００が入力画像のカテゴリを判定する処理について説明する。
まず、特徴抽出部１２１は、入力データとして、顔検出された顔画像を撮像画像から取得する（Ｓ３０１）。この顔画像は静止画であり、人物の顔が１つだけ捉えられていることが望ましい。続いて特徴抽出部１２１は、登録データとして、登録画像記録部１３０に予め登録されている顔画像を１つ取得する（Ｓ３０２）。顔画像をオブジェクト識別装置１００に登録する方法は割愛するが、識別すべき人物の静止画の顔画像を撮影し、オブジェクト識別装置１００内の登録画像記録部１３０に保持しておく。
【００３０】
続いて、特徴抽出部１２１により符号化画像を生成し、類似度算出部１２３は、入力画像と登録画像とを識別して同一人物かどうかを表す類似度を算出する（Ｓ３０３）。この符号化画像を生成する処理については、のちほど詳しく説明する。そして、類似度算出部１２３は、登録画像記録部１３０に保持されている全ての登録画像と識別を行ったか否かを判定する（Ｓ３０４）。この判定の結果、識別を行っていない登録画像がある場合は、Ｓ３０２に戻る。
【００３１】
一方、全ての登録画像と識別を行った場合は、最も大きい類似度と予め定められた閾値とを比較し、カテゴリを最終的に判定する（Ｓ３０５）。このとき、最も高い類似度が閾値以上である場合には、入力画像のカテゴリを最も高い類似度に対応する登録画像が属するカテゴリと判定し、閾値未満である場合は、入力画像が属するカテゴリは無いものとして判定する。
【００３２】
この閾値は、予め目的に応じて調整することができる。閾値が低い場合には登録されている人物を認識できる可能性が高まるが、登録されていない人物を誤って登録されている人物と判定する可能性も高まる。逆に閾値を高めると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性が高まる。
【００３３】
図５は、図３のＳ３０３の識別処理の一部として、特徴抽出部１２１により符号化画像を生成する処理手順の一例を示すフローチャートである。
まず、顔画像から後述する局所パターンを抽出する位置を設定する（Ｓ５０１）。そして、設定された位置から、局所パターンを抽出する（Ｓ５０２）。
【００３４】
ここで、局所パターンとは、典型的には数画素×数画素の画像の一部領域である。以下、この一部領域の画素値を並べたベクトルを局所パターンと呼ぶ。局所パターンを抽出する際には、画像の輝度をそのまま利用してもよく、コントラスト補正などの前処理を行ってから局所パターンを抽出してもよい。なお、局所パターンを抽出する一部領域の大きさは画像に写る顔の大きさに依存するが、極端に小さいと情報をほとんど持たないものになり、無意味な符号化となってしまい、大きすぎても符号化の処理が増大してしまう。そこで、識別性能と処理負荷とのトレードオフがあるため、事前に様々なサイズで試行し、最適なサイズを定めておくとよい。
【００３５】
次に、得られた局所パターンを、予め定められた符号のうちの１つに変換する（Ｓ５０３）。このＳ５０３の処理の詳細については後述する。そして、顔画像中の全ての位置について符号化したか否かを判定する（Ｓ５０４）。この判定の結果、すべての位置についてまだ完了していない場合には、局所パターンを抽出する位置を更新する（Ｓ５０５）。そして、Ｓ５０２に戻る。
【００３６】
一方、顔画像中の全ての位置について符号化した場合は、最後に顔画像中の全ての位置から得られた符号を顔画像に再構成し、符号化画像を得る（Ｓ５０６）。なお、符号とは具体的には数値であり、符号化画像は数値列つまりベクトルとして扱うことができる。また、符号化画像とは、後段の識別処理のための数値列であり、可視化を第一の目的としたものではないため、符号の値域は、典型的な画像の輝度値の範囲である０から２５５の範囲に収まる必要はない。
【００３７】
次に、図５のＳ５０３における局所パターンの符号化について説明する。なお、ここで説明する処理は、非特許文献３に記載の技術で用いられている符号化処理と同一であり、「Random Projection Tree」と呼ばれる方法である。Random Projection Treeの詳細については、非特許文献４に開示されている。
【００３８】
Random Projection Treeは、入力された局所パターンを２種類にパターン分類して類型化するノードを２分木の階層構造を形成するものである。親ノードの類型化結果に対応する子ノードがさらに類型化を行い、終端ノードに対応する符号が局所パターンの符号化結果となる。
【００３９】
図６は、特徴抽出部１２１により図５のＳ５０３における局所パターンを符号化する詳細な処理手順の一例を示すフローチャートである。
まず、初期ノードとしてツリーの最上位ノードを現在のノードに設定し（Ｓ６０１）、ノードに対応する射影パラメータ、具体的には予め用意された射影ベクトルと閾値とを特徴抽出パラメータ保持部１２２から取得する（Ｓ６０２）。この射影パラメータを事前に求めておく方法の詳細については後述する。
【００４０】
次に、局所パターンと射影ベクトルとの内積演算を行って１次元の内積値に射影する（Ｓ６０３）。そして、内積値が閾値未満か閾値以上かを判定する（Ｓ６０４）。Random Projection Treeは、入力されたベクトルを射影することにより類型化を行うものである。この判定の結果、内積値が閾値未満である場合は、左側の子ノードを現在のノードとして設定する（Ｓ６０５）。一方、内積値が閾値以上である場合は、右側の子ノードを現在のノードとして設定する（Ｓ６０６）。
【００４１】
次に、Ｓ６０５またはＳ６０６で設定した子ノードが終端ノードであるか否かを判定する（Ｓ６０７）。この判定の結果、終端ノードである場合は、ノードに割り当てられた符号を取得し、局所パターンに対応する符号とする（Ｓ６０８）。そして、処理を終了する。一方、Ｓ６０７の判定の結果、終端ノードでない場合は、Ｓ６０２に戻り、処理を繰り返す。
【００４２】
前述した射影ベクトル及び閾値といった射影パラメータは、大量の学習データを用いた機械学習により獲得され、特徴抽出パラメータ保持部１２２に保存される。次に、この射影パラメータを事前に獲得する処理手順について説明する。ここでは、特徴抽出部１２１によりRandom Projection Treeの射影パラメータを獲得する機械学習処理について説明する。
【００４３】
まず、機械学習に用いる学習データについて説明する。本実施形態では、顔画像を対象にした符号化方法を学習させるため、学習データとして複数枚の顔画像を用いる。学習データとしてのバリエーションを高めるため、顔画像には複数の人種・性別・年代の人物が含まれていることが望ましい。また、複数の照明条件で撮影した顔画像が含まれていることが望ましい。さらに各顔画像には、照明条件を表すラベル（以降、照明ラベル）が付いている必要がある。具体的には、照明条件が既知であり明示的に区別できる場合には、例えば「室内蛍光灯」、「屋外晴天」、「左４５度からの太陽光」、「右９０度からの太陽光」などと、離散的な照明ラベルを付けることができる。特徴抽出部１２１は条件分類手段として機能し、このような照明条件ごとに分類する。
【００４４】
前述したようにRandom Projection Treeは、入力された局所パターンを２種類に類型化するノードを２分木の構造に階層化させたものである。したがって各ノードの射影パラメータを獲得する際も階層的に行っていく。以降、ノードに対応する射影ベクトル及び閾値（射影パラメータ）を獲得することを、ノードを学習すると表現する。
【００４５】
図７は、特徴抽出部１２１により１つのノードを学習する処理手順の一例を示すフローチャートである。
まず、学習データとなる局所パターンの集合を取得する（Ｓ７０１）。このとき、最上位ノードに対しては、学習データに含まれる全ての顔画像の全ての位置から抽出した局所パターンが与えられる。それ以外の下位ノードについては、上位ノードが学習に用いた局所パターンの集合の部分集合が与えられる。
【００４６】
続いて、学習対象のノードが終端ノードであるか否かを判定する（Ｓ７０２）。なお、ここで学習するツリーの深さは予め決めておく必要がある。ツリーが浅すぎると符号の分解能が不足して識別精度が低下し、深すぎると過剰な分解能になり図５の符号化（Ｓ５０３）の処理が増大する割には識別精度が向上しないため、効率が悪い。したがって、ツリーの深さは事前に様々な深さで試行することにより最適なものを定めておくと良い。
【００４７】
Ｓ７０２の判定の結果、学習対象のノードが終端ノードである場合は、そのまま処理を終了し、学習対象のノードが終端ノードでない場合には、そのノードに対応する射影パラメータを獲得する（Ｓ７０３）。この処理の詳細については後述する。そして、獲得した射影パラメータで、ノードに与えられた局所パターンの集合を２つに類型化（分割）する（Ｓ７０４）。類型化の処理については、図６のＳ６０２からＳ６０６の処理と同様の手順により行われる。最後に、２分割した局所パターンの集合を左右の子ノードそれぞれに与え（Ｓ７０５）、処理を終了する。
【００４８】
以上のように階層的に各ノードの学習を行っていく。なお、ノードでの局所パターンの類型化は２クラスである必要はなく、それ以上の複数クラスに類型化する方法をとってもよい。また、ノードが持つ複数の射影ベクトルそれぞれと局所パターンとの内積値をとり、内積値が最も大きい射影ベクトルに対応するクラスに局所パターンを類型化するなど、他の方法を行うこともできる。
【００４９】
図８は、図７のＳ７０３における射影パラメータを獲得する詳細な処理手順の一例を示すフローチャートである。
まず、仮パラメータとして仮の射影ベクトル及び閾値を定める（Ｓ８０１）。このとき、射影ベクトルはランダムで１つ定められ、閾値は定められた射影ベクトルで与えられた局所パターンを全て射影した内積値の分布が等分されるように定められる。
【００５０】
次に、仮として定められた射影パラメータにより、与えられた局所パターンそれぞれを仮として２種類に符号化する（Ｓ８０２）。続いて、局所パターンそれぞれについてどの顔画像のどの位置から抽出されたものか予め対応付けて、仮符号化結果から仮の符号化画像群を生成する（Ｓ８０３）。そして、この仮の符号化画像群について、望ましい符号化画像になっているかどうかについての評価値を算出する（Ｓ８０４）。なお、評価値の算出については後述する。
【００５１】
次に、求められた評価値が所定値以上であるか、あるいは評価値の算出について規定の繰り返し数を試行したかどうかを判定する（Ｓ８０５）。この判定の結果、いずれかの条件を満たす場合は、今までに算出した評価値の中で最良の評価値である仮の射影パラメータを正規の射影パラメータとし（Ｓ８０７）、処理を終了する。
【００５２】
一方、Ｓ８０５の判定の結果、いずれの条件も満たさない場合は、仮の射影パラメータを更新し（Ｓ８０６）、Ｓ８０２に戻る。射影パラメータを更新する処理では、具体的には、前回の射影パラメータでの評価値と今回の射影パラメータでの評価値とを比較して、射影ベクトルの向きを変えることである。前回より今回の評価値が良い場合には、前回の射影ベクトルと今回の射影ベクトルとの差分の向きに沿って、今回の射影ベクトルの向きをさらに変える。この差分に従って向きを変えた結果、評価値が良くなかった場合には、射影ベクトルを再度ランダムに定める。
【００５３】
次に、図８のＳ８０４における仮の符号化画像の評価値を算出する処理について説明する。ここで、照明変動とは、人物の同異よりも照明条件の同異のほうがより強く画像に表れてしまう現象である。言い換えれば、顔画像そのものを特徴量とした場合、特徴空間上では顔画像が同一人物で近い関係を持って分布するのではなく、同じ照明条件の顔画像が近い関係を持って分布する現象である。図９（ａ）には、照明変動が生じている場合における顔画像の位置関係を示している。
【００５４】
本実施形態では、顔画像の符号化によって照明変動を打ち消すことにより、裏に隠れていた人物の同異の情報を引き出しやすくしている。これにより、図９（ｂ）に示すように、符号化画像を特徴量とした特徴空間上では、顔画像が各照明条件について無秩序に分散して分布するようにする。
【００５５】
図８のＳ８０４では、フィッシャー識別分析で用いる、クラス間分散・クラス内分散比を評価値として計算する。本実施形態では、クラスとして顔画像に与えられた照明条件を用いて、分散比（照明分散比）の値が最小になる射影パラメータを探索する。なお、クラス間分散・クラス内分散比の詳細については非特許文献５に開示されている。
【００５６】
本実施形態では、仮の符号化画像を特徴量とした特徴空間における、仮の符号化画像の照明条件間での散らばり具合（クラス間分散）と、同じ照明条件内における仮の符号化画像の散らばり具合（クラス内分散）との比を評価する。この評価値が小さく、例えば１．０である場合には、照明条件間での特徴量の散らばり具合も照明条件内における特徴量の散らばり具合も同程度であり、顔画像を符号化した結果が各照明条件について無秩序に分散して分布する。
【００５７】
図１０は、各ノードを階層的に学習して、照明変動を打ち消すように顔画像を符号化するツリーを獲得する流れを説明する図である。図１０には、ノードｎ１、ｎ２、ｎ３、以降下位ノードが２分木の構造で配置されていることを示している。まず、最上位のノードｎ１には、学習データとして顔画像群から抽出された局所パターン群が与えられる。最上位のノードｎ１は、与えられた局所パターンを２種類に類型化することにより顔画像の照明変動を打ち消す最適な２階調符号化の方法を学習する。
【００５８】
下位のノードｎ２には、最上位のノードｎ１で黒と類型化された局所パターン群が与えられる。ノードｎ２は、与えられた局所パターンを黒と濃い灰色とにさらに細かく階調化することにより、照明変動を打ち消す最適な３階調符号化の方法を学習する。同様に、下位のノードｎ３には、最上位のノードｎ１で白と類型化された局所パターン群が与えられる。ノードｎ３は、与えられた局所パターンを白と薄い灰色とにさらに細かく階調化することにより、照明変動を打ち消す最適な３階調符号化の方法を学習する。
【００５９】
このように下位のノードでは同様の処理が階層的に繰り返され、照明変動を打ち消す符号化を行うツリーが学習される。なお、図１０においてノードの左側に符号化画像の例が示されているが、説明のために４×４に簡略化したものであり、これが最適な変換そのものではない。
【００６０】
以上のように本実施形態によれば、符号化処理がなされた顔画像の照明条件間における分散と、符号化処理がなされた顔画像の照明条件内における分散との比を評価して射影パラメータを決定するようにした。これにより、同じ照明条件で別人の顔画像を同一人物の顔画像として誤認識してしまうことを防止でき、より精度の高い識別結果を得ることができる。
【００６１】
（第２の実施形態）
第１の実施形態では、特徴抽出パラメータ生成処理で用いる顔画像に、離散的な照明ラベルを用いる例について説明した。これは「室内蛍光灯」、「屋外晴天」、「左４５度からの太陽光」、「右９０度からの太陽光」などのように、撮影条件が既知であるときに付加することができるラベルである。本実施形態では、そうではない連続的な照明ラベルを顔画像に付加し、ノードを学習する方法について説明する。なお、本実施形態に係るオブジェクト識別装置の構成については第１の実施形態と同様である。また、本実施形態のオブジェクト識別装置１００の処理手順も基本的な点はほぼ同様であるため、第１の実施形態と同じ部分の説明は省略する。以下、第１の実施形態と異なる部分について説明する。
【００６２】
前述したように、顔画像の離散的な照明ラベルは撮影条件が既知のときに付加することができるラベルである。一方、撮影条件が不明あるいは照明条件が明示的に区別しにくい場合には、このような離散的な照明ラベルを付加することが難しい。そのため、フィッシャー識別分析に乗っ取った照明分散比を計算することが困難である。そこで本実施形態では、連続量で表される照明ラベルを機械的に付けて、図８のＳ８０４における仮の符号化画像の評価値を算出する方法について説明する。
【００６３】
まず、顔画像に機械的に照明ラベルを付加する方法として、照明変動に富んだ顔画像群に対してＰＣＡ（主成分分析）を行うことにより、照明変動を表す低次元の空間を構成する。主成分分析の詳細については割愛するが、主成分分析はデータの分散に沿って空間の正規直交基底、つまり空間の軸を張り直す方法である。本実施形態の場合、典型的には固有値が上位のものに対応する基底ベクトルが、照明条件の分散を表す軸に対応する。それら固有値が上位のものに対応する基底ベクトルだけで低次元空間を構成し、この低次元空間に学習データとなる顔画像を射影することにより照明条件空間上の座標を得ることができる。本実施形態ではこの座標を連続量の照明ラベルとして扱う。
【００６４】
次に、図８のＳ８０４において、連続量で記される照明ラベルを用いて仮の符号化画像の評価値を算出する方法について説明する。基本的な考え方は第１の実施形態と同様であり、仮の符号化画像を特徴量とした特徴空間における、符号化画像の照明条件間での散らばり具合と、照明条件内における符号化画像の散らばり具合との比を評価する。本実施形態においては、以下の式（１）に示す式を用いて評価値を算出する。
【００６５】
【数１】
2014078117.tif 000003
Ｐｗ：照明ラベルのユークリッド距離が一定値以内の顔画像ペアの集合
Ｐｂ：照明ラベルのユークリッド距離が一定値以上の顔画像ペアの集合
Ｎｗ：Ｐｗに含まれるペアの数
Ｎｂ：Ｐｂに含まれるペアの数
ＲＰＴ（）：顔画像の仮符号化
L2norm()：ユークリッド距離関数
【００６６】
本実施形態では、学習データに含まれる顔画像の総当たりのペアを求め、ペアの照明ラベル間の距離に基づいて集合Ｐｗ、Ｐｂの部分集合に分割する。式（１）では、集合Ｐｗに含まれる画像ペアｐの符号化画像間における平均距離と、集合Ｐｂに含まれる画像ペアｐの符号化画像間における平均距離とを比を取っている。これにより、仮の符号化画像を特徴量とした特徴空間における、符号化画像の照明条件間での散らばり具合と、照明条件内における符号化画像の散らばり具合との比を評価する。
【００６７】
なお、集合Ｐｗ、Ｐｂに分割する閾値となる照明ラベル間の距離は、学習データの顔画像に付加された照明ラベルの分布、つまり照明条件空間上の分布と照らし合わせながら予め調整しておくとよい。閾値を低く設定するとわずかな照明変動も打ち消すような制約の大きい学習となり、反対に閾値を高く設定すると制約の小さい学習となる。以降、この評価値を照明距離比と呼ぶ。図８のＳ８０４では、第１の実施形態と同様に、この照明距離比の値が最小になる射影パラメータを探索する。
【００６８】
以上のように本実施形態によれば、符号化処理がなされた顔画像の照明条件間における散らばり具合と、符号化処理がなされた顔画像の照明条件内における散らばり具合との比を評価して射影パラメータを決定するようにした。これにより、同じ照明条件で別人の顔画像を同一人物の顔画像として誤認識してしまうことを防止でき、より精度の高い識別結果を得ることができる。
【００６９】
（第３の実施形態）
第１及び第２の実施形態では、図８のＳ８０４において、顔画像に付加された照明ラベルのみを用いて、符号化によって照明条件が打ち消されたかどうか評価した。本実施形態では、照明ラベルに加えて、人物（個人）のラベルが利用できる場合に仮の符号化画像の評価値を算出する方法について説明する。なお、本実施形態に係るオブジェクト識別装置の構成については第１の実施形態と同様である。また、本実施形態のオブジェクト識別装置１００の処理手順も基本的な点はほぼ同様であるため、第１の実施形態と同じ部分の説明は省略する。以下、第１の実施形態と異なる部分について説明する。
【００７０】
照明変動を打ち消すひとつの方法として、ランダムな符号化を行うことによって簡単に達成することができるが、符号化の後段の処理で重要な人物の識別に必要な情報まで打ち消されてしまう。第１及び第２の実施形態で説明した学習の方法はランダムではないが、照明ラベルのみを学習に用いることにより、人物の識別に重要な情報も打ち消す符号化を獲得してしまう恐れがある。そこで本実施形態では、学習データの顔画像について人物ラベル（名前や個人を識別できる離散ラベル）が付加されている場合に、評価値の計算に制約を加える。
【００７１】
本実施形態では、図８のＳ８０４で仮の符号化画像に対して計算される評価値は、以下の式（２）により得られ、この評価値を最大化するよう射影パラメータを探索する。αとβはそれぞれ予め定められた定数であり、後述する人物評価値と照明評価値との線形和であることを示す。ここで照明評価値は、第１の実施形態において説明した離散レベルに対応する照明分散比の場合と、第２の実施形態において説明した連続ラベルに対応した照明距離比の場合との両方がありえる。人物評価値については、与えられた照明ラベルが離散ラベルか連続ラベルかによって異なる計算方法を用いる。
評価値＝α×人物評価値−β×照明評価値  ・・・（２）
【００７２】
与えられた照明ラベルが離散ラベルの場合は、第１の実施形態と同様に、フィッシャー識別分析を用いて照明分散比を求める。本実施形態では、人物評価値を計算する際にも同様に、フィッシャー識別分析を用いて分散比（以下、人物分散比）を求める。人物分散比とは、仮の符号化画像を特徴量とした特徴空間における、符号化画像の人物間での散らばり具合（クラス間分散）と、同じ人物内における符号化画像の散らばり具合（クラス内分散）との比である。この人物分散比の値が高ければ高いほど符号化画像が同じ人物で集まって分布しており、人物の識別に必要な情報が残っていることを表している。
【００７３】
また、与えられた照明ラベルが連続ラベルの場合は、第２の実施形態と同様に、照明距離比を求める。この場合には、人物評価値を計算する際にも同様に、平均距離の比（人物距離比）を求める。人物距離比は、式（１）に示した各パラメータを以下のように定義することによって計算することができる。
Ｐｗ：同一人物の顔画像ペアの集合
Ｐｂ：別人物の顔画像ペアの集合
Ｎｗ：Ｐｗに含まれるペアの数
Ｎｂ：Ｐｂに含まれるペアの数
【００７４】
このように人物距離比とは、仮の符号化画像を特徴量とした特徴空間における、別人物間の符号化画像間の距離と、同一人物間の符号化画像間の距離との比である。この人物分散比または人物距離比の値が高ければ高いほど符号化画像が同じ人物で集まって分布しており、人物の識別に必要な情報が残っていることを表している。
【００７５】
以上のように本実施形態によれば、さらに人物分散比または人物距離比を評価するようにしたので、照明条件を打ち消すことにより、人物の識別に必要な情報まで打ち消されてしまうことを防止することができる。
【００７６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７７】
１２０  画像識別部
１２１  特徴抽出部
１２２  特徴抽出パラメータ保持部
１２３  類似度算出部
【図１】
2014078117.tif 000004
【図２】
2014078117.tif 000005
【図３】
2014078117.tif 000006
【図４】
2014078117.tif 000007
【図５】
2014078117.tif 000008
【図６】
2014078117.tif 000009
【図７】
2014078117.tif 000010
【図８】
2014078117.tif 000011
【図９】
2014078117.tif 000012
【図１０】
2014078117.tif 000013