(57)【特許請求の範囲】
【請求項１】
物体を含む時系列画像を受け取る受け取り手段と、
前記時系列画像の各画像より前記物体に関する複数の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出された複数の特徴点に基づいて前記物体の表情の判定を行う表情判定手段と、
前記表情判定手段で前記物体に表情があると判定された場合、前記表情に応じて、前記特徴点抽出手段で抽出された複数の特徴点の座標値に基づいて複数の領域を設定し、前記設定した領域の配置情報又は形状情報を含む特徴ベクトルを生成し、前記特徴ベクトルと、物体に関する辞書データと、を照合し、照合結果の信頼度を算出する照合手段と、
前記各画像について前記照合手段で算出された信頼度を前記時系列画像の複数の画像にわたって累積して前記物体に関する照合結果の信頼度に係る累積値を算出する累積値算出手段と、
前記累積値算出手段で算出された前記累積値に基づいて前記照合手段での照合結果を出力するか否かを判定する出力判定手段と、
を有することを特徴とする情報処理装置。
【請求項２】
物体を含む画像に基づいて、前記辞書データを生成する辞書データ生成手段を更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記照合手段は、前記表情判定手段で前記物体に表情がないと判定された場合、前記累積値算出手段で算出された累積値が上位の物体の前記辞書データと、前記特徴ベクトルと、を照合することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
情報処理装置における情報処理方法であって、
物体を含む時系列画像を受け取る受け取りステップと、
前記時系列画像の各画像より前記物体に関する複数の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップで抽出された複数の特徴点に基づいて前記物体の表情の判定を行う表情判定ステップと、
前記表情判定ステップで前記物体に表情があると判定された場合、前記表情に応じて、前記特徴点抽出ステップで抽出された複数の特徴点の座標値に基づいて複数の領域を設定し、前記設定した領域の配置情報又は形状情報を含む特徴ベクトルを生成し、前記特徴ベクトルと、物体に関する辞書データと、を照合し、照合結果の信頼度を算出する照合ステップと、
前記各画像について前記照合ステップで算出された信頼度を前記時系列画像の複数の画像にわたって累積して前記物体に関する累積値を算出する累積値算出ステップと、
前記累積値算出ステップで算出された前記累積値に基づいて前記照合ステップでの照合結果を出力するか否かを判定する出力判定ステップと、
を含むことを特徴とする情報処理方法。
【請求項５】
物体を含む画像に基づいて、前記辞書データを生成する辞書データ生成ステップを更に含むことを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記照合ステップでは、前記表情判定ステップで前記物体に表情がないと判定された場合、前記累積値算出ステップで算出された累積値が上位の物体の前記辞書データと、前記特徴ベクトルと、を照合することを特徴とする請求項４に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
顔画像による個人認識は、指紋認識或いは静脈認識と比較して、非接触で行え、かつ、使用者に犯罪捜査等のマイナスイメージを与えない認識技術として注目されている。顔認識技術では、予め認識対象となる人物の顔画像より特徴量を抽出し、生成される辞書データを基にして行う。したがって、その識別能力は、辞書データの顔画像の照明状況、又は姿勢変動に依存する。
【０００３】
また、顔認識技術では、被認識者と十分な距離がある場合の認識も可能であるので、オープンな環境下での複数人同時の認識システムの実現が期待されている。ここで、オープンな環境とは、被認識者に立ち位置の指定、撮像装置への正対指定、照明条件の適正化、又は表情の指定といった制約条件を課さない一般的な環境下のことである。つまり、顔認識技術は、サイズ変動、姿勢変動、照明変動又は表情変動といった変動に対して、頑健さが必要である。
【０００４】
これらのことから顔認識技術では、辞書データ作成時に様々な変動の画像を取得し、変動を許容する仕組みを導入している（非特許文献１参照）。より具体的に説明すると、例えば姿勢変動を許容する辞書データを構築したい場合、登録者が様々な姿勢状態である画像を複数取得することで、前述した目的を達成する。また、姿勢変動以外に表情変動や照明変動を許容する場合も同様の考えで対応する。
【０００５】
また、特許文献１の技術では、予め複数の任意画像より照明変動を除去する知識を学習により獲得する。そして、特許文献１の技術では、学習によって得られた照明変動に係る知識に基づいて、入力画像及び辞書画像より照明変動の影響がない特徴量を抽出し、比較照合する技術が開示されている。
【０００６】
更に、特許文献２では、入力画像と辞書画像とにおける顔解像度の相違による精度の不安定化を防止する技術が開示されている。より具体的に説明すると、特許文献２の技術では、例えば目の中心位置を基準として画像を規格化し、解像度を同一にすることで安定化を図っている。
【０００７】
更に、特許文献３では、一連の画像より姿勢変動や表情変動に関する特徴量を抽出し、その特徴量が認識処理に適正であるかどうかの判定を行い、適正であると判定された画像のフレームを用いて、認識する技術が開示されている。なお、適正であると判定された画像のフレームとは、被写体が撮像装置に対して正対している、又は目を不自然な形式で開けていない画像のことである。
【０００８】
【特許文献１】特開２００４−１４５５７６公報
【特許文献２】特開２００５−０８４９７９公報
【特許文献３】特開平６−２５９５３４公報
【非特許文献１】「コンピュータによる顔認識」、電子情報通信学会論文誌Ｄ−２、１９９７、Ｖｏｌ．Ｊ８０、Ｎｏ．８、ｐｐ．２０３１−２０４６
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１は、変動に対する認識精度の安定化を目的として、学習により変動パターンの知識を獲得する手段と、変動を規格化する手段と、を用いることで対処している。しかし、変動パターンの知識を学習により網羅的に獲得することは、大量のデータが必要となり、現実的に困難である。
【００１０】
また、特許文献２は、変動に対する認識精度の安定化を目的として、変動を規格化する手段を用いることで対処している。しかし、変動パターン、例えば姿勢（２次元画像において）、又は表情の規格化は困難であり、規格化処理の精度により認識精度の劣化が問題となる。
【００１１】
また、特許文献３は、一連の画像より、変動が小さい複数の有効フレームを抽出し、抽出した複数の有効フレームにより認識するものである。特許文献３は、一連の画像より、変動が小さい有効フレームが複数取得できるという前提の上で成り立っている。しかし、オープンな環境下での顔認識システムは、必ずしもそのような前提条件が成立するとは限らない。よって、一般環境下での顔認識システムを実現する上で、特許文献３は不十分である。
【００１２】
よって、前述した従来技術では、オープンな撮影環境下における姿勢変動、又は表情変動といった前述した変動パターンに対する対策が不十分である。
【００１３】
本発明はこのような問題点に鑑みなされたもので、変動が存在する画像が入力された場合であっても、精度のよい、安定した物体認識を実現することを目的とする。
【課題を解決するための手段】
【００１４】
そこで、本発明は、物体を含む時系列画像を受け取る受け取り手段と、前記時系列画像の各画像より前記物体に関する複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段で抽出された複数の特徴点に基づいて前記物体の表情の判定を行う表情判定手段と、前記表情判定手段で前記物体に表情があると判定された場合、前記表情に応じて、前記特徴点抽出手段で抽出された複数の特徴点の座標値に基づいて複数の領域を設定し、前記設定した領域の配置情報又は形状情報を含む特徴ベクトルを生成し、前記特徴ベクトルと、物体に関する辞書データと、を照合し、照合結果の信頼度を算出する照合手段と、前記各画像について前記照合手段で算出された信頼度を前記時系列画像の複数の画像にわたって累積して前記物体に関する照合結果の信頼度に係る累積値を算出する累積値算出手段と、前記累積値算出手段で算出された前記累積値に基づいて前記照合手段での照合結果を出力するか否かを判定する出力判定手段と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、変動が存在する画像が入力された場合であっても、精度のよい、安定した物体認識を実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について図面に基づいて説明する。
【００１８】
＜第１の実施形態＞
図１は、情報処理装置（コンピュータ）の一例である物体認識装置のハードウェア構成の一例を示す図である。図１に示されるように、物体認識装置は、撮像部１００と、制御部１０１と、顔検出部１０２と、特徴抽出部１０３と、顔照合部１０４と、辞書データＤＢ部１０５と、を含む。また、物体認識装置は、累積信頼度算出部１０６と、出力判定部１０７と、記憶部１０８と、表示部１０９と、を更に含む。
【００１９】
撮像部１００は、制御部１０１からの制御信号に基づいて、画像を撮像し、入力画像データ（物体を含む時系列画像）を取得する（又は時系列画像受け取り）。制御部１０１は全体の制御を行い、撮像部１００、顔検出部１０２、特徴抽出部１０３、顔照合部１０４、累積信頼度算出部１０６、出力判定部１０７、記憶部１０８、表示部１０９に接続されている。なお、撮像部１００は、物体認識装置に外部接続されているようにして、物体認識装置が撮像部１００より入力画像データを受け取る構成としてもよい。
【００２０】
顔検出部１０２は、撮像部１００で取得した画像データより顔領域を抽出する。顔検出部１０２は、顔の位置、顔の個数、顔のサイズ、向きを検出し、顔領域周辺の画像（顔領域画像）を切り出し、切り出した顔領域画像を特徴抽出部１０３に出力する。顔検出部１０２の処理内容については、後述する。特徴抽出部１０３は、顔検出部１０２で切り出された顔領域画像に対し、目、鼻、又は口等の顔の部位の座標値を抽出する。顔照合部１０４は、特徴抽出部１０３で抽出された情報と、辞書データＤＢ部１０５の辞書データと、を基に、照合を行い、検出された顔が誰のものであるかの判定を行う。累積信頼度算出部１０６は、顔照合部１０４の照合結果を基に、一連の画像に対して、例えば照合類似度等の値の累積値を算出する（累積値算出）。出力判定部１０７は、累積値を予め定められた閾値と比較することで、照合結果の出力判定を行う。記憶部１０８は、取得した入力画像データや各構成要素の中間的出力値等を記録する。表示部１０９は、ＣＲＴやＬＣＤ等であり、撮像部１００で撮像された入力画像、又は種々の演算結果を表示する。
【００２１】
図２は、第１の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
ステップＳ２００において累積信頼度算出部１０６は、累積信頼度の初期化処理を行う。ステップＳ２０１において、顔検出部１０２は、顔を含む画像データを撮像部１００より受け取る。次に、ステップＳ２０２において、顔検出部１０２は、入力画像データより顔を検出する処理（顔検出処理）を行う。顔検出処理に関する詳細は後述する。
【００２２】
なお、顔を検出する方法としては、ユーザがポインティングデバイス等を用いて指定した顔領域の情報を顔検出部１０２が受け取る構成としてもよい。また、顔検出部１０２は、顔検出テンプレート等のフィルタを用いて顔を検出してもよい。但し、本実施形態では顔検出部１０２は、ニューラルネットワークベースの顔検出技術を用いて顔検出を行うものとする。ここで、本実施形態における顔検出部１０２におけるニューラルネットワークを用いた顔検出処理の一例を、図３を用いて説明する。
【００２３】
図３は、ニューラルネットワークを用いた顔検出部１０２における顔検出処理の一例を説明するための図である。図３に示されるように、本実施形態で用いる顔検出に係るニューラルネットワークは、階層的構造をとり、低次特徴から高次特徴まで、順次認識する処理工程をとる。つまり、第１階層レベル３０１では検出層において入力画像データ３００からプリミティブな特徴（例えばエッジ）を抽出し、統合層において統合された結果を用い、第２階層レベル３０２でより高次の特徴（例えば目・口を構成するエッジ）を検出する。同様に、第３階層レベル３０３では第２階層レベル３０２の統合結果を用いて高次特徴を検出する。最後に、第４階層レベル３０４で第３階層レベル３０３の統合結果を用いて顔を検出する。
【００２４】
次に、顔検出処理で検出される特徴について図４を用いて説明する。図４は、顔検出処理で検出される特徴を説明するための図である。
ここで、顔検出処理を説明する上で必要となる人間の顔は、図４（ａ）のモデル顔とする。なお、以後、顔に関する記述は、図４（ａ）のモデル顔を用いて説明する。
本実施形態では、顔検出処理に伴い、顔検出部１０２は、両目の目頭及び目尻・口両端・目・口の特徴近辺においてニューロンの発火分布を取得する。これらを中間出力分布或いは検出出力分布と呼ぶ。第１階層レベル３０１は、顔の造作を保存する最も低次の特徴を検出する（本実施形態で用いる顔検出ニューラルネットワークは、第１階層レベルにおいて第１から第８までの８つの検出部を有する）。第１階層レベル３０１における特徴の検出は、例えば、輝度変化或いは線分方向の抽出程度の検出レベルでよい。
【００２５】
次に第２階層レベル３０２は、図４（ｂ）の右開きＶ字エッジ検出出力分布、図４（ｃ）の左開きＶ字エッジ検出出力分布、図４（ｄ）の線分エッジ１検出出力分布、図４（ｅ）の線分エッジ２検出出力分布、等の出力分布を出力する。ここで、図４（ｂ）の右開きＶ字エッジ検出出力分布（黒領域がＶ字エッジの検出出力分布を示し、灰色線分が顔の部位を示している）は、左目目尻、右目目頭、眉毛の左端及び口の左端が検出された結果を示している。４０２〜４０７についても同様に、検出出力分布は黒領域で示され、顔造作は灰色線分で示されている。このように、Ｖ字エッジ特徴は口の左右両端特徴４０８及び４０９、両目の目尻特徴４１０及び４１１、又は両目の目頭特徴４１２及び４１３、眉毛４１８の端を検出するのに有効である。また、線分エッジ１及び線分エッジ２は、目の上下まぶた４１４及び４１５又は上下唇４１６及び４１７の検出に有効である。
【００２６】
次に、第３階層レベル３０３は、第２階層レベル３０２の特徴検出を受けて図４（ｆ）の目検出出力分布及び図４（ｇ）の口検出出力分布４０６を出力する。最後の第４階層レベル３０４は、第３階層レベル３０３の目及び口検出結果より、図４（ｈ）の顔検出出力分布を出力する。このとき、第４階層レベル３０４の顔検出層における顔の検出に使用する受容野構造として、各サイズや各回転量に適したものを用意しておく。顔検出処理において、顔が存在するという結果を得たときに、どの受容野構造を用いて検出したかによって、顔検出部１０２は、その顔の大きさや向き等の顔データを得ることができる。
以上が顔検出ニューラルネットワークを用いたステップＳ２０２の処理で生成される一連の検出出力分布である。
【００２７】
なお、ステップＳ２０１における顔検出手法は、前述した方式に限定するものではなく、例えばＥｉｇｅｎ  Ｆａｃｅ等の方法を用いてもよい。
更に、ステップＳ２０２において、顔検出部１０２は、顔検出処理で取得した顔の大きさを用いて、顔領域周辺の顔領域画像を切り出す。顔検出部１０２は、ステップＳ２０３の判定においてＯＫと判定した場合、切り出した顔領域画像を特徴抽出部１０３へ出力する。
【００２８】
ステップＳ２０４において、特徴抽出部１０３は、目、口及び鼻等の顔を構成する部位の特徴点を抽出し、座標値を算出する。なお、目、口及び鼻の特徴点の抽出方法は、顔部位のテンプレートをスキャンして求めるテンプレートマッチング等の技術を応用したものであってもよいが、本実施形態では、図４（ｆ）の目検出出力分布及び図４（ｇ）の口検出出力分布を用いて行うものとする。より具体的に説明すると、特徴抽出部１０３は、各検出出力分布に対し重心を算出し、各重心の座標値を特徴点の座標値とする。なお、このとき、特徴抽出部１０３は、予め定められた閾値で各検出出力分布を２値化し、２値化した分布に対して重心を算出してもよい。
【００２９】
図５は、特徴抽出部１０３が抽出した特徴点の一例を示す図である。図５において、目、口又は鼻といった部位上に存在する黒点が各部位の特徴点である。抽出特徴点の呼称は、右目特徴点５００、左目特徴点５０１、鼻特徴点５０２及び口特徴点５０３とする。
【００３０】
次に、ステップＳ２０５において、特徴抽出部１０３は、ステップＳ２０４で抽出した特徴点（特徴点の座標値）の配置関係をチェックする。即ち抽出した特徴点の座標値が、対象物体を記述する上で不適切であった場合、特徴抽出部１０３は、処理をステップＳ２０１へと戻す。より具体的に説明すると、特徴抽出部１０３は、本実施形態では両目それぞれの位置が顔検出ステップＳ２０２において抽出された顔領域の中心位置より下方の場合、特徴点の座標値が、対象物体を記述する上で不適切であると判断する。但し、上下逆の顔画像の入力を容認する場合、この条件は成り立たない。これはシステムの使用シーンに依存する。但し、認識すべき対象の種類に応じた特徴の配置法則に基づく特徴の整合性チェックは必要である。つまり、特徴抽出部１０３は、例えば記憶部１０８等に保存されている配置法則（配置法則ファイル）等に基づき、特徴点の座標値の配置が配置法則を満たしているか否かをステップＳ２０５において判定する。
【００３１】
次に、ステップＳ２０６において、顔照合部１０４は、入力画像データのサイズ及び回転の正規化を行う。顔照合部１０４は、例えば、図６に示すように、ステップＳ２０４で抽出された両目の特徴点の座標値６０２及び６０３より算出される両目間距離６００が、全ての画像に対し同一になるようアフィン変換を施す。ここで、図６は、サイズ正規化及び回転変動を説明するための図である。また、顔照合部１０４は、両目間を結ぶ直線の傾き６０１を検出し、回転を考慮したアフィン変換補正を加える。このことで、顔照合部１０４は、サイズ変動と面内回転変動とを実現する。
次に、ステップＳ２０７において、顔照合部１０４は、辞書データＤＢ部１０５の辞書データと、入力画像データ（又は入力画像データに含まれる物体の一例である人物の顔）と、の照合を行う。
【００３２】
なお、ステップＳ２０７の処理の詳細は、図７を用いて説明する。図７は、照合処理の一例を示すフローチャートである。
まず、ステップＳ７０１において、顔照合部１０４は、特徴抽出部１０３より図４に示したような検出出力分布を取得し、検出出力分布に応じて、入力画像データに対して領域を設定する。
ここで、顔照合部１０４が設定する領域には、局所的領域と、大局的領域とがある。以下、局所的領域及び大局的領域について説明する。
【００３３】
個人差を示す情報は、目、鼻又は口等の特徴の形状や、特徴の配置関係である。ここで、局所的領域は、目、鼻又は口等の個人差を示す特徴の形状情報を抽出するために設定される。図８は、顔照合部１０４が設定する局所的領域の一例を示す図（その１）である。
【００３４】
図８において、目領域の局所的領域８００は、両目の左右端点及び上下まぶた頂点近辺に設定されている。また口領域の局所的領域８０１は、口の両端点及び上下唇頂点近辺に設定されている。更に鼻周辺の局所的領域８０２は、鼻の頂点及び左右小鼻特徴点近辺に設定されている。これら局所的領域が示す情報、例えば輝度情報は、目、鼻又は口等の特徴の形状を反映している。即ち、目が大きい人物の上まぶたのラインと下まぶたのラインとは、目が細い人物より傾向的に鈍角で交差する。したがって、目端点周辺の局所的領域における情報は、目の形状を反映している。また、目尻近辺の局所的領域は、目が切れ長である等の形状を反映している。
【００３５】
よって、顔照合部１０４は、目の両端点及び上下まぶた頂点に配置した複数の局所的領域より、目の形状情報を抽出することができる。更に、顔照合部１０４は、口及び鼻に関しても同様に、それぞれに設定した複数の局所的領域より、各々の形状情報を抽出することができる。なお、局所的領域の設置は、図８に示されるものに限定されるものではなく、眉等に設定されてもよい。また、顔照合部１０４は、図９に示すように、右目局所的領域９００、左目局所的領域９０１、鼻局所的領域９０２、口局所的領域９０３のように設定してもよい。但し、このように設定した場合、物体認識装置は、姿勢変動又は目或いは口等の形状変動に敏感になる。図９は、顔照合部１０４が設定する局所的領域の一例を示す図（その２）である。
【００３６】
次に、大局的領域について説明する。
大局的領域は、複数の特徴を含むことで、目、鼻又は口等の特徴間の配置情報を獲得するために設定される。図１０は、顔照合部１０４が設定する大局的領域の一例を示す図（その１）である。顔照合部１０４は、両目間の大局的領域１０００より、両目を含んでいるため予め定められた特徴点間距離で規格化された画像を用いて、両目の離れ具合情報を抽出することができる。また、目−口間の大局的領域１００１は、目特徴点と口特徴点とをベースに設定されるので、顔照合部１０４は、同様に規格化された画像を用いて、目と口との離れ具合情報を抽出することができる。なお、大局的領域の設置は、図１０に限定されるものではない。顔照合部１０４は、図１１に示すように、顔全体を含む大局的領域１１０１、更に目或いは口等の特徴以外に顎の輪郭を含む大局的領域１１０３を設定してもよい。図１１は、顔照合部１０４が設定する大局的領域の一例を示す図（その２）である。
【００３７】
顔照合部１０４は、ステップＳ７０１の検出出力分布の取得処理において、局所的領域及び／又は大局的領域より形状情報及び／又は配置情報を取得する。
顔照合部１０４は、形状情報を獲得する局所的領域を、図３に示す第１階層レベルの８つの検出出力分布の内、特徴形状を保存する一のエッジ抽出ライクな検出出力分布に基づいて設定する。
【００３８】
図１２は、エッジ抽出ライクな検出出力分布の一例を示す図である。エッジ抽出ライクな出力分布とは、一例として図１２の（ａ）の黒実線である。黒実線は目の輪郭や口の輪郭情報を反映している。図１２の（ａ）の検出出力分布に複数の局所的領域を適用した図が図１２の（ｂ）である。なお、図１２の（ｂ）の局所的領域は、右目特徴点１２０１、左目特徴点１２０２、口特徴点１２０３及び鼻特徴点１２０４をベースに設定される。
【００３９】
一方、配置情報を獲得するための図１０の両目間の大局的領域１０００は、図４（ｂ）の右開きＶ字エッジ検出出力分布或いは図４（ｃ）の左開きＶ字エッジ検出出力分布の何れか一方、又は両方の出力分布に基づいて設定される。
【００４０】
図１３は、両目間の大局的領域の設定の一例を示す図である。図４（ｂ）及び図４（ｃ）は、Ｖ字エッジを検出した結果であり、目の両端点或いは口の両端点を検出したことに相当する。よって、顔照合部１０４は、図１３に示すように両目間の大局的領域１３０３を、右目特徴点と左目特徴点の中点である両目間中点１３０１を起点に設定することで、両目の配置情報を取得することができる。図１３（ａ）の検出出力分布は、左右のＶ字エッジ検出出力分布の重ねあわせた分布に相当する。このようにすることで、顔照合部１０４は、それぞれの目の幅情報を取得することができる。
【００４１】
同様の考えで、配置情報を獲得するための目−口間の大局的領域１００１は、図４（ｄ）の線分エッジ１検出出力分布或いは図４（ｅ）の線分エッジ２検出出力分布４０４の何れか一方、又は両方の出力分布に基づいて設定される。
【００４２】
図１４は、目−口間の大局的領域の設定の一例を示す図である。図４（ｄ）或いは図４（ｅ）は、線分を検出した結果であり、言い換えると上下のまぶた又は上下唇を検出したことに相当する。よって、顔照合部１０４は、図１４に示すように目−口間の大局的領域１４０４を、両目間中点１４０１と口特徴点１４０２とを起点として設定することで、目−口の配置情報を取得することができる。
以上、顔照合部１０４は、検出出力分布に応じて、領域を設定する。
【００４３】
次に、ステップＳ７０２の高次元特徴ベクトルの取得処理について説明する。高次元特徴ベクトルを求めるためのデータは、前述したような顔照合部１０４が各検出出力分布に対して適用した領域から生成される。図１５は、高次元特徴ベクトルの定義を示す図である。なお、図１５では、一例として局所的領域１５００の特徴ベクトルの生成方法と、高次特徴ベクトルの定義と、を示している。図１５に示すように、高次特徴ベクトルＦは、局所的領域及び／又は大局的領域より生成される１次元のベクトルデータｆkを、１つにすることで生成される。ここで、顔照合部１０４は、局所的領域１５００内の検出出力値ｆiの２次元配列を、予め定められた方向へスキャンすることで１次元のベクトルデータｆkを生成する。
【００４４】
次に、ステップＳ７０３の照合処理について説明する。ステップＳ７０３において、顔照合部１０４は、高次特徴ベクトルＦをサポートベクトルマシン（以下、ＳＶＭという）に入力し、辞書データＤＢ部１０５の辞書データを用いたマッチングを行う。
ここで、ＳＶＭは学習アルゴリズムの一つである。本実施形態では、ＳＶＭの一例としてｌｉｓｖｍを用いるものとする。
【００４５】
次に、辞書データを用いて、入力データ（高次特徴ベクトル）を分類する処理について説明する。なお、辞書データの生成処理については後述する。ｌｉｓｖｍは、２クラス分類する分類器（又は分類関数としてもよい）を複数有する形式を持つ。例えば、登録者（辞書作成者又は学習者）を４人とし、それぞれをＡクラス、Ｂクラス、Ｃクラス、Ｄクラス、登録者以外のクラスをＥクラスと仮定する。このとき２クラス分類する分類器とは、ＡｏｒＢのどちらが最もらしいか閾値判別（閾値は辞書データを生成する際に、２クラス間毎生成される）する分類器である。よって入力された特徴ベクトルは、ＡｏｒＢ、ＡｏｒＣ、ＡｏｒＤ、ＡｏｒＥ、ＢｏｒＣ・・・のように全てのクラス間で２クラス分類が行われ、それら分類結果の多数決処理により最終的なクラスが決定される。
【００４６】
ここで、辞書データの生成の一例を、図１６を用いて説明する。図１６は、辞書データ生成処理の一例を示すフローチャートである。
ステップＳ１６００において、例えば制御部１０１等は、学習者の有無を判定する。例えば制御部１０１等は、学習者が存在する場合、ステップＳ１６０１に処理を進め、学習者が存在しない場合、ステップＳ１６１１に処理を進める。
【００４７】
ステップＳ１６１１において、例えば顔照合部１０４等は、ｌｉｓｖｍを用いた学習処理を実行する。一方、ステップＳ１６０１において、例えば制御部１０１等は、予め定められた領域等に学習者の画像が存在するか否かの判定を行う。例えば制御部１０１等は、学習者の画像が存在する場合、ステップＳ１６０２に処理を進め、学習者の画像が存在しない場合、ステップＳ１６００に処理を戻す。
【００４８】
ステップＳ１６０２において、顔検出部１０２は、顔を含む画像データをメモリ上に確保する。以下、ステップＳ１６０３からステップＳ１６０７までの処理は、図２のステップＳ２０２からステップＳ２０６までの処理と同様である。
また、ステップＳ１６０８及びステップＳ１６０９の処理は、図７のステップＳ７０１及びステップＳ７０２と同様の処理と同様である。
【００４９】
ステップＳ１６０９までの処理で生成された高次特徴ベクトルは、ステップＳ１６１０において、例えば制御部１０１等によって、メモリ等の記憶部に記録される。
高次特徴ベクトルの記録後、物体認識装置は、別の画像（画像ファイル）の取得を行い、ステップＳ１６０１を実行する。このとき、ステップＳ１６０１において、例えば制御部１０１等は、処理中の人物の画像がない場合、別の人物の画像をサーチするよう処理を行う。
【００５０】
次に、図２のステップＳ２０８の累積信頼度算出処理について説明する。累積信頼度算出処理では、累積信頼度算出部１０６は、後述する信頼度を、時系列画像に対して累積的に算出する。なお、本実施形態では、累積信頼度算出部１０６は、ステップＳ７０３の照合処理で用いたＳＶＭの出力値を基に信頼度の算出を行うものとする。信頼度算出の詳細を以下に示す。
【００５１】
累積信頼度算出部１０６は、ＳＶＭの多数決処理により決定された最終判定結果の賛成票数が所定閾値を超えた場合、信頼度が高い判別結果であるとし、インクリメントすることで信頼度を求める。この所定閾値は、例えば判別クラス数（入力を５つのクラスに分類したい場合、判別クラス数は５となる）の過半数以上に設定されているものとする。また、賛成票数とは、複数の分類器の結果が最終判定結果と同じになった分類器の数のことを指すものとする。より具体的に、信頼度を算出する処理を、図１７のフローチャートを用いて説明する。
【００５２】
図１７は、信頼度を算出する処理の一例を示すフローチャートである。なお、図１７に示されるフローチャートは、ステップＳ２０７の被写体照合の処理対象となった顔の個数分実行される。
ステップＳ１７０１において、累積信頼度算出部１０６は、個々の顔に割り当てられた要素番号を示す変数ｆａｃｅにゼロを代入し、初期化する。
【００５３】
ステップＳ１７０２において、累積信頼度算出部１０６は、顔個数分処理を実行したか否かの確認を行う。ここで、定数ｆａｃｅＮｕｍは処理対象である顔の総数を示している。図１８は、顔に要素番号を指定する様子を示す図である。図１８（ａ）の画像データ１８００は、取得された入力画像の顔に対して、要素番号を割り当てる様子を示している。累積信頼度算出部１０６は、累積信頼度を算出する間、同じ顔に対して同じ番号（要素番号）を割り当てる。つまり、画像データ１８００が画像データ１８０１に時系列的に変化したとき、画像データ１８０１において、各顔は点線の顔から実線の顔へと移動したとする。このとき実線の顔は、点線の顔即ち過去の顔と同じ要素番号を割り当てられる。よって、前述の動作を行うためには、顔を画面内でトラッキングする技術が必要である。トラッキングは、公知の技術を用いて行う。本実施形態は、累積信頼度算出部１０６は、オプティカルフローから算出される移動ベクトルを求め、移動ベクトルより顔のトラッキングを行うものとする。
【００５４】
累積信頼度算出部１０６は、顔の個数分だけ処理を実行したと判定すると、図１７に示す処理を終了し、顔の個数分の処理を実行していないと判定すると、ステップＳ１７０３に進む。
ステップＳ１７０３において、累積信頼度算出部１０６は、変数ｖｏｔｅＣｏｕｎｔにゼロを代入し、初期化する。
次に、ステップＳ１７０４について説明する。例えば判別クラス数が、５クラスである（Ａ、Ｂ、Ｃ、Ｄ、Ｅの５パターンとし、それぞれをｌａｂｅｌ＝１、ｌａｂｅｌ＝２、ｌａｂｅｌ＝３、ｌａｂｅｌ＝４、ｌａｂｅｌ＝５とラベリングする）とする。このとき１０個の２クラス分類器が存在する。その様子を示したのが図１９である。図１９は、２クラス分類器の判定結果を示す図である。図１９中において、入力データがＡであるのか、Ｂであるのかを分類するＡｏｒＢ分類器は、比較対象クラスの欄からＡとＢとがクロスする部分のことである。また、分類器の結果は、図１９中の斜体文字が示している。即ち、図１９中では、ＡｏｒＢ分類器の分類結果がＡである。また、最終判定結果は、多数決処理によりＡと判定される。図１９の各分類器の分類結果より、最終判定結果の賛成票数は、４となる。最後に、ステップＳ１７０４において、累積信頼度算出部１０６は、最終判定結果の賛成票数を格納する変数ｖｏｔｅＣｏｕｎｔに、取得した賛成票数を代入する。
【００５５】
次に、ステップＳ１７０５について説明する。ステップＳ１７０５において、累積信頼度算出部１０６は、取得した変数ｖｏｔｅＣｏｕｎｔと所定閾値との比較を行う。本実施形態では、所定閾値は前述のように判定クラス数の過半数よりも大きい値にするものとする。但し、所定閾値は、統計的手法、又はヒューリスティックによって求めた値を用いてもよい。ここで、所定閾値は、ステップＳ１７０５において、Ｔｈconfで表されている。変数ｖｏｔｅＣｏｕｎｔがＴｈconfよりも大きい場合、累積信頼度算出部１０６は、ステップＳ１７０６において、最終判定結果が信頼できるものとして、最終判定結果のラベルの信頼度変数を１インクリメントする。ここで、信頼度変数は、フローチャートの変数ｃｏｎｆｉｄｅｎｃｅである。また、変数ｃｏｎｆｉｄｅｎｃｅは、顔番号とラベルとの２次元配列で表される。
【００５６】
変数ｖｏｔｅＣｏｕｎｔがＴｈconfよりも大きくない場合、累積信頼度算出部１０６は、ステップＳ１７０７において、変数ｆａｃｅの値を１インクリメントし、ステップＳ１７０２の処理に戻る。
【００５７】
次に、図２のステップＳ２０９の出力判定処理について説明する。ステップＳ２０９において、出力判定部１０７は、前述の累積信頼度と所定閾値との比較を行う。より具体的に説明すると、出力判定部１０７は、各検出顔の各ｌａｂｅｌに対して次式を評価することで出力判定を実行する。
【数１】
0005153434.tif 000002
【００５８】
ここで、
0005153434.tif 000003
は、あるラベルのある時刻ｔの入力画像までの累積信頼度を表し、Ｔｈｏｕｔｐｕｔは、所定の出力判定閾値を表し、ｎは判別クラス数を表す。数式（１）の比較処理は、ステップＳ２０７で処理対象、かつ、トラッキング可能である顔、全てに対して行われる。所定閾値は、統計的手法やヒューリスティックに求めることで獲得される。出力判定部１０７は、数式（１）が真であった場合、ステップＳ２１０へと進む。また、出力判定部１０７は、数式（１）が偽であった場合、ステップＳ２０１へと進む。このとき、複数の顔が写っている１つの画像データにおいて、ステップＳ２１０の評価が、ＯＫとＮＧとを共に含んでいた場合、以後、ＮＧ顔のみが図２のフローチャートの処理対象となる。ＯＫ顔は、照合処理等を行わずトラッキングで画面内追尾される。
【００５９】
次に、図２のステップＳ２１０について説明する。ステップＳ２１０において、表示部１０９（又は制御部１０１）は、前述の累積信頼度が所定閾値を超えた対象顔に対し、照合結果を出力する。より具体的に説明すると、ステップＳ２１０において、表示部１０９は、対象顔近辺に所定閾値を超えたラベルに対応する登録名を出力する処理を実行する。
【００６０】
以上、第１の実施形態では、累積的な信頼度を、複数の分類器の結果から得られる賛成票数を基に算出することで、確信度の高い顔認識を実現することができる。よって、姿勢等の制約が存在しないシチュエーションの顔認識処理においても、誤認識を低減した顔認識システムを提供することができる。
【００６１】
＜第２の実施形態＞
以下、第２の実施形態について説明する。基本的な構成は、第１の実施形態を踏襲する。第１の実施形態と異なる点を以下に述べる。第２の実施形態では、顔の状態、例えば表情、姿勢又は照明といった変動を推定し、推定結果を基に被写体照合を行う。更に、第２の実施形態では、推定結果を活用して累積信頼度の算出を行うことをポイントとする。第２の実施形態では、推定する物体の状態を表情に限定し、以下、より具体的な説明を、図２０を用いて行う。
【００６２】
図２０は、第２の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
ステップＳ２０００、ステップＳ２００１、ステップＳ２００２、ステップＳ２００３、ステップＳ２００４、ステップＳ２００５及びステップＳ２００９の各ステップは、第１の実施形態で示した図２の対応するステップと同様である。よって、これらのステップ群の説明は割愛する。
【００６３】
まず、ステップＳ２００６の処理について説明する。表情の代表例を図２１に示す。図２１は、表情の代表例の一例を示す図である。表情判定する顔は、辞書データに存在しない表情をした顔とする。例えば、辞書画像を生成する登録者の表情が、図２１（ａ）の中立顔であった場合、口を開けている状態、又は目を閉じている状態の顔が表情判定の対象顔となる。本実施形態では、辞書データの登録者の顔が、表情のない図２１（ａ）の中立顔のみ、又は図２１（ａ）の中立顔が大多数である場合に関してより具体的に説明する。
【００６４】
図２１（ａ）の中立顔は、人間が標準的にとる表情であり、目が開いている状態、かつ、口は閉じられている顔である。一方、図２１（ａ）の中立顔以外の顔（図２１（ｂ）〜図２１（ｊ））は、中立顔の目或いは口の特徴が、大小の形状変化を示したものである。より具体的に説明すると、図２１（ｂ）の口開き顔及び図２１（ｃ）の口半開き顔は、図２１（ａ）の中立顔に対して口形状が変化している場合に相当する。この変化は、画像中の人物が言葉を発している自然状態や、意図して口を大きく開けている状態の場合に生じる。
【００６５】
また、図２１（ｄ）の両目閉じ顔、図２１（ｅ）の両目半閉じ顔、図２１（ｆ）の片目閉じ顔、又は図２１（ｇ）の片目半閉じ顔は、目形状が変化している場合に相当する。図２１（ｄ）及び図２１（ｅ）の顔は、人間が自然に行う目つむり動作を行った結果、表情として表れるものである。また、図２１（ｆ）及び図２１（ｇ）の顔は、ウインク等の人物の意図的な動作を行った結果、表情として表れるものである。更に、図２１（ｈ）両目閉じ＋口開き顔、図２１（ｉ）片目閉じ＋口開き顔、又は図２１（ｊ）片目半閉じ＋片目閉じ顔は、目と口との各形状変化が組み合わさった顔の代表例である。次に、これら表情の判定方法について記す。
【００６６】
本実施形態で行う表情判定は、公知の技術を利用することで実現される。より具体的に説明すると、図２２に示すように、物体認識装置（例えば特徴抽出部１０３等）は、目、鼻、口、眉毛又は顎の輪郭周りに特徴点を検出し、特徴点の配置状態又は特徴点の動的変化により表情を検出する。図２２は、特徴点の抽出の一例を示す図である。ここで、輪郭特徴点は、図２２中の黒丸２２０１が一例であり、唇周りに関して、顔表面と接する部分だけでなく口腔に接する部分からも抽出される。各特徴の輪郭特徴点の抽出する方法は、例えばエッジ抽出により各特徴の輪郭を抽出することで検出する技術を利用する。本実施形態では、特徴抽出部１０３は、ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ）を利用する。ＡＡＭは、特徴点の相対関係と各特徴点の輝度値を評価値として持つモデルを、顔に対してフィッティングさせることで、図２２に示すような特徴点を抽出することができる。
【００６７】
以上の輪郭特徴点抽出に関する公知技術の何れかの処理は、前述したステップＳ２００４の目、口及び鼻特徴点抽出処理と同時、又は段階的に行われる。次に、表情の判定方法をより具体的に説明する。
【００６８】
表情の判定は、輪郭特徴点の配置関係を表情毎に学習した判別器（以下、表情判別器と呼ぶ）により行われる。表情判別器が学習する際に用いるパラメータは、特徴点同士を結ぶことでできるメッシュの距離、又は角度である。図２３は、メッシュとパラメータとを説明するための図である。メッシュは、顔に設定するメッシュを示す。図２３の（ａ）に示すように、顔の表情がでる目の周り、又は口の周りに設定される。また、パラメータは、図２３の（ｂ）に示すように、単位メッシュの各辺の距離ａ、ｂ、ｃ及び角度θ、φ、ψである。但し、距離パラメータに関しては、個人差を取り除くために、両目の距離等で正規化する必要がある。表情判別器２４００は、図２４に示すように各表情を識別する複数の分類器と、各表情分類器の出力を統合する出力統合器２４０１と、により構成される。図２４は、表情判定器の一例を示す図である。各表情分類器２４０２、２４０３及び２４０４は、表情ごとに前述のパラメータを全てのメッシュに対して算出し、学習することにより構築される。また、出力統合器２４０１は、各表情分類器の出力を比較し、最終的な表情を判定する。各表情分類器の学習は、本実施形態では公知技術であるニューラルネットワークを用いて行われるものとする。
【００６９】
表情判定が終了すると、次にステップＳ２００７に移行する。ステップＳ２００７において、物体認識装置（又は特徴抽出部１０３）は、ステップＳ２００６の結果を受けて、局所的領域及び大局的領域の取捨選択を行う。
【００７０】
領域選択ステップＳ２００７の説明を行う。表情判定ステップＳ２００６の表情判定が、例えば図２１に示す口開き顔２１０１であるとすると、口特徴の形状が変化していることになる。よって、図８に示す口に設定する局所的領域８０１内の情報は、中立的な口の形状との類似性が得られない可能性がある。よって、物体認識装置は、口に設定される局所的領域を、特徴抽出領域から除外する。また、ステップＳ２００６の表情判定で、両目閉じ＋口開き顔２１０７と判定された場合、前述と同様の理由で、目（両目）に設定する局所的領域及び口に設定する局所的領域を、物体認識装置は、特徴抽出領域から除外する。このとき、大局的領域に関しては、物体認識装置は、表情が表れたことにより特徴の配置関係が崩れることがないので、領域の取捨選択は行わない。以上のように、ステップＳ２００７では、物体認識装置は、ステップＳ２００６の結果を受けて、特徴抽出領域の適応的な取捨選択を行う。
【００７１】
次に、ステップＳ２００８において、物体認識装置（又は顔照合部１０４）は、選択した領域に適した辞書データを、辞書データＤＢ部１０５より選択する。より具体的に説明すると、ステップＳ２００８において、物体認識装置は、ステップＳ２００７で選択された領域により構築された辞書データを検索する処理を行う。よって、辞書データは、複数の局所的領域と大局的領域との組み合わせで、予め構築しておく必要がある。辞書データ群の構築については、後述する。
【００７２】
次に、ステップＳ２０１０において、顔照合部１０４は、抽出した辞書データと入力データとの照合を行う。照合方法は、第１の実施形態と同様で、図７に示された手順で処理される。但し、第１の実施形態と異なる点は、顔照合部１０４は、ステップＳ２００７の領域選択処理で選択された領域よりベクトルを生成し、照合する点である。
【００７３】
次に、第２の実施形態における辞書データの生成の流れを、図２５のフローチャートを用いて説明する。図２５は、第２の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。図２５のフローチャートを実行するにあたり、物体認識装置は、予め各登録者と非登録者の静止画又は動画を、フォルダ単位で振り分けておく。また、登録者の表情は、殆ど表情のない顔であるとする。
【００７４】
ステップＳ２５００において、例えば制御部１０１等は、学習者の有無を判定する。例えば制御部１０１等は、学習者が存在する場合、ステップＳ２５０１に処理を進め、学習者が存在しない場合、ステップＳ２５１１に処理を進める。
ステップＳ２５１１において、例えば顔照合部１０４等は、ｌｉｓｖｍを用いた学習処理を実行する。一方、ステップＳ２５０１において、例えば制御部１０１等は、予め定められた領域等に学習者の画像が存在するか否かの判定を行う。例えば制御部１０１等は、学習者の画像が存在する場合、ステップＳ２５０２に処理を進め、学習者の画像が存在しない場合、ステップＳ２５００に処理を戻す。
【００７５】
ステップＳ２５０２において、顔検出部１０２は、顔を含む画像データをメモリ上に確保する。以下、ステップＳ２５０３からステップＳ２５０７までの処理は、図２のステップＳ２０２からステップＳ２０６までの処理と同様である。
まず、ステップＳ２５０８の処理を説明する。
ここで、例えば、顔照合部１０４は、図８に示した、目、口及び鼻特徴に設定する局所的領域として、取捨選択した複数の領域パターンを設定する。図２６は、領域パターンの一例を示す図である。図２６（ａ）の領域パターンは、左目と口とに表情が検出され、左目と口とに設定されている局所的領域が除外されている状態に相当する。図２６（ａ）の領域パターン以外のパターンについて図２６を用いて説明する。
【００７６】
領域パターン２６０１は、口のみに形状変化がある場合のパターン
領域パターン２６０２は、右目（又は左目）のみに形状変化がある場合のパターン
領域パターン２６０３は、両目に形状変化がある場合のパターン
領域パターン２６０４は、両目及び口に形状変化がある場合のパターン
領域パターン２６０５は、鼻に形状変化がある場合のパターン
領域パターン２６０６は、口を両側に広げた場合のパターン
領域パターン２６０７は、形状変化がない場合の標準のパターン
大局的領域に関しては、どのパターンでも両目間及び目−口間の大局的領域を共に用いている。その理由は、表情により目といった特徴の形状は変化するが、目、口及び鼻の配置情報は、図４のような特徴点をベースに設定する大局的領域を用いる限り、表情によるズレは生じない。よって、大局的領域により抽出する位置情報は、表情が存在した場合でも個人差を示しているので、表情変動があった場合において有効な特徴である。
【００７７】
ステップＳ２５０８において、顔照合部１０４は、前述の複数の領域パターンを入力顔に対して設定する。
次に、領域パターン別の辞書ベクトルを生成するステップＳ２５０９について説明する。例えば顔照合部１０４は、ステップＳ２５０８で設定された領域パターン群を、図１１、図１２及び図１３に示した検出出力分布に対して設定し、高次特徴ベクトルを生成する処理を行う。生成した高次特徴ベクトルは、ステップＳ２５１０で例えば制御部１０１等によって、メモリ等の記憶部に記録される。記録後、例えば制御部１０１等は、別の画像ファイルを読み込むため、画像データの検索を行う。このとき、例えば制御部１０１等は、処理中の人物画像データがない場合、別の人物の画像をサーチする処理を行う。
【００７８】
次に、図２０のステップＳ２０１１の処理について説明する。第２の実施形態では、累積信頼度算出部１０６は、ステップＳ２００７で取捨選択された領域数を基に、信頼度を算出する。より具体的な信頼度の算出方法を以下に示す。
本実施形態の物体認識装置は、確信度を、図２７に示すルックアップテーブルとして用意しているものとする。図２７は、確信度のルックアップテーブルの一例を示す図である。図２７のルックアップテーブル２７００は、１列目及び３列目が有効領域数Ｎ、２列目及び４列目が信頼度を示している。有効領域数とは、ステップＳ２００６の結果を受けて、ステップＳ２００７で取捨選択された結果、決定された特徴を抽出するための領域数のことである。また、確信度は、前述の領域数が増加すれば、情報量が増え、照合精度が向上する考えのもと、領域数に対して単純増加する形式で設定されている。更に、ここで求めた確信度は、公知の学習アルゴリズム、例えば部分空間法により学習された、例えばＡｏｒ！Ａの分類を行う識別器の出力値に積算される。累積信頼度算出部１０６は、前述の積算値を所定時間で算出した値を累積信頼度とする。
【００７９】
以上、第２の実施形態によれば、表情変動があった場合においても信頼できるパラメータを算出することが可能となり、表情変動をあった場合（若しくは、姿勢変動等）の顔認識システムの誤認識を低減することが可能となる。
【００８０】
＜第３の実施形態＞
第３の実施形態について説明する。第３の実施形態は、入力顔に表情等の変動が存在しない場合の処理を含んだ実施形態である。変動がない場合、類似度は、辞書データの画像群の顔の状態と、入力顔の状態と、がほぼ等しいと考えられるので高くなる。よって、入力顔が変動の存在しない状態であると判断された場合は、所定領域の取捨選択処理を実行しない。より具体的に説明するため、第３の実施形態のフローチャートを、図２８に示す。
【００８１】
図２８は、第３の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
図２８のフローチャートは、図２０のフローチャートに対し、上位候補者情報の初期化を行うステップＳ２８００を追加されている点と、表情判定を行うステップＳ２００６の処理が表情判定の分岐を行うステップＳ２８０７に変更されている点と、が異なる。また、図２８のフローチャートでは、ステップＳ２８０７で、表情有りと判定された場合の一連の処理も追加されている。追加、又は変更された、それぞれの処理ステップに関する説明を、以下に記す。
【００８２】
ステップＳ２８００において、例えば制御部１０１は、後述する上位候補者情報の初期化を行う。次に、ステップＳ２８０７において、表情判別器は、第２の実施形態の処理フローにあるステップＳ２００６の処理に対し、分岐処理機能を追加しただけの処理を行う。
【００８３】
次に、ステップＳ２８１５において、例えば累積信頼度算出部１０６は、時系列画像を処理する間のステップＳ２８１３の上位候補者情報を抽出する。より具体的に説明すると、上位候補者情報とは、ある入力顔の照合結果の累積信頼度により順序付けられる候補者リストの上位所定人数の候補者名である。候補者リストは、図２９（ｂ）に示す候補者リスト２９０１のように作成される。ここで、図２９は、候補者リスト等の一例を示す図である。候補者リスト２９０１は、ある時刻の画像データ２９００の顔番号０のリストを示している。候補者リスト２９０１は、リストの３列目の信頼度で順位付けられており、それぞれのＩＤラベルを対応付ける表である。ここで、ＬＡＢＥＬ＿ＡとＬＡＢＥＬ＿Ｃとは、登録者Ａさん、Ｂさん、Ｃさん・・・の辞書データの登録者Ａと登録者Ｃとのことを示している。また、ＲＥＪＥＣＴは、登録者以外の非登録者であることを示している。
【００８４】
ステップＳ２８１６において、例えば累積信頼度算出部１０６は、候補者リスト２９０１の上位の例えば３名のＩＤラベルを取得する。又は、ステップＳ２８１６において、例えば累積信頼度算出部１０６は、信頼度の差を上位から順にとり、前述の差が所定閾値以上のＩＤラベルを取得するようにしてもよい。より具体的に説明すると、４位と５位の信頼度差が、閾値を超えた場合、例えば累積信頼度算出部１０６は、上位４名のＩＤラベルを取得する。
【００８５】
次に、ステップＳ２８１７において、例えば累積信頼度算出部１０６は、ステップＳ２８１６で抽出された複数の候補者の辞書データを、辞書データＤＢ部１０５より取得する。本実施形態において、辞書データは、ＳＶＭを用いて構築される、登録者Ａと登録者Ａ以外、即ちＡ  ｏｒ  ！Ａ分類器である。また、本実施形態では、ｒｅｊｅｃｔ  ｏｒ  ！ｒｅｊｅｃｔ分類器のように、登録者であるか、又は非登録者であるのかという分類器も辞書データとして用意する。
【００８６】
次に、ステップＳ２８１９において、例えば累積信頼度算出部１０６は、ステップＳ２８１７で取得された候補者のみの辞書データを用いて、照合処理を行う。より具体的に説明すると、例えば累積信頼度算出部１０６は、上位候補者がＡ、Ｃ又はｒｅｊｅｃｔであった場合、入力データを、Ａ  ｏｒ  ！Ａ、Ｃ  ｏｒ  ！Ｃ、ｒｅｊｅｃｔ  ｏｒ  ！ｒｅｊｅｃｔ分類器に入力する。ＳＶＭによって構築される分類器は、バイナリの結果出力を行う。よって、例えば入力顔がＡであった場合、Ａ  ｏｒ  ！Ａ分類器に出力が表れる。
【００８７】
以上、第３の実施形態によれば、累積信頼度によって決定される上位候補者情報利用するという形態をとることで、オープンな顔認識システムにおける大規模辞書データより高速な照合処理を提供することができる。
【００８８】
＜その他の実施形態＞
以上、前述した実施形態では、情報処理装置（物体認識装置）の各機能をハードウェアとして実装した場合の一例を例に説明を行ったが、前述した機能の一部をソフトウェアとして実装してもよい。より具体的に説明すると、例えば、前述した制御部１０１、顔検出部１０２、特徴抽出部１０３、顔照合部１０４、累積信頼度算出部１０６、出力判定部１０７等は、ソフトウェアとして情報処理装置に実装してもよい。つまり、これらの機能に係るプログラムを情報処理装置のＣＰＵがメモリ等から読み出し、実行することによって、前記機能を実現するようにしてもよい。
【００８９】
以上、上述した各実施形態によれば、変動が存在する画像が入力された場合であっても、精度のよい、安定した物体認識を実現することができる。
【００９０】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００９１】
【図１】情報処理装置（コンピュータ）の一例である物体認識装置のハードウェア構成の一例を示す図である。
【図２】第１の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
【図３】ニューラルネットワークを用いた顔検出部１０２における顔検出処理の一例を説明するための図である。
【図４】顔検出処理で検出される特徴を説明するための図である。
【図５】特徴抽出部１０３が抽出した特徴点の一例を示す図である。
【図６】サイズ正規化及び回転変動を説明するための図である。
【図７】照合処理の一例を示すフローチャートである。
【図８】顔照合部１０４が設定する局所的領域の一例を示す図（その１）である。
【図９】顔照合部１０４が設定する局所的領域の一例を示す図（その２）である。
【図１０】顔照合部１０４が設定する大局的領域の一例を示す図（その１）である。
【図１１】顔照合部１０４が設定する大局的領域の一例を示す図（その２）である。
【図１２】エッジ抽出ライクな検出出力分布の一例を示す図である。
【図１３】両目間の大局的領域の設定の一例を示す図である。
【図１４】目−口間の大局的領域の設定の一例を示す図である。
【図１５】高次元特徴ベクトルの定義を示す図である。
【図１６】辞書データ生成処理の一例を示すフローチャートである。
【図１７】信頼度を算出する処理の一例を示すフローチャートである。
【図１８】顔に要素番号を指定する様子を示す図である。
【図１９】２クラス分類器の判定結果を示す図である。
【図２０】第２の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
【図２１】表情の代表例の一例を示す図である。
【図２２】特徴点の抽出の一例を示す図である。
【図２３】メッシュとパラメータとを説明するための図である。
【図２４】表情判定器の一例を示す図である。
【図２５】第２の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
【図２６】領域パターンの一例を示す図である。
【図２７】確信度のルックアップテーブルの一例を示す図である。
【図２８】第３の実施形態における物体認識装置の全体処理の一例を示すフローチャートである。
【図２９】候補者リスト等の一例を示す図である。
【符号の説明】
【００９２】
１００  撮像部
１０１  制御部
１０２  顔検出部
１０３  特徴抽出部
１０４  顔照合部
１０５  辞書データＤＢ
１０６  累積信頼度算出部
１０７  出力判定部
１０８  記憶部
１０９  表示部
【図１】
0005153434.tif 000004
【図２】
0005153434.tif 000005
【図３】
0005153434.tif 000006
【図４】
0005153434.tif 000007
【図５】
0005153434.tif 000008
【図６】
0005153434.tif 000009
【図７】
0005153434.tif 000010
【図８】
0005153434.tif 000011
【図９】
0005153434.tif 000012
【図１０】
0005153434.tif 000013
【図１１】
0005153434.tif 000014
【図１２】
0005153434.tif 000015
【図１３】
0005153434.tif 000016
【図１４】
0005153434.tif 000017
【図１５】
0005153434.tif 000018
【図１６】
0005153434.tif 000019
【図１７】
0005153434.tif 000020
【図１８】
0005153434.tif 000021
【図１９】
0005153434.tif 000022
【図２０】
0005153434.tif 000023
【図２１】
0005153434.tif 000024
【図２２】
0005153434.tif 000025
【図２３】
0005153434.tif 000026
【図２４】
0005153434.tif 000027
【図２５】
0005153434.tif 000028
【図２６】
0005153434.tif 000029
【図２７】
0005153434.tif 000030
【図２８】
0005153434.tif 000031
【図２９】
0005153434.tif 000032