(57)【要約】【課題】  特徴点の位置決めを高速に行なう場合であっても、精度の低下を抑えられるようにした技術を提供する。【解決手段】  画像データ内の所定パターンに対する複数の特徴点の位置決めを行なう特徴点位置決め装置は、第１の候補決定処理を実施し、特徴点の位置の候補を決定する第１の候補決定手段と、第１の候補決定処理よりも処理速度の速い第２の候補決定処理を実施し、特徴点の位置の候補を決定する第２の候補決定手段と、動作モードに応じて第１の候補決定処理と、第２の候補決定処理とを特徴点毎に切り替えて実行する制御手段と、制御手段による処理の実行により得られた複数の特徴点の位置の候補を、当該複数の特徴点の配置関係に基づいて補正する補正手段とを具備する。ここで、制御手段は、動作モードが通常モード時よりも高速に動作を行なう高速モードである場合、通常モード時よりも第２の候補決定処理を多くの特徴点に対して実行する。【選択図】  図３
2011086266.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内の所定パターンに対する複数の特徴点の位置決めを行なう特徴点位置決め装置であって、
第１の候補決定処理を実施し、前記特徴点の位置の候補を決定する第１の候補決定手段と、
前記第１の候補決定処理よりも処理速度の速い第２の候補決定処理を実施し、前記特徴点の位置の候補を決定する第２の候補決定手段と、
動作モードに応じて前記第１の候補決定手段による第１の候補決定処理と、前記第２の候補決定手段による第２の候補決定処理とを前記特徴点毎に切り替えて実行する制御手段と、
前記制御手段による前記処理の実行により得られた複数の特徴点の位置の候補を、該複数の特徴点の配置関係に基づいて補正する補正手段と
を具備し、
前記制御手段は、
前記動作モードが通常モード時よりも高速に動作を行なう高速モードである場合、通常モード時よりも前記第２の候補決定処理を多くの特徴点に対して実行する
ことを特徴とする特徴点位置決め装置。
【請求項２】
前記第２の候補決定処理は、
前記第１の候補決定処理よりも演算量が少ない
ことを特徴とする請求項１記載の特徴点位置決め装置。
【請求項３】
前記第１の候補決定処理及び前記第２の候補決定処理では、
前記画像データ内における所定の範囲を探索して前記特徴点の位置の候補が決められ、前記第１の候補決定処理により行なわれる前記探索の範囲よりも、前記第２の候補決定処理により行なわれる前記探索の範囲の方が狭い
ことを特徴とする請求項１又は２記載の特徴点位置決め装置。
【請求項４】
前記補正手段は
前記複数の特徴点の位置の候補の座標データを連結したベクトルデータを生成する生成手段と、
前記生成手段により生成されたベクトルデータから予め求められた平均ベクトルを減ずる減算手段と、
前記減算手段により減算されたベクトルデータを、予め求められた固有ベクトルを用いて該固有ベクトルと同じ次元の部分空間に射影する射影手段と、
前記射影手段により射影されたベクトルデータを前記固有ベクトルを用いて逆射影する逆射影手段と、
前記逆射影手段により逆射影されたベクトルデータに前記平均ベクトルを加算し、その結果を補正後の前記特徴点の位置として出力する加算手段と
を具備することを特徴とする請求項１から３いずれか１項に記載の特徴点位置決め装置。
【請求項５】
前記平均ベクトル及び前記固有ベクトルは、
前記動作モードに応じて必要となる全ての特徴点の位置座標データを用いた学習により生成される
ことを特徴とする請求項４記載の特徴点位置決め装置。
【請求項６】
前記第２の候補決定手段は、
前記平均ベクトルに対応する要素を前記特徴点の位置の候補に決定する
ことを特徴とする請求項４又は５記載の特徴点位置決め装置。
【請求項７】
前記制御手段は、
前記画像データ内における前記所定パターンの状態を判定する状態判定手段
を更に有し、
前記状態判定手段による判定の結果と前記動作モードとに応じて、前記第１の候補決定手段による第１の候補決定処理と、前記第２の候補決定手段による第２の候補決定処理とを前記特徴点毎に切り替えて実行する
ことを特徴とする請求項１から６いずれか１項に記載の特徴点位置決め装置。
【請求項８】
請求項１から７いずれか１項に記載の特徴点位置決め装置により決められた前記複数の特徴点の位置に基づいて、前記画像データ内における前記所定パターンの認識を行なう画像認識装置。
【請求項９】
画像データ内の所定パターンに対する複数の特徴点の位置決めを行なう特徴点位置決め装置の処理方法であって、
第１の候補決定手段が、第１の候補決定処理を実施し、前記特徴点の位置の候補を決定する工程と、
第２の候補決定手段が、前記第１の候補決定処理よりも処理速度の速い第２の候補決定処理を実施し、前記特徴点の位置の候補を決定する工程と、
制御手段が、動作モードに応じて前記第１の候補決定手段による第１の候補決定処理と、前記第２の候補決定手段による第２の候補決定処理とを前記特徴点毎に切り替えて実行するとともに、前記動作モードが通常モード時よりも高速に動作を行なう高速モードである場合、通常モード時よりも前記第２の候補決定処理を多くの特徴点に対して実行する工程と、
補正手段が、前記制御手段による前記処理の実行により得られた複数の特徴点の位置の候補を、該複数の特徴点の配置関係に基づいて補正する工程と
を含むことを特徴とする特徴点位置決め装置の処理方法。
【請求項１０】
画像データ内の所定パターンに対する複数の特徴点の位置決めを行なう特徴点位置決め装置に内蔵されたコンピュータを、
第１の候補決定処理を実施し、前記特徴点の位置の候補を決定する第１の候補決定手段、
前記第１の候補決定処理よりも処理速度の速い第２の候補決定処理を実施し、前記特徴点の位置の候補を決定する第２の候補決定手段、
動作モードに応じて前記第１の候補決定手段による第１の候補決定処理と、前記第２の候補決定手段による第２の候補決定処理とを前記特徴点毎に切り替えて実行するとともに、前記動作モードが通常モード時よりも高速に動作を行なう高速モードである場合、通常モード時よりも前記第２の候補決定処理を多くの特徴点に対して実行する制御手段、
前記制御手段による前記処理の実行により得られた複数の特徴点の位置の候補を、該複数の特徴点の配置関係に基づいて補正する補正手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴点位置決め装置、画像認識装置、その処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像データから所定パターン（例えば、顔認識）を認識する技術が知られている。このような認識処理においては、顔器官或いはそれに準ずる特徴的な部位（以下、特徴点とする）の位置決定が重要なタスクとなっており、認識性能を律する事が多い。
【０００３】
また、高精度な特徴点の位置決定は、高い処理負荷を要し、認識処理全体の時間を律速する場合もある。特許文献１では、動画データから個人を認識する場合に、前フレームの認識結果を利用して、処理対象フレームから抽出する特徴点の数を削減する手法が開示されている。すなわち、対象とする人物が一度認識された場合（追尾状態）、次フレームで抽出する特徴点の数を削減することで高速化を図っている。一方、非特許文献１では、複数の顔器官特徴位置を幾何学的な拘束にしたがって決定する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−７５９９９号公報
【非特許文献】
【０００５】
【非特許文献１】Ｂｅｕｍｅｒ，  Ｇ．Ｍ．；  Ｔａｏ，  Ｑ．；  Ｂａｚｅｎ，  Ａ．Ｍ．；  Ｖｅｌｄｈｕｉｓ，  Ｒ．Ｎ．Ｊ．“Ａ  ｌａｎｄｍａｒｋ  ｐａｐｅｒ  ｉｎ  ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ”Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００６．  ＦＧＲ  ２００６．  ７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ．  ７３−７８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている手法は、特徴点の数を削減するため、認識性能の低下が激しい。また、特徴点の削減に伴い、その特徴点を利用して行なわれる認識処理において負荷がかかってしまう。例えば、認識処理においては、認識処理の方式やパラメータ（認識に用いる各種処理パラメータや登録データ等）を複数設け、その中からいずれかを選択する必要がある。そのため、パラメータの入れ替えや選択により、処理時間や処理に必要なメモリリソースが増加してしまう。
【０００７】
また、非特許文献１に開示されている手法では、部分空間を利用して特徴点の位置を補正しているが、対象となる特徴点の数が変われば、特徴点の数毎に部分空間を用意しなければならない。
【０００８】
そこで、本発明は、上記課題に鑑みてなされたものであり、特徴点の位置決めを高速に行なう場合であっても、精度の低下を抑えられるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様は、画像データ内の所定パターンに対する複数の特徴点の位置決めを行なう特徴点位置決め装置であって、第１の候補決定処理を実施し、前記特徴点の位置の候補を決定する第１の候補決定手段と、前記第１の候補決定処理よりも処理速度の速い第２の候補決定処理を実施し、前記特徴点の位置の候補を決定する第２の候補決定手段と、動作モードに応じて前記第１の候補決定手段による第１の候補決定処理と、前記第２の候補決定手段による第２の候補決定処理とを前記特徴点毎に切り替えて実行する制御手段と、前記制御手段による前記処理の実行により得られた複数の特徴点の位置の候補を、該複数の特徴点の配置関係に基づいて補正する補正手段とを具備し、前記制御手段は、前記動作モードが通常モード時よりも高速に動作を行なう高速モードである場合、通常モード時よりも前記第２の候補決定処理を多くの特徴点に対して実行することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、特徴点の位置決めを高速に行なう場合であっても、精度の低下を抑えられる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係わる画像認識装置の構成の一例を示す図。
【図２】顔画像を切り出す処理の一例を示す図。
【図３】図１に示すＣＰＵ１７により実現される機能的な構成の一例を示す図。
【図４】特徴点の補正処理の一例を示す図。
【図５】図１及び図２に示す画像認識装置１０の動作の一例を示すフローチャート。
【図６】特徴点の一例を示す図。
【図７】動作情報テーブルの一例を示す図。
【図８】図５のＳ１０８に示す第１の候補決定処理の概要を示す図。
【図９】図５のＳ１１２に示す補正処理の概要を示す図。
【図１０】実施形態２に係わる特徴点の一例を示す図。
【図１１】実施形態２に係わる動作情報テーブルの一例を示す図。
【図１２】実施形態３に係わる特徴点の一例を示す図。
【図１３】実施形態３に係わる動作情報テーブルの一例を示す図。
【図１４】実施形態３に係わる画像認識装置１０の動作の一例を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。
【００１３】
（実施形態１）
図１は、本発明の一実施の形態に係わる特徴点位置決め装置を適用した画像認識装置１０の構成の一例を示す図である。
【００１４】
画像認識装置１０には、１又は複数のコンピュータが内蔵される。ここで、画像認識装置１０は、画像データ内から所定パターン（本実施形態においては、顔画像データ）を抽出する。そして、当該抽出した顔画像データから複数の特徴点の位置を決定し、当該決定した特徴点の位置に基づいて顔認識を行なう。
【００１５】
ここで、画像認識装置１０は、画像入力部１１と、前処理部１２と、切出処理部１３と、ブリッジ１４と、ＤＭＡコントローラ１５と、ＣＰＵ１７と、ＲＯＭ１８と、ＲＡＭ１９とを具備して構成される。
【００１６】
画像入力部１１は、装置内に画像データを入力する。画像入力部１１は、例えば、光学系デバイス、光電変換デバイス及びセンサーを制御するドライバー回路／ＡＤコンバーター／各種画像補正を司る信号処理回路／フレームバッファ等により実現される。
【００１７】
前処理部１２は、画像入力部１１により入力された画像データに対して前処理を実施する。前処理としては、例えば、色変換処理、コントラスト補正処理等が挙げられる。なお、前処理は、後段の各種処理を効果的に行なえるようにするため実施される。前処理部１２は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。
【００１８】
切出処理部１３は、前処理部１２により処理（補正）された画像データに対して顔検出処理を実施し、検出した顔毎に顔画像データを所定のサイズに正規化して切り出す。なお、顔検出の手法は、従来提案されている種々の手法を用いればよい。具体的には、図２に示すように、前処理部１２により処理された画像３１から顔領域３２を検出し、予め定められたサイズに正規化した顔画像３３を切り出す。すなわち、顔画像３３の大きさは顔によらず一定となる。以下、特徴点の位置とは、当該顔画像３３内の特徴点の座標として説明する。ここでの座標は、顔画像３３の左上端を原点とする座標系（ｘ座標、ｙ座標）で表現する。なお、切り出された顔画像は、ＤＭＡコントローラ（Direct Memory Access）１５を介してＲＡＭ（Random Access Memory）１９に格納される。
【００１９】
ＣＰＵ（Central Processing Unit）１７は、画像認識装置１０における動作を統括制御する。ＣＰＵ１７では、例えば、ＲＡＭ１９に格納された顔画像３３に対して認識処理処理を実行する。
【００２０】
ブリッジ１４は、画像バス２０とＣＰＵバス１６との間に設けられ、バスブリッジ機能を提供する。ＲＯＭ１８は、ＣＰＵ１７により実行される制御プログラムを格納する。ＲＡＭ１９（Read Only Memory）は、ＣＰＵ１７のワーク領域として使用される。また、ＲＡＭ１９には、認識対象として登録されている人物の顔を示す情報（例えば、特徴を示す特徴ベクトル）等も格納される。なお、ＲＡＭ１９は、例えば、ＤＲＡＭ（Dynamic RAM）等の比較的容量の大きいメモリで構成し、図示しないメモリコントローラを介して、ＣＰＵバス１６に接続する。画像バス２０上のデバイス及びＣＰＵバス１６上のデバイスは、同時に動作する。
【００２１】
図３は、図１に示すＣＰＵ１７により実現される機能的な構成の一例を示す図である。ＣＰＵ１７により実現される各種処理機能は主に、ＣＰＵ１７がＲＯＭ１８に記憶された制御プログラムを実行することで実現される。
【００２２】
ここで、ＣＰＵ１７には、機能的な構成として、モード判定部４１と、制御部４２と、補正部４５と、認識部４６とが具備される。
【００２３】
モード判定部４１は、動作モードを判定する。実施形態１に係わる動作モードには、通常モードと追尾モード（高速モード）とがある。通常モードでは、処理速度より認識精度を優先して顔認識が行なわれる。追尾モードでは、精度の低下をある程度許容することになるが、処理が高速に行なわれる。モード判定は、前フレームで認識対象人物（認識対象として登録されている人物）が認識されたか否かに基づき行なわれる。具体的には、モード判定部４１においては、ＲＡＭ１９に格納された前フレームの認識結果を参照して動作モードを判定する。
【００２４】
制御部４２は、特徴点の位置の候補の決定処理の実行を制御する。制御部４２には、第１の候補決定部４３と、第２の候補決定部４４とが具備される。
【００２５】
第１の候補決定部４３は、特徴点の位置の候補を決定するために、第１の候補決定処理を実施する。この処理には、例えば、ＣＮＮ（Convolutional Neural Networks）演算が用いられ、特徴点の位置の候補が高精度に決定される。すなわち、処理時間を要するが、精度の高い手法を用いて特徴点の位置候補を決定する。
【００２６】
第２の候補決定部４４は、特徴点の位置の候補を決定するために、第２の候補決定処理を実施する。この処理では、処理負荷の低い手法を用いて、特徴点の位置候補が高速に決定される。本実施形態においては、平均的な特徴点の位置を予め算出しておき、それを特徴点の位置の候補とする場合について説明する。平均的な特徴点の位置は、例えば、後述する幾何学的な補正処理に使用する平均ベクトル値を利用すればよい。すなわち、学習により予め求めておいた平均ベクトルから対応する特徴点の座標値の候補を決定する。
【００２７】
補正部４５は、第１の候補決定部４３や第２の候補決定部４４により決められた特徴点の位置の候補に対して補正処理を実施する。例えば、図４に示すように、特徴点の位置の候補が決定されているとする。この場合、特徴点４０２ａは、目尻を示す特徴点であるが、誤って眉毛端の位置に配されている。補正部４５では、特徴点４０２ａを特徴点４０２ｂの位置に補正する。なお、この補正処理の詳細については後述するが、補正部４５では、人の顔の特徴の配置関係に基づいて統計的な処理によりその位置を補正することになる。
【００２８】
認識部４６は、補正後の特徴点の位置に基づいて認識処理（本実施形態においては顔認識）を実行する。なお、認識処理は、従来提案されている様々な手法を適用すればよく、その方法は問わない。例えば、決定した特徴点の位置を基準にして複数の局所的な領域を切り出し、直交変換等により次元圧縮する。そして、次元圧縮したデータを特徴ベクトルとする。同様に、算出した登録人物の特徴ベクトルとの相関演算により当該登録者に対する類似度を算出する。なお、登録人物の特徴ベクトルは、認識に先立って、ＲＡＭ１９等に格納しておく。特徴ベクトルは、特徴点の位置を基準にして複数算出する。例えば、目や鼻や口を含む複数の局所的な領域から算出する。そして、算出した複数の特徴ベクトルの相関値を統合し、最終的な類似度を算出する。最終的な類似度の算出が済むと、それを閾値処理し、その結果に基づいて登録者であるか否かを判定する。これにより、認識処理を行なうことができる。
【００２９】
以上が、ＣＰＵ１７により実現される機能的な構成の一例についての説明である。なお、ここで説明した構成は、必ずしもＣＰＵ１７により実現される必要はなく、例えば、いずれか又は全ての構成が、ハードウェアにより実現されてもよい。
【００３０】
次に、図５を用いて、図１及び図２に示す画像認識装置１０における動作の一例について説明する。ここでは、特徴点の位置決定処理及び顔認識処理を行なう際の動作について説明する。なお、この処理は主に、ＣＰＵ１７において行なわれる。
【００３１】
この処理が開始すると、まず、画像認識装置１０は、モード判定部４１において、動作モードの判定を行なう（Ｓ１０１）。上述した通り、通常モードであるか追尾モードであるかの判定が行なわれる。
【００３２】
モード判定が済むと、画像認識装置１０は、制御部４２において、その結果に基づいた動作情報を取得する。具体的には、通常モードであれば（Ｓ１０２でＹＥＳ）、通常モード時の動作情報（通常モード用テーブル）を取得し（Ｓ１０３）、追尾モードであれば（Ｓ１０２でＮＯ）、追尾モード時の動作情報（追尾モード用テーブル）を取得する（Ｓ１０４）。すなわち、動作モードに応じて異なる動作情報を取得する。図６は、顔器官と、それに関連する特徴点の位置の一例が示される。特徴点の位置決定処理は、ここに示す特徴点４０１〜４１５（この場合、１５個）の位置を特定するために行なわれる。また、図７に示す動作情報テーブル（通常モード用テーブル、追尾モード用テーブル）には、各特徴点に対して、第１の候補決定処理及び第２の候補決定処理のいずれを用いて各特徴点の位置の候補を決定するかが規定される。図７に示す動作情報テーブルに規定される「１」は、第１の候補決定部４３による第１の候補決定処理を行なうことを指し、「２」は、第２の候補決定部４４による第２の候補決定処理を行なうことを指す。
【００３３】
動作情報の取得が済むと、画像認識装置１０は、制御部４２において、位置の決定対象となる特徴点を指定する（Ｓ１０５）。すなわち、特徴点４０１〜４１５の少なくとも１つを位置の決定対象として指定する。この指定は、例えば、予め設定された情報等に基づいて行なわれる。
【００３４】
次に、画像認識装置１０は、各特徴点の位置の候補を決める。なお、この処理は、Ｓ１０５の処理で決められた特徴点が対象となる。各特徴点の候補の位置は、上述した通り、第１の候補決定部４３及び第２の候補決定部４４のいずれかを用いて決められる。いずれを用いるかは、動作情報テーブルに規定された動作情報に従うことになる。各特徴点の位置候補の決定に際しては、まず、Ｓ１０３又はＳ１０４で取得した動作情報に基づいてｎ番目の特徴点の位置の候補を決める際に実施する処理を決定する（Ｓ１０６）。そして、その結果に従って、第１の候補決定処理（Ｓ１０７でＹＥＳの後、Ｓ１０８）、又は第２の候補決定処理を実施する（Ｓ１０７でＮＯの後、Ｓ１０９）。すなわち、動作モードに応じて特徴点毎に異なる方法でその位置候補の決定を行なう。例えば、図７に示すテーブルを参照すると、通常モード時には、全ての特徴点に対して、第１の候補決定部４３による第１の候補決定処理が実施される。追尾モード時には、特徴点毎に異なる処理が実施される。例えば、特徴点４０１及び４０２では、第１の候補決定処理が実施され、特徴点４０３及び４０４では、第２の候補決定処理が実施される。これにより、通常モード時には、全ての特徴点の位置の候補を高精度に決定する。一方、追尾モード時には、特徴点４０１、４０２、４０５、４０６、４１２、４１５を第１の候補決定処理（例えば、ＣＮＮ演算を使用）により高精度に決定し、それ以外の特徴点は第２の候補決定処理（例えば、平均ベクトルを使用）により高速に決定する。すなわち、追尾モード時には、後段の処理で重要度が高い一部の特徴点のみを高精度に算出する。なお、図７に示す動作情報テーブルに規定される情報は、処理速度と性能とを考慮して予め決めておく。
【００３５】
その後、画像認識装置１０は、制御部４２において、位置の決定対象となる全ての特徴点に対して、上述したＳ１０６〜Ｓ１０９までの処理が実施されたか否かを判定する。未決定の特徴点があれば（Ｓ１１０でＮＯ）、次の特徴点（ｎ＝ｎ＋１）に対しても上記同様の処理を実施する（Ｓ１１１）。一方、対象となる特徴点全て処理済であれば（Ｓ１１０でＹＥＳ）、画像認識装置１０は、制御部４２において、当該決定した特徴点の位置の候補をＲＡＭ１９に格納する。
【００３６】
次に、画像認識装置１０は、補正部４５において、上述した処理で得られた特徴点の位置の候補（本実施形態においては、１５個）に対して、幾何学的な補正処理を実施する。これにより、最終的な特徴点の位置が決まる（Ｓ１１２）。
【００３７】
最終的な特徴点の位置が決まると、画像認識装置１０は、認識部４６において、当該最終的な特徴点の位置（補正後の特徴点の位置）に基づいて顔認識処理を実施し（Ｓ１１３）、その結果をＲＡＭ１９等に格納する（Ｓ１１４）。その後、画像認識装置１０は、上述した処理を次フレームに対して実施することになる。なお、Ｓ１１３における認識処理時に用いる局所領域の数や種類は、動作モードを問わず同一である。つまり、本実施形態においては、動作モードによらず同一の認識処理が実施される。
【００３８】
ここで、図８を用いて、図５のＳ１０８に示す第１の候補決定処理について説明する。本実施形態に係わる第１の候補決定処理では、ＣＮＮ演算を用いる。ここでは、説明を分かり易くするため、２つの特徴点の位置候補を決定する場合を例に挙げて説明する。
【００３９】
ＣＮＮは、階層的な特徴抽出処理により構成される。ここでは、２層ＣＮＮの一例が示されており、第１層５０６の特徴数が３つ、第２層５１０の特徴数が２つある。５０１は、顔画像データであり、図２で説明した顔画像３３に相当する。
【００４０】
５０３ａ〜５０３ｃは、第１層５０６の特徴面を示す。特徴面とは、所定の特徴抽出フィルタ（コンボリューション演算の累積和及び非線形処理）で前階層のデータを走査しながら演算した結果を格納する画像データ面である。特徴面は、ラスタスキャンされた画像データに対する検出結果である。そのため、その検出結果も面で表される。
【００４１】
特徴面５０３ａ〜５０３ｃは、顔画像データ５０１を参照し、それぞれ異なる特徴抽出フィルタを用いて算出される。特徴面５０３ａ〜５０３ｃは、それぞれ模式的に、５０４ａ〜５０４ｃに対応する２次元のコンボリューションフィルタ演算と、その演算結果の非線形変換とにより生成される。なお、５０２は、コンボリューション演算に必要な参照画像領域を示す。例えば、フィルタサイズ（水平方向の長さと垂直方向の高さ）が１１×１１のコンボリューションフィルタ演算の場合には、以下に示す積和演算を用いる。
2011086266.tif 000003
【００４２】
５０４ａ〜５０４ｃは、それぞれ異なる係数のコンボリューションフィルタである。コンボリューションフィルタの係数は、学習によって予め決めておく。なお、特徴面によってコンボリューションフィルタのサイズも異なる。ＣＮＮ演算では、複数のフィルタを画素単位で走査しながら積和演算を繰り返し、最終的な積和結果を非線形変換する。これにより、特徴面を生成する。非線形変換には、シグモイド関数等を用いればよい。例えば、特徴面５０３ａを算出する場合、前階層との結合数が１つであるため、コンボリューションフィルタ５０４ａは、１つとなる。
【００４３】
一方、特徴面５０７ａ及び５０７ｂを算出する場合、前階層との結合数が３つであるため、５０８ａ〜５０８ｃ及び５０８ｄ〜５０８ｅそれぞれに相当する３つのコンボリューションフィルタの演算結果を累積加算する。つまり、特徴面５０７ａにおける１つの特徴値は、コンボリューションフィルタ５０８ａ〜５０８ｃの全ての出力を累積加算し、それを非線形変換処理することにより得られる。
【００４４】
５０５ａ〜５０５ｃは、コンボリューション演算５０８に必要な参照画像領域を示す。一般に、ＣＮＮ演算は、強力な特徴抽出手法として知られているが、このように積和演算回数が多く、高い処理負荷を要する手法でもある。
【００４５】
第１の候補決定処理では、ＣＮＮ演算の結果である特徴面５０７ａ、５０７ｂの重心を特徴点の位置の候補座標として算出する。なお、実際の処理では、画像中の特徴点の存在可能性を考慮して、限定された領域に対して演算を実行するようにしてもよい。５０９ａ、５０９ｂは、実際に演算する２層の特徴面の領域を示す。このように限定された領域に対して演算し、それにより得られた結果の重心を特徴点の位置の候補（座標）とする。
【００４６】
以上が、第１の候補決定処理についての説明である。ここでは、２つの特徴点を抽出する場合について説明したが、これに限られない。本実施形態においては、１５個の特徴点の位置の候補を決定可能なネットワークを構成する。この場合、第２層の特徴数が１５個となる。Ｓ１０５及びＳ１０６における処理の結果に応じて、必要な２層目の特徴面のみを算出し、特徴点の位置の候補を決定する。
【００４７】
次に、図９を用いて、図５のＳ１１２に示す補正処理について説明する。
【００４８】
補正処理が開始すると、補正部４５は、まず、各特徴点の位置候補の座標を単純に連結する。これにより、１つのベクトルデータを生成する（Ｓ２０１）。本実施形態においては、１５個の特徴点の位置候補の座標から３０次元の特徴点ベクトルＶを生成する。各特徴点の位置座標データ（ｘｉ、ｙｉ）[ｉ：特徴点の番号１〜１５］を単純に連結したデータ列を特徴点ベクトルＶ（要素ｖｊ：ｊ＝１〜３０）とする。特徴点の番号１〜１５は、図６に示す特徴点４０１〜４１５に対応する。従って、例えば、特徴点ベクトルの要素ｖ１、ｖ２は、それぞれ特徴点４０１のｘ座標値、ｙ座標値に対応する。特徴ベクトルＶは、以下に示す式（２）で定義される。なお、以下、Ｔは転置を示す。
2011086266.tif 000004
【００４９】
次に、補正部４５は、平均ベクトル減算（Ｓ２０２）と、射影演算（Ｓ２０３）とを実施する。これら演算処理では、平均ベクトルＡ、射影行列Ｅが用いられ、射影ベクトルが算出される。射影ベクトルＰは、特徴点ベクトルＶから平均ベクトルＡを減じたベクトルと、射影行列Ｅとを用いて、式（３）により算出される。なお、射影行列Ｅ及び平均ベクトルＡは、多数の顔画像に対する特徴点ベクトル（学習用特徴ベクトル）を用いて、主成分分析により予め求められる。そのため、ここでの射影行列Ｅは、固有ベクトルにより構成される。同様に、学習用特徴ベクトルは、顔画像の正しい特徴点の位置の座標を連結して生成したベクトルにより構成される。
2011086266.tif 000005
【００５０】
ｕ１，ｕ２，・・・，ｕｐは、主成分分析によって得られたそれぞれ２×ｆ次元の正規直交ベクトル（固有ベクトル）である。本実施形態においては、３０次元のベクトルとなる。ここで、ｐは、射影ベクトルの次元を示す（本実施形態においては８）。すなわち、主成分分析によって得られる直交ベクトルの内、対応する固有値の大きい８個のベクトルを選択した行列が射影行列Ｅとなる。なお、射影行列Ｅ及び平均ベクトルＡは、予め算出しておき、ＲＯＭ１８又はＲＡＭ１９等に格納しておく。Ｓ２０２及びＳ２０３の処理では、式（３）の演算により、２×ｆ次元の特徴点ベクトルがｐ次元の射影ベクトルに次元削減される。すなわち、２×ｆ次元の特徴点ベクトルを所定次元（すなわち、ｐ次元）の部分空間に射影する。
【００５１】
その後、補正部４５は、射影ベクトルＰから元の特徴点ベクトル（すなわち、座標位置）を復元する（Ｓ２０４、Ｓ２０５）。復元ベクトルＶ’は、以下に示す式（６）により算出される。すなわち、上述した射影行列Ｅに対して平均ベクトルＡを加算する。
2011086266.tif 000006
【００５２】
次に、補正部４５は、特徴点座標出力処理を実施し（Ｓ２０６）、逆射影された復元ベクトルＶ’から補正後の座標データを取り出す。このように全ての特徴点の位置データを連結し、それにより得られたベクトルを次元削減し、部分空間に射影する。その後、逆射影する。これにより、統計的な外れ値を補正できる（非特許文献１参照）。つまり、上述した処理により、射影した部分空間で表現出来ない外れ値（誤検出）が補正される。これにより、各特徴点の配置関係に基づいて幾何学的な配置関係を補正できる。そのため、図４で説明したような、誤検出を補正できることになる。
【００５３】
なお、上述した通り、本実施形態に係わる第２の候補決定処理においては、特徴点の位置の候補として特徴点に対応する平均ベクトルＡの要素を指定する。例えば、第２の候補決定処理により特徴点４０３を処理する場合、平均ベクトルＡの要素（ａ５，ａ６）を候補の座標とする。（平均ベクトルを候補とした）特徴点に対応する特徴ベクトルの要素は、Ｓ２０２の処理で「０」となる。そのため、当該要素に対する射影のための演算（Ｓ２０３）を省略できる。
【００５４】
すなわち、Ｓ２０３における射影演算の乗算回数を削減できるため、処理をより高速化できる。なお、この処理は、図５のＳ１０９に示す第２の候補決定処理において、平均ベクトルＡの要素を選択する代わりに、固有ベクトルＥに対応する要素（対象とする特徴点位置に対応する要素）を「０」に設定することで処理を代替してもよい。
【００５５】
以上説明したように実施形態１によれば、動作モード及び特徴点毎に処理速度の異なる第１及び第２の候補決定処理のいずれかを用いて、各特徴点の位置の候補を決定する。そして、当該位置候補に対して、動作モードによらず共通の手法で幾何学的に補正処理を実施する。これにより、例えば、追尾モード等が設定され、特徴点の位置決めを高速に行なう必要がある場合であっても、決定される特徴点の位置の精度の低下を抑制できる。
【００５６】
また、動作モードによって特徴点の数が増減することもないため、動作モードに応じて認識処理を切り替える必要もない。これにより、動作モードの変更に伴って、認識処理パラメータを入れ替えたり、また、登録ベクトルデータを入れ替えたり等する処理も不要になるのでメモリリソースを削減できる。
【００５７】
（実施形態２）
次に、実施形態２について説明する。実施形態１においては、動作モードとして、追尾モードと通常モードとがある場合について説明したが、実施形態２においては、それ以外の動作モードを設けた場合について説明する。なお、実施形態２に係わる画像認識装置１０における機能的な構成は、図１と同一であるため、その説明については省略する。ここでは、実施形態１における動作と相違する点について説明する。
【００５８】
実施形態２においては、顔認識モード・目閉じ認識モード・笑顔認識モードの３つの動作モードが設けられる。目閉じ認識モードでは、眼の開閉を検出し、笑顔認識モードでは表情を認識する。図１０（ａ）は、顔認識モード時における特徴点の一例を示し、図１０（ｂ）は、目閉じ認識モード時における特徴点の一例を示し、図１０（ｃ）は、笑顔認識モード時における特徴点の一例を示している。これらモードのいずれかが設定された場合には、特徴点の位置とその周辺の輝度値に基づく特徴量から顔、目閉じ、笑顔等が識別及び認識される。
【００５９】
ここで、実施形態１における動作との相違点としては、まず、図５に示すＳ１０１において、上述した３つの動作モードを判定する点が挙げられる。動作モードは、所定のユーザーインターフェースを介したユーザーからの指定等に基づき判定すればよい。
【００６０】
また、図５に示すＳ１０３及びＳ１０４においては、動作モードに応じて図１１に示す動作情報テーブルを取得する。なお、実施形態１同様に、図１１に示す動作情報テーブルに規定される「１」は、第１の候補決定部４３による第１の候補決定処理を行なうことを指し、「２」は、第２の候補決定部４４による第２の候補決定処理を行なうことを指す。また「１’」は、第１の候補決定部４３による第１の候補決定処理よりも更に高精度に特徴点の位置の候補を決定する。これは、どのような手法で実現してもよく、例えば、ＣＮＮの演算範囲を第１の候補決定処理時よりも広げる等すればよい。なお、この処理は、第１の候補決定部４３により実施してもよいし、また別の新たな構成（第３の候補決定処理）を設けて実施してもよい。
【００６１】
図５に示すＳ１０５においては、取得した動作情報に基づいて特徴点の位置候補を決める際に実施する処理を決定する。すなわち、顔認識モード時には、図１０（ａ）に示す全ての特徴点を第１の候補決定処理「１」で高精度に処理する。目閉じ認識モード時には、図１０（ｂ）における目に関連する特徴点を最も精度の高い第３の候補決定処理「１’」で処理し、それ以外の特徴点を第２の候補決定処理で高速に処理する。笑顔認識モード時には、図１０（ｃ）における目及び口に関連する特徴点を最も精度の高い第３の候補決定処理「１’」で処理し、それ以外の特徴点を第２の候補決定処理で高速に処理する。また、図５に示すＳ１１３においては、動作モードに応じて顔認識、目閉じ認識、笑顔認識のいずれかの認識処理を実行する。
【００６２】
以上説明したように実施形態２によれば、動作モードに応じて重要な特徴点の位置候補の決定には、最も精度の高い処理を割り当て、それ以外の特徴点の位置候補の決定にはｍ高速な処理を割り当てる。これにより、総合的な処理時間を増加させず、また、一定の精度を維持できる。つまり、特等点毎の位置候補決定処理を切り替えて実施することで、動作モードに応じた処理時間と処理精度とのトレードオフを簡単に実現することができる。また、実施形態１同様に、動作モードが異なる場合であっても、共通の幾何学的補正処理を用いて特徴点の誤検出を補正できる。
【００６３】
（実施形態３）
次に、実施形態３について説明する。実施形態３においては、所定のパターン（顔）の状態（向き）に応じて候補決定処理を切り替えて実行する場合について説明する。なお、実施形態３に係わる画像認識装置１０における機能的な構成は、図１と同一であるため、その説明については省略する。ここでは、実施形態１における動作と相違する点について説明する。
【００６４】
図１２は、追尾モード時に高精度に特徴点の位置候補を決定する特徴点の一例を示す。図１２（ａ）には、人物（顔）が正面を向いている場合、図１２（ｂ）には、人物が右を向いている場合、図１２（ｃ）には、人物が左を向いている場合の一例が示される。実施形態３においては、顔の向きが変わっても、よく見えている領域の特徴を高精度に判定する。この場合の動作情報テーブルを図１３に示す。
【００６５】
ここで、図１４を用いて、実施形態１における動作との相違点について説明する。なお、実施形態１を説明した図５と同一の処理には、同じ符号を付している。
【００６６】
実施形態３においては、顔の向きを判定する処理が新たに追加される（Ｓ３０１〜Ｓ３０４）。そのため、制御部４２には、顔の向きを判定する状態判定部（不図示）が設けられる。なお、顔の向きの判定は、従来提案されている様々な手法を適用すればよく、その方法は問わない。この結果、動作モードが追尾モードであれば（Ｓ１０２でＮＯ）、顔の向きを判定する。そして、正面であれば（Ｓ３０１で正面）、追尾モード用テーブル（正面）を取得する（Ｓ３０２）。左向きであれば（Ｓ３０１で左向き）、追尾モード用テーブル（左向き）を取得する（Ｓ３０３）。右向きであれば（Ｓ３０１で右向き）、追尾モード用テーブル（右向き）を取得する（Ｓ３０４）。これにより、Ｓ１０５においては、実施形態１に加えて更に、追尾モードの場合には、顔の向きに応じても異なる動作情報を取得する。
【００６７】
以上説明したように実施形態３によれば、追尾モード時には、顔の向きに応じても特徴点の位置候補の決定処理を切り替えて実施する。具体的には、特徴点の位置候補を精度よく決定できる可能性の高い特徴点に対しては高精度な処理を実施し、それ以外の特徴点に対しては高速な処理を実施する。これにより、高精度に候補を決定できる可能性の高い特徴点の数が少ない場合であっても、性能低下を抑えられる。また更に、高精度に候補を決定できる可能性の高い特徴点の位置の決定には、高精度な処理を行なうため、認識処理の性能が向上する。
【００６８】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００６９】
例えば、上述した実施形態１〜３においては、前フレームの認識結果に従って動作モード（通常モード・追尾モード）を判定する場合を例に挙げて説明したが、これに限られない。例えば、対象とする画像３１内における顔の数によってモードを判定するようにしてもよいし、また、ユーザーインターフェースを介したユーザの入力操作に応じてモードを判定するようにしてもよい。なお、ユーザーインターフェースを介したユーザの入力操作に応じてモードを判定する場合には、入力情報に基づいて動作モードを判定すればよい。
【００７０】
また、上述した実施形態１〜３においては、第２の候補決定処理として、平均ベクトルを用いる場合を例に挙げて説明したが、これに限られない。第２の候補決定処理は、第１の候補決定処理に比べて、処理速度が速い、又は処理負荷が低い（すなわち、演算量が少ない）の少なくともいずれかを満たす手法であればよい。例えば、単純なテンプレートマッチングにより候補となる特徴点を決定するようにしてもよい。この場合、抽出する特徴点の位置に対応する複数のテンプレートを学習により生成しておく。そして、第２の候補決定処理実行時には、当該テンプレートを抽出する特徴点の付近でスキャンしながら相関値を算出し、その最大値の位置を特徴点の位置の候補とする。これにより、高速モード（追尾モード等）時における性能低下をより軽減できるとともに、処理時間の短縮も図れる。
【００７１】
また、上述した実施形態１〜３においては、第１の候補決定処理と第２の候補決定処理とを異なる手法で行なう場合を例に挙げて説明したが、これに限られない。例えば、第１の候補決定処理及び第２の候補決定処理ともに、ＣＮＮ演算により特徴点の位置の候補を決定するようにしてもよい。この場合、ＣＮＮの演算範囲（特徴点の位置の候補の探索範囲）を異ならせることで、第１の候補決定処理及び第２の候補決定処理それぞれにおける処理速度を調整すればよい。具体的には、第２の補決定処理におけるＣＮＮ演算では、その演算対象領域５０９ａ、５０９ｂを、第１の候補決定処理におけるＣＮＮ演算よりも狭い範囲に限定する（図８参照）。これにより、第２の候補決定処理における処理負荷を軽減し、高速化を図る。
【００７２】
また、上述した実施形態１〜３においては、顔画像から特定の人物を認識（又は人物の状態を認識）する場合を例に挙げて説明したが、これに限られない。例えば、特徴点の配置に基づいて所定の物体を認識又は検出するようにしてもよい。また更に、画像認識装置を例に挙げて説明したが、これに限られず、例えば、決定した特徴点の座標を利用して画像を補整・変形する画像処理装置であってもよい。
【００７３】
また、上述した実施形態１〜３において説明した、動作情報テーブルの規定内容は、あくまで一例であり、処理速度や性能を考慮して適宜変更してもよい。例えば、実施形態２においては、第１の候補決定処理よりも更に高精度な第３の候補決定処理を行なう旨の動作情報が設定されていたが、必ずしも第３の候補決定処理を行なう必要はなく、例えば、第１の候補決定処理を行なってもよい。
【００７４】
また、上述した実施形態３においては、顔の向きに応じて特徴点の位置候補の決定処理時の動作情報を切り替える場合を例に挙げて説明したが、これに限られない。例えば、他の条件に対応する動作情報テーブルを設けてもよい。例えば、画像（所定のパターン）の状態として照明条件を判定する等してもよい。
【００７５】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７６】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011086266.tif 000007
【図２】
2011086266.tif 000008
【図３】
2011086266.tif 000009
【図４】
2011086266.tif 000010
【図５】
2011086266.tif 000011
【図６】
2011086266.tif 000012
【図７】
2011086266.tif 000013
【図８】
2011086266.tif 000014
【図９】
2011086266.tif 000015
【図１０】
2011086266.tif 000016
【図１１】
2011086266.tif 000017
【図１２】
2011086266.tif 000018
【図１３】
2011086266.tif 000019
【図１４】
2011086266.tif 000020