(57)【要約】【課題】  認証精度の高い顔認証結果を得ることが可能な顔認証装置、顔認証方法、及びプログラムを提供する。【解決手段】  顔認証装置１は、入力した画像３０に含まれる顔領域３１から各顔器官（右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄ、鼻３２ｅ、口３２ｆ、顎３２ｇ等）を検出し、検出した各顔器官の位置及び形状を複数の特徴点により定義した顔器官データ３２を生成し、この入力顔器官データ３２と、予め利用者情報に紐づけて登録されている登録顔器官データ８２とを特定の顔器官（例えば、顎３２ｇ）を基準に位置合わせし、類似度スコアを求め、類似度に基づく顔認証処理を行う。特定の顔器官を基準に位置合わせを行うことにより、個人差を識別しやすくなり精度のよい顔認証結果を得ることが可能となる。【選択図】図１
2018200592.tif 000002
【特許請求の範囲】
【請求項１】
複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶する記憶手段と、
顔画像を入力する入力手段と、
前記入力手段に入力された顔画像に含まれる顔領域から各器官を検出する器官検出手段と、
検出した各器官の器官データを生成する器官データ生成手段と、
前記器官データ生成手段により生成した器官データである入力器官データと、前記記憶手段に記憶された顔画像とを特定の器官を基準に位置合わせする位置合わせ手段と、
位置合わせした前記入力された顔画像と前記記憶手段に記憶された顔画像との類似度を算出する類似度算出手段と、
前記類似度に基づき顔認証処理を行う認証処理手段と、
を備えることを特徴とする顔認証装置。
【請求項２】
前記類似度算出手段は、器官毎に特徴点を用いて類似度を算出することを特徴とする請求項１に記載の顔認証装置。
【請求項３】
前記位置合わせ手段は、前記特定の器官における前記入力器官データと前記記憶手段に記憶された登録顔データの器官データとの対応する各特徴点間の差が最小となるように位置合わせを行うことを特徴とする請求項１または請求項２に記載の顔認証装置。
【請求項４】
前記位置合わせ手段は、前記入力器官データ及び前記登録顔データの器官データのいずれか一方または両方について平行移動、回転、拡大、及び縮小のうち少なくともいずれか一つ以上の画像処理を行うことにより前記位置合わせを行うことを特徴とする請求項１から請求項３のいずれかに記載の顔認証装置。
【請求項５】
前記類似度算出手段は、前記入力器官データ及び前記登録顔データの器官データにおける対応する各特徴点間のユークリッド距離の平均値と分散とを器官毎に算出し、全ての器官の前記ユークリッド距離の平均値及び分散に基づき顔全体の類似度を算出することを特徴とする請求項１から請求項４のいずれかに記載の顔認証装置。
【請求項６】
前記器官データの特徴点の数は器官毎に定義されることを特徴とする請求項１から請求項５のいずれかに記載の顔認証装置。
【請求項７】
コンピュータが、
複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶部に記憶するステップと、
顔画像を入力するステップと、
入力された顔画像に含まれる顔領域から各器官を検出するステップと、
検出した各器官の器官データを生成するステップと、
生成した器官データである入力器官データと、前記記憶部に記憶された顔画像とを特定の器官を基準に位置合わせするステップと、
位置合わせした前記入力された顔画像と前記記憶部に記憶された顔画像との類似度を算出するステップと、
前記類似度に基づき顔認証処理を行うステップと、
を含むことを特徴とする顔認証方法。
【請求項８】
コンピュータを、
複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶する記憶手段、
顔画像を入力する入力手段、
前記入力手段に入力された顔画像に含まれる顔領域から各器官を検出する器官検出手段、
検出した各器官の器官データを生成する器官データ生成手段、
前記器官データ生成手段により生成した器官データである入力器官データと、前記記憶手段に記憶された顔画像とを特定の器官を基準に位置合わせする位置合わせ手段、
位置合わせした前記入力された顔画像と前記記憶手段に記憶された顔画像との類似度を算出する類似度算出手段、
前記類似度に基づき顔認証処理を行う認証処理手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証装置、顔認証方法、及びプログラムに関し、詳細には、目、鼻、口等の顔器官の特徴を用いた顔認証装置、顔認証方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像から顔の特徴を検出して人物を認証する認証システムが提案されている。例えば、非特許文献１の手法では、入力画像３００内の顔領域３０１に含まれる各顔器官（眉、目、鼻、口、顎等）の特徴点を検出し、複数の特徴点で定義される顔器官データ３３２を生成することができる（図１０（ａ））。このように、人物の顔の特徴を表す顔器官データ３３２を用いて、入力画像３００から生成される顔器官データ３３２（図１０（ａ））と登録されている複数の人物の顔器官データ３８２ａ、３８２ｂ、３８２ｃ、…（図１０（ｂ））とを比較し、顔の類似度を評価することができる。このように類似度の評価に顔器官データを用いれば、点の比較であるため、機械学習等を用いる場合等と比較して高速に認証処理を行える。また、学習データの収集や学習処理が不要であるという利点もある。
【０００３】
ところで、類似度を評価する際は、予め、入力画像３００から検出した顔器官データ３３２と登録されている顔器官データ３８２ａ、３８２ｂ、３８２ｃ、…との位置合わせを行う必要がある。位置合わせは、例えば、非特許文献２に開示されているように、顔全体の特徴点を用いて行うことが一般的である。具体的には、図１１に示すように、対応する各特徴点間の差（具体的には各特徴点間のユークリッド距離の２乗和）が顔全体で最も小さくなるように、平行移動、回転、拡大・縮小等の画像処理を行う。
【０００４】
また、位置合わせを行ったあとの類似度の評価は、対応する各特徴点間のユークリッド距離に基づいて行うのが一般的である。例えば、各特徴点間のユークリッド距離の平均値を計算し、その平均値が小さいほど、似ている顔であると判断する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Vahid Kazemi、他１名、２０１４年、"OneMillisecond Face Alignment with an Ensemble of Regression Trees"、[online]、Royal Institute ofTechnology、Computer Vision and Active Perception Lab(CVPR)、[平成２９年４月２５日検索]、インターネット、<URL:http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf>
【非特許文献２】T.F. Cootes and C.J.Taylor、２００４年、"StatisticalModels of Appearance for Computer Vision"、p102&#8211;104、[online]、[平成２９年４月２５日検索]、インターネット、<URL:http://www.face-rec.org/algorithms/AAM/app_models.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したように、対応する特徴点間の差が顔全体で最も小さくなるように位置合わせをすると、個人差が出にくく、認証の精度が低下する。さらに、類似度の評価指標として特徴点間のユークリッド距離のみを用いた場合、類似度の評価結果が特徴点の多い器官に大きく依存し、また、同一人物であっても表情によって類似度の評価結果が大きく変わるため、認証の精度が低下する。
【０００７】
本発明は、このような課題に鑑みてなされたもので、認証精度の高い顔認証結果を得ることが可能な顔認証装置、顔認証方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前述した課題を解決するため第１の発明は、複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶する記憶手段と、顔画像を入力する入力手段と、前記入力手段に入力された顔画像に含まれる顔領域から各器官を検出する器官検出手段と、検出した各器官の器官データを生成する器官データ生成手段と、前記器官データ生成手段により生成した器官データである入力器官データと、前記記憶手段に記憶された顔画像とを特定の器官を基準に位置合わせする位置合わせ手段と、位置合わせした前記入力された顔画像と前記記憶手段に記憶された顔画像との類似度を算出する類似度算出手段と、前記類似度に基づき顔認証処理を行う認証処理手段と、を備えることを特徴とする顔認証装置である。
【０００９】
第１の発明によれば、複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶手段に記憶し、入力した顔画像に含まれる顔領域から各器官を検出し、検出した各器官の器官データを生成し、この入力器官データと予め記憶されている顔画像とを特定の器官を基準に位置合わせし、位置合わせした入力した顔画像と記憶された顔画像との類似度を求め、類似度に基づく顔認証処理を行う。特定の器官を基準に顔画像の位置合わせを行うことにより、個人差を識別しやすくなり精度のよい顔認証結果を得ることが可能となる。
【００１０】
第１の発明において、例えば、前記類似度算出手段は、器官毎に特徴点を用いて類似度を算出することが望ましい。器官毎の類似度が算出されるため、個人を識別しやすいものとなる。また、前記位置合わせ手段は、前記特定の器官における前記入力器官データと前記登録顔データの器官データとの対応する各特徴点間の差が最小となるように位置合わせを行う。これにより、顔全体の特徴点の位置合わせが、特定の器官の特徴点を用いて好適に実行される。また例えば、前記位置合わせ手段は、前記入力器官データ及び前記登録顔データの器官データのいずれか一方または両方について平行移動、回転、拡大、及び縮小のうち少なくともいずれか一つ以上の画像処理により位置合わせを行う。これにより、撮影時の姿勢やカメラ位置等の制約を減らすことができ、使用しやすいものとなる。
【００１１】
また、前記類似度算出手段は、前記入力器官データ及び前記登録顔データの器官データにおける対応する各特徴点間のユークリッド距離の平均値と分散とを顔器官毎に算出し、全ての器官の前記ユークリッド距離の平均値及び分散に基づき顔全体の類似度を算出することが望ましい。特徴点間のユークリッド距離のみならず、分散を評価することで、表情の変化によらず同一人物を識別しやすくなり、認証精度が向上する。
【００１２】
また、前記器官データの特徴点の数は器官毎に定義されることが望ましい。これにより、各器官に応じて最適な特徴点数で特徴を抽出でき、顔の特徴を表しやすくなる。その結果、個人差を識別しやすく、かつ表情に依存しにくいロバストな顔認証結果を得ることが可能となる。
【００１３】
第２の発明は、コンピュータが、複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶部に記憶するステップと、顔画像を入力するステップと、入力された顔画像に含まれる顔領域から各器官を検出するステップと、検出した各器官の器官データを生成するステップと、生成した器官データである入力器官データと、前記記憶部に記憶された顔画像とを特定の器官を基準に位置合わせするステップと、位置合わせした前記入力された顔画像と前記記憶部に記憶された顔画像との類似度を算出するステップと、前記類似度に基づき顔認証処理を行うステップと、を含むことを特徴とする顔認証方法である。
【００１４】
第２の発明によれば、複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶部に記憶し、入力した顔画像に含まれる顔領域から各器官を検出し、検出した各器官の器官データを生成し、この入力器官データと予め記憶されている顔画像とを特定の器官を基準に位置合わせし、位置合わせした入力した顔画像と記憶された顔画像との類似度を求め、類似度に基づく顔認証処理を行う。特定の器官を基準に顔画像の位置合わせを行うことにより、個人差を識別しやすくなり精度のよい顔認証結果を得ることが可能となる。
【００１５】
第３の発明は、コンピュータを、複数の顔画像と各顔画像のそれぞれの器官の位置及び形状を複数の特徴点により定義した器官データとを紐づけて登録顔データとして記憶する記憶手段、顔画像を入力する入力手段、前記入力手段に入力された顔画像に含まれる顔領域から各器官を検出する器官検出手段、検出した各器官の器官データを生成する器官データ生成手段、前記器官データ生成手段により生成した器官データである入力器官データと、前記記憶手段に記憶された顔画像とを特定の器官を基準に位置合わせする位置合わせ手段、位置合わせした前記入力された顔画像と前記記憶手段に記憶された顔画像との類似度を算出する類似度算出手段、前記類似度に基づき顔認証処理を行う認証処理手段、として機能させるためのプログラムである。
【００１６】
第３の発明により、コンピュータを第１の発明の顔認証装置として機能させることが可能となる。
【発明の効果】
【００１７】
本発明により、認証精度の高い顔認証結果を得ることが可能な顔認証装置、顔認証方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る顔認証装置１の機能構成を示すブロック図
【図２】顔認証装置１として機能するコンピュータの内部構成図
【図３】登録顔器官データ８のデータ構成例を示す図
【図４】顔認証装置１が実行する認証処理の流れを示すフローチャート
【図５】画像３０から顔器官データ３２を検出する処理について説明する図
【図６】入力顔器官データ３２と登録顔器官データ８２との位置合わせについて説明する図
【図７】類似度評価処理の流れを示すフローチャート
【図８】顔器官毎の類似度算出について説明する図
【図９】入力顔器官データ３２ｄと登録顔器官データ８２ｄとの対応する特徴点同士の比較について説明する図
【図１０】入力画像３００から顔器官データ３３２を検出し、登録されている顔器官データ３８２ａ、３８２ｂ、…と比較する処理について説明する図
【図１１】従来の顔器官データの位置合わせについて説明する図
【発明を実施するための形態】
【００１９】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【００２０】
図１は、本発明に係る顔認証装置１の機能構成を示すブロック図、図２は、顔認証装置１として機能するコンピュータの内部構成の例を示す図である。
【００２１】
図１に示すように、顔認証装置１は、入力部２、顔領域検出部３、顔器官検出部４、位置合わせ部５、類似度評価部６、出力部７、登録処理部９、及び記憶部１２を備える。記憶部１２には、登録顔データ８が記憶されている。
【００２２】
入力部２は、画像３０を顔認証装置１に入力する。入力する画像３０（以下、入力画像と呼ぶ）は、顔領域を含む画像（顔画像）であり、静止画でもよいし動画でもよい。入力部２は、カメラ２０により撮影された画像３０を直接カメラ２０から取得してもよいし、記憶部１２や記録媒体等に記憶されている顔画像を取得してもよい。
【００２３】
顔領域検出部３は、入力部２から入力された入力画像３０に人物の顔が含まれるか否かを判定し、人物の顔を検出した場合は入力画像３０から顔領域３１を検出する（図５参照）。
【００２４】
顔器官検出部４は、顔領域検出部３により検出された顔領域３１から各器官を検出する。顔器官検出部４は、検出された顔領域３１の画像情報から所定の特徴点を検出し、各顔器官の位置と形状を推定する。顔器官とは、顔に含まれる器官であり、例えば、右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄ、鼻３２ｅ、口３２ｆ、顎３２ｇ等である。顔器官の検出には、公知の手法を用いればよい。例えば、非特許文献１の手法が知られている。（非特許文献１：Vahid Kazemi、他１名、"One Millisecond Face Alignment with an Ensemble of Regression
Trees"、[online]、Royal Institute of Technology、Computer Vision and Active Perception Lab(CVPR)、<URL:http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf>）。この非特許文献１の手法によれば、顔領域３１から各顔器官３２ａ〜３２ｇの位置と形状を複数の特徴点で定義した器官データ３２（以下、顔器官データと呼ぶ）を生成できる。なお、本発明において、顔器官検出部４は、画像３０から各顔器官３２ａ〜３２ｇを検出し、各顔器官３２ａ〜３２ｇの位置及び形状を複数の特徴点で定義した顔器官データ３２を生成できればよく、顔器官３２ａ〜３２ｇの検出方法は上記非特許文献１の手法に限定されない。顔器官データ３２については後述する。
【００２５】
顔器官検出部４は、入力画像３０から生成した顔器官データを、登録モードにおいては登録処理部９に出力し、顔認証モードにおいては位置合わせ部５に出力する。登録モードとは、顔認証装置１を利用する利用者の顔画像と顔器官データとを紐づけて登録する処理モードである。顔認証モードとは、顔認証装置１の利用者の顔認証処理を実行する処理モードである。顔認証装置１が登録モードまたは顔認証モードのどちらを実行するかは、操作者により予め選択されるものとする。
【００２６】
登録処理部９は、登録モードにおいて顔器官検出部４により生成された顔器官データを顔器官データ８２として元となる顔画像８１とを紐付けて記憶部１２に記憶する（図３参照）。また、利用者の情報（以下、利用者情報８３と呼ぶ。）を顔画像８１及び顔器官データ８２と紐づけて記憶部１２に記憶してもよい。利用者情報８３は、登録処理において利用者が顔認証装置１に入力した情報であり、例えば使用者の氏名、年齢、性別等の属性情報を含むものとする。
【００２７】
図３は、記憶部１２に記憶される登録顔データ８の一例について説明する図である。図３に示すように、登録顔データ８は、利用者の識別情報である利用者ＩＤ８０と、利用者の顔画像８１と、顔画像８１から生成される顔器官データ８２と、利用者の属性情報８３とが紐づけて記憶される。利用者の属性情報は、氏名、年齢、性別等である。記憶部１２には、複数の利用者の顔画像８１と顔器官データ８２と利用者情報８３とが紐づけられて登録顔データ８として記憶される。
【００２８】
一方、顔認証モードにおいて、顔器官検出部４により検出された顔器官データは位置合わせ部５に入力される。顔器官検出部４により検出された顔器官データを入力顔器官データ３２と呼ぶ。
【００２９】
位置合わせ部５は、顔認証モードにおいて入力部２により入力された入力画像３０（入力顔画像３０と呼ぶ。）と記憶部１２に予め記憶されている顔画像（登録顔画像８１）とを特定の顔器官を基準に位置合わせする。位置合わせは、（１）入力顔画像から検出され、生成された顔器官データ（入力顔器官データ３２）と記憶部１２に予め記憶されている顔画像（登録顔画像８１）とを位置合わせしてもよいし、（２）顔画像同士（入力顔画像３０と登録顔画像８１）を位置合わせしてもよいし、（３）入力顔画像３０と記憶部１２に予め記憶されている顔器官データ（登録顔器官データ８２）とを位置合わせしてもよい。いずれの場合でも、本発明において、位置合わせ部５は、入力顔画像３０（または入力顔器官データ３２）と登録顔画像８１（または登録顔器官データ８２）とを特定の顔器官（例えば、顎）を基準に位置合わせする。具体的な一例としては、位置合わせ部５は、入力顔器官データ３２及び登録顔器官データ８２の特定の顔器官における対応する各特徴点間の差（具体的には各特徴点間のユークリッド距離の２乗和）が最小となるように位置合わせを行う。顔器官データ３２、８２の位置合わせについては、後述する。
【００３０】
類似度評価部６は、顔認証モードにおいて、位置合わせ部５により位置合わせした入力顔画像３０と登録顔画像８１との類似度を算出する。類似度評価部６は、顔器官毎に特徴点を用いて入力顔画像３０と登録顔画像８１との類似度を算出する。具体的には、入力顔器官データ３２及び登録顔器官データ８２における対応する特徴点間のユークリッド距離の平均値と分散とを顔器官毎に算出する。また、算出した全ての顔器官のユークリッド距離の平均値及び分散に基づき、顔全体の類似度のスコアを算出する。具体的な算出方法については後述する。
【００３１】
類似度評価部６は、算出した類似度のスコアと所定の閾値とを比較し、類似度のスコアが所定の閾値以下である場合は、入力顔器官データ３２と登録顔器官データ８２とが類似していると判定する。顔認証モードでは、記憶部１２に登録されている全ての登録顔器官データ８２と入力顔器官データ３２との位置合わせ及び類似度評価を行う。類似度評価においては、類似度のスコアが所定の閾値以下であり、かつ、最も類似度スコアが小さい登録顔器官データに紐づく人物を、本人として認証する。類似度のスコアが所定の閾値より大きい場合は認証失敗とする。類似度評価部６における類似度の算出、及び認証処理の具体例については後述する。
【００３２】
出力部７は、類似度評価部６における評価結果（認証処理の結果）を出力する。出力は、例えば、ＰＣのログイン時の認証処理であれば、ログイン処理を実行するログイン処理部への認証結果の通知であり、ゲート開錠等における顔認証処理であれば、ゲートの開錠を実行する開錠処理部への認証結果の通知である。なお、出力の方法はこれらに限定されず、どのような方法で類似度評価部６の評価結果を通知してもよいものとする。
【００３３】
図２は、顔認証装置１として機能させるコンピュータの構成例を示す図である。図２に示すように、顔認証装置１は、制御部１１、記憶部１２、メディア入出力部１３、周辺機器Ｉ／Ｆ部１４、入力部１５、表示部１６、通信制御部１７等がバス１８を介して接続されて構成される。周辺機器Ｉ／Ｆ部１４には、カメラ２０が接続される。コンピュータを顔認証装置１として機能させる場合、コンピュータの制御部１１は、図４に示す処理を記述したプログラムを実行することにより実現する。
【００３４】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が各種処理を行うために使用するワークエリアを備える。制御部１１は、上記プログラムを読み出して実行することにより、顔認証装置１の各手段として機能する。
【００３５】
記憶部１２は、例えば、ハードディスクドライブ等の記憶装置である。記憶部１２には制御部１１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。記憶部１２には、各利用者の顔画像である登録顔画像８１とそれらの顔画像から生成される顔器官データである登録顔器官データ８２とを紐づけた登録顔データ８が記憶される（図３参照）。
【００３６】
メディア入出力部１３は、例えば、ＣＤ、ＤＶＤ、ＭＯ等の各種記録媒体（メディア）のドライブ装置であり、メディアに対してデータの入出力（書込み／読み出し）を行う。
【００３７】
周辺機器Ｉ／Ｆ（インタフェース）部１４は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１４を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１４は、ＵＳＢ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００３８】
入力部１５は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。
表示部１６は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部１５及び表示部１６は、表示画面にタッチパネル等の入力装置を一体的に設けたタッチパネルディスプレイ（操作部２５）としてもよい。
【００３９】
通信制御部１７は、通信制御装置、通信ポート等を有し、ネットワーク１０等との通信を制御する。ネットワーク１０は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク１０は有線、無線を問わない。顔認証装置１はネットワーク１０を介してサーバ（不図示）にアクセスし、各種のプログラムやデータを送受信可能である。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００４０】
次に、図４を参照して、顔認証装置１が実行する顔認証処理の流れについて説明する。図４は顔認証モードにおける処理の流れを説明するフローチャートである。顔認証装置１の制御部１１は記憶部１２から図４に示す処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。なお、この顔認証処理の実行前に、複数の利用者の登録顔データ８が記憶部１２に登録されているものとする。登録顔データ８に登録されている顔器官データ８２は、以下の顔認証処理を実行する顔認証装置１と同一の装置で作成されたものでもよいし、別の装置で作成され、記憶部１２に記憶したものでもよい。
【００４１】
顔認証装置１の制御部１１（入力部２）は、カメラ２０により撮影された画像または記憶部１２に記憶された画像を入力画像３０として取得する（ステップＳ１０１）。ステップＳ１０１で取得する入力画像３０は、静止画でも動画でもよい。動画の場合は、動画に含まれる各フレームの画像を入力画像３０として以下の処理を行う。
【００４２】
制御部１１（顔領域検出部３）は、入力画像３０から人物の顔領域３１を検出する（ステップＳ１０２）。制御部１１（顔器官検出部４）は、検出した顔領域３１から顔器官３２ａ〜３２ｇを検出して顔器官データ３２を生成する（ステップＳ１０３）。ステップＳ１０３で生成した顔器官データ３２を、入力顔器官データ３２と呼ぶ。
【００４３】
図５は、入力された画像３０から顔器官データ３２を生成する処理について説明する図である。上述したように、制御部１１は、カメラ２０により撮影した画像３０（映像を取得する場合は各フレームの画像）から顔領域３１を認識し、顔領域３１から顔器官３２ａ〜３２ｇを検出し、顔器官データ３２を生成する。画像３０から顔器官データ３２を生成する手法は、例えば上述の非特許文献１に示す公知のアルゴリズムを用いればよい。なお、顔器官データ３２を生成する手法は、非特許文献１に記載される手法に限定されない。本発明は、その他の手法を用いて顔器官データ３２を生成してもよい。
【００４４】
図５（ａ）は、入力画像３０から検出した顔領域３１及び顔器官データ３２を示す図である。顔器官データ３２は、図５（ｂ）に示すように、各顔器官（右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄ、鼻３２ｅ、口３２ｆ、顎３２ｇ）の位置及び形状を複数の特徴点で定義したデータである。各顔器官３２ａ〜３２ｇの特徴点の個数は、顔器官毎に定義されていることとする。具体的には、例えば、右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄはそれぞれ２０個の特徴点とする。また鼻３２ｅは１７個の特徴点で定義する。また口３２ｆは５４個の特徴点で定義する。また顎は４１個の特徴点で定義する。なお、これらの特徴点の個数は一例であり、その他の個数としてもよい。
【００４５】
なお、ステップＳ１０３において、カメラ２０の設置位置や人物の顔の動き等により顔を正面でとらえることができない場合には、その画像（フレーム）については顔器官検出の対象から除外するものとしてもよい。
【００４６】
次に、制御部１１は、入力画像３０から生成した入力顔器官データ３２と比較する登録顔画像８１の顔器官データである登録顔器官データ８２を記憶部１２から取得する（ステップＳ１０４）。利用者の登録顔器官データ８２は、図３に示すように、記憶部１２に記憶されているものとする。
【００４７】
制御部１１（位置合わせ部５）は、ステップＳ１０３で生成した顔器官データ３２（入力顔器官データ３２）と、ステップＳ１０４で記憶部１２から呼び出した登録顔器官データ８２とを位置合わせする（ステップＳ１０５）。
【００４８】
ステップＳ１０５の位置合わせ処理では、制御部１１は、入力顔器官データ３２と、登録顔器官データ８２とを特定の顔器官を基準に位置合わせする。すなわち、入力顔器官データ３２及び登録顔器官データ８２の特定の顔器官における対応する各特徴点間の差（各特徴点間のユークリッド距離の２乗和）が最小となるように位置合わせを行う。
【００４９】
位置合わせの基準とする特定の顔器官は、例えば図６に示す顎のように、表情によって変化が出にくい器官とすることが好適である。また、特定の顔器官をどの顔器官とするかは、当該顔認証装置１の操作者による事前の設定操作によって変更可能としてもよい。このように、特定の一つの器官（例えば、顎）を基準として入力顔器官データ３２と登録顔画像８１（登録顔器官データ８２）との位置合わせを行うことにより、より顔の個人差を比較しやすくなる。
【００５０】
ステップＳ１０５の位置合わせ処理において、制御部１１は、入力顔器官データ３２及び登録顔器官データ８２のいずれか一方または両方について、平行移動、回転、拡大、及び縮小のうち少なくともいずれか一つ以上の画像処理を行い、特定の顔器官の対応する各特徴点間の差（各特徴点間のユークリッド距離の２乗和）が最小となるように位置合わせを行う。このようにすれば、顔全体の特徴点の位置合わせが、特定の顔器官の特徴点を用いて好適に実行される。また、平行移動、回転、拡大、及び縮小のうち少なくともいずれか一つ以上の画像処理を行って位置合わせをするため、撮影時の姿勢やカメラ位置等の制約を減らすことができ、使用しやすいものとなる。
【００５１】
図６は、顎３２ｇを基準に入力顔器官データ３２と、登録顔器官データ８２とを位置合わせした状態である。
【００５２】
なお、ステップＳ１０５の位置合わせ処理では、入力顔器官データ３２と登録顔器官データ８２とを位置合わせする例を示したが、この例に限定されず、入力顔器官データ３２と登録顔画像８１とを位置合わせしてもよいし、顔画像同士（入力顔画像３０と登録顔画像８１）を位置合わせしてもよいし、入力顔画像３０と登録顔器官データ８２とを位置合わせしてもよい。いずれの場合でも、特定の顔器官（例えば、顎）を基準に入力顔画像３０（または入力顔器官データ３２）と登録顔画像８１（または登録顔器官データ８２）とを位置合わせする。
【００５３】
次に、制御部１１（類似度評価部６）は、位置合わせした入力顔画像３０と登録顔画像８１との類似度を評価する（ステップＳ１０６）。類似度評価処理では、まず位置合わせした入力顔器官データ３２と登録顔器官データ８２との類似度を算出する。類似度を算出する際、制御部１１は、入力顔器官データ３２及び登録顔器官データ８２における対応する特徴点間のユークリッド距離の平均値と分散とを顔器官毎に算出する。次に、顔器官毎に類似度のスコアの重み付け総和を用いて全体の顔の類似度を総合的に評価する。
【００５４】
同一人物であれば各顔器官の形状はほとんど一定であるため、対応する特徴点間の距離の値にばらつきはなく、分散は小さくなると予測される。このように、顔器官別に特徴点間の距離の平均値と分散を算出し、また、全体の類似度を総合的に評価すれば、各顔器官単独での類似度を評価しながら、顔全体の類似度も評価できる。これにより、表情の変化に依存せずに同一人物を識別できる。また、特定の顔器官に偏らずに顔全体で類似度を評価できる。
【００５５】
図７を参照してステップＳ１０６の類似度評価処理について具体的に説明する。
図７に示すように、まず、演算対象の顔器官を示す値であるＫを初期化し（Ｋ＝１；ステップＳ２０１）、顔器官Ｋについて、入力顔器官データ３２と登録顔器官データ８２との対応する特徴点ｎ間のユークリッド距離ｄｎを算出する（ステップＳ２０２）。
【００５６】
入力顔器官データ３２及び登録顔器官データ８２における特徴点ｎの位置座標をそれぞれ、
【００５７】
【数１】
2018200592.tif 000003
【００５８】
とすると、特徴点ｎについての画像間（入力顔器官データ３２及び登録顔器官データ８２間）のユークリッド距離ｄｎは、以下の式（１）のように表すことができる。
【００５９】
【数２】
2018200592.tif 000004
【００６０】
また、ここで、顔器官Ｋに対して集合ＫをＫ＝｛ｋ｜ｋは顔器官Ｋに含まれる特徴点｝のように置くと、顔器官Ｋに含まれる特徴点ｋにおける画像間のユークリッド距離の平均μＫは、以下の式（２）のようになる。
【００６１】
【数３】
2018200592.tif 000005
【００６２】
ここで、顔器官Ｋとは、図８に示すように、演算対象とする顔器官の番号であり、例えば、右眉はＫ＝１、左眉はＫ＝２、右目はＫ＝３、左目はＫ＝４、鼻はＫ＝５、口はＫ＝６、顎はＫ＝７等のように割り振られる。ｎｕｍＫは、顔器官Ｋに含まれる特徴点の個数である。
【００６３】
次に、制御部１１は、入力顔器官データ３２と登録顔器官データ８２とにおける顔器官Ｋの対応特徴点間のユークリッド距離の分散σＫ２を求める（ステップＳ２０３）。入力顔器官データ３２と登録顔器官データ８２とにおける顔器官Ｋの対応特徴点間のユークリッド距離の分散σＫ２は、以下の式（３）のようになる。分散σＫ２は、顔器官の形状が近いほど小さくなる値である。
【００６４】
【数４】
2018200592.tif 000006
【００６５】
図９は、入力顔器官データ３２及び登録顔器官データ８２における右目３２ｄ、８２ｄの特徴点を示す図である。入力顔器官データ３２と登録顔器官データ８２とが同一人物のものである場合、図９に示すように、顔器官の形状はほぼ一致するが、表情の変化等のために位置がずれることがある。そのような場合、入力顔器官データ３２と登録顔器官データ８２との対応する各特徴点間の距離の値は、ばらつき（分散）が小さくなると仮定できる。類似度の評価に分散を用いることで、顔の個人差をより正確に評価できるようになる。
【００６６】
制御部１１は、全ての顔器官Ｋについて対応特徴点間のユークリッド距離及び分散の算出を繰り返す（ステップＳ２０４；Ｎｏ→ステップＳ２０５→ステップＳ２０２〜ステップＳ２０３）。
【００６７】
全ての顔器官Ｋについて対応特徴点間のユークリッド距離及び分散を算出すると（ステップＳ２０４；Ｙｅｓ）、制御部１１は、顔全体の総合的な類似度スコアを算出する（ステップＳ２０６）。類似度スコア（score）は、例えば以下の式（４）とする。
【００６８】
【数５】
2018200592.tif 000007
【００６９】
式（４）において、μＫ及びσＫ２は、顔器官Ｋに含まれる特徴点における画像間のユークリッド距離の平均値と分散である。ｗＫ１及びｗＫ２は、重みパラメータである。重みパラメータの値は実験的に決定される適切な値とする。Faceは、検出した顔器官集合である。例えば、図７に示す例であれば、Face＝｛右眉、左眉、右目、左目、鼻、口、顎｝である。
【００７０】
上述の式（４）で算出される類似度スコアは、入力顔器官データ３２と登録顔器官データ８２とが類似しているほど小さな値となる。
【００７１】
制御部１１は、ステップＳ２０６において算出した類似度スコアの値を、入力顔画像３０とステップＳ１０４で取得した登録顔画像８１との類似度評価結果として出力する。制御部１１は、登録されている全ての登録顔画像８１についてステップＳ１０４〜ステップＳ１０６の処理（登録顔画像８１（登録顔器官データ８２）の取得、位置合わせ処理、類似度評価処理）を繰り返し実行する。これにより、制御部１１は、入力顔画像３０と登録顔画像８１との類似度スコアを得る。
【００７２】
図４のステップＳ１０７の認証処理では、制御部１１は、入力顔画像３０と登録顔画像８１との類似度評価結果（類似度スコア）に基づき本人認証を行う（ステップＳ１０７）。本人認証では、制御部１１は入力画像３０の人物がどの登録顔画像８１に紐づけられた人物かを判定する。制御部１１は、類似度のスコアが所定の閾値以下であり、かつ、最も類似度スコアが小さい登録顔画像８１に紐づく人物を、本人として認証する。類似度スコアが所定の閾値より大きい場合は、顔認証失敗と判定する。
【００７３】
制御部１１（出力部７）は、ステップＳ１０７の認証結果を出力する（図４のステップＳ１０８）。出力は、例えば、ＰＣのログイン時の認証処理であれば、ログイン処理部への認証結果の通知であり、ゲート開錠等における顔認証処理であれば、開錠処理部への認証結果の通知である。なお、結果出力の方法はこれらに限定されず、どのような出力方法でもよいものとする。
【００７４】
以上説明したように、本実施の形態に係る顔認証装置１は、入力した画像３０に含まれる顔領域３１から各顔器官（右眉３２ａ、左眉３２ｂ、右目３２ｃ、左目３２ｄ、鼻３２ｅ、口３２ｆ、顎３２ｇ等）を検出し、検出した各顔器官３２ａ〜３２ｇの位置及び形状を複数の特徴点により定義した顔器官データ３２を生成し、この入力顔器官データ３２と、予め利用者情報８３に紐づけて登録されている登録顔画像８１の登録顔器官データ８２とを特定の顔器官（例えば、顎３２ｇ）を基準に位置合わせし、類似度スコアを求め、類似度スコアに基づく顔認証処理を行う。特定の顔器官を基準に位置合わせを行うことにより、個人差を識別しやすくなり精度のよい顔認証結果を得ることが可能となる。また、類似度スコアは、各顔器官Ｋに含まれる特徴点における画像間のユークリッド距離の平均値と分散を、全ての顔器官で統合した値とする。対応する特徴点間のユークリッド距離のみならず、分散を評価することで、表情の変化によらず、同一人物を識別しやすくなり認証精度が向上する。
【００７５】
以上、添付図面を参照して、本発明に係る顔認証装置等の好適な実施形態について説明したが、本発明は係る例に限定されない。例えば、上述の実施の形態では、コンピュータが顔認証処理を実行する例について説明したが、本発明はこれに限定されず、例えば、ロボットが顔から人物を特定する処理等に適用することも可能である。また、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７６】
１………………顔認証装置（コンピュータ）
２………………入力部
３………………顔領域検出部
４………………顔器官検出部
５………………位置合わせ部
６………………類似度評価部
７………………出力部
８………………登録顔データ
９………………登録処理部
１０……………ネットワーク
１１……………制御部
１２……………記憶部
１３……………メディア入出力部
１４……………周辺機器Ｉ／Ｆ部
１５……………入力部
１６……………表示部
１７……………通信制御部
１８……………バス
３０……………画像
３１……………顔領域
３２……………顔器官データ（入力顔器官データ）
３２ａ〜３２ｇ……………顔器官
８０……………利用者ＩＤ
８１……………顔画像（登録顔画像）
８２……………顔器官データ（登録顔器官データ）
８３……………利用者属性情報
【図１】
2018200592.tif 000008
【図２】
2018200592.tif 000009
【図３】
2018200592.tif 000010
【図４】
2018200592.tif 000011
【図５】
2018200592.tif 000012
【図６】
2018200592.tif 000013
【図７】
2018200592.tif 000014
【図８】
2018200592.tif 000015
【図９】
2018200592.tif 000016
【図１０】
2018200592.tif 000017
【図１１】
2018200592.tif 000018