(57)【要約】 【課題】対象物を適切に認証できる特徴量抽出装置および認証システムを提供する。【解決手段】本実施形態による特徴量抽出装置は、生成器と、決定器と、抽出器とを備える。生成器は、対象物の画像を含む第１画像の画像データから検出された対象物の特徴点に基づいて、正面を向くように第１画像中の対象物の向きを変更し、かつ、所定の大きさに第１画像中の対象物の大きさを変更した第２画像を生成する。決定器は、第２画像に基づいて、第２画像中に正面を向いた対象物が存在するか否かを決定する。検出器は、第２画像中に正面を向いた対象物が存在すると決定された場合に、第２画像に基づいて対象物の特徴量を検出する。【選択図】図１
2018045309.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む第１画像から検出された前記対象物の特徴点に基づいて、前記対象物が正面を向くように前記第１画像中を変更し、かつ、前記対象物を所定の大きさに変更した第２画像を生成する生成器と、
前記第２画像中に正面を向いた対象物が存在するか否かを判定する決定器と、
前記第２画像中に正面を向いた対象物が存在すると決定された場合に、前記第２画像に基づいて前記対象物の特徴量を抽出する抽出器と、を備える特徴量抽出装置。
【請求項２】
前記決定器は、前記第２画像から前記対象物とその確からしさを表す第１スコアとを検出し、前記第１スコアが第１閾値より大きい場合に、前記第２画像中に正面を向いた対象物が存在すると判定する請求項１に記載の特徴量抽出装置。
【請求項３】
前記決定器は、前記第２画像のうち複数の領域のそれぞれから前記特徴点とその確からしさを表す第２スコアとを検出し、前記検出された第２スコアの合計値が第２閾値より大きい場合に、前記第２画像中に正面を向いた対象物が存在すると判定する請求項１に記載の特徴量抽出装置。
【請求項４】
対象物を含む第１画像から検出された前記対象物の複数の特徴点候補に基づいて、前記対象物が正面を向くように前記第１画像を変更し、かつ、前記対象物を所定の大きさに変更した第２画像を生成する複数の生成器と、
前記生成器のそれぞれに対応し、前記第２画像中に正面を向いた対象物が存在するか否かを判定する複数の決定器と、
前記正面を向いた対象物が存在すると決定された第２画像から前記対象物の特徴量を抽出する抽出器と、を備える特徴量抽出装置。
【請求項５】
対象物を含む第１画像から検出された前記対象物の特徴点に基づいて、前記対象物が正面を向くように前記第１画像を変更し、かつ、前記対象物を所定の大きさに変更した第２画像を生成する生成器と、前記第２画像中に正面を向いた対象物が存在するか否かを判定する決定器と、前記第２画像中に正面を向いた対象物が存在すると決定された場合に、前記第２画像に基づいて前記対象物の特徴量を抽出する抽出器と、を備える特徴量抽出装置と、
前記正面を向いた対象物とその特徴量を記憶する記憶器と、
前記記憶器に記憶されている前記特徴量に基づいて、前記対象物を識別する識別器と、を備える認証システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、特徴量抽出装置および認証システムに関する。
【背景技術】
【０００２】
従来から、セキュリティを確保すべき様々な用途に利用可能な認証装置の１つとして、顔認証装置が採用されていた。従来の顔認証装置では、入力画像から検出された顔の特徴点に基づいて入力画像の正規化処理を行っていた。正規化処理では、入力画像において、顔を正面に向くように変更し、かつ、顔を一定の大きさに変更した正規化画像を生成していた。そして、従来の顔認証装置は、正規化画像を用いた顔認証を行うことで、入力画像中の顔の方向や大きさのばらつきを吸収して認証率の向上を図っていた。
【０００３】
しかし、従来の認証装置は、正規化処理の適否を判断できなかったため、認証を適切に行うことが困難であるといった問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４６７５４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、対象物を適切に認証できる特徴量抽出装置および認証システムを提供することにある。
【課題を解決するための手段】
【０００６】
本実施形態による特徴量抽出装置は、生成器と、決定器と、抽出器とを備える。生成器は、対象物の画像を含む第１画像の画像データから検出された対象物の特徴点に基づいて、正面を向くように第１画像中の対象物の向きを変更し、かつ、所定の大きさに第１画像中の対象物の大きさを変更した第２画像を生成する。決定器は、第２画像に基づいて、第２画像中に正面を向いた対象物が存在するか否かを決定する。検出器は、第２画像中に正面を向いた対象物が存在すると決定された場合に、第２画像に基づいて対象物の特徴量を抽出する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態を示す認証システムのブロック図である。
【図２】第１の実施形態の認証システムにおける正規化評価器のブロック図である。
【図３】第１の実施形態の認証システムの動作例を示すフローチャートである。
【図４】図４Ａは、第１の実施形態の認証システムの動作例において、正規化処理が適切な場合のスコアの算出例を示す模式図であり、図４Ｂは、正規化処理が不適切な場合のスコアの算出例を示す模式図である。
【図５】第２の実施形態の認証システムにおける正規化評価器のブロック図である。
【図６】第２の実施形態の認証システムの動作例を示すフローチャートである。
【図７】図７Ａは、第２の実施形態の認証システムの動作例において、正規化処理が適切な場合の特徴点の検出例を示す模式図であり、図７Ｂは、正規化処理が不適切な場合の特徴点の検出例を示す模式図である。
【図８】第３の実施形態を示す認証システムのブロック図である。
【図９】第３の実施形態の認証システムの動作例を示すフローチャートである。
【図１０】第３の実施形態の変形例の認証システムの動作例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明に係る実施形態を説明する。以下の実施形態では、特徴量抽出装置の特徴的な構成および動作を中心に説明するが、特徴量抽出装置には以下の説明で省略した構成および動作が存在しうる。これらの省略した構成および動作も本実施形態の範囲に含まれるものである。
【０００９】
（第１の実施形態）
図１は、第１の実施形態を示す認証システム１のブロック図である。本実施形態の認証システム１は、例えば、カメラで撮像した画像から所定の物体（以下、対象物ともいう）を認証するために用いる。対象物は、例えば人間の顔である。対象物の認証結果は、各種のセキュリティシステムに用いることができる。
【００１０】
認証システム１は、特徴量抽出装置２と、記憶器３と、識別器４とを備える。特徴量抽出装置２は、画像データ取得器２１と、対象物検出器２２と、特徴点検出器２３と、正規化器２４と、正規化評価器２５と、特徴量抽出器２６とを備える。
【００１１】
特徴量抽出装置２の各部２１〜２６は、例えば演算処理装置や記憶装置などのハードウェアである。また、認証システム１は、１つの機器や設備に搭載されていてもよく、または、一部が外部ネットワークを通じて通信可能な装置（例えばクラウド上のサーバやデータベース）上にあってもよい。
【００１２】
画像データ取得器２１は、対象物を含む入力画像（第１画像）の画像データを取得し、取得された画像データを対象物検出器２２に出力する。画像データ取得器２１は、カメラで撮像された画像データを入力する装置であってもよいし、その他の手法により画像データを取得する装置であってもよい。
【００１３】
対象物検出器２２は、画像データに基づいて対象物を検出する。例えば、対象物検出器２２は、画像データの輝度成分から、対象物の位置および大きさを検出する。具体的には、対象物検出器２２は、図示しない辞書データに基づいて対象物を検出する。辞書データは、認証システム１の図示しない記憶領域に記憶されている。辞書データには例えば、正面を向いた対象物の画像（以下、正面画像という）および斜めを向いた対象物の画像（以下、斜め画像という）のそれぞれの学習結果として、多くの対象物の共通特徴に基づいて、各画像中の対象物の輝度成分に応じた特徴を示す特徴量が記憶されている。対象物検出器２２は、入力画像のうち辞書データに記録された特徴量を有する画像を対象物として検出する。または、対象物検出器２２は、検出された対象物を含む所定サイズの画像を検出結果としてもよい。
【００１４】
対象物の検出に用いる特徴量は、例えば、矩形領域の輝度勾配の強度を表すJoint- Haarlike特徴量である。Joint-Haarlike特徴量は、複数のHaarlike特徴量の共起に基づき、近接する２つの矩形領域の平均輝度の差分値として求められるスカラ量である。Joint- Haarlike特徴量は、輝度値そのものを用いないので、照明条件の変動やノイズの影響を小さくすることができる。
【００１５】
対象物検出器２２は、検出された対象物の画像データを特徴点検出器２３に出力する。なお、対象物を検出できなかった場合、対象物検出器２２は、検出の失敗を画像データ取得器２１に通知する。
【００１６】
特徴点検出器２３は、対象物の画像データに基づいて対象物の特徴点を検出する。例えば、特徴点検出器２３は、分離度フィルタやコーナー検出アルゴリズムを用いて対象物の特徴点を検出する。特徴点検出器２３は、検出された特徴点のデータを正規化器２４に出力する。なお、特徴点を検出できなかった場合、特徴点検出器２３は、検出の失敗を画像データ取得器２１に通知する。
【００１７】
正規化器２４は、対象物の特徴点に基づいて、入力画像に対し正規化処理を行い、正規化画像（第２画像）を生成する。正規化画像は、対象物の向きおよび大きさを、正面かつ所定の大きさに変換されたものである。正規化処理には、例えば三次元形状モデルを用いる。三次元形状モデルとは、特徴点の位置と奥行きとを用いて対象物の形状を三次元で表現したデータをいう。正規化器２４は、三次元形状モデルとの２乗誤差が最小となるように入力画像を変換できる変換行列を求めることで、入力画像から三次元形状モデル上のテクスチャを推定してもよい。そして、正規化器２４は、正面に三次元形状モデルおよびテクスチャを回転することで正規化画像を生成してもよい。
【００１８】
正規化器２４は、正規化画像を正規化評価器２５に出力する。正規化処理を行うことで、対象物の大きさや角度のばらつきを吸収して認証率を上げることができる。
【００１９】
正規化評価器２５は、正規化画像中に正面を向いた対象物が存在するか否かを判定する。言い換えると、正規化評価器２５は、正規化画像が認証に用いる画像として適切か否かを評価する。
【００２０】
図２は、正規化評価器２５のブロック図である。正規化評価器２５は、ＲＯＩ設定部２５１と、検出器設定部２５２と、正面検出部２５３と、スコア比較部２５４とを有する。
【００２１】
ＲＯＩ設定部２５１は、正規化画像に対して対象物が存在するＲＯＩ（関心領域）を設定する。ＲＯＩは、正規化画像の全領域あるいは一部の領域であってもよい。ＲＯＩ設定部２５１は、設定されたＲＯＩのデータを検出器設定部２５２に出力する。
【００２２】
検出器設定部２５２は、ＲＯＩの大きさに応じて、検出しようとする対象物の大きさの最大と最小を設定する。検出器設定部２５２は、ピクセル単位で対象物の大きさを設定してもよい。検出器設定部２５２は、設定された対象物の大きさを正面検出部２５３に出力する。
【００２３】
正面検出部２５３は、正規化画像に含まれる対象物の正面画像を検出し、この正面画像の確からしさを表すスコアＳＣ１（第１スコア）を算出する。このとき、正面検出部２５３は、検出器設定部２５２で設定された大きさを逸脱する大きさの対象物を検出対象から除外する。スコアＳＣ１は、正規化画像中に正面画像が存在することの確からしさを示すパラメータである。スコアＳＣ１は、例えば、対象物の向きが正面に近いほど大きい値を有するものとする。例えば、スコアＳＣ１は、Joint-Haarlike特徴量に相関し、Joint-Haarlike特徴量が大きいほど値が大きくなる。正面検出部２５３は、辞書データを用いて正面画像を検出してもよい。正面検出部２５３は、正面画像とスコアＳＣ１とをスコア比較部２５４に出力する。正面検出部２５３によれば、スコアＳＣ１を算出することで、正面画像が正面を向いた対象物であることの確度を検知できる。
【００２４】
スコア比較部２５４は、スコアＳＣ１を閾値Ｔ１（第１閾値）と比較する。閾値Ｔ１は、検出された正面画像が対象物の正面画像であると認められない場合のスコアＳＣ１の最大値である。スコアＳＣ１が閾値Ｔ１より大きい場合に、正規化評価器２５は、正規化画像中に正面を向いた対象物が存在すると判定する。スコアＳＣ１が閾値Ｔ１以下の場合に、正規化評価器２５は、正規化画像中に正面を向いた対象物が存在しないと判定する。正規化評価器２５は、判定結果を特徴量抽出器２６に出力する。
【００２５】
正規化評価器２５によれば、スコアＳＣ１と閾値Ｔ１との比較結果に基づいて、正規化画像中に正面を向いた対象物が存在するか否かを簡便に判定できる。
【００２６】
特徴量抽出器２６は、正規化画像中に正面を向いた対象物が存在すると判定された場合に、正規化画像から対象物の特徴量を抽出する。対象物の特徴量は、対象物の共通特徴ではなく、一つ毎の対象物が特定でき、他の対象物を拒否できる特徴量である。対象物の特徴量は、例えば、正規化画像をDCT変換で得るDCT特徴量、または正規化画像に異なるスケールと方向のGaborフィルタを掛けることで取得するGabor特徴量である。
【００２７】
特徴量抽出器２６は、抽出された特徴量を識別器４に出力する。該特徴量は、正面を向いた対象物が存在すると判定された正規化画像に基づいて抽出されたものである。このため、該特徴量は、対象物の特徴を忠実に反映している。このような特徴量を認証に用いることで、対象物を高精度に認証できる。
【００２８】
記憶器３には、対象物の認証に用いる情報として、正面を向いた対象物の特徴量が記憶されている。記憶器３には、複数の対象物についての特徴量が記憶されている。記憶器３に記憶されている対象物の特徴量は、対象物検出器２２、特徴点検出器２３，正規化器２４，正規化評価機２５および特徴量抽出器２６を順に用いて、特徴量抽出器２６で抽出される特徴量と同種のものである。記憶器３に記憶されている特徴量は、例えば、DCT特徴量またはGabor特徴量である。
【００２９】
識別器４は、抽出された対象物の特徴量と、記憶器３に記憶された特徴量とを比較する。例えば、識別器４は、抽出された特徴量について、記憶器３から合致する特徴量の対象物を検出することで、抽出された対象物が、記憶器３内から検出された対象物であると識別する。
【００３０】
（動作例）
図３は、第１の実施形態の認証システム１の動作例を示すフローチャートである。ここでは、対象物を人間の顔とした場合の例について説明する。先ず、画像データ取得器２１は、顔を含む入力画像データを取得する（Ｓ１０）。次いで、対象物検出器２２は、画像データ取得器２１が取得した顔を含む入力画像データに基づいて顔の画像（以下、顔画像という）を検出する。また、特徴点検出器２３は、顔画像から顔の特徴点を検出する（Ｓ１１）。
【００３１】
ここで、顔画像は、一般的に、左右目尻間の領域と、眉上部から口までの領域とで構成される。顔画像の横幅をｆｗ、縦幅をｆｈ（図４Ａ参照）とすると、対象物検出器２２は、顔画像の中心（ｃｘ,ｃｙ）を基準として、入力画像のうち例えば２ｆｗ×２ｆｈの範囲内の画像を切り出す。対象物検出器２２は、切り出した画像を更に所定サイズの画像へと変換した画像を特徴点検出器２３に出力する。顔画像よりも大きい画像を顔画像の検出結果とすることで、顔画像に存在しない特徴点を検出することも可能となる。
【００３２】
特徴点検出器２３は、例えば、顔の特徴点として、瞳上の２点と、眉内端上の２点と、目頭上の２点と、目尻上の２点と、鼻孔上の２点と、鼻頂点上の１点と、口端上の１点と、口中上の１点との合計１４点の特徴点を検出する。
【００３３】
瞳と鼻孔は円に近いため、特徴点検出器２３は、円形分離度フィルタを用いて瞳上と鼻孔上の特徴点とを検出してもよい。また、目頭、目尻および口端についてはコーナー検出アルゴリズムを用いてコーナーを検出してもよい。
【００３４】
特徴点の検出後、正規化器２４は、入力画像の正規化処理を行う（Ｓ１２）。正規化処理に三次元顔形状モデルを用いる場合、正規化器２４は、三次元顔形状モデル上の特徴点位置と検出された１４点の特徴点との線形変換により、三次元顔形状モデル上に入力画像をフィッティングさせ、入力画像に対応する三次元顔形状モデル上のテクスチャを推定する。そして、三次元顔形状モデルおよびテクスチャを正面に回転することで、所定サイズの正規化画像を生成する。
【００３５】
認証時には、入力画像の顔姿勢は、記憶器３に予め登録されている顔姿勢と異なることが多い。このため、入力画像をそのまま顔認証に用いると、誤認証が生じたり、認証率が低くなったりする。これに対して、正規化処理を行うことで、様々な顔姿勢の入力画像を所定の向きおよび所定サイズに変換できる。これにより、誤認証および認証率の低下を抑制できる。
【００３６】
しかしながら、正規化処理は、対象物検出器２２と特徴点検出器２３の精度により、必ずしも適切に行われるとは限らない。正規化処理が不適切である場合、依然として、誤認証および認証率の低下が生じ得る。誤認証および認証率の低下を確実に抑制するため、正規化処理の後、正規化評価器２５は、正規化画像中に正面を向いた顔（以下、正面顔という）が存在するか否かを判定する（Ｓ１３）。
【００３７】
具体的には、ＲＯＩ設定部２５１は、正規化画像に対してＲＯＩを設定する（Ｓ１３１）。ＲＯＩは、正規化画像のうち顔の存在する領域である。例えば、ＲＯＩ設定部２５１は、正規化画像のうち中心の１／４の面積の領域にＲＯＩを設定してもよい。この場合、正面顔の有無の判定に用いる領域を抑制しつつ顔が写り込んだ領域を指定できるので、認証精度の維持と処理速度の向上とを両立できる。
【００３８】
次に、検出器設定部２５２は、検出しようとする顔の大きさの最大と最小とをピクセル単位で設定する（Ｓ１３２）。最大と最小とを設定することで、正面検出部２５３は、最大より大きくあるいは最小より小さく写り込んだ顔を検出対象から除外できる。検出器設定部２５２は、最大と最小のほか、スケール値及び検出を具体的に行う幾つかの大きさ（レイヤ）を決める。例えば、顔の大きさの最大Ｍａｘは、ＲＯＩのサイズと同じ、また、顔の大きさの最小Ｍｉｎは、Ｍｉｎ＝Ｍａｘ／（Ｓｃａｌｅ＾Ｎ）であってもよい。ただし、Ｓｃａｌｅは、１．０より大きい値であり、検出器の２つのレイヤ間のスケール値を示す。また、Ｎは、検出器で検出するレイヤの数を示す。
【００３９】
次に、正面検出部２５３は、ＲＯＩにおいて、正規化画像から顔の正面画像を検出し、その確からしさを示すスコアＳＣ１を算出する（Ｓ１３３）。正面画像の検出には、辞書データを用いる。正面検出部２５３は、正面画像の検出結果として、正面画像の位置と大きさとを出力する。スコアＳＣ１は、正面画像に対し顔が正面を向いているほど値が大きく、また、顔が斜めを向いているほど値が小さくなるように設定されている。また、スコアＳＣ１は、顔以外の画像に対して顔画像の場合よりも値が小さくなるように設定されている。
【００４０】
例えば、スコアＳＣ１がJoint-Haarlike特徴量に相関する値であるとする。この場合、正面画像において顔が正面を向いているほど、各器官のHaarlike特徴量は、各器官が存在することを示す“１”となり易い。この場合、Joint-Haarlike特徴量の値が大きくなり、これにともなってスコアＳＣ１の値も大きくなる。一方、正面画像において顔が斜めを向いているほど、各器官のHaarlike特徴量は、各器官が存在しないことを示す“０”となり易い。この場合、Joint-Haarlike特徴量の値が小さくなり、これにともなってスコアＳＣ１の値も小さくなる。また、顔以外の画像については、Joint-Haarlike特徴量の値がゼロになり、これにともなってスコアＳＣ１の値もゼロになる。
【００４１】
ここで、スコアＳＣ１の具体的な適用例について説明する。図４Ａは、正規化処理が適切な場合のスコアの算出例を示す模式図である。入力画像７１中の顔が正面を向いている場合、特徴点検出器２３は、顔器官上の正しい位置に特徴点ｐを検出する。正しい位置に特徴点ｐが検出されることで、正規化器２４は、正面顔を含む正規化画像７３を得る。これにより、ＲＯＩ設定部２５１が設定したＲＯＩ７４内において、正面検出部２５３はスコアＳＣ１“１２０００”を算出する。
【００４２】
図４Ｂは、正規化処理が不適切な場合のスコアの算出例を示す模式図である。入力画像７１０中の顔が斜めを向いている場合、特徴点検出器２３は、顔器官上の誤った位置に特徴点ｐを検出する。誤った位置に特徴点ｐが検出されることで、正規化器２４は、正面への向きの変更が不十分な顔を含む正規化画像７３０を得る。これにより、ＲＯＩ７４内において、正面検出部２５３はスコアＳＣ１“１４００”を算出する。
【００４３】
続いて、スコア比較部２５４は、スコアＳＣ１を閾値Ｔ１と比較する（Ｓ１３４）。スコアＳＣ１が閾値Ｔ１より大きい場合（Ｓ１３４：Ｙｅｓ）、正規化評価器２５は、正規化画像中に正面顔が存在すると判定し、判定結果を特徴量抽出器２６に出力する。そして、特徴量抽出器２６は、正規化画像から特徴量を抽出する（Ｓ１４）。認証時、識別器４は、抽出された特徴量を記憶器３の特徴量と比較し、入力画像中の顔が記憶器３に予め登録されている顔のいずれであるかを識別する（Ｓ１５）。
【００４４】
一方、スコアＳＣ１が閾値Ｔ１以下の場合（Ｓ１３４：Ｎｏ）、正規化評価器２５は、正規化画像中に正面顔が存在しないと判定し、判定結果を画像データ取得器２１に出力する。正面顔が存在しない場合、Ｓ１０に戻り、新たな入力画像を取得する。
【００４５】
認証システム１は、検出された正面画像を記憶器３に登録することにも適用できる。登録時の動作は、図３の特徴量抽出（Ｓ１４）までは認証時の動作と同じである。登録時には、抽出された特徴量を記憶器３に登録する（Ｓ１６）。
【００４６】
図４Ｂの正規化画像７３は、顔が正面を向いていることおよび特徴点が顔器官の正しい位置にとられていること、の確度が不十分である。正規化画像をそのまま顔認証に用いた場合、誤認証や認証率の低下が生じてしまう。
【００４７】
これに対して、第１の実施形態では、正規化評価器２５によって正規化画像中に存在する正面顔の確度を評価している。これにより、確度が低い正規化画像をリジェクトし、確度が高い正規化画像を顔認証に用いることができる。誤認証や認証率の低下が生じることを抑制できる。したがって、第１の実施形態によれば、対象物を適切に認証できる。
【００４８】
第１の実施形態では、正規化評価器２５で正規化画像を評価し、正規化画像が有効だった場合、特徴量抽出器２６によって対象物の特徴量を抽出することを説明した。これに対し、正規化評価器２５での評価結果を用いて、特徴量抽出器２６で抽出された特徴量を、識別器４に出力するか否かを決定してもよい。
【００４９】
なお、特徴量を記憶器３に登録する場合、閾値Ｔ１は認証時より登録時を高い値に設定してもよい。登録時の閾値Ｔ１を高い値に設定することで、信頼性の高い辞書データを作成できる。
【００５０】
（第２の実施形態）
第２の実施形態は、正規化画像のうち特徴点が存在すべき複数の領域にＲＯＩを設定する。なお、第１実施形態に対応する構成については、同一の符号を用いて重複した説明を省略する。
【００５１】
図５は、第２の実施形態の正規化評価器２５のブロック図である。図５の正規化評価器２５は、検出設定部２５５と、特徴点検出部２５６と、スコア比較部２５７と、評価部２５８とを有する。
【００５２】
検出設定部２５５は、正規化画像のうち特徴点が存在すべき複数の領域にＲＯＩを設定する。対象物が顔の場合、検出設定部２５５は、目、眉、鼻および口をそれぞれ含む領域にＲＯＩを設定してもよい。また、検出設定部２５５は、ＲＯＩのそれぞれに応じて、検出する特徴点の最大と最小の大きさとを設定する。設定はピクセル単位で行ってもよい。
【００５３】
特徴点検出部２５６は、設定されたＲＯＩのそれぞれから特徴点を検出し、その特徴点の確からしさを表すスコア（第２スコア）ＳＣ２を算出する。スコアＳＣ２は、正規化画像中に特徴点が存在することの確からしさを示す。スコアＳＣ２は、対象物の向きが正面に近いほど値が大きくなるように設定されている。
【００５４】
スコア比較部２５７は、ＲＯＩのそれぞれに対応するスコアＳＣ２と閾値（第２閾値）Ｔ２とを比較する。閾値Ｔ２は、検出された特徴点が対象物の特徴点であると認められない場合のスコアＳＣ２の最大値である。スコアＳＣ２が閾値Ｔ２より大きい場合に、検出された特徴点は対象物の特徴点であると認められる。なお、閾値Ｔ２は、ＲＯＩに応じて異なってもよい。
【００５５】
評価部２５８は、ＲＯＩのそれぞれに対応する複数のスコアＳＣ２に基づいて、正規化画像中に正面を向いた対象物が存在するか否かを判定する。例えば、評価部２５８は、複数のスコアＳＣ２を統合した総スコアＳＣ２ｔｏｔａｌを算出し、総スコアＳＣ２ｔｏｔａｌが総閾値Ｔ２ｔｏｔａｌより大きいか否かに基づいて正面を向いた対象物が存在するか否かを判定してもよい。総スコアＳＣ２ｔｏｔａｌは、複数のスコアＳＣ２を合計した合計値であってもよい。また、総スコアＳＣ２ｔｏｔａｌは、複数のスコアＳＣ２間に異なる重みを設定したものであってもよい。また、総閾値Ｔ２ｔｏｔａｌは、スコアＳＣ２のそれぞれの閾値Ｔ２の合計値と同じであっても異なってもよい。
【００５６】
正規化評価器２５によれば、特徴点ごとのスコアに基づいて、正規化画像中に正面を向いた対象物が存在するか否かを簡便に判定できる。
【００５７】
（動作例）
図６は、第２の実施形態の認証システム１の動作例を示すフローチャートである。第２の実施形態は、第１の実施形態の（Ｓ１３）に代わり、Ｓ２３のステップを有する。以下では、正面を向いた顔の有無の決定（Ｓ２３）を中心に説明する。
【００５８】
Ｓ２３において、検出設定部２５５は、特徴点が存在すべき領域ごとにＲＯＩを設定する（Ｓ２３１）。顔には、例えば、眉の位置が顔の上半部に存在し、眉の下に両目が存在し、目の下に鼻および口が存在するといった位置関係が存在する。このような位置関係に基づいて、検出設定部２５５は特徴点の位置および大きさに応じたＲＯＩを設定する。
【００５９】
次に、検出設定部２５５は、検出しようとする特徴点ごとに、特徴点の最大および最小の大きさとをピクセル単位で設定する。すなわち、検出設定部２５５は、特徴点のそれぞれの検出器のサイズを設定する（Ｓ２３２）。例えば、検出設定部２５５は、瞳および鼻孔を円形として検出する場合、円の半径を、瞳や鼻孔のＲＯＩの大きさに所定の倍率を乗じた値に設定してもよい。
【００６０】
次に、特徴点検出部２５６は、ＲＯＩごとに、特徴点を検出し、スコアＳＣ２を算出する（Ｓ２３３）。特徴点の検出には、正面画像の特徴点を学習した辞書データを用いる。特徴点検出部２５６は、特徴点の検出結果として、特徴点の位置を出力する。検出された特徴点が正面顔である場合、スコアＳＣ２の値は大きい。検出された特徴点が斜め顔である場合、スコアＳＣ２の値は正面顔の場合よりも小さい。検出された特徴点が顔以外である場合、スコアＳＣ２の値は顔画像の場合よりも小さい。
【００６１】
ここで、第２の実施形態の顔認証システム１の動作例における特徴点の検出例について説明する。図７Ａは、正規化処理が適切な場合の特徴点の検出例を示す模式図である。入力画像７１中の顔が正面を向いている場合、顔器官上の正しい位置に特徴点ｐが検出され、また、正面顔を含む正規化画像７３が得られる。そして、正規化画像７３に対して設定された複数のＲＯＩ７５は、特徴点が存在する顔器官に重なっている。これにより、ＲＯＩ７５において、スコアＳＣ２が高い特徴点が検出される。
【００６２】
図７Ｂは、正規化処理が不適切な場合の特徴点の検出例を示す模式図である。入力画像７１０中の顔が斜めを向いている場合、顔器官上の誤った位置に特徴点ｐが検出され、また、斜め顔を含む正規化画像７３０が得られる。そして、ＲＯＩ７５に対して特徴点が存在する顔器官の位置がずれる。これにより、ＲＯＩ７５において、スコアＳＣ２が低い特徴点が検出される。
【００６３】
続いて、スコア比較部２５７は、スコアＳＣ２を閾値Ｔ２と比較し、比較結果を評価部２５８に出力する（Ｓ２３４）。
【００６４】
Ｓ２３１〜Ｓ２３４までの工程は、複数のＲＯＩ７５に対して順に行ってもよく、または、複数のＲＯＩ７５に対して同時進行で行ってもよい。
【００６５】
評価部２５８は、正規化画像中に正面顔が存在するか否かを判定する（Ｓ２３５）。具体的には、評価部２５８は、総スコアＳＣ２ｔｏｔａｌが総閾値Ｔ２ｔｏｔａｌより大きいか否かに基づいて正面顔の有無を判定する。
【００６６】
総スコアＳＣ２ｔｏｔａｌが総閾値Ｔ２ｔｏｔａｌより大きい場合（Ｓ２３５：Ｙｅｓ）、評価部２５８は、正面顔が存在すると判定する。一方、総スコアＳＣ２ｔｏｔａｌが総閾値Ｔ２ｔｏｔａｌ以下の場合（Ｓ２３５：Ｎｏ）、評価部２５８は、正面顔が存在しないと判定する。正面顔が存在しない場合、Ｓ１０に戻り、新たな入力画像を取得する。
【００６７】
なお、第２の実施形態では、評価部２５８による総スコアＳＣ２ｔｏｔａｌと総閾値Ｔ２ｔｏｔａｌとの比較によって正面顔の有無を判定してもよい。この場合、スコア比較部２５７およびその動作（Ｓ２３４）を省略する。
【００６８】
第２の実施形態においても、正規化評価器２５によって正規化画像を評価することで、正面顔が存在する確度が高い正規化画像を顔認証に用いることができる。これにより、誤認証や認証率の低下が生じることを抑制して、顔認証を適切に行うことができる。
【００６９】
なお、複数の特徴点のスコアＳＣ２の加算によって総スコアＳＣｔｏｔａｌを算出する場合、特徴点のそれぞれのスコアＳＣ２に異なる値の重みを乗じてもよい。例えば、帽子の着用によって隠れ易い眉のスコアや、マスクの着用によって隠れる口や鼻孔のスコアよりも、瞳のスコアに大きな重みを乗じてもよい。このようにすれば、帽子やマスクの着用時における認証率を向上させることができる。
【００７０】
（第３の実施形態）
次に、特徴点候補のそれぞれに基づいて生成された正規化画像を評価する第３の実施形態について説明する。なお、第１実施形態に対応する構成については、同一の符号を用いて重複した説明を省略する。
【００７１】
図８は、第３の実施形態を示す認証システム１のブロック図である。特徴点検出器２３は、複数の特徴点候補を検出する。特徴点候補とは、特徴点として未確定の点である。なお、顔のように複数の特徴点を有する対象物である場合、それぞれの特徴点に、複数の特徴点候補が存在する。特徴点検出器２３は、特徴点候補を組み合わせた特徴点候補セットを検出する。例えば、人間の顔の各器官の数はM,各器官の特徴点候補が３つずつである場合、特徴点検出器２３は、３＾M組の特徴点候補セットを検出する。
【００７２】
また、第３の実施形態の特徴量抽出装置２は、複数の正規化器２４と、複数の正規化評価器２５と、評価スコア比較器２７とを備える。
正規化器２４は、特徴点候補セットのそれぞれに対応するように、特徴点セット候補と同数設けられている。各正規化器２４は、特徴点候補セットに基づいて正規化画像を生成する。特徴点候補セットに基づいた正規化画像の生成は、特徴点に基づいた正規化画像の生成と同じ手法で行ってもよい。
【００７３】
正規化評価器２５は、正規化器２４のそれぞれに対応するように、正規化器２４と同数設けられている。各正規化評価器２５は、対応する正規化画像中に正面を向いた対象物が存在するか否かを判定する。各正規化評価器２５は、図２と同様の構成を有する。
【００７４】
各正規化評価器２５は、正規化画像に含まれる正面画像を検出し、その確からしさを表すスコア（第３スコア）ＳＣ３を算出する。そして、各正規化評価器２５は、検出されたスコアＳＣ３が閾値Ｔ３より大きい場合に、正規化画像中に正面を向いた対象物が存在すると判定する。スコアＳＣ３の算出方法は、第１スコアＳＣ１と同様でよい。
【００７５】
評価スコア比較器２７は、正面を向いた対象物が存在すると判定された正規化画像のうち、スコアＳＣ３が最大の正規化画像を決定する。特徴量抽出器２６は、評価スコア比較器２７で決定された正規化画像に基づいて特徴量を抽出する。
【００７６】
（動作例）
次に、対象物を人間の顔とした動作例について説明する。図９は、第３の実施形態の顔認証システム１の動作例を示すフローチャートである。
【００７７】
先ず、画像データ取得器２１は、顔を含む入力画像データを取得する（Ｓ１０）。次いで、対象物検出器２２は、入力画像データに基づいて顔画像を検出する。また、特徴点検出器２３は、検出された顔画像に基づいて、特徴点候補セットを複数組検出する（Ｓ３１）。特徴点候補セットの検出は、例えば円形分離度フィルタやコーナー検出アルゴリズムを用いて行う。
【００７８】
特徴点候補セットの検出後、各正規化器２４は、対応する特徴点候補セットに基づいて入力画像の正規化処理を行う（Ｓ３２）。特徴点候補セットに基づいた正規化処理は、例えば特徴点候補位置と各特徴点候補における奥行き情報とで表現した三次元顔形状モデルを用いて行う。
【００７９】
続いて、各正規化評価器２５は、正規化画像中に正面顔が存在するか否かを判定する（Ｓ３３）。具体的には、先ず、ＲＯＩ設定部２５１は、正規化画像に対してＲＯＩを設定する（Ｓ３３１）。次に、検出器設定部２５２は、検出しようとする顔の最大の大きさと最小の大きさとをピクセル単位で設定する（Ｓ３３２）。そして、正面検出部２５３は、ＲＯＩの範囲内において正規化画像から正面画像を検出し、その確からしさを表すスコアＳＣ３を算出する（Ｓ３３３）。続いて、スコア比較部２５４は、スコアＳＣ３を閾値Ｔ３と比較する（Ｓ３３４）。
【００８０】
スコアＳＣ３が閾値Ｔ３より大きい場合（Ｓ３３４：Ｙｅｓ）、正規化評価器２５は、正面顔が存在すると判定する。一方、スコアＳＣ３が閾値Ｔ３以下の場合（Ｓ３３４：Ｎｏ）、正規化評価器２５は、正面顔が存在しないと判定して処理を終了する。
【００８１】
評価スコア比較器２７は、閾値Ｔ３より大きいスコアＳＣ３のうち最大のスコアＳＣ３ｍａｘを選択する（Ｓ３４）。評価スコア比較器２７は、このスコアＳＣ３ｍａｘに対応する特徴点候補を、特徴点として確定する。特徴量抽出器２６は、スコアＳＣ３ｍａｘを有する正規化画像の特徴量を抽出する（Ｓ３４）。
【００８２】
本来、特徴点候補は、特徴点の算出の過程で得られるものであり、特徴点の算出後の処理には用いられない。第３の実施形態によれば、複数の特徴点候補に基づく正規化画像を評価することで、特徴点候補の算出結果を有効利用できる。
【００８３】
第３の実施形態においても、正規化評価器２５によって正規化画像を評価することで、正面顔が存在する確度が高い正規化画像を顔認証に用いることができる。これにより、誤認証や認証率の低下が生じることを抑制して、顔認証を適切に行うことができる。
【００８４】
（変形例）
次に、特徴点候補のそれぞれに基づいて生成された正規化画像のうち特徴点候補が存在すべき複数の領域にＲＯＩを設定する第３の実施形態の変形例について説明する。図８に対応する構成については、同一の符号を用いて重複した説明を省略する。
【００８５】
本変形例の認証システム１は、各正規化評価器２５が、図５と同様の構成を有する。具体的には、各正規化評価器２５は、正規化画像のうち特徴点候補セットが存在すべき領域のそれぞれから、特徴点候補セットを検出し、その確からしさを表すスコア（第４スコア）ＳＣ４を算出する。そして、各正規化評価器２５は、スコアＳＣ４が閾値Ｔ４より大きい場合に、正規化画像中に正面を向いた対象物が存在すると判定する。第４スコアＳＣ４の算出方法は、第２スコアＳＣ２と同様でよい。
【００８６】
評価スコア比較器２７は、正面を向いた対象物が存在すると判定された正規化画像のうち、スコアＳＣ４が最大の正規化画像を決定する。特徴量抽出器２６は、評価スコア比較器２７で決定された正規化画像に基づいて特徴量を抽出する。
【００８７】
（動作例）
図１０は、第３の実施形態の変形例の顔認証システム１の動作例を示すフローチャートである。本変形例の認証システム１の動作例は、正面顔の有無の判定が図９のＳ３３と異なる。したがって、以下では、正面顔の有無の判定（Ｓ４３）を中心に説明する。
【００８８】
具体的には、各検出設定部２５５は、特徴点候補が存在すべき領域ごとにＲＯＩを設定する（Ｓ４３１）。各検出器設定部２５２は、特徴点候補ごとに検出器のサイズを設定する（Ｓ４３２）。各特徴点検出部２５６は、ＲＯＩごとに、設定された大きさの特徴点候補を検出し、その確からしさを表すスコアＳＣ４を算出する（Ｓ４３３）。各スコア比較部２５７は、スコアＳＣ４を閾値Ｔ４と比較する（Ｓ４３４）。スコア比較部２５７は、スコアＳＣ４と閾値Ｔ４２との比較結果を評価部２５８に出力する。Ｓ４３１〜Ｓ４３４までの工程は、複数のＲＯＩに対して、順に、または、同時に行ってもよい。
【００８９】
各評価部２５８は、対応する正規化画像中に正面顔が存在するか否かを判定する（Ｓ４３５）。具体的には、各評価部２５８は、複数のスコアＳＣ４を統合した総スコアＳＣ４ｔｏｔａｌが総閾値Ｔ４ｔｏｔａｌより大きいか否かに基づいて正面顔の有無を判定する。
【００９０】
総スコアＳＣ４ｔｏｔａｌが総閾値Ｔ４ｔｏｔａｌより大きい場合（Ｓ４３５：Ｙｅｓ）、評価部２５８は、正面顔が存在すると判定する。一方、総スコアＳＣ４ｔｏｔａｌが総閾値Ｔ４ｔｏｔａｌ以下の場合（Ｓ４３５：Ｎｏ）、評価部２５８は、正面顔が存在しないと判定して、処理を終了する。
【００９１】
評価スコア比較器２７は、総スコアＳＣ４ｔｏｔａｌのうち、最大の総スコアＳＣ４ｍａｘを選択する。評価スコア比較器２７は、この総スコアＳＣ４ｍａｘに対応する特徴点候補を、特徴点として確定する。特徴量抽出器２６は、総スコアＳＣ４ｍａｘを有する正規化画像の特徴量を抽出する。
【００９２】
なお、第４の実施形態では、評価部２５８による総スコアＳＣ４ｔｏｔａｌと総閾値Ｔ４ｔｏｔａｌとの比較によって正面顔の有無を判定できるので、スコア比較部２５７およびその動作（Ｓ４３４）を省略してもよい。
【００９３】
本変形例においても、正規化評価器２５によって正規化画像を評価することで、正面顔が存在する確度が高い正規化画像を顔認証に用いることができる。これにより、誤認証や認証率の低下が生じることを抑制して、顔認証を適切に行うことができる。
【００９４】
本実施形態の認証システム１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、認証システム１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００９５】
また、認証システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００９６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９７】
１  認証システム、２  特徴量抽出装置、２４  正規化器２４、２５  正規化評価器、２６  特徴量抽出器
【図１】
2018045309.tif 000003
【図２】
2018045309.tif 000004
【図３】
2018045309.tif 000005
【図４】
2018045309.tif 000006
【図５】
2018045309.tif 000007
【図６】
2018045309.tif 000008
【図７】
2018045309.tif 000009
【図８】
2018045309.tif 000010
【図９】
2018045309.tif 000011
【図１０】
2018045309.tif 000012