(57)【要約】【課題】顔画像認証システムにおいて、写真等を用いた不正行為を効果的に防止することが出来る。【解決手段】人体の構造的に表情の変位幅が小さい部位を不変特徴量、変位幅が大きい部位を可変特徴量として登録する。認証対象者の顔画像を取得し、顔画像から抽出した特徴量について、不変特徴量に該当する部位は差異が生じにくく、可変特徴量に該当する部位は一定の差異が生じるため、登録されている特徴量情報との照合から、不自然に表情が変化していないと判断し、不正認証を排除する。【選択図】  図１
2013214217.tif 000002
【特許請求の範囲】
【請求項１】
作業者の個人情報を取得するための個人情報入力装置と、
前記作業者の顔画像情報を取得する顔画像情報取得装置と、
前記個人情報の少なくとも一部と、前記顔画像情報に関する顔画像テンプレートと、前記顔画像情報の一部の領域に関する第１特徴量テンプレートと、前記顔画像情報の他の一部の領域に関する第２特徴量テンプレートとを格納するデータベース部と、
前記個人情報に基づいて前記データベース部から読み出す前記顔画像テンプレートを用いて、前記顔画像情報から顔画像を抽出する顔画像情報抽出処理部と、
前記顔画像について、特徴領域を抽出する特徴領域抽出処理部と、
前記顔画像情報の一部領域に関する第１特徴量情報を、前記特徴領域から抽出する第１特徴量抽出処理部と、
前記顔画像情報の他の一部領域に関する特徴量情報を、前記特徴領域から抽出する第２特徴量抽出処理部と、
前記データベース部から読み出す前記第１特徴量テンプレートと前記第１特徴量情報と、前記データベース部から読み出す前記第２特徴量テンプレートと前記第２特徴量情報と、を各々照合をし、前記照合の結果から前記作業者の認証をする認証判定部とを有する認証システム。
【請求項２】
前記顔画像情報の一部領域は、前記顔画像情報の中の表情の変位幅が小さい部位に対応し、前記顔画像情報の他の一部領域は、前記顔画像情報の中の表情の変位幅が大きい部位に対応することを特徴とする請求項１に記載の認証システム。
【請求項３】
前記認証判定部は、前記第１特徴量テンプレートと前記第１特徴量情報との適合率が閾値以上、かつ前記第２特徴量テンプレートと前記第２特徴量情報との適合率が閾値以下の一定範囲の場合のときに、前記認証をすることを特徴とする請求項１乃至２に記載の認証システム。
【請求項４】
前記第１特徴量情報は前記顔画像の不変特徴量であり、前記第２特徴量情報は前記顔画像の可変特徴量であることを特徴とする請求項１乃至３に記載の認証システム。
【請求項５】
前記顔画像情報抽出処理部は、テンプレートマッチング法により、前記顔画像テンプレートを用いて、前記顔画像情報から顔画像を抽出することを特徴とする請求項１乃至４に記載の認証システム。
【請求項６】
前記特徴領域抽出処理部は、LFA法により、前記顔画像情報から前記特徴領域を抽出することを特徴とする請求項１乃至５に記載の認証システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視制御を必要とするデータセンタや入退出室管理区域等において、作業用装置（以下、端末という）を操作する作業者が本人であることの認証（以下、本人認証という）を行い、操作の許可をする顔画像を用いた認証システムに関する。
【背景技術】
【０００２】
従来の顔画像認証技術では、カメラ等により取得した静止画像情報から顔画像部分を抽出し、予め登録されている登録者の顔画像と照合をする（例えば、特許文献１）。
【０００３】
不正を防止する技術の例として、人の顔における複数の部位の動きパターンを予め登録しておき、カメラ等により時系列的に連続取得した複数の静止画像情報から、顔画像情報を抽出し、それぞれ人の顔における各部位の状態を示す情報を検出し、時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きと認められた場合に限り、顔画像の照合をする技術がある（例えば、特許文献２）。
【０００４】
また、端末を操作する作業者の認証技術としては、作業者の生体情報又は生体外観情報を読み取る装置と、作業者を認識する作業者特定装置を持ち、作業者が初回の操作要求をした際には生体情報を用いた認証を行い、認証後は作業者特定装置による本人確認を担保に操作要求の認証をする技術がある（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２５６４９６号公報
【特許文献２】特開２００８−７１１７９号公報
【特許文献３】特開２００９−３２０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば特許文献１に記載の顔画像認証技術では、対象者の顔画像情報を１つの静止画像として取得しており、顔写真等により偽装される可能性がある。そのため、顔画像照合の不正を防止する技術が求められている。また特許文献２に記載の技術では、本人であっても、顔における複数の部位の動きが予め登録された動きパターンに該当しなかった場合に、いつまでも照合フェーズに移行しない可能性がある。さらに特許文献３に記載の技術では、初回の生体情報又は生体外観情報の読み取り後に作業者が入れ替われる可能性がある。
このように、従来の顔認証技術では、認証システムが保有する顔画像情報の特徴量と顔画像取得装置により取得した顔画像情報の特徴量が一致することを担保に本人認証をしていた。しかし、不自然に表情の変化しない写真等を顔画像取得装置に読み込ませて本人認証を突破することについては考慮していない。また、認証時のみ本人が居たとしても、その後の作業者が本人であるかどうか確認する手段が存在しなかった。
【０００７】
本発明は、作業者が制限される端末等でリアルタイムに本人を認証する顔画像認証システムの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明による認証システムは、一例として、作業者の個人情報を取得するための個人情報入力装置と、前記作業者の顔画像情報を取得する顔画像情報取得装置と、前記個人情報の少なくとも一部と、前記顔画像情報に関する顔画像テンプレートと、前記顔画像情報の一部の領域に関する第１特徴量テンプレートと、前記顔画像情報の他の一部の領域に関する第２特徴量テンプレートとを格納するデータベース部と、前記個人情報に基づいて前記データベース部から読み出す前記顔画像テンプレートを用いて、前記顔画像情報から顔画像を抽出する顔画像情報抽出処理部と、前記顔画像について、特徴領域を抽出する特徴領域抽出処理部と、前記顔画像情報の一部領域に関する第１特徴量情報を、前記特徴領域から抽出する第１特徴量抽出処理部と、前記顔画像情報の他の一部領域に関する特徴量情報を、前記特徴領域から抽出する第２特徴量抽出処理部と、前記データベース部から読み出す前記第１特徴量テンプレートと前記第１特徴量情報と、前記データベース部から読み出す前記第２特徴量テンプレートと前記第２特徴量情報と、を各々照合をし、前記照合の結果から前記作業者の認証をする認証判定部とを有する。
【０００９】
このように、顔画像情報を取得する装置を用い、取得した情報をシステムが保有する顔画像に関する情報と照合し、顔の表情について変化しない箇所（以下、不変特徴量という）と変化が期待できる箇所（以下、可変特徴量という）の照合を行う。照合結果は集計してもよい。不変特徴量は照合の一致度が閾値より高いこと、可変特徴量は一定の範囲内であることで作業者本人が認証することを担保する。
【発明の効果】
【００１０】
本発明は、本人の顔画像認証を実現しながら、写真等による認証突破を回避することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例である顔認証システムの構成例。
【図２】本実施例の本人認証の処理フロー例。
【図３】初回登録時の処理フロー例。
【図４】初回登録時のデータフロー例。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら顔画像認証システムの実施の形態について詳細に説明する。
【実施例１】
【００１３】
本発明の一実施例である顔画像認証システムを図１から図４により説明する。図１は本実施例の顔画像認証システムの構成例である。本実施例は特定の作業者が操作できる端末の認証等に使用される。
【００１４】
本実施例は、作業者１００から入力を受ける作業者情報入力装置１０１と、個人情報処理部１０４と、特徴量抽出処理部１０７と、情報照合部１１２と、認証判定部１１５と、出力装置１１７を含む。
【００１５】
作業者情報入力装置１０１は、作業者１００の顔画像を取得する顔画像情報取得部１０２と、個人情報入力部１０３で構成される。顔画像情報取得部１０２は、Ｗｅｂカメラのような画像情報機器を用いて、作業者１００の顔を含む動画あるいは静止画を撮影する。個人情報入力部１０３は、ＩＣカードやＲＦタグなどの機器からの情報読み込みやパスワード入力装置等による情報検索手段を用いて作業者の個人情報の入力を受ける。
【００１６】
個人情報処理部１０４は、個人情報確認処理部１０５と、作業者別情報格納ＤＢ１０６を含む。個人情報処理部１０５は、個人情報入力部１０３より取得した個人情報を用いて作業者別情報格納ＤＢ１０６を検索し、該当の作業員に関する情報を取得する。作業者別情報格納ＤＢ１０６は、登録済み作業者を特定するための個人情報、顔画像の処理に必要な作業者別テンプレート（顔画像テンプレート、不変特徴量テンプレート、可変特徴量テンプレート等）、照合に必要な作業者別特徴量情報等作業員に関する情報を格納する。
特徴量抽出処理部１０７は、顔画像情報から対象の顔領域を抽出する顔領域抽出処理部１０８と、顔領域から特徴量を抽出する特徴量抽出処理部１０９と、抽出した特徴量情報から不変特徴量を抽出する不変特徴量抽出処理部１１０と、同じく特徴量情報から可変特徴量を抽出する可変特徴量抽出処理部１１１を含む。
【００１７】
情報照合部１１２は、不変特徴量と可変特徴量を用いて照合をする特徴量照合処理部１１３と、その照合結果を格納する照合結果格納ＤＢ１１４を含む。
【００１８】
認証判定部１１５は、照合結果を用いて認証可否を判断する認証処理部１１６を含む。
出力装置１１７は、認証結果を出力する機器を含む。
【００１９】
作業者１００は、作業端末に設置された作業者情報入力装置１０１に個人情報を入力する。個人情報は、アカウント名や、ＩＣカード、ＲＦタグ等に格納されるユーザ情報など、作業者を一意に識別するための情報とする。
【００２０】
入力された個人情報は、個人情報処理部１０４へ送られ、個人情報確認処理部１０５が処理を行う。個人情報確認処理部１０５は、入力された個人情報と作業者別情報格納ＤＢ１０６に格納されている情報を照合し、登録されている作業者か確認する。
登録されている作業者である場合、Ｗｅｂカメラ等の顔画像情報取得部１０２で作業者本人の顔画像を取得する。この時、顔画像情報取得部１０２は一定間隔で、連続した顔画像を取得する。
【００２１】
特徴量抽出処理部１０７では、まず顔領域抽出処理部１０８が処理を行う。顔領域抽出処理部１０８は、顔画像情報取得部１０２で取得した顔画像情報と、作業者別情報格納ＤＢ１０６に格納された作業者別テンプレート（予め保存された顔画像情報である顔画像テンプレート）を用いて、テンプレートマッチング法による顔領域抽出をする。テンプレートマッチング法とは、取得した画像に対してテンプレートとする顔画像を走査し、顔領域を検出する手法である。走査する際に使用するテンプレートの完成度が顔領域検出の精度に影響するため、本人顔画像から作成した作業者別テンプレートを使用している。
【００２２】
次に、抽出した顔領域情報を用いて特徴量（特徴領域）抽出処理部１０９が処理を行う。特徴量抽出処理部１０９では、LFA法による特徴量抽出(特徴領域)を想定しているが、顔領域から必要な特徴量情報が得られるのであれば、他の手法を用いた特徴量抽出方法を選択しても良い。LFA法とは、顔領域情報に含まれる眉、目、鼻、頬、口、等の局所的な特徴を持つ部位に対し、主成分分析をして特徴量を抽出する方法である。部位の検出には、目や口などのパーツ毎にテンプレートを準備して、顔領域内でテンプレートマッチング法による走査をしても良い。  次に特徴量抽出処理部１０９で抽出した特徴量情報を用いて、不変特徴量抽出処理部１１０と可変特徴量抽出処理部１１１が処理を行う。不変特徴量抽出処理部１１０では、取得した特徴量情報と、作業者別情報格納ＤＢ１０６に格納された作業者別テンプレート（予め保存された不変量特徴情報である不変特徴量テンプレート）を用いて、作業者の不変特徴量情報を抽出する。同様に、可変特徴量情報抽出処理部１１１では、取得した特徴量情報と、作業者別情報格納ＤＢ１０６に格納された作業者別テンプレート（予め保存された可変量特徴情報である可変特徴量テンプレート）を用いて、作業者の可変特徴量情報を抽出する。不変特徴量テンプレートは、作業者本人特有の人体の構造的に表情の変位幅が小さい部位（左右の虹彩間の距離や顎の先端位置等）の情報示す。また、可変特徴量テンプレートは、作業者本人特有の人体の構造的に表情の変位幅が大きい部位（口角の角度や目蓋の位置等）の情報を示す。不変特徴量と可変特徴量は、作業者の複数の顔画像から抽出した特徴量情報を重ね合わせ、特徴量間のばらつきが少ない部位を不変特徴量、特徴量間にばらつきの多い部位を可変特徴量と定める。特徴量とは、画像の一区間に対して主成分分析を行った結果得られるベクトル値を表す。  情報照合部１１２は、取得した不変特徴量情報、可変特徴量情報と、作業者別情報格納ＤＢ１０６に格納された作業者別特徴量情報を用いて、特徴量照合処理部１１３にて照合をする。作業者別特徴量情報を元に、不変特徴量情報の適合率、可変特徴量情報の適合率を算出し、照合結果として照合結果格納ＤＢ１１４に格納する。照合結果格納ＤＢ１１４は一定期間の照合結果を保持し続ける。
【００２３】
認証判定部１１５は、照合結果を用いて作業者の認証処理部１１６にて認証をする。複数回照合処理をして取得した照合結果から、不変特徴量の適合率が閾値以上、かつ可変特徴量の適合率が閾値以下の一定範囲（例えば、不変特徴量の適合率が８０％以上、かつ、可変特徴量の適合率が４０〜６０％）の範囲に収まる場合は、取得した顔画像は「作業者本人」でありかつ「表情の変位」が見られると判断し、認証を許可する。
【００２４】
出力装置１１７は、認証結果の画面出力、もしくは機器の電源投入等により、作業者への認証結果を出力する。
図２は、本実施例における認証の処理フロー例である。
ステップ２００で作業者１００が個人情報入力部１０３に個人情報を入力すると、ステップ２０１で個人情報確認処理部１０５の処理が実行され、作業者別情報格納ＤＢ１０６に個人情報が登録されているか確認する。個人情報が登録されていた場合、顔画像情報取得部１０２へ要求し、ステップ２０２で作業者の顔画像情報を取得する。個人情報は作業者を一意に識別できる情報とし、入力手段はＩＣカード、ＲＦタグ等を使用しても良い。
【００２５】
ステップ２０２で取得した顔画像情報から、ステップ２０３、ステップ２０４を経て不変特徴量情報と可変特徴量情報を抽出する。抽出した不変特徴量情報と可変特徴量情報は、ステップ２０５で、作業者別情報格納ＤＢ１０６から取得した作業者別特徴量情報と照合する。
【００２６】
ステップ２０６では、ステップ２０５の照合結果を照合結果格納ＤＢ１１５に格納し、一定期間内の照合結果を集計する。
【００２７】
ステップ２０７は、規定回数以上の照合処理がされているか判断する。規定回数に満たない場合は、ステップ２０２へ遷移して再度顔画像情報を取得する。規定回数を満たしていた場合は、ステップ２０８へ遷移し、照合結果が一定の閾値（例えば、不変特徴量の適合率が８０％以上、かつ、可変特徴量の適合率が４０〜６０％）の範囲に収まるか認証判定処理をする。
【００２８】
ステップ２０８の認証判定の結果、ステップ２０９で認証許可の閾値を満たす場合は、ステップ２１０で認証可の場合の処理を実行し、出力装置１１７に認証可の結果を出力する。基準を満たしていない場合には、ステップ２１１で認証不可の場合の処理を実行し、結果を出力する。
このように、作業者が作業端末に設置された個人情報入力部１０１に個人情報を入力した後、本人が顔画像情報取得部１０２の前に存在していれば、認証失敗が出力されるまで本人認証を繰り返すことが出来る。
【００２９】
また、特徴量抽出処理部１０７で抽出した不変特徴量と可変特徴量を作業者別情報格納ＤＢ１０６に反映することで、作業者の加齢等による顔の変化にも対応することが出来る。
【００３０】
図３は、本実施例における作業者の情報を初回登録する際の処理フロー例である。
ステップ３００は、作業者のアカウントを作業者別情報格納ＤＢ１０６に新規作成し、個人情報を登録する。
【００３１】
ステップ３０１は、顔画像情報取得部１０２を用いて、作業者の顔画像情報を取得する。
【００３２】
ステップ３０２は、ステップ３０１で取得した顔画像情報に対し、作業者別情報とするテンプレート作成のため、肌色領域検出法を用いて顔領域情報を抽出する。肌色領域検出法とは、顔を含む画像を「色相」「色彩」「明度」の３つの値で表し、人間の肌色と認識できる値を持った領域を顔領域として検出する手法である。顔領域情報の精度を高めるため、ステップ３０１とステップ３０２を繰り返し、複数の顔領域情報を取得しても良い。
【００３３】
ステップ３０３は、取得した顔領域情報を用いて作業者本人特有の顔画像テンプレートを作成する。この顔画像テンプレートは、顔画像情報取得部１０２で取得した顔画像情報に対し、テンプレートマッチング法を用いた顔領域情報の抽出をする際に使用される。
【００３４】
ステップ３０４は、作業者別情報格納ＤＢ１０６に作成した顔画像テンプレートを登録する。この時、ステップ３００で作成した作業者のアカウントに対して、一意に顔画像テンプレートが定まるようにする。
【００３５】
ステップ３０５は、顔画像情報取得部１０２で取得した顔画像情報に対し、作業者別情報格納ＤＢ１０６に格納した顔画像テンプレートを用いて、テンプレートマッチング法による顔領域情報の抽出をする。
【００３６】
ステップ３０６は、ステップ３０５で抽出した顔領域情報に対し、LFA法による特徴量情報の抽出をする。複数の顔画像情報に対する特徴量情報を取得するため、ステップ３０５とステップ３０６を繰り返し、複数の特徴量情報を抽出する。また、複数の顔画像情報を取得するため、ステップ３０１による顔画像情報の取得を再実行しても良い。
【００３７】
ステップ３０７は、複数の特徴量情報を重ね合わせ、常に同様な特徴量の部位を「不変特徴量」と定め、作業者本人特有の不変特徴量テンプレートを作成する。
【００３８】
ステップ３０８は、複数の特徴量情報を重ね合わせ、特徴量にばらつきの見られる部位を「可変特徴量」と定め、作業者本人特有の可変特徴量テンプレートを作成する。
【００３９】
ステップ３０９は、作業者別情報格納ＤＢ１０６に作成した不変特徴量テンプレートと可変特徴量テンプレートを登録する。この時、ステップ３００で作成した作業者のアカウントに対して、それぞれ一意に特徴量テンプレートが定まるようにする。
【００４０】
これらの初期設定を実施することで、作業者は個人情報を個人情報入力装置部に入力するだけで、本人認証に必要な作業者本人特有の顔画像テンプレート、不変特徴量テンプレート、可変特徴量テンプレートを一意に取得することができるようになる。
図４は、実施例における作業者の情報を初回登録する際のデータフロー例である。
作業者４００は、個人情報を図１の個人情報入力部１０３に入力する（４０１）。入力した個人情報は作業者別情報格納ＤＢ４０２に格納される。
【００４１】
図１の顔画像情報取得部１０２は、作業者４００よりの顔画像情報を取得する（４０３）。取得した顔画像情報は、第１の顔領域情報抽出４０４と第２の顔領域情報抽出４０６に用いられる。
【００４２】
第１の顔領域情報抽出４０４では、図１の顔領域情報抽出部１０８にて、肌色領域検出法を用いて顔領域情報を抽出する。抽出した顔領域情報は、図１の顔領域情報抽出部１０８から図１に図示しないテンプレート処理部に送られ、顔画像テンプレート作成４０５が行われる。
【００４３】
顔画像テンプレート作成４０５では、図１に図示しないテンプレート処理部にて、顔領域情報を用いて顔画像テンプレートを作成する。作成した顔画像テンプレートは、作業者別情報格納ＤＢ４０２に格納される。
【００４４】
第２の顔領域情報抽出４０６では、図１の顔領域情報抽出部１０８にて、顔画像情報取得４０３で取得した顔画像情報と、作業者別情報格納ＤＢ４０２に格納した顔画像テンプレートを用いて、テンプレートマッチング法による顔領域情報の抽出をする。
【００４５】
特徴量情報抽出４０７では、図１の特徴量抽出処理部１０９にて、顔領域情報抽出４０６で抽出した顔領域情報を用いて、LFA法による特徴量情報の抽出をする。
【００４６】
不変特徴量テンプレート作成４０８では、図１に図示しないテンプレート処理部にて、特徴量情報抽出４０７で抽出した特徴量情報を用いて不変特徴量テンプレートを作成する。作成した不変特徴量テンプレートは、作業者別情報格納ＤＢ４０２に格納される。
可変特徴量テンプレート作成４０９では、図１に図示しないテンプレート処理部にて、特徴量情報抽出４０７で抽出した特徴量情報を用いて可変特徴量テンプレートを作成する。作成した可変特徴量テンプレートは、作業者別情報格納ＤＢ４０２に格納される。
以上のデータのやりとりで、本実施例の本人認証に必要な情報を作業者別情報格納ＤＢ４０２に格納する。
【図１】
2013214217.tif 000003
【図２】
2013214217.tif 000004
【図３】
2013214217.tif 000005
【図４】
2013214217.tif 000006