(57)【要約】【課題】人物認証精度を向上させる人物認証装置を提供する。【解決手段】顔画像データに基づいて人物認証を行った後、左右の顔の非対称性に基づいて、本人が指定した方法により入れ替えて本人の顔画像データを記憶する記録部１３と、顔画像の各部の入れ替え方法を入力する入力部１１と、入れ替えられて暗証化された顔画像データを得る変換部１２と、変換部１２で入れ替えられた顔画像データと記録部１３に記憶されている本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、記録部１３の顔画像データを更新し、一致しない場合には、再度、顔画像の各部の入れ替え方法を入力部１１に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第２認証部１４と、からなる。【選択図】      図１
2004283290.tif 000002
【特許請求の範囲】
【請求項１】
顔画像データに基づいて人物認証を行う人物認証装置において、
人物画像データを入力する画像データ入力部と、
前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、
前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、
前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、
予め本人の顔画像データが記憶されている第１特徴量記録部と、
前記特徴量演算画像処理部で作成された前記顔画像データが前記第１特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第１特徴量記録部の顔画像データを更新する第１認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第１認証結果を出力する第１認証部と、
更に、前記第１認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部と、
前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、
前記入れ替え方法により入れ替えられた顔画像データを得る特徴量変換部と、
前記特徴量変換部で入れ替えられた顔画像データと前記第２特徴量記録部に記憶されている前記本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第２特徴量記録部の顔画像データを更新する第２認証結果を、一致しない場合には、再度、前記本人が指定した顔画像の各部の入れ替え方法を前記暗証キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第２認証結果を得る第２認証部と、
からなることを特徴とする人物認証装置。
【請求項２】
顔画像データに基づいて人物認証を行う人物認証装置において、
人物画像データを入力する画像データ入力部と、
前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、
前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、
前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、
予め本人の顔画像データが記憶されている第１特徴量記録部と、
前記特徴量演算画像処理部で作成された前記顔画像データが前記第１特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第１特徴量記録部の顔画像データを更新する第１認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第１認証結果を出力する第１認証部と、
更に、前記第１認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部と、
前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、
前記第２特徴量記録部に記憶されている顔画像データを前記暗証キー入力部に入力した入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部と、
前記特徴量変換部から出力される前記実際の本人の顔画像データと前記第１認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第２特徴量記録部の顔画像データを更新する第２認証結果を、一致しない場合には、再度、本人が指定した顔画像部の各部の入れ替え方法を前記画像キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、前記第２認証結果を得る第２認証部と、
からなることを特徴とする人物認証装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人物の顔画像データから人物認証を行う人物認証装置に関する。
【０００２】
【従来の技術】
従来の人物認証装置においては、認証精度の向上のために複数の画像データを用いて、認証にふさわしい画像データから特徴量を検出することを特徴としている。
【０００３】
特開平６−２５９５３４号公報には、カメラから入力された信号をディジタル信号に変換し、決められた信号フォーマットに変換した画像データをフレーム単位で入力する画像データ入力部と、前記画像データの中から顔領域を検出する顔領域検出部と、前記顔領域から特徴量を検出する特徴量検出部と、人物認証を行う認証基準値を記憶する認証基準値記録部と、前記特徴量を前記認証基準値と比較することにより前記特徴量が有効か否かを認証する有効フレーム認証部と、前記有効フレーム認証部の認証結果が無効の場合、入力指示信号を前記画像データ入力部に送り、有効の場合、有効画像データの枚数を増やし、特徴量記録指示信号及び演算開始信号を出力すると共に前記入力指示信号を前記画像データ入力部に送る制御部と、前記有効フレーム認証部で有効と認証された場合、前記特徴量記録指示信号に基づいて前記特徴量を複数フレーム分蓄える有効特徴量記録部と、前記制御部から出力される演算開始信号に基づいて、前記複数フレーム分の特徴量に演算を施すことにより認証用特徴量を得る認証用特徴演算部と、予め顔特徴量を記憶した顔特徴量記録部と、前記顔特徴量記録部に記憶された顔特徴量と前記認証用特徴量を比較することにより前記人物の認証を行う認証部と、からなるので、認証率の精度が向上する人物認証装置が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、認証率を向上させるために有効画像データが多量に必要とされるため、複雑な画像処理構成となっていた。
【０００５】
そこで、本発明は上記問題に鑑みて成されたものであり、簡単な画像処理で人物認証精度を向上させる人物認証装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本願における第１の発明は、顔画像データに基づいて人物認証を行う人物認証装置において、人物画像データを入力する画像データ入力部と、前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、予め本人の顔画像データが記憶されている第１特徴量記録部と、前記特徴量演算画像処理部で作成された前記顔画像データが前記第１特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第１特徴量記録部の顔画像データを更新する第１認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第１認証結果を出力する第１認証部と、更に、前記第１認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部と、前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、前記入れ替え方法により入れ替えられた顔画像データを得る特徴量変換部と、前記特徴量変換部で入れ替えられた顔画像データと前記第２特徴量記録部に記憶されている前記本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第２特徴量記録部の顔画像データを更新する第２認証結果を、一致しない場合には、再度、前記本人が指定した顔画像の各部の入れ替え方法を前記暗証キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第２認証結果を得る第２認証部と、からなることを特徴とする人物認証装置を提供する。
第２の発明は、顔画像データに基づいて人物認証を行う人物認証装置において、
人物画像データを入力する画像データ入力部と、前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、予め本人の顔画像データが記憶されている第１特徴量記録部と、前記特徴量演算画像処理部で作成された前記顔画像データが前記第１特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第１特徴量記録部の顔画像データを更新する第１認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第１認証結果を出力する第１認証部と、更に、前記第１認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部と、前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、前記第２特徴量記録部に記憶されている顔画像データを前記暗証キー入力部に入力した入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部と、前記特徴量変換部から出力される前記実際の本人の顔画像データと前記第１認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第２特徴量記録部の顔画像データを更新する第２認証結果を、一致しない場合には、再度、本人が指定した顔画像部の各部の入れ替え方法を前記画像キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、前記第２認証結果を得る第２認証部と、からなることを特徴とする人物認証装置を提供する。
【０００７】
【発明の実施の形態】
本発明の実施形態における人物認証装置について図１乃至図９を用いて説明する。
図１は、本発明の実施形態における人物認証装置を示す概略ブロック図である。
図２は、顔画像を示す図である。図３は、顔画像の特徴量をサンプリングする様子を示す図である。図４は、顔画像の部分を入れ替えて新たな顔画像を作成する場合を説明するための図であり、元の顔画像を示している。図５は、図４の顔画像の左顔をそのままに右顔を左顔で入れ替えた顔画像を示す図である。図６は、図４の顔画像の右顔をそのままに左顔を右顔で入れ替えた顔画像を示す図である。図７は、図４に酷似した人物認証を行う説明するための図であり、元の顔画像を示している。図８は、図４の顔画像の目と口を入れ替えた場合の顔画像を示す図である。図９は、本発明の実施形態における変形例を示す概略ブロック図である。
【０００８】
図１に示すように、本発明の実施形態の人物認証装置は、カメラから入力された人物認証信号をディジタル信号に変換し、決められた信号フォーマットに変換した人物画像データをフレーム単位で入力する画像データ入力部１と、人物画像データから図２に示す顔画像のみを検出する顔領域検出部２と、第１顔領域検出部２から出力される顔画像の中から顔領域を調べ、エッジ情報を用いて、図３に示す顔表情の特徴点の眉８、目９、口１０等の特徴量を検出する特徴量検出部３と、からなる。
【０００９】
特徴量検出部３で検出された特徴量から明るさの調整、ノイズ除去、エッジ強調等の画像処理を行った後、顔領域の各部の相対距離、位置等の演算を行って顔画像データを作成する特徴量演算画像処理部４と、予め顔画像データを記憶する第１顔特徴量記録部５と、特徴量演算画像処理部４で作成された顔画像データが第１顔特徴量記録部５に記憶された顔画像データに一致するかどうかを判断して、一致した場合には、当該人物が本人であることを示す一致結果を出力すると共に、第１特徴量記録部５の顔画像データを更新し、一致しない場合には、制御部７を介して撮像条件等を変えて、画像データ入力部１に、再度人物画像データを入力し、所定回数以上の繰り返し入力した後でも一致しない場合に「当該人物が本人でない」と不一致結果を出力して、第１認証結果を出力する第１認証部６と、からなる。
【００１０】
更に、第１認証部６で当該人物が本人であると認証された場合に、左右の顔の非対称性に基づいて、本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部１１と、この入れ替え方法により入れ替えられて暗証化した当該人物の眉８、目９、口１０等の特徴量の顔画像データを得る特徴量変換部１２と、予め本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部１３と、特徴量変換部１２で得られた顔画像データと第２特徴量記録部１３に記憶されている本人の顔画像データとが一致するかどうかを判断して、一致した場合には、「当該人物が本人である」と認証されたことを示す第２認証結果を出力すると共に、第２特徴量記録部１３の顔画像データを更新し、一致しない場合には、再度、本人が指定した顔画像の各部の特徴量の入れ替え方法を暗証キー入力部１１に入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人ではない」との不一致結果を出力して、第２認証結果を得る第２認証部１４と、からなる。
【００１１】
制御部７は、ＣＰＵやＲＯＭ、ＲＡＭ等で構成され、予め決められた処理手順に従ってこの装置を動かすための信号を発生させるためのもので、ここでは、第１及び第２認証部６、１４から出力された第１及び第２認証結果に基づいて、明るさやカメラの方向等の撮像条件等を変えて、人物画像データを取り直すための信号を画像データ入力部１及び再度の暗証キーを取り直すための信号を暗証キー入力部１１に出力する。
【００１２】
上記した当該人物が本人であることを特定する場合には、眉８の顔部分の特徴としては、眉頭、眉尻、その中間等があり、目９の特徴としては、目頭、目尻、その中間、上瞼、下瞼等があり、口１０の特徴量としては、口角、上唇、下唇、開口等がある。特徴量とは、顔画像の構成要素の各部のサンプリンデータをいう。
【００１３】
ここで、酷似した人物の場合には、顔画像のデータだけでは、本人と認識できないことがある。顔の非対称性を利用して、以下のように認識できる。
図４に示す元の顔画像の垂直方向の中心線を基準として、左顔をそのままに右顔を左顔で入れ替えた顔画像は、図５に示すように、おっとりした顔に見え、図４に示す元の顔画像から右顔をそのままに左顔を右顔で入れ替えた顔画像は、図６に示すように、きつい顔に見え、異なった顔画像の印象を受ける。即ち、顔画像の構成要素である眉、目、鼻、口等を任意に入れ替えることにより、別の顔になり、これらの構成要素の入れ替え方法により多数の顔を作成することができる。
以下での入れ替え方法において、左、右、左顔或いは右顔と言う時は、顔画像の垂直方向の中心線を基準として、紙面に向かって左を左、右を右と言うことにする。
【００１４】
実際的には以下のようにして行うことができる。
まず、顔の構成要素を眉、目、鼻、口、顔の輪郭とした場合、入れ替え方法は、入れ替えない場合（元顔画像）も含めると、４種類となる。
即ち、▲１▼入れ替えない場合、▲２▼左側をそのままに、右側を左側で入れ替えた場合、▲３▼右側をそのままに、左側を右側に入れ替えた場合、▲４▼左右を入れ替えた場合である。
【００１５】
そして、特徴量変換部１２で、▲１▼入れ替えない場合を暗証キー０、▲２▼左側をそのままに、右側を左側で入れ替えた場合を暗証キー１、▲３▼右側をそのままに、左側を右側に入れ替えた場合を暗証キー２、▲４▼左右を入れ替えた場合を暗証キー３に対応させて暗証化したとする。
図７に示す元の顔画像において、眉は、入れ替えなし、目は、左側をそのままに、左側を右側に入れ替え、鼻は、入れ替えなし、口は、左側をそのままに、右側を左側で入れ替え、顔の輪郭は、入れ替えないとする手順による入れ替え方法により作成した顔画像は、図８に示すようになる。この手順による入れ替え方法により作成した暗証キーによる顔画像データは、０２０１０である。
【００１６】
この際、前記した入れ替え手順により元の顔画像が入れ替えられ、かつ前記した顔の構成要素が暗証キーにより得られる顔画像データ０２０１０が第２特徴量記録部１３に記録されている場合には、図７に示す元の顔画像を前記した入れ替え手順により暗証キー入力部１１に入力して、特徴量変換部１２で暗証化して得られた図８に示す顔画像データと、第２特徴量記録部１３に記録されている顔画像データとは一致することになるので、当該人物が本人であると認証できる。
【００１７】
即ち、予め暗証キーにより顔画像データを第２特徴量記録部１３に記憶させておくことにより、特徴量変換部１２から出力された顔画像データに一致した場合にのみ当該人物が本人であると認証することができる。また、暗証キーに対応した顔画像データを第２特徴量記録部１３に記憶させたことは、本人しか知り得ない情報であるため、当該人物が極めて類似している場合でも、精度良く人物認証でき、セキュリティを向上させることができる。
なお、暗証キーの入力は、元の顔画像の各構成要素を一旦特徴量変換部１２でそれに対応する暗証キーに変換する方法以外に、暗証キーを直接画像暗証キー入力部１１に入力する方法もある。この場合、特徴量変換部１２は不要である。
【００１８】
次に、その動作について説明する。
本発明の実施形態の動作は、顔画像による人物認証する第１段階を行った後、暗証キーに対応させた顔画像データにより人物認証する第２段階とによって行う。
（人物画像）
まず、カメラの前に人物を立たせ、人物画像データを画像データ入力部１にフレーム単位で入力する。顔領域検出部２で画像データ入力部１に入力された人物画像データの中から図２に示す顔画像のみを検出する。特徴量検出部３で顔領域検出部２から出力された顔画像の中から顔領域を調べ、エッジ情報を用いて、図３に示す顔の特徴点の眉８、目９、口１０等の特徴量を検出する。特徴量検出部３で検出された特徴量から画像処理を行った後、各部の相対距離、位置等の演算を行って、顔画像データの作成を特徴量演算画像処理部４で行う。
【００１９】
次に、第１認証部６で第１特徴量演算画像処理部４で得られた顔画像データが第１特徴量記録部５に記憶された当該人物の顔画像データに一致するかどうかを判断して、一致した場合には、「当該人物が本人である」との一致結果を出力すると共に、第１特徴量記録部５の顔画像データを更新し、一致しない場合には、制御部７を介して撮像条件等を変えて、画像データ入力部１に、再度人物画像データを入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人でない」との不一致結果を出力して、第１認証結果を得る。第１認証部６で「当該人物は本人でない」と最終判断した場合には、以下の工程には進まない。通常は、この顔画像データの入力から第１認証結果までの第１段階の工程で十分である。
【００２０】
しかし、極めて類似した人物（例えば双子）の場合には、上記した処理では同一人物とされてしまうことがあるので、更に精度を高めた人物特定を行う必要がある。このため、以下の第２段階の工程が必要である。
次に、第１認証部６で「当該人物が本人である」と認証された場合に、左右の顔の非対称性に基づいて、暗証キー入力部１１に予め本人が指定した顔画像の各部の入れ替え方法を入力し、特徴量変換部１２で、この入れ替え方法により入れ替えて暗証化した当該人物の眉８、目９、口１０等の特徴量の顔画像データを得る。
【００２１】
次に、特徴量変換部１２で得られた顔画像データが第２特徴量記録部１３に記憶されている当該人物の顔画像データに一致するかどうかを判断して、一致した場合には、「当該人物が本人である」と認証されたことを示す第２認証結果を出力すると共に、第２特徴量記録部１３の顔画像データを更新し、一致しない場合には、再度本人が指定した顔画像の各部の特徴量の入れ替え方法を暗証キー入力部１１に入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人でない」との不一致結果を出力して、第２記録結果を得る。
【００２２】
この結果、最終的に当該人物が本人と認証された場合には、例えば扉の鍵が解除されることになる。当該人物が本人と認証されない場合には、例えば扉の鍵が解除されない。
【００２３】
本発明の実施形態によれば、当該人物に良く似た替え玉をカメラの前に立たせたり、当該人物の写真をカメラの前にかざして第１段階をパスしても、本人が指定した入れ替え方法により顔画像の特徴量の入れ替えて第２特徴量記録部１３に記憶させたことは、本人しか知り得ない情報であるため、第２段階はパスできない。このため、当該人物が極めて類似している場合でも、人物認証精度を向上させることができる。
【００２４】
次に、本発明の実施形態の変形例について図９を用いて説明する。
本発明の実施形態と同一構成には同一符号を付し、その説明を省略する。
図９に示すように、本発明の実施形態の変形例は、本発明の実施形態において、
暗証キー入力部１１と、予め本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第２特徴量記録部１３と、本人が指定した入れ替え方法により第２特徴量記録部１３に記憶されている顔画像データを暗証キー入力部１１に入力された入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部１２と、この特徴量変換部１２から出力される実際の顔画像データと第１認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、「当該人物が本人である」との一致結果を出力すると共に、第２特徴量記録部１３の顔表情データを更新する第２認証結果を、一致しない場合には、再度、本人が指定した顔画像の各部の入れ替え方法を画像キー入力部１１に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、第２認証結果を得る第２認証部１４と、からなるようにしたものであり、それ以外は同様である。
この場合も本発明の実施形態と同様な効果が得られる。
【００２５】
【発明の効果】
本発明によれば、第１段階での「人物が本人である」との顔画像による認証が得られた場合でも、本人が指定した入れ替え方法により顔画像の特徴量の入れ替えて第２特徴量記録部に記憶させたことは、本人しか知り得ない情報であるため、第２段階はパスできない。このため、当該人物が極めて類似している場合でも、人物認証精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施形態における人物認証装置を示す概略ブロック図である。
【図２】顔画像を示す図である。
【図３】顔画像の特徴量をサンプリングする様子を示す図である。
【図４】顔画像の部分を入れ替えて新たな顔画像を作成する場合を説明するための図であり、元の顔画像を示している。
【図５】図４の顔画像の左顔をそのままに右顔を左顔で入れ替えた顔画像を示す図である。
【図６】図４の顔画像の右顔をそのままに左顔を右顔で入れ替えた顔画像を示す図である。
【図７】図４に酷似した人物認証を行う説明するための図であり、元の顔画像を示している。
【図８】図４の顔画像の目と口を入れ替えた場合の顔画像を示す図である。
【図９】本発明の実施形態における変形例を示す概略ブロック図である。
【符号の説明】
１…第１画像データ入力部、２…顔領域検出部、３…特徴量検出部、４…特徴量演算画像処理部、５…第１特徴量記録部、６…第１認証部、７…制御部、８…眉、９…目、１０…口、１１…暗証キー入力部、１２…特徴量変換部、１３…第２特徴量記録部、１４…第２認証部
【図１】
2004283290.tif 000003
【図２】
2004283290.tif 000004
【図３】
2004283290.tif 000005
【図４】
2004283290.tif 000006
【図５】
2004283290.tif 000007
【図６】
2004283290.tif 000008
【図７】
2004283290.tif 000009
【図８】
2004283290.tif 000010
【図９】
2004283290.tif 000011