(57)【特許請求の範囲】
【請求項１】
人の顔画像から複数の特徴を抽出し、特徴ごとの個人照合への寄与度を考慮した個人照合装置であって、
照合者の顔画像を入力する入力手段と、
複数人の顔画像を平均化して生成した基準顔画像および登録顔画像それぞれから前記複数の特徴毎に特徴量を算出する特徴量抽出手段と、
前記特徴ごとに前記基準顔画像と登録顔画像との類似度を前記特徴量抽出手段にて抽出した特徴量を用いて算出する類似度算出手段と、
予め定めた基準寄与度を前記類似度で除算して、各特徴の照合に対する寄与度を算出する寄与度算出手段と、
前記寄与度にて重み付けした類似度を用いて個人照合する判定手段とを具備することを特徴とした個人照合装置。
【発明の詳細な説明】
【０００１】
【発明の属する分野】
本発明は、顔画像、指紋、音声、虹彩、DNAなど人間の身体的特徴に基づいて個人認証する照合装置に関し、特に複数の特徴量に重み付けして本人照合を行う個人照合装置に関する。
【０００２】
【従来の技術】
従来、個人照合装置には、顔画像、指紋画像、音声信号などから複数の特徴量を抽出し、予め登録されている本人の特徴と照合するものが提案されている。
例えば、顔画像照合装置では、顔の輪郭、目や口等の部位配置、目等の形状などの複数の特徴ごとに特徴量を抽出し、登録顔画像の各特徴量との類似度を算出する。それぞれの類似度に対して予め実験や研究にて得られた一般的な知見に基づく寄与度にて重み付けを行い、本人か否かを照合している。一般的な知見とは、目の形状や輪郭は個人性が高く、鼻は個人性が低いなどである。
【０００３】
【発明が解決しようとする課題】
しかし、従来の個人照合装置では、一般的な知見に基づいて各特徴量に対する重み付けを行っている為、登録者ごとの個人性を考慮した重み付けができなかった。一般的には「目の形状等」に対する重み付けが大きくなるが、人によっては「部位配置」が最も個人性を示す場合がある。従来の個人照合装置では、このような場合であっても、「目の形状等」の重み付けを大きくするのみであり、「部位配置」の重み付けを大きくできず、個人単位での個別対応性に欠けるという問題があった。
かかる個別対応性を図れないために、本人棄却率・他人許容率が上昇し、個人照合装置の信頼性が損なわれるという課題があった。
そこで、本発明の目的は、照合者の特徴上に現れる個人性に合わせて、特徴に重み付けを行うことができる個人照合装置を実現し、個人照合装置の信頼性を向上させることを目的とする。
【０００４】
【課題を解決するための手段】
かかる目的を達成するために、本発明は、身体的特徴を示す複数の特徴を抽出し、特徴ごとの個人照合への寄与度を考慮した個人照合装置であって、照合者の身体的特徴を入力する入力手段と、基準となる身体的特徴を含む基準情報及び登録者の身体的特徴を含む登録情報それぞれから前記複数の特徴ごとに特徴量を抽出する特徴量抽出手段と、特徴ごとに前記基準情報と登録情報との類似度を前記特徴量抽出手段にて抽出した特徴量を用いて算出する類似度算出手段と、類似度から各特徴の照合に対する寄与度を算出する寄与度算出手段と、寄与度にて重付けした類似度を用いて個人照合する判定手段とを具備することを特徴とした個人照合装置を提供する。
かかる構成によれば、各特徴の本人判定への寄与度を任意の基準情報と登録情報との類似度を基に決めるので、登録者毎の個人性を反映した各特徴の重み付けが可能となる。
【０００５】
また、本発明の好適な態様では、寄与度算出手段が、予め得られた基準寄与度を類似度に応じて補正する。これにより、一般的な知見から得られる基準寄与度から極端に逸脱した重み付けがされることを防止できる。
【０００６】
本発明の好適な態様では、寄与度算出手段が、類似度が低いほど寄与度を高くする。これにより、基準情報と登録情報が大きく相違する特徴量ほど大きな重付けがされるので、登録情報の個人性を照合に反映できる。
【０００７】
また、本発明の好適な態様では、基準情報は複数人の情報を平均化して生成したものを用いる。これにより、一般的な身体的特徴に対する登録者の個人性を引き出すことが可能となるので、個人照合装置に汎用性を持たせることが可能となる。
【０００８】
また、本発明の好適な態様では、身体的特徴として顔画像を用いる。これにより、一つの身体的特徴を示す顔画像から複数の特徴である顔の輪郭、部位配置などを用いることができる。
【０００９】
また、本発明の好適な態様では、身体的特徴として顔画像及び音声信号を用いる。これにより、顔画像から得られる特徴と音声信号から得られる特徴を用いることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態として、本発明を顔画像照合装置1に適用した態様を説明する。
図２は、顔画像照合装置１の全体ブロック図である。顔画像照合装置１は、レンズ・CCD素子などから構成される照合者の顔を撮影する撮像部１１０と、操作部であるテンキー１２０と、ROM／RAMにて構成されプログラムや寄与度１３４等を記憶する記憶部１３０と、LCDやLEDにて構成され照合結果等を操作者に提示する表示部１４０と、管理対象である出入口扉の電気錠１６０に対して施錠／解錠信号を出力する出力部１５０と、CPU等にて構成され顔画像照合装置1の全体を制御する制御部１００とから構成される。なお、画像入力部１１１及び操作入力部１２１は、それぞれ撮像部１１０又はテンキー１２０からの操作をA/D変換して制御部１００へ入力するA/D変換器である。
制御部１００は、登録処理１０１、照合処理１０２、電気錠制御処理１０３などを実行する。
記憶部１３０には、基準寄与度１３１、基準顔画像１３２、登録顔画像１３３、寄与度１３４、プログラム等１３５を記憶している。
出力部１５０は、管理対象である出入口扉に設置される電気錠１６０が接続されている。
【００１１】
次に、顔画像照合装置１の制御部１００における各処理を説明する。
先ず、図３を参照して、登録処理１０１の一つである基準顔画像１３２の生成処理について述べる。登録処理１０１とは、管理者によりテンキー１２０にて登録モードに設定された場合における処理である。登録モードは、管理者がＩＤコード等をテンキー１２０から入力して、正規の管理者であることが認証された場合に移行される。
【００１２】
ここで、基準顔画像１３２とは、登録者の顔画像から個人性が強い特徴量を抽出するための基準となる顔画像である。顔画像照合装置に汎用性を持たせるならば、日本人の平均的な顔画像を用いるのが好ましい。登録者が男性であれば男性の平均的な顔画像を用いても良い。この他に年齢や人種等を考慮することも可能である。また、基準顔画像１３２は、任意に固定的に定めた顔画像であっても良く、照合者に応じて選択しても良い。
【００１３】
本実施の形態では、図３に示す複数の顔画像の特徴ごとに特徴量を平均化処理した後に統合した基準顔画像１３２が記憶部１３０に記憶されている。平均化処理は、先ず、任意に選択した複数の顔画像の各々から輪郭・左目・右目・鼻・口といった特徴として採用される部位ごとに特徴量を抽出する。なお、部位抽出処理は、例えば背景画像との差分により輪郭を抽出したり、水平エッジが強い領域を目として抽出するなど一般的な方法を用いる。次に、各部位毎に大きさ等のマッチング処理を施した上、部位毎に各画素の輝度平均を求めることにより、複数の顔画像における各部位を平均化する。そして、平均化された各部位を統合して一つの基準顔画像１３２を得る。このようにして生成された基準顔画像１３２は、複数の顔画像における個人性が平均化されるため、個人性の少ない基準に相応しい顔画像となる。  このようにして得られた基準顔画像１３２は、予め記憶部１３０に記憶される。なお、平均化処理した基準顔画像１３２を用いているが、これに限られるものではなく、任意の顔画像を基準顔画像１３２としても良い。
【００１４】
次に、制御部１００にて行う登録処理１０１について、図１を参照して説明する。
先ず、基準顔画像１３２及び登録顔画像１３３を記憶部１３０から読み出す。
ここで、登録顔画像１３３とは、顔画像照合装置にて出入を許可された人の顔画像である。登録顔画像１３３は、管理者によって登録モードにした後、登録者の顔を撮像部１１０にて撮影し、画像入力部１１１にてＡ／Ｄ変換されてデジタル画像として記憶部１３０に記憶されている。なお、登録顔画像１３３は、登録者毎にＩＤコードとともに記憶されている。
基準顔画像１３２及び登録顔画像１３３のそれぞれから「輪郭」、「部位配置」、「左目」、「右目」、「鼻」及び「口」の各特徴ごとに特徴量を特徴量抽出手段２にて抽出する。
すなわち、「右目」および「左目」の抽出は、まず人物の写っていない背景画像と基準顔画像等との差分として抽出される領域から、ソーベル・オペレータ等によりエッジを抽出する。このうち水平エッジが強く、且つ標準的な「右目」あるいは「左目」のテンプレート画像によるずらしマッチングを行った結果、マッチング度合いが強い領域を候補領域とする。以上の処理により抽出された候補領域のうち、顔の垂直中心線に対してほぼ左右対象かつ頭部領域の上半分に位置している領域を目領域とすることによって抽出する。
「鼻」は、「右目」と「左目」を結んだ線の中点より下の予め設定した領域において、エッジの形状が逆T字型をした領域として抽出する。
「口」は、「鼻」より下の予め設定した領域において、横エッジが強い領域として抽出する。カラーカメラを使用した場合には、周辺領域と比較して相対的に赤成分の強いという特徴を組み合わせることも可能である。
「輪郭」は、頭部領域の形状を示す特徴であり、入力顔画像と背景画像との差分として抽出される頭部および首を含む領域と、顎の形状を組み合わせることにより定める。顎の形状は、例えば入力顔画像の「口」を中心とする放物線状の領域において、顎の形状に沿って首に生ずる影との境界として抽出する。背景画像との差分として抽出された領域のうち顎形状より上部に位置する領域のエッジを抽出することにより、「輪郭」を抽出する。
「部位配置」は、「右目」、「左目」領域の重心座標間の水平距離、該重心座標の中点と「鼻」領域の重心座標間の垂直距離、該重心座標の中点と「口」領域の重心座標間の垂直距離、「鼻」領域と「口」領域の重心座標間の垂直距離、「右目」あるいは「左目」領域の重心座標を結んだ直線と「鼻」領域の重心座標との成す角度、「右目」あるいは「左目」領域の重心座標を結んだ直線と「口」領域の重心座標との成す角度等により表す。
【００１５】
次に、特徴量抽出手段２にて抽出された基準顔画像１３２から抽出した各特徴量と、登録顔画像１３３から抽出した各特徴量との類似度を、特徴ごとに類似度算出手段３にて算出する。
各特徴の類似度について、具体的に説明する。
「輪郭」の類似度は、基準顔画像１３２及び登録顔画像１３３から抽出された「輪郭」間のエッジにより囲まれた差分面積すなわち隙間面積を算出する。この結果、輪郭形状に関する特徴（例えば「顎が尖っている」や「鰓が張っている」等）の違いを表現する。
「部位配置」の類似度は、各部位の相対位置に関する特徴（「目の間隔が広い」や「部位が顔の中央に集まっている」等）を示す各部位の重心座標間の距離や角度をもとに算出する。
「右目」、「左目」、「鼻」、「口」の類似度は、形状（目が大きい／細い／垂れている／上がり目である、口が広い／狭い／厚い／薄い）を示すエッジ間の隙間面積、エッジ強度の差、エッジ勾配の差をもとに算出する。あるいは部位領域画像に対してずらしマッチングを行うことにより得られる相関値として類似度を求めることも可能である。例えばカラーカメラを用いている場合には、色（明るさ、色彩度など）を示す濃淡画像や色相画像、彩度画像等を用いることができる。
このように、各特徴量毎に算出した類似度は、距離あるいは角度といった異なる尺度である為、これらの大小関係を比較することが可能な同一の尺度に合わせておく必要がある。
先ず、算出された値の大小関係を統一する。すなわち、「値が大きい程類似している」という類似度の性質に従うよう、距離や角度の値から逆数を算出したり、あるいは所定の値から引いた値とする等の処理を行う。
次に、算出された値の原点を統一する。基準顔画像１３２と、基準顔画像１３２の算出に用いた全ての顔画像との間で予め類似度を求めておき、これらの平均値で基準顔画像１３２及び登録顔画像１３３から抽出された特徴量間の類似度を除すことにより、平均値が１となるよう正規化を行う。
そして、算出された値の分散を統一する。基準顔画像１３２と、基準顔画像１３２の算出に用いた全ての顔画像との間で求めた類似度の分散値を用いて、前記正規化した値を補正する。この結果、算出される類似度の分散を一定の範囲内に収める。
【００１６】
次に、寄与度算出手段４にて実行する寄与度１３４の算出方法について説明する。
先ず、各特徴ごとの基準寄与度１３１を記憶部１３０から読み出す。ここで、基準寄与度１３１とは、各特徴が本人照合に寄与する程度であって、実験的又は研究による知見から得られた度合いである。例えば、「右目」、「左目」、「鼻」、「口」の４部位について、個別に照合実験を行い、得られた照合性能を基に実験的に重みを検討したところ、「目」（左右含む）、「口」、「鼻」の順に重みを高くすることにより照合精度が向上することが分かっている。
また、井上らの発表によれば、心理学的側面から考察した結果、「目の大きさ」と「目より下の顔輪郭」が識別に重要な特徴であるという知見が得られている（化技誌
第34巻 第3号, ｐ249-ｐ254)。
これら結果を勘案し求めた「基準寄与度１３１」の一例を図４に示す。
類似度は、その値が大きい程、登録顔画像１３３が基準顔画像１３２に類似しているという性質を持つ。このことから、類似している特徴に対する寄与度を低下させる為、基準寄与度１３１(B)を類似度(S)で除算する（この値を補正前寄与度(W')とする）。尚、類似度(S)が限りなく0に近い場合や0の場合は寄与度が無限大となり、上記特徴以外は無視されてしまう。この様に寄与度１３４が異常に逸脱した値とならないよう、類似度(S)に下限値を設ける。例えば類似度(S)の下限値を「0.4」に定めた場合、類似度(S)がこれ以下の場合には「0.4」を用いる。尚、図４では、実際に算出した「輪郭」の類似度(S)が「0.3」であったが、これを予め定めた上記下限値「0.4」に置き換えている。上限も同様にして設定する。
寄与度１３４(W)は、補正前寄与度(W')を、全特徴量に対して得られた補正前寄与度(W')の総和（図４の場合「1.146」）で除算することにより正規化した値として算出する。
図４に、算出結果の例を示す。「輪郭」の場合は、類似度が「0.4」で基準寄与度（B）１３１が「0.15」であり、補正前寄与度W´の総和が「1.146」であるので、寄与度１３４は「0.327」となるが、算出した寄与度の総和を「1」にする為最大の寄与度である「輪郭」の寄与度で調整し「0.326」とする。基準顔画像１３２と比較して「輪郭」に個人性があるため、従来用いていた寄与度である基準寄与度１３１「0.15」に比べ、高くなっていることが分かる。「鼻」の場合は、類似度が「1.4」で基準寄与度１３１が「0.10」であるから上記と同じ計算を行うと、寄与度１３４は「0.062」となる。基準顔画像１３２と比較して「鼻」は個人性が低いため、基準寄与度１３１「0.10」に比べ低下していることが分かる。
尚、知見から得られる各特徴の寄与度である基準寄与度１３１が得られない場合であっても、基準寄与度１３１を全て「1」とすることにより、上記寄与度算出法をそのまま用いることができる。
各算出された寄与度１３４は、登録顔画像１３３と対応付けて記憶部１３０に記憶される（記憶処理５）。
なお、本実施の形態の登録顔画像１３３は、輪郭に最も個人性が強く現れ、鼻に個人性が少ない人物のものである。
このようにして、管理している出入口扉への出入の許可を受けている被照合者を登録する。なお、複数人の登録をする場合は、同様の処理を繰り返すこととなる。
【００１７】
次に、図５を参照して、個人照合装置の照合処理１０２について説明する。
先ず、照合者は表示部１４０のガイダンスに従い、テンキー１２０から自己のＩＤコードを入力するとともに、撮像部１１０にて顔を撮影する。顔撮影時には、例えば表示部１４０に両眼位置の目安と撮影中の顔が写し出されるので、照合者はその位置に合うように調整する。位置調整ができたところで、顔画像確定のためにテンキー１２０操作を行う。
顔画像確定のためのテンキー１２０から入力を受けると、図５に示す照合処理１０２が実行される。
先に入力されたＩＤコードに基づき、照合者の登録顔画像１３３を記憶部１３０から読み出す。特徴量抽出手段２では、登録顔画像１３３と入力された顔画像それぞれから「輪郭」「部位配置」「左目」「右目」「鼻」及び「口」の各特徴量を抽出する。抽出された特徴量が類似度算出手段３に入力される。
類似度算出手段３では、基準顔画像１３２から抽出された各特徴量と、登録顔画像１３３から抽出した各特徴量との類似度を各特徴量毎に算出する。なお、特徴量抽出手段２及び類似度算出手段３とは、図１にて説明した特徴量抽出処理手段２及び類似度算出処理手段３と同じ処理を実行する。
そして、算出された各類似度に対し、重付け処理６を行う。すなわち、記憶部１３０に記憶されている寄与度１３４を該当する類似度に対して乗じることにより、各特徴量の判定用の類似度を算出する。更に、全ての特徴量に対して得られた判定用の類似度の総和を求めることにより、個人性を反映させた総合類似度を算出する。このように、各特徴量に個人性に応じた重みを付与することにより、個人性が多く含まれている特徴量を個人性が乏しい特徴量に比べ重視することができる。この結果、他人と異なる特徴、すなわち個人性を重視した照合が可能となる。
この総合類似度に基づいて総合判定７にて本人か否かを判定する。すなわち、総合類似度が、所定値を越えている場合に照合者が登録者本人であるとの判断をする。他方、所定値以下の場合は、本人でないとの判断をする。
判定の結果、本人と確認すると、表示部１４０に「お入りください」等の表示を行い、出力部１５０から電気錠１６０へ解錠信号を送出する。解錠信号を受信すると、電気錠１６０が解錠される。なお、電気錠制御は、電気錠制御処理１０３として実行される。
他方、本人でないと判定すれば、表示部１４０にその旨を表示するのみで、電気錠１６０は解錠しない。
これによって、照合者が本人であれば出入口扉を通過でき、本人以外の者の通過を拒否できる。
【００１８】
本実施の形態では、顔画像による個人照合装置について説明したが、これに限られるものではなく、指紋画像や音声信号についても同様に適用できる。なお、指紋画像や音声信号に適用する場合は、特徴量として、それぞれの認証技術として確立されている特徴量が適宜に選択されることは言うまでもない。例えば、音声信号の場合について説明する。ここでは、個人照合に用いる音声が照合者毎に予め固定されている“発声内容固定型”の話者照合を例に説明する。まず、入力された音声信号を所定のフレーム長及びフレーム周期にてフレーム分析し、HMM等の公知の認識手法により音韻に相当するフレームを抽出する。この結果得られる音韻系列が目や鼻といった顔画像における各特徴に相当する。抽出された音韻系列から、特徴量として例えば周波数強度分布の概形であるスペクトル包絡に相当するＬＰＣケプストラム係数を算出する。音韻系列が連続した複数フレームとして抽出された場合には、例えばその中央に位置するフレームからＬＰＣケプストラム係数を算出したり、あるいは各フレーム毎に算出したＬＰＣケプストラム係数を平均化した値を用いる。抽出された各特徴量について、前記顔画像による場合と同様な処理を行うことにより、個人性を考慮して各音韻系列に重み付けすることが可能となる。なお、類似度の算出手段・寄与度算出手段等の処理は、音声信号の認証技術として既に一般化している手法が用いられる。種々の手法があるが、本発明の本質でないことから説明は省略する。
【００１９】
また、本実施の形態では、顔画像から抽出される複数の特徴にて説明したが、顔画像と音声信号や、顔画像と指紋画像など種々の身体的特徴を組み合わせたときの各特徴の寄与度に適用してもよい。例えば、顔画像と音声信号とを組み合わせた場合について説明する。まず。個人性の基準となる基準情報として、前述した基準顔画像と、基準音声情報とを予め記憶部１３０に記憶しておく。なお、基準情報の意義については、前述した通りである。次に、特徴量抽出手段２においては、登録顔画像と登録音声情報との双方から前述した特徴量を抽出する。具体的には、顔画像の場合「輪郭」「部位配置」等であり、音声信号の場合「音韻系列」である。このように、顔画像と音声信号のそれぞれに含まれる複数の特徴量を用いても良いが、顔画像情報及び音声信号をそれぞれ全体として、一つの特徴量とし顔画像と音声信号の二つの特徴量を抽出することとしても良い。
【００２０】
【発明の効果】
本発明によれば、各特徴に個人性に応じた重みを付与することにより、個人性が多く含まれている特徴を個人性が乏しい特徴に比べ重視して照合を行うことができる。この結果、他人と異なる特徴、すなわち個人性を重視した高精度な照合が可能となる。
【図面の簡単な説明】
【図１】顔画像照合装置での登録処理を説明する図
【図２】顔画像照合装置のブロック図
【図３】基準顔画像の生成を説明する図
【図４】基準寄与度の一例を説明する図
【図５】顔画像照合装置での照合処理を説明する図
【符号の説明】
１…顔画像照合装置
100…制御部、101…登録処理、102…照合処理、103…電気錠制御処理
110…撮像部、111…画像入力部、120…テンキー、121…操作入力部
130…記憶部、131…基準寄与度、132…基準顔画像、133…登録顔画像、134…寄与度、135…プログラム等、136…照合顔画像
140…表示部、150…出力部、160…電気錠、
2…特徴量抽出手段、3…類似度算出手段、4…寄与度算出手段、5…記憶処理、
6…重付け処理、7…総合判定、8…電気錠制御等
【図１】
0004553526.tif 000002
【図２】
0004553526.tif 000003
【図３】
0004553526.tif 000004
【図４】
0004553526.tif 000005
【図５】
0004553526.tif 000006