(57)【要約】【課題】コスト高や複雑化を招くことなく認証精度および認証速度を向上させるとともに、本人なりすましを防止すること。【解決手段】広角カメラと、この広角カメラの左右位置に設けられた一対の鏡を備えた顔認証装置を構成することによって、認証対象者の顔の正面像を直射像として広角カメラに入射させるとともに、２枚の鏡によって認証対象者の顔の右側面像および左側面像を反射像として広角カメラに入射させ、顔の正面像、右側面像および左側面像を同時に広角カメラによって撮像する。【選択図】        図３
2007011456.tif 000002
【特許請求の範囲】
【請求項１】
認証対象者の顔を撮像することによって本人認証を行う顔認証装置であって、
一台の広角カメラで前記顔を撮像する撮像手段と、
前記広角カメラの撮像範囲内に設けられ、前記顔の反射像を該広角カメラに入射させる反射手段と、
前記反射手段によって前記広角カメラに入射された前記反射像と、前記反射手段を介することなく該広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定手段と
を備えたことを特徴とする顔認証装置。
【請求項２】
前記反射手段は、
前記広角カメラの左右位置に設けられた２枚の鏡によって、前記広角カメラに正対する前記認証対象者の顔の右側面および左側面の反射像を該広角カメラに入射させることを特徴とする請求項１に記載の顔認証装置。
【請求項３】
前記撮像手段の前記広角カメラによって撮像された画像の光学歪を除去する歪除去手段をさらに備えたことを特徴とする請求項１または２に記載の顔認証装置。
【請求項４】
前記撮像手段の前記広角カメラによって撮像された画像から撮像方向が異なる複数の顔画像をそれぞれ切り出す切出手段をさらに備えたことを特徴とする請求項１、２または３に記載の顔認証装置。
【請求項５】
前記判定手段は、
前記直射像および前記反射像に含まれる各顔画像に基づいて前記認証許否の判定を行うことを特徴とする請求項１〜４のいずれか一つに記載の顔認証装置。
【請求項６】
前記判定手段は、
前記直射像および全ての前記反射像に前記顔画像が含まれていることを条件として前記認証許否の判定を行うことを特徴とする請求項１〜５のいずれか一つに記載の顔認証装置。
【請求項７】
前記判定手段は、
前記直射像および前記反射像に含まれる前記顔画像の大きさが所定の条件を満たしていない場合に、認証を不許可とする判定を行うことを特徴とする請求項１〜６のいずれか一つに記載の顔認証装置。
【請求項８】
前記判定手段は、
前記直射像および前記反射像に含まれる背景画像に基づいて前記認証許否の判定を行うことを特徴とする請求項１〜７のいずれか一つに記載の顔認証装置。
【請求項９】
前記直射像および前記反射像に基づいて顔位置を検出し、該顔位置にある物体の温度を測定する温度測定手段をさらに備えたことを特徴とする請求項１〜８のいずれか一つに記載の顔認証装置。
【請求項１０】
前記直射像および全ての前記反射像の中で前記顔画像が含まれていないものがある場合に、前記認証対象者に対して立ち位置の変更を指示する指示手段をさらに備えたことを特徴とする請求項１〜９のいずれか一つに記載の顔認証装置。
【請求項１１】
認証対象者の顔を撮像することによって本人認証を行う顔認証方法であって、
一台の広角カメラで前記顔を撮像する撮像工程と、
前記広角カメラの撮像範囲内に設けられ、前記顔の反射像を該広角カメラに入射させる反射工程と、
前記反射工程によって前記広角カメラに入射された前記反射像と、前記反射工程を介することなく該広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定工程と
を含んだことを特徴とする顔認証方法。
【請求項１２】
前記反射工程は、
前記広角カメラの左右位置に設けられた２枚の鏡によって、前記広角カメラに正対する前記認証対象者の顔の右側面および左側面の反射像を該広角カメラに入射させることを特徴とする請求項１１に記載の顔認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、認証対象者の顔を撮像することによって本人認証を行う顔認証装置および顔認証方法に関し、特に、コスト高を招くことなく認証精度を向上させることができるとともに、本人なりすましを効果的に防止することができる顔認証装置および顔認証方法に関する。
【背景技術】
【０００２】
従来、ＣＣＤ（Charge  Coupled  Device）カメラなどを用いて認証対象者の顔を撮像し、撮像した顔画像と予め登録されている顔画像とを照合することによって本人認証を行う顔認証装置が知られている。このような顔認証装置では、本人であるにもかかわらず認証を不許可としたり、他人であるにもかかわらず認証を許可したりといった誤認証を回避する観点から、認証精度向上や本人なりすまし防止への対策がとられることが多い。
【０００３】
たとえば、特許文献１には、認証対象者の顔を複数台のカメラによって撮像し、撮像された複数の顔画像に基づいて認証の可否を判定する技術が開示されている。この特許文献１の技術によれば、認証対象者の顔の正面、側面といった複数方向の画像を取り込むことができるので、これらの画像を総合的に評価することによって認証精度を向上させたり、写真を用いた本人なりすましを防止したりすることができる。
【０００４】
また、特許文献２には、異なる照明環境のもとで撮像された複数の顔画像を用いることによって、写真を用いた本人なりすましを防止する技術が開示されている。この特許文献２の技術によれば、立体である顔と平面である写真とでは照明による影が異なることを利用することによって、写真を用いた本人なりすましを防止することができる。
【０００５】
【特許文献１】特開２００４−１９２３７８号公報
【特許文献２】特開２００３−１７８３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように複数台のカメラを用いることとすると、カメラのコストのみならず、カメラを同期させるためのデバイスのコストもかかってしまい、顔認証装置がコスト高となってしまうとともに、複雑化してしまうという問題があった。また、カメラ同期のタイミングがずれてしまった場合には、認証対象者の動きによって画像照合のための対応点位置がずれてしまうという問題もあった。
【０００７】
また、特許文献２のように照明環境を変化させる手法では、複数の照明装置の明るさや向きを制御しながら認証対象者の顔画像を取り込む必要があり、認証処理に多くの時間を要してしまうという問題があった。また、照明環境を変化させることによる照明漏れによって周囲の環境を悪化させてしまうという問題もあった。
【０００８】
これらのことから、コスト高や複雑化を招くことなく認証精度および認証速度を向上させることができるとともに、本人なりすましを効果的に防止することができる顔認証装置をいかにして実現するかが非常に重要な課題となっている。
【０００９】
この発明は、上述した従来技術による問題点を解消するためになされたものであって、コスト高や複雑化を招くことなく認証精度および認証速度を向上させることができるとともに、本人なりすましを効果的に防止することができる顔認証装置および顔認証方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、認証対象者の顔を撮像することによって本人認証を行う顔認証装置であって、一台の広角カメラで前記顔を撮像する撮像手段と、前記広角カメラの撮像範囲内に設けられ、前記顔の反射像を該広角カメラに入射させる反射手段と、前記反射手段によって前記広角カメラに入射された前記反射像と、前記反射手段を介することなく該広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定手段とを備えたことを特徴とする。
【００１１】
また、請求項２に係る発明は、上記の発明において、前記反射手段は、前記広角カメラの左右位置に設けられた２枚の鏡によって、前記広角カメラに正対する前記認証対象者の顔の右側面および左側面の反射像を該広角カメラに入射させることを特徴とする。
【００１２】
また、請求項３に係る発明は、上記の発明において、前記撮像手段の前記広角カメラによって撮像された画像の光学歪を除去する歪除去手段をさらに備えたことを特徴とする。
【００１３】
また、請求項４に係る発明は、上記の発明において、前記撮像手段の前記広角カメラによって撮像された画像から撮像方向が異なる複数の顔画像をそれぞれ切り出す切出手段をさらに備えたことを特徴とする。
【００１４】
また、請求項５に係る発明は、上記の発明において、前記判定手段は、前記直射像および前記反射像に含まれる各顔画像に基づいて前記認証許否の判定を行うことを特徴とする。
【００１５】
また、請求項６に係る発明は、上記の発明において、前記判定手段は、前記直射像および全ての前記反射像に前記顔画像が含まれていることを条件として前記認証許否の判定を行うことを特徴とする。
【００１６】
また、請求項７に係る発明は、上記の発明において、前記判定手段は、前記直射像および前記反射像に含まれる前記顔画像の大きさが所定の条件を満たしていない場合に、認証を不許可とする判定を行うことを特徴とする。
【００１７】
また、請求項８に係る発明は、上記の発明において、前記判定手段は、前記直射像および前記反射像に含まれる背景画像に基づいて前記認証許否の判定を行うことを特徴とする。
【００１８】
また、請求項９に係る発明は、上記の発明において、前記直射像および前記反射像に基づいて顔位置を検出し、該顔位置にある物体の温度を測定する温度測定手段をさらに備えたことを特徴とする。
【００１９】
また、請求項１０に係る発明は、上記の発明において、前記直射像および全ての前記反射像の中で前記顔画像が含まれていないものがある場合に、前記認証対象者に対して立ち位置の変更を指示する指示手段をさらに備えたことを特徴とする。
【００２０】
また、請求項１１に係る発明は、認証対象者の顔を撮像することによって本人認証を行う顔認証方法であって、一台の広角カメラで前記顔を撮像する撮像工程と、前記広角カメラの撮像範囲内に設けられ、前記顔の反射像を該広角カメラに入射させる反射工程と、前記反射工程によって前記広角カメラに入射された前記反射像と、前記反射工程を介することなく該広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定工程とを含んだことを特徴とする。
【００２１】
また、請求項１２に係る発明は、上記の発明において、前記反射工程は、前記広角カメラの左右位置に設けられた２枚の鏡によって、前記広角カメラに正対する前記認証対象者の顔の右側面および左側面の反射像を該広角カメラに入射させることを特徴とする。
【発明の効果】
【００２２】
請求項１の発明によれば、一台の広角カメラで顔を撮像する撮像手段と、広角カメラの撮像範囲内に設けられ、顔の反射像を広角カメラに入射させる反射手段と、反射手段によって広角カメラに入射された反射像と、反射手段を介することなく広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定手段とを備えるよう構成したので、コスト高や複雑化を招くことなく認証精度および認証速度を向上させることができるとともに、本人なりすましを効果的に防止することができるという効果を奏する。
【００２３】
また、請求項２の発明によれば、反射手段は、広角カメラの左右位置に設けられた２枚の鏡によって、広角カメラに正対する認証対象者の顔の右側面および左側面の反射像を該広角カメラに入射させるよう構成したので、複数台のカメラを用いることなく複数方向から撮像した顔画像を同時に取り込むことができるという効果を奏する。
【００２４】
また、請求項３の発明によれば、撮像手段の広角カメラによって撮像された画像の光学歪を除去する歪除去手段をさらに備えるよう構成したので、顔照合を行うに先立って広角カメラによる光学歪を一括して除去することによって、認証速度を向上させることができるという効果を奏する。
【００２５】
また、請求項４の発明によれば、撮像手段の広角カメラによって撮像された画像から撮像方向が異なる複数の顔画像をそれぞれ切り出す切出手段をさらに備えるよう構成したので、各顔画像の照合処理を効率的に行うことができるという効果を奏する。
【００２６】
また、請求項５の発明によれば、判定手段は、直射像および反射像に含まれる各顔画像に基づいて認証許否の判定を行うよう構成したので、直射像についての照合結果と、各反射像についての照合結果とを総合的に用いることによって、認証精度を向上させることができるという効果を奏する。
【００２７】
また、請求項６の発明によれば、判定手段は、直射像および全ての反射像に顔画像が含まれていることを条件として認証許否の判定を行うよう構成したので、認証対象者の立ち位置を効果的に制限することによって、認証対象者の位置を測るための距離センサを省略することができるとともに、本人なりすましを効果的に防止することができるという効果を奏する。
【００２８】
また、請求項７の発明によれば、判定手段は、直射像および反射像に含まれる顔画像の大きさが所定の条件を満たしていない場合に、認証を不許可とする判定を行うよう構成したので、認証対象者の立ち位置を効果的に制限することによって、本人なりすましを効果的に防止することができるという効果を奏する。
【００２９】
また、請求項８の発明によれば、判定手段は、直射像および反射像に含まれる背景画像に基づいて認証許否の判定を行うよう構成したので、各顔画像とともに撮像される背景画像がそれぞれ異なることを利用することによって、本人なりすましを効果的に防止することができるという効果を奏する。
【００３０】
また、請求項９の発明によれば、直射像および反射像に基づいて顔位置を検出し、顔位置にある物体の温度を測定する温度測定手段をさらに備えるよう構成したので、距離センサなどを用いることなく顔位置を検出することができるとともに、写真やお面を用いた本人なりすましを効果的に防止することができるという効果を奏する。
【００３１】
また、請求項１０の発明によれば、直射像および全ての反射像の中で顔画像が含まれていないものがある場合に、認証対象者に対して立ち位置の変更を指示する指示手段をさらに備えるよう構成したので、立ち位置を効果的に制限することができるとともに、認証対象者の負担を軽減することができるという効果を奏する。
【００３２】
また、請求項１１の発明によれば、広角カメラの撮像範囲内に設けられ、顔の反射像を広角カメラに入射させる反射工程と、反射工程によって広角カメラに入射された反射像と、反射工程を介することなく広角カメラに入射された直射像とを用いることによって認証許否の判定を行う判定工程とを含むよう構成したので、コスト高や複雑化を招くことなく認証精度および認証速度を向上させることができるとともに、本人なりすましを効果的に防止することができるという効果を奏する。
【００３３】
また、請求項１２の発明によれば、反射工程は、広角カメラの左右位置に設けられた２枚の鏡によって、広角カメラに正対する認証対象者の顔の右側面および左側面の反射像を広角カメラに入射させるよう構成したので、複数台のカメラを用いることなく複数方向から撮像した顔画像を同時に取り込むことができるという効果を奏する。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、本発明に係る顔認証装置および顔認証方法の実施例１〜２を詳細に説明する。なお、以下の説明においては、部屋などの出入り口に設置される据え置き型の顔認証装置について説明することとする。
【００３５】
各実施例の詳細な説明に先立って、本発明に係る顔認証装置の概要について説明する。図１は、本発明に係る顔認証装置の概要を示す図である。なお、同図の下段には、本発明に係る顔認証装置を上方から見た図を示しており、同図の上段には、下段に示した顔認証装置の広角カメラで撮像された画像イメージを示している。
【００３６】
同図の下段に示したように、本発明に係る顔認証装置は、本体部分に設けられた１台の広角カメラと、本体部分の両側に設けられた一対の鏡（２枚の鏡）とを備えている。顔認証装置に正対した認証対象者の顔の正面像は、広角カメラに直接入射するとともに、顔の右側面像および左側面像はそれぞれの鏡で反射されることによって広角カメラに導かれる。
【００３７】
そして、同図の上段に示したように、認証対象者の正面像、右側面像および左側面像（以下、「三面像」と記載する）は、広角カメラによって同時に撮像される。本発明に係る顔認証装置では、このようにして撮像された三面像から各顔画像を抽出し、抽出した顔画像に基づいて認証処理を行う。
【００３８】
従来の顔認証装置の中には、複数台のカメラを用いることによって撮像方向が異なる複数の顔画像を撮像し、撮像した顔画像に基づいて認証処理を行うものが存在した。しかし、複数台のカメラを備えた顔認証装置は高コストとなってしまうという問題があった。また、複数台のカメラの撮像タイミングがずれると、認証対象者の動きによって各顔画像の認証対象点がずれてしまうことになる。このため、せっかく複数の顔画像を用いても認証精度を十分に高めることができないという問題もあった。
【００３９】
また、従来の顔認証装置の中には、照明環境を変化させることによって積極的に被写体に対して影をつくり、立体である顔と、平面である写真とを見分けるものがある。このような顔認証装置を用いると、写真やお面などを用いた本人なりすましを防止することができる。しかし、照明環境を変化させつつ顔画像を取得する顔認証装置では、認証に要する時間が長くなってしまうという問題があった。
【００４０】
そこで、本発明に係る顔認証装置では、認証対象者の顔の直射像と、鏡によって反射された顔の反射像とを１台の広角カメラに入射させ、複数方向の顔画像を同時に撮像することとしている。したがって、カメラにかかるコストを削減するとともに、複数台のカメラの撮像タイミングを制御するデバイスを省略することによって、顔認証装置のコストを大幅に低減することとしている。また、複数方向の顔画像を同時に撮像することができるので、認証に要する時間を低減することが可能となる。
【００４１】
さらに、本発明に係る顔認証装置では、上記した三面像のすべてに顔画像が含まれる位置を「立ち位置」とすることによって、被写体のピント合わせのための距離センサを不用としている。また、複数の顔画像を認証処理に用いるので、写真やお面を用いた本人なりすましを効果的に防止することができる。
【００４２】
次に、本発明に係る顔認証装置の構成例について図２を用いて説明する。図２は、本発明に係る顔認証装置の構成例を示す図である。なお、同図の上段は顔認証装置１の上面図であり、同図の下段は顔認証装置１の正面図である。
【００４３】
同図の正面図に示すように、顔認証装置１は、広角カメラ３と、一対の鏡２ａとを備えている。なお、それぞれの鏡２ａは鏡保持部２によって保持されている。また、顔認証装置１は、液晶ディスプレイなどの表示部４と、カードリーダ５と、テンキー６とを備えている。
【００４４】
かかる鏡２ａ、広角カメラ３および表示部４については、後述する各実施例で詳細に説明するので、ここでは、カードリーダ５およびテンキー６について説明しておく。カードリーダ５は、非接触ＩＣカードなどの認証カードから、本人認証のための情報を読み出すデバイスである。また、テンキー６は、認証対象者のパスワード入力などを受け付けるためのデバイスである。なお、このテンキー６に指紋センサを含ませることとしてもよい。
【００４５】
なお、図２に示した顔認証装置の構成は一例を示したものであり、同図のような据え置き型の形状ではなく、壁への埋め込みが可能な形状としてもよい。また、以下の各実施例においては、鏡保持部２を固定式とした場合について説明するが、この鏡保持部２の開き角（認証対象者を挟み込む角度）を可変とし、この開き角を変更するよう制御することとしてもよい。
【００４６】
なお、以下に示す実施例１では顔認証装置の基本構成について説明し、実施例２では実施例１に示す顔認証装置の変形例について説明することとする。
【実施例１】
【００４７】
図３は、実施例１に係る顔認証装置１の構成を示すブロック図である。同図に示すように、顔認証装置１は、鏡２ａと、広角カメラ３と、表示部４と、制御部１０と、記憶部２０とを備えている。また、制御部１０は、歪補正処理部１１と、顔画像切出部１２と、顔照合処理部１３と、判定処理部１４とをさらに備えており、記憶部２０は、登録情報２１を記憶している。
【００４８】
鏡２ａは、顔認証装置１の筐体に、いわゆる三面鏡のような形で設けられている（図２参照）。なお、実施例１では、鏡２ａを筐体の左右位置に２枚とりつけた場合について説明する。このような１対の鏡２ａを用いることで、認証対象者の顔の左側面および右側面の反射像を広角カメラ３に入射させることができる。
【００４９】
広角カメラ３は、高視野角を有するカメラであり、１８０度程度の範囲を撮像することができるカメラを用いることが好ましい。広角カメラ３を用いることによって、１台のカメラで鏡２ａからの反射像を含む広範囲にわたる画像を一度に取り込むことが可能となる。このように、広角カメラ３を用いることとすると、カメラの位置や方向を変更するための機構や制御デバイスを要しないことから、故障可能性の低減、コストの削減および撮像時の応答性の向上を実現することができる。
【００５０】
また、広角カメラ３は、左右方向のみならず上下方向の視野角も広いことから、認証対象者の顔位置の許容範囲が広いというメリットが得られる。具体的には、子供（顔位置が低い）や大人（顔位置が高い）、さらには車椅子の認証対象者であっても、カメラの位置や方向を変更することなく顔画像の撮像を行うことができる。さらに、この広角カメラ３と、上記した２枚の鏡２ａの組合せによって、距離センサを用いることなく認証対象者の「立ち位置」を指定することが可能となる。
【００５１】
ここで、上記した「立ち位置」および広角カメラ３の撮像画像について図４〜図７を用いて説明しておく。図４は、認証対象者の立ち位置を説明するための説明図である。同図に示すように、広角カメラ３と２枚の鏡２ａとの位置関係に基づき、各鏡２ａによって広角カメラ３に入射される反射像に顔画像が完全に含まれる範囲が存在する。具体的には、広角カメラ３と同図の右側に示した鏡２ａの両端を結ぶ２本の破線は鏡２ａによって折り返しているが、この折り返された２本の破線に挟まれた領域が、右側の鏡２ａによって広角カメラ３に入射される反射像に顔画像が完全に含まれる範囲となる（図１の上段参照）。
【００５２】
同図の左側に示した鏡２ａについても同様であるので、左側に示した鏡２ａによって折り返された２本の破線と、右側に示した鏡２ａによって折り返された２本の破線とによって囲まれたひし形の領域が、顔の右側面と左側面とを双方とも撮像可能な領域となる。したがって、同図に示したように、広角カメラ３および２枚の鏡２ａとの位置関係によって「立ち位置」には所定の範囲が存在することになる。
【００５３】
図５は、立ち位置に応じた撮像画像例を示す図である。図５の５１に示すのは、図４に示した立ち位置の範囲よりも広角カメラ３に近い位置で撮像された認証対象者の三面像である。このように、立ち位置の範囲よりも近い位置では、直射像５１ａは完全に撮像されるものの、反射像（５１ｂおよび５１ｃ）には、顔が完全には含まれない状態となる。
【００５４】
また、図５の５２に示すのは、図４に示した立ち位置の範囲よりも遠い位置で撮像された認証対象者の三面像である。このように、立ち位置の範囲よりも遠い位置でも、直射像５２ａは完全に撮像されるものの、反射像（５２ｂおよび５２ｃ）には、顔が完全には含まれない状態となる。
【００５５】
このように、図４に示した立ち位置の範囲外では、反射像に顔の右側面や左側面が十分に含まれないことになるので、広角カメラ３によって撮像された三面像の、各顔画像を画像解析することによって、認証対象者が立ち位置に存在するか否かの判定を行うことが可能となる。なお、上記した説明では、三面像（正面、右側面および左側面）のそれぞれに、顔画像が含まれるか否かによって、認証対象者が立ち位置の範囲内に存在するか否かを判定する場合を示したが、認証対象者の遠近によって正面像の大きさが変わる（図５の５１ａおよび５２ａ参照）ことを利用する。なお、たとえば、目と目の間隔が所定範囲にあるか否かを判定条件に加えることとしてもよい。
【００５６】
このように、実施例１に係る顔認証装置１では、広角カメラ３が高視野角を有することを利用して上記した三面像を撮像することとしている。したがって、複数台のカメラや、カメラの可動機構を用いることなく、複数の方向からの顔画像を同時に取り込むことができる。しかしながら、広角カメラ３には上記したメリットがある反面、被写界深度が深いために写真を用いた本人なりすましを受けやすいというデメリットもある。そこで、実施例１に係る顔認証装置１では、このような本人なりすましを防止する仕組みを設けている。
【００５７】
図６は、写真を用いた本人なりすまし例１を説明するための説明図である。なお、図６の６２には、本人なりすましを行う悪意の利用者を上方から見た図を示しており、同図の６１には、同図の６２に示した広角カメラ３で撮像された画像イメージを示している。
【００５８】
同図の６２に示したように、本人なりすましを行う悪意の利用者は、正当な認証対象者の顔を正面から撮像した写真６１ａを広角カメラ３に近い位置にかざしている。上記したように、広角カメラ３は被写界深度が深いために、このように前方にかざされた写真にもピントが合うことになる。このため、認証対象者の正面像のみを撮像するタイプの装置であれば、このような本人なりすましを許容してしまう結果となる。
【００５９】
しかし、実施例１に係る顔認証装置１では、２枚の鏡２ａを用いることによって認証対象者の顔の右側面および左側面をも撮像することとしているので、このような本人なりすましを効果的に防止することができる。具体的には、図６の６１に示したように、直射像には写真６１ａ（本人の顔）が含まれているものの、反射像には悪意の利用者の顔が含まれることになる（６１ｂおよび６１ｃ参照）。したがって、直射像に含まれる正面像と反射像に含まれる側面像とでは顔の特徴量が異なることに基づいて、認証を拒否する旨の判定を行うことができる。
【００６０】
図７は、顔高さに応じた撮像画像例を示す図である。同図の７１には、背が高い認証対象者を撮像した三面像を示しており、同図の７２には、背が低い、あるいは、車椅子の認証対象者を撮像した三面像を示している。上記したように、広角カメラ３は、左右のみならず上下方向にも広い視野角を有しているので、カメラの位置や方向を変えることなく、高身長の認証対象者から低身長の認証対象者まで顔画像を効率的に取り込むことができる。
【００６１】
図３の説明に戻り、表示部４について説明する。表示部４は、液晶ディスプレイなどの出力デバイスで構成され、制御部１０の判定処理部１４から渡された判定結果や、立ち位置の変更を指示する指示メッセージなどを表示する装置である。
【００６２】
制御部１０は、広角カメラ３によって同時に撮像された三面像を受け取り、受け取った三面像に含まれる各顔画像を取り出すとともに、取り出した顔画像を記憶部２０に記憶された登録情報２１に含まれる照合用登録画像と対比することによって顔照合を行う処理部である。また、この制御部１０は、各顔画像の照合結果に基づいて認証対象者の認証許否の判定を行い、判定結果を表示部４に出力する処理部でもある。
【００６３】
歪補正処理部１１は、広角カメラ３から上記した三面像を受け取り、受け取った三面像から光学歪を除去する補正を行う処理部である。広角カメラ３で撮像した画像はその中心部分においては歪が少ないものの、周辺部分に近づくに従って規則的に歪量が増していく傾向がある。たとえば、図７に示したように、視野の外周に近づくにつれて画像は歪曲され、鏡２ａの反射像は歪によって変形している。たとえば、この歪補正処理部１１は予め取得しておいた左右あるいは上下方向の変形量に基づく歪補正係数を用いて歪補正処理を行う。
【００６４】
顔画像切出部１２は、歪補正処理部１１から歪除去後の三面像を受け取り、受け取った歪除去後の三面像から各顔画像を切り出す画像処理を行う処理部である。そして、この顔画像切り出部１２は、切り出した各顔画像を顔照合処理部１３に対して出力する。なお、かかる顔画像とは、正面像、右側面像および左側面像である。
【００６５】
顔照合処理部１３は、顔画像切出部１２から各顔画像を受け取り、受け取った各顔画像を、記憶部２０に記憶された登録情報２１に含まれる登録画像と対比することによって、認証対象者の顔の照合処理を行う処理部である。そして、この顔照合処理部１３は、各顔画像の照合結果を判定処理部１４に対して出力する。
【００６６】
判定処理部１４は、顔照合処理部１３から受け取った各顔画像の照合結果に基づいて、認証対象者の認証許否の最終判定を行う処理部である。具体的には、この判定処理部は、各顔画像の特徴量をそれぞれ対比することによって、すべての画像に同一人物の顔が含まれているか否かをチェックする。そして、いずれか一つの顔画像において認証処理に失敗した場合には、認証を不許可とする判定を行う。
【００６７】
なお、この判定処理部１４は、図７に示したように、立ち位置が不適切であるために顔画像の適正な取得に失敗している場合には、三面像の大きさおよび位置から立ち位置を検出することができる。したがって、判定処理部１４が、適正な立ち位置を指示するメッセージを表示部４に表示するなどして、認証対象者に対して適正な立ち位置を報知することとしてもよい。このようにすることで、認証対象者の立ち位置を計測する距離センサが不要となりコストを低減することが可能となるとともに、認証対象者の負担を軽減することが可能となる。
【００６８】
記憶部２０は、不揮発性のメモリやＨＤＤ（Hard  Disk  Drive）などの記憶デバイスによって構成され、各顔画像の照合に用いる登録情報２１を記憶する。なお、実施例１においては、登録情報２１を予め記憶部２０に記憶しておく場合について示しているが、図２に示したカードリーダ５を介してこの登録情報２１を取り込み、取り込んだ情報を記憶部２０に一時的に記憶することとしてもよい。
【００６９】
登録情報２１は、認証対象者の登録画像を含んだ情報である。具体的には、この登録情報２１は、認証対象者の顔の正面像、右側面像および左側面像を含む情報である。なお、認証対象者の立ち位置によっては、広角カメラ３によって撮像された顔画像と、この登録情報２１に含まれる顔画像との大きさや向きが異なる場合があるが、このような場合には顔照合処理部１３が、目と目の間隔や、鼻と口を結ぶ線の向きなどに基づいて撮像画像と登録画像との間で、大きさや向きをフィッティングさせる画像処理を行うこととすればよい。
【００７０】
次に、実施例１に係る顔認証処理の処理手順について図８を用いて説明する。図８は、実施例１に係る顔認証処理の処理手順を示すフローチャートである。同図に示すように、まず、顔画像切出部１２は左側面画像の取得を行い（ステップＳ１０１）、左側面画像から顔検出に成功したか否かを判定する（ステップＳ１０２）。そして、顔検出に成功した場合には（ステップＳ１０２，Ｙｅｓ）、ステップＳ１０３の処理に進む。一方、顔検出に失敗した場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０１以降の処理を繰り返す。この場合、判定処理部１４が上記した立ち位置変更を指示するメッセージを表示部４に出力することとしてもよい。また、ステップＳ１０２において顔検出に成功した場合とは、顔全体を完全に検出できた場合を指している。
【００７１】
つづいて、顔画像切出部１２は、正面と右側面画像の取得を行い（ステップＳ１０３）、判定処理部１４は、ステップＳ１０１とステップＳ１０３において取得した三面画像を用い、顔照合処理部１３において行われた各顔画像の照合結果に基づいて最終的な顔照合に成功したか否かを判定する（ステップＳ１０４）。そして、この最終的な顔照合に成功した場合には（ステップＳ１０４，Ｙｅｓ）、本人と認証して（ステップＳ１０５）処理を終了する。一方、最終的な顔照合に失敗した場合には（ステップＳ１０４，Ｎｏ）、本人ではないと判定して（ステップＳ１０６）処理を終了する。
【００７２】
なお、図８においては、左側面画像を先に取得し、その後、正面画像および右側面画像を取得する場合について示したが、これに限らず、各画像を取得する順序は、自由に設定することができる。
【００７３】
上述してきたように、本実施例１では、広角カメラと、この広角カメラの左右位置に設けられた一対の鏡を備えた顔認証装置を構成することによって、認証対象者の顔の正面像を直射像として広角カメラに入射させるとともに、２枚の鏡によって認証対象者の顔の右側面像および左側面像を反射像として広角カメラに入射させ、顔の正面像、右側面像および左側面像を同時に広角カメラによって撮像することとした。また、歪補正処理部が撮像された三面像から光学歪を除去し、顔画像切出部が三面像に含まれる各顔画像を切り出し、顔照合処理部が各顔画像を記憶部の登録情報を用いて照合し、判定処理部が顔照合処理部の各顔画像の照合結果に基づいて最終的な認証許否の判定を行うよう構成したので、コスト高や複雑化を招くことなく認証精度および認証速度を向上させることができるとともに、本人なりすましを効果的に防止することができる。
【００７４】
以下の実施例２では、実施例１に示した顔認証装置の変形例について説明することとする。なお、実施例２においては、温度センサを備えた顔認証装置について示すとともに、顔画像の切り出し処理において背景画像を含めて取得し、この背景画像に基づいて写真を用いた本人なりすましを防止する場合について説明することとする。
【実施例２】
【００７５】
実施例２では、温度センサを備えた顔認証装置１ａについて説明する。図９は、実施例２に係る顔認証装置の構成を示すブロック図である。なお、以下では、実施例１との差異点について主に説明することとし、共通点についての説明は省略することとする。
【００７６】
図９に示すように、実施例２に係る顔認証装置１ａは、温度センサ７を備える点で実施例１の顔認証装置１と異なる。この温度センサ７は、赤外線センサ（基本的に非接触式のセンサ）などから構成される生体検知センサであり、認証対象者の顔から放射される赤外線を検出（受光）することによって、顔の温度を測定するものである。また、この温度センサ７は、赤外線を検出（受光）する方向を変更するための可動機構を備えている。
【００７７】
本実施例２に係る顔認証装置１ａでは、この温度センサ７が赤外線を検出（受光）する向きを、判定処理部１４の指示によって認証対象者の顔方向に適宜変更する点に特徴がある。具体的には、判定処理部１４は、広角カメラ３に直接入射される正面像と、鏡２ａによって反射され広角カメラに入射される側面像を用いて、認証対象者の立ち位置および顔高さを検出し、検出した顔位置の方向に温度センサ７を向ける制御を行う。
【００７８】
このようにすることで、顔付近に顔と同大の写真やお面をかざすことによって本人なりすましを行う悪意の利用者を検出することが可能となる。ここで、この本人なりすましについて図１０を用いて説明しておく。図１０は、写真を用いた本人なりすまし例２を説明するための説明図である。なお、図１０の１０２には、本人なりすましを行う悪意の利用者を上方から見た図を示しており、同図の１０１には、同図の１０２に示した広角カメラ３で撮像された画像イメージを示している。
【００７９】
同図の１０２に示したように、本人なりすましを行う悪意の利用者は、正当な認証対象者の顔を正面から撮像した、実際の顔と同大の写真１０１ａを広角カメラ３にかざしている。このように、顔の近辺に実際の顔と同大の写真をかざす手法をとられた場合、同図の１０１に示したように、直射像（１０１ａ）のみならず反射像（１０１ｂおよび１０１ｃ）にも写真が撮像されることになる。このような場合には、各顔画像（正面像、左側面像および右側面像）を画像解析することによって、撮像された画像が平面であること、すなわち、写真であることを検出することも可能である。
【００８０】
しかし、お面のように立体的な物体を用いた本人なりすましが行われた場合には、上記したような手法では、本人なりすましを検出することが困難となる。そこで、実施例２に係る顔認証装置１ａでは、温度センサ７を用いた生体検知を取り入れることとし、鏡２ａおよび広角カメラ３を用いることによって撮像された三面像に基づいて顔位置を検出し、検出した顔から放射される赤外線を検出（受光）するよう温度センサ７を制御することとしている。したがって、お面のような立体的な物体を用いた本人なりすましをも効果的に防止することができる。
【００８１】
ところで、本実施例２に係る顔認証装置１ａでは、上記した温度センサ７を用いる他に、広角カメラ３によって撮像された三面像の顔画像のみならず、背景画像をも用いることによって写真を用いた本人なりすましを防止することとしている。この背景画像に基づいた顔認証処理の概要について図１１を用いて説明する。図１１は、背景画像に基づいた顔認証処理の概要を示す図である。なお、図１１の１１２には、認証対象者を上方から見た図を示しており、同図の１１１には、同図の１１２に示した広角カメラ３で撮像された画像イメージを示している。
【００８２】
図１１の１１２に示したように、顔の正面像、左側面像および右側面像を撮像する場合には、認証対象者の後方にそれぞれ異なる背景画像（図１１の背景Ａ、背景Ｂおよび背景Ｃ参照）が撮像される。実施例１で説明したように、広角カメラ３は被写界深度が深いので、このように遠方にある背景をも撮像することができる。
【００８３】
図９に示した顔画像切出部１２は、顔の正面像、左側面像および右側面像のみならず、各画像に含まれる背景をもあわせて切り出す。そして、この背景がそれぞれ異なるか否か、あるいは、予め撮像した背景画像と一致するか否かによって写真を用いた本人なりすましを検出する。
【００８４】
たとえば、図１０の１０１では、顔の周辺にある四角形の領域（写真の外枠）については、背景画像が撮像されないことになる。写真内の背景（顔以外の部分）は、同図に示す１０１ａ、１０１ｂおよび１０１ｃでは同一となるので、画像変換によって写真内の背景を同一視点から見たものに変換することで、写真による本人なりすましを検出することができる。なお、広角カメラ３で撮像された三面像の各顔画像の周囲に、あらかじめ撮像された背景が写っていないことに基づいて写真による本人なりすましを検出することとしてもよい。
【００８５】
次に、実施例２に係る顔認証処理の処理手順について図１２を用いて説明する。図１２は、実施例２に係る顔認証処理の処理手順を示すフローチャートである。同図に示すように、まず、顔画像切出部１２は左側面画像の取得を行い（ステップＳ２０１）、左側面画像から顔検出に成功したか否かを判定する（ステップＳ２０２）。そして、顔検出に成功した場合には（ステップＳ２０２，Ｙｅｓ）、ステップＳ２０３の処理に進む。
【００８６】
一方、顔検出に失敗した場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０１以降の処理を繰り返す。この場合、判定処理部１４が上記した立ち位置変更を指示するメッセージを表示部４に出力することとしてもよい。また、ステップＳ２０２において顔検出に成功した場合とは、顔全体を完全に検出できた場合を指している。
【００８７】
つづいて、顔画像切出部１２は、正面と右側面画像の取得を行い（ステップＳ２０３）、判定処理部１４は、ステップＳ２０１とステップＳ２０３において取得した三面画像を用い、顔照合処理部１３において行われた各顔画像の照合結果に基づいて最終的な顔照合に成功したか否かを判定する（ステップＳ２０４）。そして、この最終的な顔照合に成功した場合には（ステップＳ２０４，Ｙｅｓ）、つづいて、顔周辺背景の照合に成功したか否かを判定する（ステップＳ２０５）。一方、最終的な顔照合に失敗した場合には（ステップＳ２０４，Ｎｏ）、本人ではないと判定して（ステップＳ２０６）処理を終了する。
【００８８】
そして、顔周辺背景の照合に成功した場合には（ステップＳ２０５，Ｙｅｓ）、本人と認証して（ステップＳ２０８）処理を終了する。一方、顔周辺背景の照合に失敗した場合には（ステップＳ２０５，Ｎｏ）、写真である（写真を用いた本人なりすましが行われた）と判定して（ステップＳ２０７）処理を終了する。
【００８９】
なお、図１２においては、左側面画像を先に取得し、その後、正面画像および右側面画像を取得する場合について示したが、これに限らず、各画像を取得する順序は、自由に設定することができる。
【００９０】
次に、上記した温度センサ７についてさらに詳細に説明する。図１３は、実施例２に係る温度センサ７を示す図である。なお、同図の１３１には実施例２に係る顔認証装置１ａの概略化した正面図を示しており、１３２には温度センサ７による赤外線検出（受光）の向きについて示している。また、１３３には温度センサ７に加え、顔認証装置１ａの上部に鏡２ｂを付加した場合について示している。
【００９１】
同図の１３１および１３２に示すように、実施例２に係る顔認証装置１ａでは、広角カメラ３の上方および下方に２個の温度センサ７を配置している。この温度センサ７は、上記したように顔方向にあわせて可動させることができる。また、このように温度センサ７を複数個設けることで、温度センサ７を手でふさぐなどの不正行為を防止しやすくなる。さらに、温度センサ７をふさぐ手によって左右側面の顔画像がさえぎられた場合には、制御部１０において検出することができるので、不正行為を効果的に防止することができる。
【００９２】
なお、実施例２に係る顔認証装置１ａでは、実施例１と同様に、三面像に基づいた立ち位置制限を行うことができるので、かかる温度センサ７の可動範囲を小さくすることができる。また、温度センサ７の検出範囲と設置位置とを考慮することによって、上述のような可動制御をすることなく同様の効果を得ることができる。
【００９３】
また、同図の１３３に示すように、顔認証装置１ａの上方に鏡２ｂを設けることとすれば、写真１３４を用いて本人なりすましを行おうとする人が温度センサ７を遮ろうとする手を広角カメラ３で撮像することができるので、不正行為を効果的に防止することができる。
【００９４】
次に、上記した温度センサ７を用いた顔認証処理の処理手順について図１４を用いて説明する。図１４は、温度センサ７を用いた顔認証処理の処理手順を示すフローチャートである。同図に示すように、制御部１０が三面画像から顔位置を検出すると（ステップＳ３０１）、判定部１４は、温度センサ７の角度制御を実行する（ステップＳ３０２）。角度制御を受けた温度センサ７は、指示された顔位置の方向から赤外線を検出（受光）する。
【００９５】
そして、温度センサ７が生体を検出（たとえば、所定条件を満たす赤外線を検出（受光））したならば（ステップＳ３０３，Ｙｅｓ）、つづいて、三面画像のいずれかで顔検出に失敗したか否かを判定する（ステップＳ３０４）。すなわち、ステップＳ３０４においては、本人なりすましを行おうとする人が温度センサ７を遮ろうとした手で顔を隠した状態になっているか否かを判定することになる。一方、温度センサ７が生体を検出しなかった場合には（ステップＳ３０３，Ｎｏ）、不正行為ありと判定して（ステップＳ３０６）処理を終了する。
【００９６】
なお、図１３の１３３に示したように、顔認証装置１ａの上方に鏡２ｂを設けることとした場合には、この鏡２ｂを介して広角カメラ３によって撮像された画像について、温度センサ７を遮ろうとする手が撮像されているなどの異常があるか否かを判定するステップが加わることになる。
【００９７】
そして、三面画像のいずれかで顔検出に失敗した場合には（ステップＳ３０４，Ｙｅｓ）、不正行為ありと判定して（ステップＳ３０６）、処理を終了する。一方、三面画像のすべてにおいて顔検出に成功した場合には（ステップＳ３０４，Ｎｏ）、図１２に示した認証処理を実行して（ステップＳ３０５）処理を終了する。
【００９８】
上述したように、本実施例２では、広角カメラによって撮像された顔の直射像、左側面像および右側面像に基づいて認証対象者の顔位置を三次元的に検出し、検出した顔位置から赤外線を検出（受光）する温度センサを設けるよう構成したので、本人なりすましを行おうとする悪意の利用者を効果的に検出することができる。また、本実施例２では、広角カメラによって撮像された顔のみならず、その背景画像を用いて本人なりすましを検出するよう構成したので、本人なりすましを防止して認証精度を向上させることができる。
【産業上の利用可能性】
【００９９】
以上のように、本発明に係る顔認証装置および顔認証方法は、本人なりすましを効果的に防止したい場合に有用であり、特に、コスト高や複雑化を招くことなく認証精度および認証速度を向上させたい場合に適している。
【図面の簡単な説明】
【０１００】
【図１】本発明に係る顔認証装置の概要を示す図である。
【図２】顔認証装置の構成例を示す図である。
【図３】実施例１に係る顔認証装置の構成を示すブロック図である。
【図４】認証対象者の立ち位置を説明するための説明図である。
【図５】立ち位置に応じた撮像画像例を示す図である。
【図６】写真を用いた本人なりすまし例１を説明するための説明図である。
【図７】顔高さに応じた撮像画像例を示す図である。
【図８】実施例１に係る顔認証処理の処理手順を示すフローチャートである。
【図９】実施例２に係る顔認証装置の構成を示すブロック図である。
【図１０】写真を用いた本人なりすまし例２を説明するための説明図である。
【図１１】背景画像に基づいた顔認証処理の概要を示す図である。
【図１２】実施例２に係る顔認証処理の処理手順を示すフローチャートである。
【図１３】実施例２に係る温度センサを示す図である。
【図１４】温度センサを用いた顔認証処理の処理手順を示すフローチャートである。
【符号の説明】
【０１０１】
１、１ａ  顔認証装置
２  鏡保持部
２ａ  鏡
２ｂ  鏡
３  広角カメラ
４  表示部
５  カードリーダ
６  テンキー
７  温度センサ
１０  制御部
１１  歪補正処理部
１２  顔画像切出部
１３  顔照合処理部
１４  判定処理部
２０  記憶部
２１  登録情報
６１ａ  写真
１０１ａ  写真
【図１】
2007011456.tif 000003
【図２】
2007011456.tif 000004
【図３】
2007011456.tif 000005
【図４】
2007011456.tif 000006
【図５】
2007011456.tif 000007
【図６】
2007011456.tif 000008
【図７】
2007011456.tif 000009
【図８】
2007011456.tif 000010
【図９】
2007011456.tif 000011
【図１０】
2007011456.tif 000012
【図１１】
2007011456.tif 000013
【図１２】
2007011456.tif 000014
【図１３】
2007011456.tif 000015
【図１４】
2007011456.tif 000016