(57)【要約】被照合者の顔を撮像した撮像顔画像と、記憶部に登録されている登録顔画像とを照合し、照合の結果を示す照合スコアがＴｈ１以下であり、撮像顔画像に撮像されている被照合者が登録顔画像の被写体本人でないと判定した場合、照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。照合スコアがＴｈ２以上である場合、撮像顔画像と登録顔画像の一部分の類似度を示す、局所スコアを算出し、算出した局所スコアがＴｈ３以下である場合、撮像顔画像および登録顔画像の少なくとも一つの画像に、局所スコアに対応する一部分を強調する処理を行い、その画像を表示部に表示する。
2018116560.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、記憶部と、表示部を有し、
前記プロセッサは、
被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合し、
前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、
前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定し、
前記照合スコアがＴｈ２以上である場合、
前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、
前記算出した局所スコアがＴｈ３以下である場合、
前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する、
照合装置。
【請求項２】
前記強調の度合いを、前記局所スコアに基づいて変更する、
請求項１に記載の照合装置。
【請求項３】
プロセッサが、被照合者の顔を撮像した撮像顔画像と、記憶部に登録されている登録顔画像とを照合してその結果を出力する照合方法であって、
前記プロセッサは、
前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、
前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定し、
前記照合スコアがＴｈ２以上である場合、
前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、
前記算出した局所スコアがＴｈ３以下である場合、
前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行う、
照合方法。
【請求項４】
前記強調の度合いを、前記局所スコアに基づいて変更する、
請求項３に記載の照合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像された顔画像と、登録された顔画像とを照合する照合装置及び照合方法に関する。
【背景技術】
【０００２】
例えば空港などに設けられる照合装置においては、パスポートに登録された顔画像と、カメラによって撮像した本人の顔画像とを照合することで、本人確認を行うようになっている。実際上、この種の照合装置は、登録顔画像の特徴量と、撮像顔画像の特徴量とを検出し、それら特徴量の類似度を示すスコアを算出し、このスコアに基づいて本人であるかを認証する。【０００３】
ところで、カメラによって撮像される被照合者が眼鏡、マスクなどの装飾物を付けていた場合や、撮像の瞬間に表情や髪型が変化した場合、本人であるにも拘わらず、本人ではないといった認証結果が得られるおそれがあり、不都合である。【０００４】
ここで、撮像された人物がマスクなどの遮蔽物を付けていることを検出する技術が特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２５１０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載された技術は、単に、撮像された顔画像に基づいて遮蔽物を検出し、遮蔽物が検出された場合には金融取引を中止するものであり、照合を目的としたものではない。つまり、登録顔画像に関係なく、撮像された顔画像に遮蔽物が検出されれば、処理を中止してしまおうと言うものである。【０００７】
特許文献１の技術を照合装置に適用しようとした場合には、被照合者が本人で無いと判定される、直ちに照合処理を中止することとなる。しかし、被照合者が眼鏡、マスクなどの装飾物を付けていることや、表情や髪形が瞬間的に変化することはよくあることであり、このような場合に直ちに照合処理を中止するのは、はなはだ不都合である。【０００８】
本開示の一態様は、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる照合装置及び照合方法を提供する。
【課題を解決するための手段】
【０００９】
本開示の照合装置はプロセッサと、記憶部と、表示部を有する。プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合する。前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。前記照合スコアがＴｈ２以上である場合、前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、前記算出した局所スコアがＴｈ３以下である場合、前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する。
【発明の効果】
【００１０】
本開示によれば、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。
【図２】図２は、照合処理を示すフローチャートである。
【図３】図３は、顔登録処理を示すフローチャートである。
【図４】図４は、顔認証処理を示すフローチャートである。
【図５】図５は、特徴量計算処理を示すフローチャートである。
【図６】図６は、顔パーツ（局所領域）の説明に供する図である。
【図７】図７は、顔パーツ（局所領域）の説明に供する図である。
【図８】図８は、強調表示処理を示すフローチャートである。
【図９】図９は、局所スコアの高低度合いと強調表示度合いとを対応付ける例を説明する図である。
【図１０】図１０は、強調表示処理の結果を示す図である。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
（実施の形態１）
以下、図１〜１０を用いて、実施の形態１を説明する。
【００１５】
［１−１．構成］
図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。照合装置１００は、例えば空港のゲート開閉システムに適用される。ゲート開閉システムは、照合装置１００によってゲートを通過しようとする被照合者がパスポートに登録された本人であるかを照合し、本人であると認証された場合にはゲートを開き、認証されなかった場合にはゲートを閉じる。
【００１６】
照合装置１００は、プロセッサ１０１、記憶部１０２、無線通信部１０３、撮像部１０４、入力部１０５及び表示部１０６が、バス１１０を介して接続されている。
【００１７】
プロセッサ１０１は、照合装置１００による顔認証処理、表示部１０６への表示処理を含む照合装置１００の全体的な処理を担う。
【００１８】
記憶部１０２には、登録画像が記憶される。記憶部１０２への登録画像の記憶は、入力部１０５を介して行われる。入力部１０５は、例えばスキャナであり、パスポートに登録されている顔画像を読み込む。
【００１９】
無線通信部１０３は、ゲート開閉システムの人感センサの検知結果を無線受信する。照合装置１００は、人感センサの検知結果に基づいて、表示部１０６への表示タイミング及び撮像部１０４の撮像タイミングなどを制御する。また、無線通信部１０３は、照合装置１００によって被照合者が登録された本人であると認証されると、そのことをゲート開閉制御部に無線送信する。これにより、ゲートが開制御される。
【００２０】
撮像部１０４は、カメラを含んで構成されており、ゲートの前にいる被照合者の顔画像を撮像する。
【００２１】
表示部１０６には、撮像部１０４に撮像された及び撮像される前の被照合者の顔画像が表示される。また、表示部１０６には、撮像に関する指示が表示される。
【００２２】
［１−２．動作］
図２は、照合装置１００による照合処理を示すフローチャートである。
【００２３】
照合装置１００は、照合処理を開始すると、ステップＳ１で顔登録処理を行い、ステップＳ２で顔認証処理を行う。ステップＳ１の顔登録処理は、入力部１０５を介して例えばパスポートの顔画像を入力され、この顔画像を記憶部１０２に記憶することにより行われる。ステップＳ２の顔認証処理は、プロセッサ１０１によって、撮像部１０４で撮像された顔画像と、ステップＳ１で記憶部１０２に登録された顔画像との類似度を示すスコアを算出し、このスコアを閾値判定することで行われる。
【００２４】
図３は、図２のステップＳ１で行われる顔登録処理の処理内容を示すフローチャートである。図３に示すように、顔登録処理（ステップＳ１）では、照合装置１００は、ステップＳ１１において、入力部１０５を介して登録しようとする顔画像を入力され、この登録顔画像を記憶部１０２に記憶する。ステップＳ１２では、プロセッサ１０１が登録顔画像の特徴量を計算する。
【００２５】
図４は、図２のステップＳ２で行われる顔認証処理の処理内容を示すフローチャートである。図４に示すように、顔認証処理（ステップＳ２）では、照合装置１００は、先ず、ステップＳ２１において、撮像部１０４によって撮像された撮像顔画像を入力される。ステップＳ２２において、プロセッサ１０１が撮像顔画像の特徴量を計算する。この特徴量はステップＳ１２で用いられた特徴量と同じ種類の特徴量である。ステップＳ２３では、プロセッサ１０１が局所スコア（局所ごとの類似度）を計算により取得する。具体的には、登録顔画像の局所領域の特徴量と、撮像顔画像の局所領域の特徴量とから、正規化相関等を用いて、局所領域ごとの類似度（＝局所スコア）を算出する。例えば、局所領域ごとの類似度の一例として右目の類似度（＝右目の局所スコア）Ｓ＿ｒｅｙｅは、登録顔画像から得られた右目の特徴量をＤ＿ｒｅｙｅ＿ｒｅｇｉｓｔ、撮像顔画像から得られた右目の特徴量をＤ＿ｒｅｙｅ＿ｖｅｒｉｆｙとすると、次式の正規化相関により求めることができる。
【００２６】
【数１】
2018116560.tif 000003
【００２７】
続くステップＳ２４において、プロセッサ１０１は、局所スコアを用いて、全体スコアを計算により取得する。全体スコアは、例えば、額、右目、左目、鼻、口の局所スコアの平均や、局所スコアの合計により求めることができる。例えば、局所領域をＰ、局所領域ｐの類似度をＳ＿ｐとすると、全体スコアＳ＿ａｌｌは、次式のような平均により求めることができる。
【００２８】
【数２】
2018116560.tif 000004
【００２９】
図５は、図３のステップＳ１２及び図４のステップＳ２２で行われる特徴量計算処理の処理内容を示すフローチャートである。特徴量計算処理では、ステップＳ１２１において、プロセッサ１０１が画像から顔領域を検出する。このとき、例えばＨａａｒ−ｌｉｋｅ特徴とｂｏｏｓｔｉｎｇによる学習アルゴリズムとを用いることで顔領域を検出できる。ステップＳ１２２では、ステップＳ１２１で検出した顔領域から局所領域を検出する。顔領域から局所領域を検出する手法の一例としては、既知の手法を用いることができる。本実施の形態ではＲａｎｄｏｍ−Ｆｏｒｅｓｔ回帰を用いて顔領域から局所領域を検出した。顔領域から局所領域を検出する方法はＲａｎｄｏｍ−Ｆｏｒｅｓｔ回帰に限られず、他の回帰手法や機械学習などを用いてもよい。図６に示すように、局所領域とは、左目領域、右目領域、鼻領域、口領域、額領域などの顔を構成する要素である。図７に示すように、例えば右目領域とは、右目の座標を（ｘ＿ｒｅｙｅ，ｙ＿ｒｅｙｅ）としたとき、そこを中心とした半径Ｒの矩形の領域である。ステップＳ１２３では、局所領域ごとに特徴量を計算する。特徴量の計算方法の一例を説明する。例えば、右目領域の任意のＮ点を選択する。点数Ｎは、Ｎ≧１かつＮ≦４Ｒ２＋４Ｒ＋１である。各点から、１２８次元のＳＩＦＴ特徴量を抽出し、それを右目領域の特徴量Ｄ＿ｒｅｙｅとする。よって、右目領域の特徴Ｄ＿ｒｅｙｅの次元数はＮ×１２８となる。
【００３０】
ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１以上ならば本人であると判断する（ステップＳ３；ＹＥＳ）。プロセッサ１０１がステップＳ３において本人であると判断すると、処理がステップＳ４に移る。ステップＳ４において、プロセッサ１０１は表示部１０６に認証成功メッセージ（つまり撮像された顔画像が登録された顔画像と同一人物のものであること）を表示する。これに対して、ステップＳ３において、プロセッサ１０１は全体スコアが閾値Ｔｈ１未満ならば（ステップＳ３；ＮＯ）、ステップＳ５に移る。
【００３１】
ステップＳ５において、プロセッサ１０１は全体スコアが閾値Ｔｈ２以上か否かを判断する。ここで閾値Ｔｈ２は閾値Ｔｈ１よりも小さい値、つまりＴｈ２＜Ｔｈ１である。プロセッサ１０１は全体スコアが閾値Ｔｈ２未満であると判断した場合（ステップＳ５；ＮＯ）、ステップＳ５からステップＳ６に移って、表示部１０６に認証失敗メッセージ（つまり撮像された顔画像が登録された顔画像と異なる人物のものであること）を表示する。これに対して、プロセッサ１０１は、全体スコアが閾値Ｔｈ２以上ならば本人の可能性が有ると判断し、直ちに認証失敗メッセージを表示することなく、ステップＳ７に移る。つまり、Ｔｈ２≦全体スコア＜Ｔｈ１の場合（全体スコアが惜しくもＴｈ１に届かなかった場合）には、直ちに認証が失敗したとは判定しない。その理由は、全体スコアが惜しくもＴｈ１に届かなかった場合には遮蔽物が存在するなどの何らかの原因によって、本人であるにもかかわらずスコア低下がおきてしまった可能性があるためである。
【００３２】
ステップＳ７において、プロセッサ１０１は強調表示処理を行う。強調表示処理の内容について図８を参照して説明を行う。
【００３３】
図８は、強調表示処理を示すフローチャートである。
【００３４】
ステップＳ７１において、プロセッサ１０１は局所スコアが閾値Ｔｈ３以上かどうかを判定する。具体的には、プロセッサ１０１はＳ２３で取得した局所スコアの一部または全てについてその値がＴｈ３以上であるか否かを判定する。局所スコアがＴｈ３以上のものしかない場合（ステップＳ７１でＹｅｓ）、強調表示処理が終了する。
【００３５】
局所スコアがＴｈ３未満のものが存在する場合、プロセッサ１０１はＳ７２にて当該局所スコアを算出した局所領域を相違局所であると定義する。
【００３６】
ステップＳ７３において、プロセッサ１０１は局所スコアに基づいて強調表示度合いの計算を行う。強調表示度合いとは、局所領域を特徴付けて表示する際の強調の度合いのことである。強調表示度合いの計算の仕方には様々なものが考えられる。一つは局所スコアがＴｈ３未満の局所領域については一律に同じ強調表示度合いを設定することである。またほかの方法として局所スコアの高低度合いと強調表示度合いとを対応付けてもよい。局所スコアの高低度合いと強調表示度合いとを対応付ける例を図９を用いて説明する。
【００３７】
図９は、局所スコアの高低度合いと強調表示度合いとを対応付ける例を説明する図である。図９に示す例は、局所スコアが低ければ低いほど強調度合いをより強めるものである。
【００３８】
全体スコアが惜しくも閾値（Ｔｈ１）に届かないにも関わらず、局所スコアが著しく低いということは当該局所スコアの算出の元となった局所領域に何らかの作為的な変化が生じている可能性が高い。作為的な変化とは、装飾物の装着による変化や、開口、目つぶりなどの動作による変化を含む。作為的な変化は、被照合者の努力によって排除可能である。局所領域が低ければ低いほどより強調表示度合いを強めることで、被照合者に作為的な変化の排除につきより確実に注意を喚起することができる。よってこのようにすると、確実な照合が可能になる。
【００３９】
ステップＳ７４において、プロセッサ１０１は相違局所を強調表示度合いに基づいて強調表示する。図１０は、強調表示処理の結果を示す図である。図１０においては各々口の局所スコアが異なる撮像顔画像が、各々異なる強調表示を施されて表示部１０６に表示されている。図１０に示すように、口の局所スコアが低ければ低いほど、より強い網掛けが口周りに施されている。強調表示を行う手段は図１０に示した例の態様に限られない。例えば図１０においては、局所スコアを算出する元となった局所領域に画像の加工を施すことで強調表示を行ったが、当該局諸領域以外に画像の加工を施すことで当該局諸領域の強調表示を行ってもよい。また、図１０においては、画像の加工の一例として網掛けを行ったが、他にも平滑化フィルタによるぼかし、輝度値の低下、×のようなマークの表示、などを画像の加工として行うことで強調表示を行うことができる。
【００４０】
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【００４１】
上述の実施の形態では、本開示の照合装置及び照合方法をゲート開閉システムに適用した場合について述べたが、勿論、ゲート開閉システム以外にも適用可能である。また、登録顔画像は、勿論、パスポートの画像に限らない。
【００４２】
［１−３．効果等］
以上のように本実施の形態において、本開示の照合装置はプロセッサと、記憶部と、表示部を有する。プロセッサは、被照合者の顔を撮像した撮像顔画像と、前記記憶部に登録されている登録顔画像とを照合する。前記照合の結果を示す照合スコアがＴｈ１以下であり、前記撮像顔画像に撮像されている前記被照合者が前記登録顔画像の被写体本人でないと判定した場合、前記照合スコアがＴｈ２（Ｔｈ２＜Ｔｈ１）以上であるか否かを判定する。前記照合スコアがＴｈ２以上である場合、前記撮像顔画像と前記登録顔画像の一部分の類似度を示す、局所スコアを算出し、前記算出した局所スコアがＴｈ３以下である場合、前記撮像顔画像および前記登録顔画像の少なくとも一つの画像に、前記局所スコアに対応する一部分を強調する処理を行い、当該画像を前記表示部に表示する。
【００４３】
照合スコアがＴｈ２以上であるということは、被照合者が本人らしい確率は所定の値以上あるということである。その様な場合、局所的に照合スコアを下げている要因を改善することにより、より適切な照合が行える場合が多い。すなわち、人の顔は装飾物や開口、目つぶりなどで外観が作為的に変化しやすい。ただしそのような変化を人に伝えられれば当該変化を排除することは容易である。本開示は、局所的に照合スコアを下げている要因を局所スコアにより判定し、顔の一部分を強調する処理を行うため、装飾物や開口、目つぶりなどによる外観の変化を被照合者に伝えることができる。以上のようにして、本開示によれば照合装置において、被照合者が本人であるにもかかわらず本人でないと判定するおそれを低減することができる。
【００４４】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００４５】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００４６】
本開示は、撮像顔画像と登録顔画像とを照合する照合装置及び照合方法に好適である。
【符号の説明】
【００４７】
１００  照合装置
１０１  プロセッサ
１０２  記憶部
１０３  無線通信部
１０４  撮像部
１０５  入力部
１０６  表示部
【図１】
2018116560.tif 000005
【図２】
2018116560.tif 000006
【図３】
2018116560.tif 000007
【図４】
2018116560.tif 000008
【図５】
2018116560.tif 000009
【図６】
2018116560.tif 000010
【図７】
2018116560.tif 000011
【図８】
2018116560.tif 000012
【図９】
2018116560.tif 000013
【図１０】
2018116560.tif 000014
【国際調査報告】
2018116560.tif 000015
2018116560.tif 000016
2018116560.tif 000017