(57)【要約】【課題】顔又はその部位の画像による認証において、ユーザの顔の傾きを調整する。【解決手段】端末装置（１）において、制御部（１４）は、認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、撮像部（１１）が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、認証を行う場合に表示部（１３）に表示させる。【選択図】図１
2018194921.tif 000002
【特許請求の範囲】
【請求項１】
端末装置であって、
撮像部と、
表示部と、
上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う制御部と、
を備えており、
上記制御部は、
上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる
ことを特徴とする端末装置。
【請求項２】
上記顔の傾きは、顔の上下方向の軸を中心とする回転角、及び、顔の左右方向の軸を中心とする回転角の少なくとも一方によって規定される傾きである
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
上記制御部は、
上記第１の画像及び上記第２の画像から、顔上における２つの部位間の距離であって、上記顔の上下方向の軸に平行な２つの上記距離、及び、上記顔の左右方向の軸に平行な２つの上記距離の少なくとも一方を抽出し、
上記顔の傾きを示す傾き情報として、２つの上記距離の比率を算出する
ことを特徴とする請求項１又は２に記載の端末装置。
【請求項４】
端末装置の撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う認証ステップと、
上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記端末装置の表示部に表示させる表示ステップと
を含むことを特徴とする認証方法。
【請求項５】
撮像部と、
表示部と、
一つ以上の制御部と、を備え、
上記一つ以上の制御部は、
上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行い、
上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる
ことを特徴とする認証システム。
【請求項６】
請求項１から３の何れか１項に記載の端末装置としてコンピュータを機能させるための制御プログラムであって、上記制御部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、認証方法、認証システム、及び制御プログラムに関する。
【背景技術】
【０００２】
従来、身体部位の画像による認証時に、ユーザを適切な位置に誘導する技術が知られている。例えば、特許文献１には、携帯電話に搭載される、眼の画像による認証機能において、眼の画像を取り込む場合に、カメラの撮影画像を表示する表示部にガイドキャラクタを表示させる認証装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０８９８３号公報（２００３年０４月１１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、顔認証、虹彩認証、白眼認証等のような、端末のカメラで撮影したユーザの顔画像を用いた認証を行う場合、ユーザの顔と、端末のカメラとの相対的な位置関係や向きを、登録したときの状態に近い状態にして撮影すると、認証の精度が高くなる。
【０００５】
しかしながら、従来の技術では、ユーザに対して、カメラの撮像方向をユーザの顔に向けたり、カメラとユーザとの距離を調整したりすることはできるが、ユーザの顔とカメラとの相対的な位置関係のずれを調整することができず、認証の精度を十分に上げることができないという問題があった。
【０００６】
例えば、インカメラが端末の中央ではなく端部に配置されている場合には、ユーザの顔とカメラとの相対関係のずれが生じやすいため、上記の問題が顕著に発生しやすい。
【０００７】
本発明の一態様は、顔又はその部位の画像による認証において、ユーザの顔の傾きを調整することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る端末装置は、撮像部と、表示部と、上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う制御部と、を備えており、上記制御部が、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる。
【０００９】
また、本発明の一態様に係る認証方法は、端末装置の撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う認証ステップと、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記端末装置の表示部に表示させる表示ステップとを含む。
【００１０】
また、本発明の一態様に係る認証システムは、撮像部と、表示部と、一つ以上の制御部と、を備え、上記一つ以上の制御部が、上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行い、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる。
【発明の効果】
【００１１】
本発明の一態様によれば、顔又はその部位の画像による認証において、ユーザの顔の傾きを調整することができるとの効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る端末装置の構成を示すブロック図である。
【図２】本発明の実施形態１に係る端末装置の処理を示すフローチャートである。
【図３】本発明の実施形態１に係る認証画面（プレビュー画面）及び指示画像の例を示す図である。
【図４】本発明の実施形態１に係る傾き情報に関する画像の例を示す図である。
【発明を実施するための形態】
【００１３】
〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。
【００１４】
図１は、本実施形態に係る端末装置１の構成を示すブロック図である。端末装置１は、携帯電話機、スマートフォン等の携帯可能な端末装置であってよい。
【００１５】
端末装置１は、撮像部１１と、記憶部１２と、表示部１３と、制御部１４とを備えている。撮像部１１は、ユーザの顔を撮影して、当該撮影した顔の画像を生成するものであり、例えば、カメラ等から構成される。記憶部１２は、プログラム、データを格納する領域であり、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等のストレージ、ＲＡＭ（Random Access Memory）等のメモリ、または、それらの組み合わせから構成される。
【００１６】
表示部１３は、画像を表示するものであり、例えば、液晶パネル等から構成される。
【００１７】
制御部１４は、記憶部１２に格納されたプログラムを動作させ、各種制御を行う。制御部１４は、撮像部１１が撮像した顔の画像の少なくとも一部を用いて認証を行う。この認証には、顔認証、虹彩認証、白眼認証等が含まれる。制御部１４は、認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、撮像部１１が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、認証を行う場合に表示部１３に表示させる。
【００１８】
図１に示すように、制御部１４は、登録部１４１、傾き抽出部１４２、傾き差特定部１４３、指示画像生成部１４４、表示制御部１４５、及び、データ照合部１４６として機能する。
【００１９】
登録部１４１は、ユーザ登録時に撮像部１１が撮影したユーザの顔の画像（第１の画像）に基づいて顔認証情報を記憶部１２に記憶させる（登録する）。
【００２０】
傾き抽出部１４２は、撮像部１１が撮影したユーザの顔の画像から、当該ユーザの顔の傾きを示す傾き情報を抽出する。傾き情報には、ユーザ登録時に撮像部１１が撮影したユーザの顔の画像に写った顔の傾きを示す登録時傾き情報と、ユーザ認証時に撮像部１１が撮影したユーザの顔の画像（第２の画像）に写った顔の傾きを示す認証時傾き情報とがある。
【００２１】
ここでいう「傾き」とは、顔の上下方向の軸を中心とする回転角、及び、顔の左右方向の軸を中心とする回転角の少なくとも一方によって規定される傾きである。
【００２２】
同じユーザであっても、ユーザ登録時の顔の傾きと、ユーザ認証時の顔の傾きとが異なる場合には、ユーザ認証がＮＧになることがあり得る。一方、同じユーザであり、かつ、ユーザ登録時の傾きと、ユーザ認証時の傾きとが同じである場合には、ユーザ認証がＯＫになる可能性が高くなると推定される。なお、傾き情報の例に関しては、後述する。
【００２３】
傾き差特定部１４３は、登録時傾き情報と、認証時傾き情報とを比較して、ユーザ登録時の顔の傾きと、ユーザ認証時の顔の傾きとの差である傾き差を特定する。
【００２４】
指示画像生成部１４４は、傾き差特定部１４３が特定した傾き差に応じた指示画像を生成する。指示画像は、認証対象のユーザに撮像部１１の向きの調整させるための画像である。表示制御部１４５は、指示画像生成部１４４が生成した指示画像を表示部１３に表示させる。データ照合部１４６は、ユーザ認証時に撮像部１１が撮像したユーザの顔の画像に基づいて、記憶部１２に記憶された顔認証情報を用いた認証を行う。
【００２５】
図２は、本実施形態に係る端末装置１の処理を示すフローチャートである。本処理は、ユーザを認証する際の、端末装置１の処理である。なお、事前のユーザ登録時に、記憶部１２には、顔認証情報及び登録時傾き情報が記憶されている。
【００２６】
（ステップＳ２０１）
まず、端末装置１において、制御部１４の指示に従って、撮像部１１は、ユーザの顔を撮影する。
【００２７】
（ステップＳ２０２）
次に、端末装置１において、表示制御部１４５は、認証画面を表示部１３に表示させる。詳細には、表示制御部１４５は、認証画面として、眼、顔等、ユーザの生体認証に必要な画像のプレビュー画面を表示部１３に表示させる。なお、このプレビュー画面の表示は、必ずしも必要とは限らず、省略することも可能である。
【００２８】
図３（ａ）は、本実施形態に係る認証画面（プレビュー画面）の例を示す図である。図３（ａ）に示すように、左眼のサイズと、右眼のサイズとの間に差があるので、ユーザの顔が上下方向の軸を中心として傾いている。
【００２９】
（ステップＳ２０３）
続いて、端末装置１において、制御部１４は、ユーザの眼、顔のデータを取得する。
【００３０】
（ステップＳ２０４）
端末装置１において、データ照合部１４６は、ステップＳ２０３で取得したデータのうち、生体認証に必要な顔認証情報と、ユーザ登録時に記憶部１２に記憶された顔認証情報とを比較し、照合することにより、２つの認証情報が合致するか否かを判定する。
【００３１】
２つの認証情報が合致した場合（Ｓ２０４のＹＥＳ）、ユーザ認証がＯＫなので、制御部１４は、終了処理を行う。２つの認証情報が合致しなかった場合（Ｓ２０４のＮＯ）、ユーザ認証がＮＧなので、制御部１４は、ステップＳ２０５の処理を行う。
【００３２】
（ステップＳ２０５）
端末装置１において、傾き抽出部１４２は、ステップＳ２０１で撮像部１１が撮影したユーザの顔の画像から、ユーザの顔の傾きを示す認証時傾き情報を抽出する。そして、傾き差特定部１４３は、記憶部１２に記憶された登録時傾き情報と、抽出した認証時傾き情報とを比較して、登録時の顔の傾きと、認証時の顔の傾きとの差である傾き差を特定する。
【００３３】
（ステップＳ２０６）
端末装置１において、指示画像生成部１４４は、ステップＳ２０５で傾き差特定部１４３が特定した傾き差に応じた指示画像を生成する。そして、表示制御部１４５は、指示画像生成部１４４が生成した指示画像を表示部１３に表示させる。その後、制御部１４は、ステップＳ２０１に戻って、撮像部１１にユーザの顔を撮影させる。
【００３４】
ユーザが、表示部１３に表示された指示画像を見て、撮像部１１の向きを調整した後に、再度ユーザ自身の顔を撮影した場合には、ユーザ認証がＯＫにある可能性が高くなると思われる。
【００３５】
（指示画像の例）
図３（ｂ）は、本実施形態に係る指示画像の例を示す図である。図３（ｃ）は、本実施形態に係る認証画面（プレビュー画面）の例を示す図である。
【００３６】
図３（ｂ）に示すように、表示制御部１４５は、指示画像としてプレビュー枠１３１を台形の形状にして表示部１３に表示してもよい。
【００３７】
図３（ｂ）に示す認証画面では、プレビュー枠１３１の左辺が短く、右辺が長くなっているので、ユーザは、端末装置１の左端が右端よりも、当該ユーザの顔から遠くなっていること（すなわち、顔の上下方向の軸を中心として傾いていること）を認識する。従って、ユーザは、プレビュー枠１３１を参照して、端末装置１の左端だけを当該ユーザの顔に近付けるように、端末装置１の向きを変更することができる。
【００３８】
端末装置１の向きの変更により、図３（ｃ）に示すように、プレビュー枠１３１が長方形の形状になる、すなわち、プレビュー枠１３１の左辺と右辺とが同じ長さになると、ユーザは、撮像部１１に対する当該ユーザの顔の傾きがユーザ登録時と同じになったと認識することができる。
【００３９】
また、図３（ｂ）に示すように、表示制御部１４５は、指示画像として水平器１３２の気泡１３３を右寄りにした状態を表示部１３に表示してもよい。
【００４０】
図３（ｂ）に示す認証画面では、水平器１３２の気泡１３３が右寄りに位置付いているので、ユーザは、端末装置１の右端が左端よりも、当該ユーザの顔に近くなっていることを認識する。従って、ユーザは、水平器１３２を参照して、端末装置１の右端だけを当該ユーザの顔から遠ざけるように、端末装置１の向きを変更することができる。
【００４１】
端末装置１の向きの変更により、図３（ｃ）に示すように、水平器１３２の気泡１３３が中央に位置付くと、ユーザは、撮像部１１に対する当該ユーザの顔の傾きがユーザ登録時と同じになったと認識することができる。
【００４２】
なお、表示制御部１４５は、３次元的に立体の向きが違って見えるような表示を行ってもよい。すなわち、表示制御部１４５は、上下方向の軸を中心とする傾きだけでなく、左右方向の軸を中心とする傾きを含めて表示部１３に表示させてもよい。
【００４３】
例えば、図３（ｂ）において、表示制御部１４５は、プレビュー枠１３１の左辺と右辺の長さだけでなく、プレビュー枠１３１の上辺と下辺の長さが異なるように表示させてもよい。プレビュー枠１３１の上辺が長く、下辺が短い場合には、ユーザは、端末装置１の下端が上端よりも、当該ユーザの顔から遠くなっていること（すなわち、左右方向の軸を中心として傾いていること）を認識することができる。
【００４４】
また、図３（ｂ）において、表示制御部１４５は、水平器１３２の気泡１３３を上寄り又は下寄りに位置するように表示させてもよい。水平器１３２の気泡１３３が上寄りに位置する場合には、ユーザは、端末装置１の上端が下端よりも、当該ユーザの顔に近付いていること（すなわち、左右方向の軸を中心として傾いていること）を認識することができる。
【００４５】
（傾き情報の例）
図４は、本実施形態に係る傾き情報に関する画像の例を示す図である。図４（ａ）は、本実施形態に係る眼の画像の例を示す図である。
【００４６】
傾き抽出部１４２は、ユーザ登録時のユーザの顔の画像、及び、ユーザ登録時のユーザの顔の画像から、顔上における２つの部位間の距離であって、顔の上下方向の軸に平行な２つの距離、及び、顔の左右方向の軸に平行な２つの距離の少なくとも一方を抽出し、顔の傾きを示す傾き情報として、２つの距離の比率を算出する。
【００４７】
図４（ａ）に示すように、傾き抽出部１４２は、両眼の面積を用いた傾き情報として、右眼の面積ＳＲに対する左眼の面積ＳＬの比率（ＳＬ／ＳＲ）を抽出してもよい。また、傾き抽出部１４２は、両眼の長軸の長さを用いた傾き情報として、右眼の長軸の長さＬＲに対する左眼の長軸の長さＬＬの比率（ＬＬ／ＬＲ）を抽出してもよい。
【００４８】
図４（ｂ）は、本実施形態に係る顔の画像の例を示す図である。図４（ｂ）に示すように、傾き抽出部１４２は、顔における上下方向の距離を用いた傾き情報として、眼の中心と顔の下端との間の距離Ｌ２に対する眼の中心と頭頂との間の距離Ｌ１の比率（Ｌ１／Ｌ２）を抽出してもよい。
【００４９】
（変形例１）
端末装置１において、記憶部１２には、登録時傾き情報が記憶されている必要は無く、ユーザ認証の都度、傾き抽出部１４２は、ユーザ登録時に撮像部１１が撮影したユーザの顔の画像から、ユーザの顔の傾きを示す登録時傾き情報を抽出してもよい。
【００５０】
（変形例２）
端末装置１は、サーバと通信可能であり、撮像部１１が撮影したユーザの顔の画像のデータ、又は、当該データから生成した認証情報をサーバに送信し、（ｉ）ユーザの登録時傾き情報、（ｉｉ）登録時傾き情報と、認証時傾き情報との間の傾き差、又は、（ｉｉｉ）指示画像の何れか１つをサーバから受信し、それらの何れか１つに基づいて、指示画像を表示して、認証を行うようになっていてもよい。
【００５１】
（変形例３）
端末装置１は、サーバと通信可能であり、端末装置１は、撮像部１１が撮影したユーザの顔の画像のデータ、ユーザの顔の画像から抽出した傾き情報、及び、登録時傾き情報と認証時傾き情報との間の傾き差の何れか１つをサーバに送信し、サーバは、当該何れか１つを受信し、それに基づいて指示画像を生成し、当該指示画像を端末装置１に送信してもよい。
【００５２】
（変形例４）
端末装置１は、サーバと通信可能であり、撮像部１１が撮影したユーザの顔の画像のデータ、又は、当該データから生成した認証情報をサーバに送信し、サーバは、端末装置１から当該認証情報を受信して、登録するようにしてもよい。
【００５３】
（変形例５）
端末装置１は、別の端末装置で撮像されたユーザの顔の画像のデータ、当該データから生成した認証情報、登録時傾き情報等を受信し、それらを用いて認証を行うようになっていてもよい。
【００５４】
（変形例６）
端末装置１は、サーバと通信可能であり、図２のフローチャートが示す処理を、端末装置１と、サーバとを備えた認証システムが行ってもよい。その場合、図２のフローチャートが示す、ステップＳ２０４、Ｓ２０５、Ｓ２０６の各処理、又は、その一部の処理を、端末装置１の制御部１４が行ってもよいし、サーバの制御部が行ってもよい。例えば、ステップＳ２０４、Ｓ２０６の処理を端末装置１の制御部１４が行い、ステップＳ２０５の処理をサーバの制御部が行ってもよい。
【００５５】
〔ソフトウェアによる実現例〕
端末装置１の制御ブロック（特に、登録部１４１、傾き抽出部１４２、傾き差特定部１４３、指示画像生成部１４４、表示制御部１４５、及び、データ照合部１４６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、１以上のＣＰＵ（Central Processing Unit）等のプロセッサにより実行されるソフトウェアによって実現してもよい。
【００５６】
後者の場合、端末装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行する１以上のプロセッサ、上記プログラムおよび各種データがコンピュータ（または１以上のプロセッサ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（または１以上のプロセッサ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００５７】
〔まとめ〕
本発明の態様１に係る端末装置（１）は、撮像部（１１）と、表示部（１３）と、上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う制御部（１４）と、を備えており、上記制御部が、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる。
【００５８】
上記の構成によれば、顔又はその部位の画像による認証において、ユーザの顔の傾きを調整することができる。
【００５９】
本発明の態様２に係る端末装置は、上記態様１において、上記顔の傾きが、顔の上下方向の軸を中心とする回転角、及び、顔の左右方向の軸を中心とする回転角の少なくとも一方によって規定される傾きであってもよい。
【００６０】
上記の構成によれば、顔の上下方向の軸を中心とする回転角、及び、顔の左右方向の軸を中心とする回転角の少なくとも一方によって規定される、ユーザの顔の傾きを調整することができる。
【００６１】
本発明の態様３に係る端末装置は、上記態様１又は２において、上記制御部が、上記第１の画像及び上記第２の画像から、顔上における２つの部位間の距離であって、上記顔の上下方向の軸に平行な２つの上記距離、及び、上記顔の左右方向の軸に平行な２つの上記距離の少なくとも一方を抽出し、上記顔の傾きを示す傾き情報として、上記２つの距離の比率を算出してもよい。
【００６２】
上記の構成によれば、顔における異なる２つの距離の比率を算出することにより、顔の傾きを示す傾き情報を簡単に特定することができる。
【００６３】
本発明の態様４に係る認証方法は、端末装置の撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行う認証ステップと、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記端末装置の表示部に表示させる表示ステップとを含む。
【００６４】
本発明の態様５に係る認証システムは、撮像部と、表示部と、一つ以上の制御部と、を備え、上記一つ以上の制御部が、上記撮像部が撮像した顔の画像の少なくとも一部を用いて認証を行い、上記認証に使用する認証情報を登録するために使用した第１の画像に写った顔の傾きと、上記撮像部が撮像した第２の画像に写った顔の傾きとの差に応じた指示画像を、上記認証を行う場合に上記表示部に表示させる。
【００６５】
本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００６６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００６７】
１  端末装置
１１  撮像部
１３  表示部
１４  制御部
【図１】
2018194921.tif 000003
【図２】
2018194921.tif 000004
【図３】
2018194921.tif 000005
【図４】
2018194921.tif 000006