(57)【要約】【課題】セキュリティレベルをさらに高めることができる認証システム、認証方法及びプログラムを提供する。【解決手段】認証システム１は、音量ボタン及びインカメラが設けられたスマートフォンにおいて個人認証を行う。認証システム１は、記憶部１０と、設定部１１と、検出部１２と、認証部１３と、を備える。記憶部１０は、ユーザによる音量ボタンの操作入力とインカメラで撮像されるユーザの瞬目動作との繰り返しで構成されるＰＩＮコード（動作パターン）２０を、個人認証コードとして記憶する。設定部１１は、記憶部１０に記憶されるＰＩＮコード（動作パターン）２０を設定する。検出部１２は、ユーザによる動作パターンを検出する。認証部１３は、検出部１２で検出された動作パターンと、記憶部１０に記憶されたＰＩＮコード（動作パターン）２０とを比較することにより、個人認証を行う。【選択図】図２
2020173668.tif 000002
【特許請求の範囲】
【請求項１】
操作ボタン及びインカメラが設けられた携帯端末において個人認証を行う認証システムであって、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶部と、
前記ユーザによる前記動作パターンを検出する検出部と、
前記検出部で検出された前記動作パターンと、前記記憶部に記憶された前記動作パターンとを比較することにより、個人認証を行う認証部と、
を備える認証システム。
【請求項２】
前記操作ボタンは、ハードキーであり、
操作された前記ハードキーの種別を示す情報により、前記動作パターンがコード化されている、
請求項１に記載の認証システム。
【請求項３】
前記ハードキーには、
音のボリュームを上げる第１の音量ボタンと、音のボリュームを下げる第２の音量ボタンとが含まれ、
押下された前記操作ボタンが、前記第１の音量ボタンであるか、前記第２の音量ボタンであるかを示す情報により、前記動作パターンがコード化されている、
請求項２に記載の認証システム。
【請求項４】
前記ハードキーの押下動作が長押しであるか否かを示す情報により、前記動作パターンがコード化されている、
請求項３に記載の認証システム。
【請求項５】
前記ユーザの瞬きの回数を示す情報により、前記動作パターンがコード化されている、
請求項１から４のいずれか一項に記載の認証システム。
【請求項６】
前記検出部は、
認証中に前記インカメラに前記ユーザの顔の画像を常時撮像させ、
最初に前記操作ボタンが操作されたときに、前記インカメラの撮像画像から、前記ユーザの目の領域画像をテンプレート画像として抽出し、
抽出後は、前記撮像画像において前記ユーザの目が含まれる領域の部分画像に対し前記テンプレート画像を用いたテンプレートマッチングを行って、前記ユーザの目の画像を抽出する、
請求項５に記載の認証システム。
【請求項７】
前記検出部は、
前記ユーザの目の画像をグレースケール化し、
グレースケール化された画像を二値画像化し、
二値画像化された画像の暗側の画素数の変化に基づいて、前記ユーザの瞬き回数を検出する、
請求項６に記載の認証システム。
【請求項８】
前記インカメラで撮像された撮像画像を表示する表示部を備え、
前記表示部は、
前記検出部で前記テンプレート画像が取得されるまで、前記撮像画像を表示し、
前記検出部で前記テンプレート画像が取得されると、前記撮像画像の表示を停止する、
請求項６又は７に記載の認証システム。
【請求項９】
操作ボタン及びインカメラが設けられた携帯端末において個人認証を行う認証方法であって、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶ステップと、
前記ユーザによる前記動作パターンを検出する検出ステップと、
前記検出ステップで検出された前記動作パターンと、前記記憶ステップで記憶された前記動作パターンとを比較することにより、個人認証を行う認証ステップと、
を含む認証方法。
【請求項１０】
操作ボタン及びインカメラが設けられた携帯端末を、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶手段、
前記ユーザによる前記動作パターンを検出する検出手段、
前記検出手段で検出された前記動作パターンと、前記記憶手段で記憶された前記動作パターンとを比較することにより、個人認証を行う認証手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認証システム、認証方法及びプログラムに関する。
【背景技術】
【０００２】
現在、スマートフォン等の携帯端末では、指紋認証、虹彩認証又はパターン認証などの認証方法で個人認証が行われるのが一般的である。しかし、パターン認証は覗き見によるハッキングが可能であるし、指紋又は虹彩などの生体認証では人工物などの複製によるなりすましが可能である。そこで、よりセキュリティレベルの高い認証方法の研究が行われている。例えば、ハッキングが困難なユーザの瞬き、すなわち瞬目動作（開眼閉眼動作）を利用して認証を行う認証方法はその一例である（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５２２６３５号公報
【特許文献２】特開２０１５−１２７９５６号公報
【特許文献３】特開２００９−１７２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、指紋認証又はパターン認証などの認証方法では、複製又は覗き見などによるハッキングが容易に行えるという不都合がある。また、ユーザの瞬きだけで認証を行う認証方法では、認証コードのパターンの組み合わせに限界があり、そのことがセキュリティレベルを高める際の妨げとなっていた。
【０００５】
本発明は、上記実情の下になされたものであり、セキュリティレベルをさらに高めることができる認証システム、認証方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の第１の観点に係る認証システムは、
操作ボタン及びインカメラが設けられた携帯端末において個人認証を行う認証システムであって、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶部と、
前記ユーザによる前記動作パターンを検出する検出部と、
前記検出部で検出された前記動作パターンと、前記記憶部に記憶された前記動作パターンとを比較することにより、個人認証を行う認証部と、
を備える。
【０００７】
この場合、前記操作ボタンは、ハードキーであり、
操作された前記ハードキーの種別を示す情報により、前記動作パターンがコード化されている、
こととしてもよい。
【０００８】
また、前記ハードキーには、
音のボリュームを上げる第１の音量ボタンと、音のボリュームを下げる第２の音量ボタンとが含まれ、
押下された前記操作ボタンが、前記第１の音量ボタンであるか、前記第２の音量ボタンであるかを示す情報により、前記動作パターンがコード化されている、
こととしてもよい。
【０００９】
前記ハードキーの押下動作が長押しであるか否かを示す情報により、前記動作パターンがコード化されている、
こととしてもよい。
【００１０】
前記ユーザの瞬きの回数を示す情報により、前記動作パターンがコード化されている、
こととしてもよい。
【００１１】
前記検出部は、
認証中に前記インカメラに前記ユーザの顔の画像を常時撮像させ、
最初に前記操作ボタンが操作されたときに、前記インカメラの撮像画像から、前記ユーザの目の領域画像をテンプレート画像として抽出し、
抽出後は、前記撮像画像において前記ユーザの目が含まれる領域の部分画像に対し前記テンプレート画像を用いたテンプレートマッチングを行って、前記ユーザの目の画像を抽出する、
こととしてもよい。
【００１２】
前記検出部は、
前記ユーザの目の画像をグレースケール化し、
グレースケール化された画像を二値画像化し、
二値画像化された画像の暗側の画素数の変化に基づいて、前記ユーザの瞬き回数を検出する、
こととしてもよい。
【００１３】
前記インカメラで撮像された撮像画像を表示する表示部を備え、
前記表示部は、
前記検出部で前記テンプレート画像が取得されるまで、前記撮像画像を表示し、
前記検出部で前記テンプレート画像が取得されると、前記撮像画像の表示を停止する、  こととしてもよい。
【００１４】
本発明の第２の観点に係る認証方法は、
操作ボタン及びインカメラが設けられた携帯端末において個人認証を行う認証方法であって、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶ステップと、
前記ユーザによる前記動作パターンを検出する検出ステップと、
前記検出ステップで検出された前記動作パターンと、前記記憶ステップで記憶された前記動作パターンとを比較することにより、個人認証を行う認証ステップと、
を含む。
【００１５】
本発明の第３の観点に係るプログラムは、
操作ボタン及びインカメラが設けられた携帯端末を、
前記携帯端末のユーザによる前記操作ボタンの操作入力と前記インカメラで撮像される前記ユーザの瞬目動作との組み合わせで構成される動作パターンを、個人認証コードとして記憶する記憶手段、
前記ユーザによる前記動作パターンを検出する検出手段、
前記検出手段で検出された前記動作パターンと、前記記憶手段で記憶された前記動作パターンとを比較することにより、個人認証を行う認証手段、
として機能させる。
【発明の効果】
【００１６】
本発明によれば、ユーザの瞬き動作だけでなく、操作ボタンの操作入力との組み合わせで構成される動作パターンを個人認証コードとして用いる。これにより、２つの異なる動作の組み合わせで個人認証コードを構成することができるため、動作パターンを把握しづらくして第三者のハッキングを困難にしつつ、個人認証コードの組み合わせ数を増やすことができる。この結果、セキュリティレベルをさらに高めることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る認証システムが実装されたスマートフォンを操作する様子を示す図である。
【図２】本発明の実施の形態に係る認証システムの機能構成を示すブロック図である。
【図３】（Ａ）は、設定画面その１の一例を示す図である。（Ｂ）は、設定画面その２の一例を示す図である。
【図４】目の画像が抽出される様子を示す模式図である。
【図５】瞬きを示す黒画素数の時間変化を示す図である。
【図６】認証システムが実装されるスマートフォンのハードウエア構成を示すブロック図である。
【図７】ＰＩＮコードの設定処理を示すフローチャートである。
【図８】検出認証処理を示すフローチャートである。
【図９】瞬き検出処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
【００１９】
本実施の形態に係る認証システム１は、例えば図１に示す携帯端末としてのスマートフォン１００に実装される。図１に示すように、スマートフォン１００は、ユーザＰによって使用される。スマートフォン１００には、操作ボタンとしての音量ボタン２と、内蔵カメラであるインカメラ３と、表示画面であるタッチパネル４とが設けられている。
【００２０】
音量ボタン２は、スマートフォン１００の側面に設けられたハードキーである。音量ボタン２には、音のボリュームを上げる音量（＋）ボタン２ａ（第１の音量ボタン）と、音のボリュームを下げる音量（−）ボタン２ｂ（第２の音量ボタン）とがある。
【００２１】
認証システム１は、ユーザＰがスマートフォン１００の所有者本人であるか否かの個人認証を行う。この個人認証では、個人認証コード、すなわちＰＩＮ（Personal Identification Number）コードが用いられる。ＰＩＮコードは、ユーザＰによる音量ボタン２（音量（＋）ボタン２ａ及び音量（−）ボタン２ｂ）の操作入力とインカメラ３で撮像されるユーザＰの瞬目動作との組み合わせで構成される動作パターンで表現される。
【００２２】
本実施の形態では、音量ボタン２の操作入力（押下動作）と、ユーザＰの瞬目動作との繰り返しとなる。例えば、音量ボタン２の操作入力（１回目）→瞬目動作（１回目）→音量ボタン２の操作入力（２回目）→瞬目動作（２回目）→操作ボタンの操作入力（３回目）という動作パターンで、図１に示すＰＩＮコードが表現される。このＰＩＮコードは、ＰＩＮ１〜ＰＩＮ５で指定される動作で示す５桁のコードとなる。なお、このような動作の数は、ＰＩＮ６、ＰＩＮ７というように増やしていくことが可能であるが、本実施の形態では、ＰＩＮコードの桁数を５桁であるとして説明を行う。
【００２３】
図１に示すように、ＰＩＮコードの１番目、３番目、５番目のコードＰＩＮ１、ＰＩＮ３、ＰＩＮ５は、音量ボタン（＋ｏｒ−）２の種別を示す情報であり、２番目、４番目のコードＰＩＮ２、ＰＩＮ４は、ユーザＰの瞬きの回数を示す情報となる。例えば、本実施の形態に係る認証システム１は、ユーザＰが音量（＋）ボタン２ａを押した後、ユーザＰが瞬きを２回行い、さらに、ユーザＰにより音量（−）ボタン２ｂが押され、その後ユーザＰが瞬きを３回行い、その後音量（＋）ボタン２ａが押されたら、ユーザＰ本人であると認証し、スマートフォン１００を使用可能状態に遷移させる。
【００２４】
すなわち、本実施の形態では、操作ボタンは、ハードキーであり、操作されたハードキーの種別を示す情報により、動作パターンがコード化されている。具体的には、押下された操作ボタンが、音量（＋）ボタン２ａであるか、音量（−）ボタン２ｂであるかを示す情報により、動作パターンがコード化されており、音量ボタン２の押下動作が長押しであるか否かを示す情報により、動作パターンがコード化されている。また、ユーザＰの瞬きの回数を示す情報により、動作パターンがコード化されている。
【００２５】
ここで、ユーザＰの動作を覗き見してＰＩＮコード（動作パターン）をハッキングしようとする者がいたとする。この者は、ユーザＰの動作パターンを把握するために、ユーザＰの指の領域Ａと、ユーザＰの目の当たりの領域Ｂとを同時に注意して見る必要がある。通常、領域Ａ，Ｂを同時に観察することはできないため、第三者がハッキングによりＰＩＮコード（動作パターン）を把握するのは、極めて困難になる。
【００２６】
このように、認証システム１は、音量ボタン２及びインカメラ３が設けられたスマートフォン１００において個人認証を行う。以下、認証システム１の構成及び動作について、より詳細に説明する。
【００２７】
図２に示すように、認証システム１は、記憶部１０と、設定部１１と、検出部１２と、認証部１３と、表示部１４と、を備える。図２に示す認証システム１の構成は、ソフトウエアプログラムによって実現される認証システム１の各種機能を、機能毎にまとめたものである。
【００２８】
記憶部１０は、ＰＩＮコード（動作パターン）２０を記憶する。ＰＩＮコード２０は、上述のように、ユーザＰによる音量ボタン２の操作入力とインカメラ３で撮像されるユーザＰの瞬目動作との組み合わせで構成された動作パターンがコード化されたものである。
【００２９】
設定部１１は、記憶部１０に記憶されるＰＩＮコード２０を設定する。設定部１１は、例えばタッチパネル４に、図３（Ａ）に示す設定画面を表示する。この設定画面によれば、最初に押すハードキーとして、音量（＋）ボタン２ａか、音量（−）ボタン２ｂかを指定可能なチェックボックスが表示されている。また、この設定画面では、そのハードキーを長押しするか否かも設定可能となっている。例えば、音量（＋）ボタン２ａで長押しを選択すれば、音量（＋）ボタン２ａの長押しを示す情報が、１番目のコードとして記憶部１０に設定される。
【００３０】
さらに、この設定画面では、一回目の瞬目回数を設定可能となっている。一回目の瞬目回数としては、例えば、瞬きの回数の数字が設定される。ここで、タッチパネル４の操作入力により「２」が入力されれば、一回目の瞬目回数を示す情報として「２」が設定される。なお、最初に押すハードキーとして長押しが設定されている場合には、ユーザＰは、一回目の瞬きを行うときに、ハードキー（音量ボタン２）を押したままで行うことになる。
【００３１】
同様に、この設定画面では、タッチパネル４には、二回目に押すハードキー、二回目の瞬目回数、三回目に押すハードキーが設定可能となっている。なお、三回目に押すハードキーには、長押し設定はない。三回目のハードキーの押下により、ＰＩＮコード（動作パターン）の入力が終了するためである。
【００３２】
また、この設定画面では、図３（Ｂ）に示すように、ユーザＰの目の大きさを設定可能である。目の大きさは、瞬きを検出するための重要な基準となる。本実施の形態では、目の大きさとして、普通〜（普通以上）、小さめ、細目の３種類を設定することができる。しかしながら、大きめと普通とを分けるなど、他の設定も可能である。
【００３３】
検出部１２は、認証中のユーザＰによる動作パターンを検出する。具体的には、検出部１２は、認証中、音量ボタン２の操作入力をモニタリングするとともに、インカメラ３でユーザＰの顔の映像を常時撮像させ、その撮像画像に基づいて、ユーザＰの瞬きの回数を検出する。そして、検出部１２は、認証を行う際の音量ボタン２の操作入力と、ユーザＰの瞬きの回数とに基づいて、ユーザＰによる動作パターンを検出する。
【００３４】
具体的には、検出部１２は、音量ボタン２が音量（＋）ボタン２ａであるか、音量（−）ボタン２ｂであるかを検出する。また、検出部１２は、また、押下された音量ボタン２が長押しされているか否かを検出する。検出部１２は、検出結果を示す情報を、主記憶部３２に一部記憶領域に記憶する。
【００３５】
さらに、検出部１２は、認証中にインカメラ３にユーザＰの顔の画像を常時撮像させる。検出部１２は、所定のサンプリング間隔で得られる各フレームの撮像画像、すなわち動画に基づいて、ユーザＰの瞬きを検出する。
【００３６】
より具体的には、検出部１２は、最初に音量ボタン２が押下されたときに、図４に示すように、インカメラ３の撮像画像Ｓから、ユーザＰの目の領域画像をテンプレート画像Ｔとして抽出する。検出部１２は、テンプレート画像Ｔを抽出した後、撮像された次以降のフレームの撮像画像Ｓにおいて部分画像ＡＲに対して、テンプレート画像Ｔによるテンプレートマッチングを行って、ユーザＰの目の画像Ｕを抽出する。このように、テンプレートマッチングを行う探索範囲は、ユーザＰの目が存在する可能性がある範囲の部分画像ＡＲに限られる。これにより、ユーザＰの目の画像Ｕの検出に要する時間を短縮することができる。
【００３７】
検出部１２は、抽出された目の画像Ｕに基づいて、ユーザＰの瞬きを検出する。検出部１２は、抽出されたユーザＰの目の画像Ｕをグレースケール化し、グレースケール化された画像を二値画像化する。さらに、検出部１２は、二値画像化された画像の黒画素数を算出する。
【００３８】
検出部１２は、インカメラ３において所定のサンプリング間隔で撮像される各フレームの撮像画像Ｓから、上述のようにして、ユーザＰの目の画像Ｕを追跡して抽出する。さらに、検出部１２は、目の画像Ｕから二値画像化された画像の黒画素数を求める。これにより、図５に示すような目の画像Ｕの黒画素数の時間変化が得られる。検出部１２は、二値画像化された画像の暗側の画素数の変化に基づいて、ユーザＰの瞬き回数を検出する。
【００３９】
検出部１２は、この黒画素数がしきい値Ｒを下回った場合に、ユーザＰが瞬きをしたものとして、その回数をカウントする。カウントされた数が、動作パターンにおけるユーザＰの瞬目動作を示す情報となる。なお、設定画面で設定された目の大きさは、このしきい値Ｒを決定するのに用いられる。例えば、目が大きい人は、しきい値Ｒが高く設定され、目が小さい人は、しきい値Ｒが低く設定される。
【００４０】
認証部１３は、検出部１２で検出された動作パターンと、記憶部１０に記憶された動作パターンとを比較することにより、個人認証を行う。具体的には、認証部１３は、検出部１２で検出された動作パターンと、記憶部１０に記憶されたＰＩＮコード（動作パターン）２０とが一致すれば、スマートフォン１００を使用可能状態とする。この一方、検出部１２で検出された動作パターンと、記憶部１０に記憶された動作パターンとが一致しなければ、認証失敗として、再度、ＰＩＮコードの入力を促す旨の表示を行う。
【００４１】
表示部１４は、ＰＩＮコード（動作パターン）２０の設定時には、図３（Ａ）に示す設定画面をタッチパネル４に表示する。さらに、表示部１４は、インカメラ３で撮像された撮像画像Ｓを表示可能である。より具体的には、表示部１４は、検出部１２でテンプレート画像Ｔが取得されるまで、インカメラ３で撮像された撮像画像Ｓを表示する。ユーザＰが自らの顔を、インカメラ３の撮像視野内に収めやすくするためである。
【００４２】
さらに、表示部１４は、検出部１２でテンプレート画像Ｔが取得されると、インカメラ３で撮像された撮像画像Ｓのタッチパネル４での表示を停止する。タッチパネル４を覗き見る第三者が、その撮像画像ＳでユーザＰの瞬きを把握するのを防止するためである。
【００４３】
図６は、図２の認証システム１が実装されるスマートフォン１００のハードウエア構成を示す。図６に示すように、スマートフォン１００は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示操作部３５及び撮像部３６を備える。主記憶部３２、外部記憶部３３、操作部３４、表示操作部３５及び撮像部３６はいずれも内部バス３０を介して制御部３１に接続されている。
【００４４】
制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図２に示す認証システム１の各構成要素が実現される。制御部３１は、演算機能、データ処理機能及び画像処理機能を有している。
【００４５】
主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。
【００４６】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。
【００４７】
操作部３４は、スマートフォン１００に設けられたハードキー及びその回路である。このようなハードキーには、例えば、上述の音量ボタン２（音量（＋）ボタン２ａ，音量（−）ボタン２ｂ）が含まれる。この操作部３４を介して、ユーザＰによる音量ボタン２を含むハードキーの操作入力が、内部バス３０を介して、制御部３１に入力される。
【００４８】
表示操作部３５は、タッチパネル４及びその回路から構成される。タッチパネル４には、上述の設定画面、撮像画像Ｓが表示される。また、タッチパネル４にソフトキーを表示し、ソフトキーの押下による操作入力が可能である。この操作入力は、内部バス３０を介して制御部３１に送られる。
【００４９】
撮像部３６は、スマートフォン１００に内蔵されたインカメラ３及びその回路である。撮像部３６で撮像された画像は、制御部３１に送られる。
【００５０】
なお、図２に示す認証システム１の機能構成とこのハードウエア構成とを対比すると、記憶部１０は、外部記憶部３３によってその機能が実現される。設定部１１は、制御部３１、主記憶部３２、外部記憶部３３及び表示操作部３５の機能によって実現される。また、検出部１２は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４及び撮像部３６によってその機能が実現される。さらに、認証部１３は、制御部３１、主記憶部３２、外部記憶部３３及び表示操作部３５によってその機能が実現される。表示部１４は、表示操作部３５によってその機能が実現される。
【００５１】
次に、本実施の形態に係る認証システム１の処理動作について説明する。認証システム１の処理動作は、ＰＩＮコードの設定処理（図７）と、検出認証処理（図８）と、瞬き検出処理（図９）とに大別される。
【００５２】
まず、ＰＩＮコードの設定処理について説明する。この処理は、ユーザＰがスマートフォン１００の設定画面を選択したときに開始される。図７に示すように、ＰＩＮコードの設定処理では、まず、認証システム１の設定部１１（図２）が、図３（Ａ）に示す設定画面を表示する（ステップＳ１）。続いて、設定部１１は、設定入力が完了するまで待つ（ステップＳ２；Ｎｏ）。この間、ユーザＰは、タッチパネル４を操作して、設定画面への入力を行う。
【００５３】
設定入力が完了すれば（ステップＳ２；Ｙｅｓ）、設定部１１（図２）は、設定された動作パターンをＰＩＮコード２０として、記憶部１０に記憶する（ステップＳ３）。その後、設定部１１は、ＰＩＮコードの設定処理を終了する。
【００５４】
なお、図３（Ｂ）に示す目の大きさの設定画面による設定処理も、図７に示す流れと同様な流れで実行される。
【００５５】
次に、検出認証処理について説明する。検出認証処理は、スマートフォン１００の電源が投入された後又は使用が再開される時に開始される。図８に示すように、検出部１２（図２）は、インカメラ３を起動する（ステップＳ１０）。これにより、インカメラ３による撮像が開始され、表示部１４（図２）は、タッチパネル４にインカメラ３の撮像画像を表示する。この表示を見て、ユーザＰがインカメラ３の撮像視野に自分の顔を収めるようにすることができる。
【００５６】
続いて、検出部１２（図２）は、１回目の操作入力を検出する（ステップＳ１１）。操作入力が検出されれば、検出部１２（図２）は、操作入力が行われたボタンを示す情報（操作入力（１回目））を、ＰＩＮコードの１番目のコードとして主記憶部３２（図６）の一時記憶領域に記憶する。
【００５７】
その後、検出部１２（図２）は、瞬き検出処理を開始する（ステップＳ１２）。瞬き検出処理は、検出認証処理と並行して行われる。図９には、瞬き検出処理の流れが示されている。図９に示すように、瞬き検出処理では、まず、検出部１２（図２）は、音量ボタン２が押下されたときに、インカメラ３の撮像画像Ｓ（図４）から、ユーザＰの目の画像Ｕをテンプレート画像Ｔとして抽出する（ステップＳ３０）。表示部１４（図２）は、テンプレート画像Ｔが抽出された後、タッチパネル４における撮像画像Ｓの表示を停止する。
【００５８】
その後、検出部１２（図２）は、次のフレームの撮像画像Ｓの部分画像ＡＲに対しテンプレート画像Ｔを用いたテンプレートマッチングを行い、目の画像Ｕを抽出する（ステップＳ３１）。
【００５９】
続いて、検出部１２（図２）は、目の画像Ｕをグレースケール化し（ステップＳ３２）、さらに二値化して（ステップＳ３３）、二値化画像の黒画素数を算出する（ステップＳ３４）。そして、検出部１２（図２）は、黒画素数がしきい値Ｒ（図５）未満であれば（ステップＳ３５；Ｙｅｓ）、瞬きの回数を１増やし（ステップＳ３６）、ステップＳ３１に戻る。なお、瞬きの回数の初期値は０である。一方、検出部１２（図２）は、黒画素数がしきい値Ｒ（図５）を下回れば（ステップＳ３５；Ｎｏ）、ステップＳ３１に戻る。
【００６０】
このように、ステップＳ３１からＳ３５（又はＳ３６）までの処理が繰り返され、ユーザＰの目の画像Ｕの黒画素数の時間変化に基づいて、瞬きの回数が検出される。
【００６１】
図８に戻り、瞬き検出処理を行っている間、検出部１２（図２）は、検出認証処理において、操作入力の更新待ちとなる（ステップＳ１３；Ｎｏ）。操作入力が更新されると（ステップＳ１３；Ｙｅｓ）、検出部１２（図２）は、それまでにカウントされた瞬きの回数を、瞬目動作（１回目）として主記憶部３２（図６）の一時記憶領域に記憶するとともに、操作入力された音量ボタン２を示す情報を、操作入力（２回目）として主記憶部３２（図６）の一時記憶領域に記憶する（ステップＳ１４）。続いて、検出部１２（図２）は、瞬き回数を０にリセットする（ステップＳ１５）。これにより、瞬き検出処理では、瞬きの回数が０にリセットされてから、再び瞬き検出処理で瞬きの検出が開始され、瞬きの回数がカウントされるようになる。
【００６２】
検出部１２（図２）は、検出認証処理において、操作入力の更新待ちとなる（ステップＳ１６；Ｎｏ）。操作入力が更新されると（ステップＳ１６；Ｙｅｓ）、検出部１２（図２）は、それまでにカウントされた瞬きの回数を、瞬目動作（２回目）として主記憶部３２（図６）の一時記憶領域に記憶するとともに、操作入力された音量ボタン２を示す情報を、操作入力（３回目）として主記憶部３２（図６）の一時記憶領域に記憶する（ステップＳ１７）。これにより、検出部１２（図２）によるＰＩＮコード（動作パターン）の検出が完了する。また、ここで、図９の瞬き検出処理が終了する。
【００６３】
続いて、認証部１３（図２）は、検出部１２（図２）で検出されたＰＩＮコードと、記憶部１０に記憶されたＰＩＮコード２０とが一致するか否かを判定する（ステップＳ１８）。一致していれば、認証部１３（図２）は、認証が成功したと判定する（ステップＳ１９）。一方、認証部１３（図２）は、認証が失敗したと判定する（ステップＳ２０）。
【００６４】
なお、操作入力の設定画面（図３（Ａ））において、長押しが設定されていた場合には、瞬き検出処理は、その操作ボタンが長押しされた状態のときのみ行われる。
【００６５】
本実施の形態では、図７の設定処理におけるステップＳ１〜Ｓ３が、記憶ステップ及び記憶手段に対応する。また、本実施の形態では、検出認証処理におけるステップＳ１０〜Ｓ１７と、瞬き検出処理におけるステップＳ３０〜Ｓ３６が、検出ステップ及び検出手段に対応する。また、本実施の形態では、検出認証処理のステップＳ１８〜Ｓ２０が認証ステップ及び認証手段に対応する。
【００６６】
以上詳細に説明したように、上記各実施の形態によれば、ユーザＰの瞬き動作だけでなく、音量ボタン２の操作入力との組み合わせで構成される動作パターンをＰＩＮコードとして用いる。これにより、２つの異なる動作の組み合わせでＰＩＮコードを構成することができるため、動作パターンを把握しづらくして第三者のハッキングを困難にしつつ、ＰＩＮコードの組み合わせ数を増やすことができる。この結果、セキュリティレベルをさらに高めることができる。
【００６７】
また、上記実施の形態に係る認証システム１は、瞬きを検出可能であれば、ユーザＰがメガネを着用していても認証が可能である。また、ユーザＰの瞬きを検出可能であれば、比較的暗い場所でも、認証が可能である。
【００６８】
上記実施の形態では、３度の操作入力と、２度の瞬目動作とで、ＰＩＮコードを構成した。しかしながら、本発明は限られず、操作入力及び瞬目動作の回数をさらに増やすようにしてもよい。このように、ＰＩＮコードの桁数は、５桁である必要はなく、６桁、７桁と増やすことが可能であり、可変である。
【００６９】
上記実施の形態では、操作入力と瞬目動作とを交互に繰り返して動作パターンを構成したが、本発明はこれには限られない。操作入力を複数回繰り返して瞬き動作を行うなど、これらの動作の順番をより複雑にするようにしてもよい。
【００７０】
また、上記実施の形態では、ハードキーである音量ボタン２の操作入力で構成される動作パターンを個人認証コードとした。しかしながら、本発明はこれには限られない。動作パターンを、タッチパネル４に表示された操作ボタン、すなわちソフトキーの操作入力で動作パターンを構成するようにしてもよい。しかしながら、ソフトキーを用いた場合には、指紋等がタッチパネル４上に残り操作の跡がトレースされる場合がある。したがって、音量ボタン２のようなハードキーを用いた方が、ハッキングされるおそれが少ないと考えることができる。
【００７１】
すなわち、上記実施の形態に係る認証システム１では、タッチパネル４上のソフトキーを用いずに個人認証を行うことができるので、第三者に覗き見されにくいようにして、ハッキングのおそれを低減することができる。
【００７２】
また、上記実施の形態では、認証に用いたハードキーは、音量ボタン２であった。音量ボタン２は、ユーザＰによって頻繁に操作されるボタンであり、外部からは押下されたのか否かを判断しづらい操作ボタンであるため、ハッキングを困難なものとすることができる。しかしながら、本発明はこれには限られない。認証にホームボタンを用いてもよい。
【００７３】
また、上記実施の形態では、操作ボタンの長押しか否かで操作入力に関するコードが構成されるものとした。このようにすれば、ＰＩＮコードの組み合わせの数を増やすことができる。また、外部からは操作ボタンが長押しされたのか否かは、判断しづらい。このため、長押しか否かをコード化すれば、ハッキングを困難なものとして、その安全性をさらに高めることができる。
【００７４】
また、上記実施の形態では、ユーザの瞬きの回数で、瞬目動作に関するコードが構成されるものとした。瞬きは、動きの小さい動作であるため、ハッキングを困難なものとすることができる。
【００７５】
また、上記実施の形態では、撮像画像ＳからユーザＰの目の画像をテンプレート画像Ｔとして抽出し、その後は、ユーザＰの目付近の部分画像ＡＲにのみテンプレート画像Ｔによるテンプレートマッチングを行って目の画像Ｕとして抽出してから、瞬きを検出した。このようにすれば、撮像画像Ｓ全体ではなく、部分画像ＡＲに対してのみ画像処理を行うだけで、ユーザＰの瞬きを検出することができる。このため、画像処理に要する時間を短縮することができる。
【００７６】
また、上記実施の形態では、検出部１２は、撮像画像Ｓをグレースケール化し、グレースケール化された画像をさらに二値画像化し、二値画像化の暗側の画素数の変化に基づいて、ユーザＰの瞬き回数を検出した。このようにすれば、ユーザＰの瞬きを、より確実に検出することができる。
【００７７】
また、上記実施の形態では、表示部１４は、検出部１２で動作パターンの検出が開始される際には、撮像画像Ｓを表示し、操作入力が検出されると、撮像画像Ｓの表示を停止した。このようにすれば、コード認証を開始する時点では、ユーザＰが、インカメラ３で自分の顔の画像が写っていることを確認することができるうえ、コード認証中では、撮像画像Ｓの表示を停止して、ユーザＰの瞬きを表示画面越しに他の者が見れないようにして、ハッキングを防止することができる。
【００７８】
なお、上記実施の形態では、スマートフォン１００に認証システム１を実装する場合について説明した。しかしながら、本発明は、スマートフォン１００には限られない。本発明に係る認証システム１は、携帯電話やタブレット型のコンピュータにも実装することが可能である。
【００７９】
その他、認証システム１を実装するスマートフォン１００等のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【００８０】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示操作部３５、撮像部３６及び内部バス３０などから構成されるスマートフォン１００の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するスマートフォン１００を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでスマートフォン１００を構成してもよい。
【００８１】
認証システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００８２】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００８３】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【００８４】
本発明は、スマートフォン又は携帯電話などの携帯端末又はタブレット型コンピュータの個人認証の認証システムとして用いることが可能である。
【符号の説明】
【００８５】
１  認証システム、２  音量ボタン、２ａ  音量（＋）ボタン、２ｂ  音量（−）ボタン、３  インカメラ、４  タッチパネル、１０  記憶部、１１  設定部、１２  検出部、１３  認証部、１４  表示部、２０  ＰＩＮコード（動作パターン）、３０  内部バス、３１  制御部、３２  主記憶部、３３  外部記憶部、３４  操作部、３５  表示操作部、３６  撮像部、３９  プログラム、１００  スマートフォン、Ａ，Ｂ  領域、ＡＲ  部分画像、Ｐ  ユーザ、Ｓ  撮像画像、Ｔ  テンプレート画像、Ｕ  画像、Ｒ  しきい値
【図１】
2020173668.tif 000003
【図２】
2020173668.tif 000004
【図３】
2020173668.tif 000005
【図４】
2020173668.tif 000006
【図５】
2020173668.tif 000007
【図６】
2020173668.tif 000008
【図７】
2020173668.tif 000009
【図８】
2020173668.tif 000010
【図９】
2020173668.tif 000011