(57)【要約】【課題】顔認識によるロック解除後、ユーザに何ら操作させることなく、ユーザの所望のアプリケーションを起動することができる端末装置を提供する。【解決手段】画像処理部２は、ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する。制御部４は、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部６に表示する。【選択図】図１
2014071476.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、
前記ユーザの顔画像と前記登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、前記ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を前記表示部に表示する制御部とを備えた、端末装置。
【請求項２】
前記制御部は、前記ユーザの顔画像と前記登録画像の照合が視線以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する、請求項１記載の端末装置。
【請求項３】
前記表示部は、１以上の選択項目を表示し、
前記制御部は、前記ユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する、請求項２記載の端末装置。
【請求項４】
前記制御部は、前記ユーザの視線方向に前記選択項目がない場合には、前記予め定められた画面を前記表示部に表示する、請求項３記載の端末装置。
【請求項５】
前記予め定められた画面は、待ち受け画面である、請求項４記載の端末装置。
【請求項６】
前記表示部は、１以上の選択項目を表示し、
前記端末装置は、
正規ユーザの顔画像である登録画像を１個保持する記憶部をさらに備え、
前記画像処理部は、前記ユーザの顔画像と前記１個の登録画像とを両目以外で照合し、かつ前記ユーザの顔画像からユーザの視線を検出し、
前記制御部は、前記ユーザの顔画像と前記１個の登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
前記制御部は、検出したユーザの視線に応じたアプリケーションを起動する、請求項２記載の端末装置。
【請求項７】
前記選択項目は複数個あり、
前記端末装置は、
各々が、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である登録画像を複数個保持する記憶部をさらに備え、
前記画像処理部は、前記ユーザの顔画像と、前記複数個の登録画像とを照合し、
前記制御部は、前記ユーザの顔画像と１つの前記登録画像の照合が一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項２記載の端末装置。
【請求項８】
前記制御部は、前記ユーザの顔画像と１つの前記登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
前記制御部は、前記ユーザの顔画像と１つの前記登録画像の照合が両目も含めて一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項７記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、たとえば、携帯電話などの携帯型の端末装置に関する。
【背景技術】
【０００２】
従来から、顔認識によってロックを解除する装置が知られている。
たとえば、特許文献１（特開２０１０−２５７０６０号公報）の認証システムでは、携帯電話機（１ａ）は、ユーザの顔画像に関する認証用情報を予め記憶する記憶部（１４）と、自機の所定の状態を検知する筐体状態監視部（１１）と、アプリケーション監視部（１２）と、所定の状態が検知されたことを契機として、ユーザに通知することなくユーザの顔画像を取得する取得部（１３）とを備える。この携帯電話機（１ａ）は、さらに、取得された顔画像と記憶部（１４）に記憶されている認証用情報とを照合し、両者が一致するか否かを判定する判定部（１５）と、判定部（１５）による判定前は所定のアプリケーションのロックを解除しており、顔画像と認証用情報とが一致すると判定された場合にはその解除状態を維持し、そうでない場合には所定の機能をロックする機能制御部（１６）とを備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５７０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ロック解除後に、Ｅメールアプリケーションやブラウザアプリケーションを起動したい場合には、タッチパネルでアプリケーションを選択するなどの操作が必要であった。そのため、ユーザは、ロック解除後、すぐに所望のアプリケーションを操作することができなかった。
【０００５】
それゆえに、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる端末装置が求められている。
【課題を解決するための手段】
【０００６】
本発明のある局面の端末装置は、表示部と、ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部に表示する制御部とを備える。
【０００７】
好ましくは、制御部は、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する。
【０００８】
好ましくは、表示部は、１以上の選択項目を表示する、制御部は、ユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する。
【０００９】
好ましくは、制御部は、ユーザの視線方向に選択項目がない場合には、予め定められた画面を表示部に表示する。
【００１０】
好ましくは、予め定められた画面は、待ち受け画面である。
好ましくは、表示部は、１以上の選択項目を表示する。端末装置は、正規ユーザの顔画像である登録画像を１個保持する記憶部を備える。画像処理部は、ユーザの顔画像と１個の登録画像とを両目以外で照合し、かつユーザの顔画像からユーザの視線を検出する。制御部は、ユーザの顔画像と１個の登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、制御部は、検出したユーザの視線に応じたアプリケーションを起動する。
【００１１】
好ましくは、選択項目は複数個ある。端末装置は、各々が、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である登録画像を複数個保持する記憶部を備える。画像処理部は、ユーザの顔画像と、複数個の登録画像とを照合する。制御部は、ユーザの顔画像と１つの登録画像の照合が一致した場合に、登録画像に対応する選択項目で選択されるアプリケーションを起動する。
【００１２】
好ましくは、制御部は、ユーザの顔画像と１つの登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する。制御部は、ユーザの顔画像と１つの登録画像の照合が両目も含めて一致した場合に、登録画像に対応する選択項目で選択されるアプリケーションを起動する。
【発明の効果】
【００１３】
本発明の端末装置によれば、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の端末装置の構成を表わす図である。
【図２】ユーザの顔画像の例を表わす図である
【図３】ユーザの視線によるアプリケーションの起動の例を表わす図である。
【図４】第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【図５】第１の実施形態の変形例の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【図６】第２の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を用いて説明する。
［第１の実施形態］
図１は、実施の形態の端末装置の構成を表わす図である。
【００１６】
図１を参照して、この端末装置１は、携帯電話などの携帯型の端末装置であって、アンテナ９と、無線通信部１１と、カメラ７と、操作入力部５と、登録画像記憶部３と、画像処理部２と、制御部４と、表示部６と、タイマ８を備える。
【００１７】
無線通信部１１は、アンテナ９を通じて、無線基地局との間でデータ、制御信号などを送受信する。
【００１８】
カメラ７は、ユーザの顔画像を撮影する。
操作入力部５は、タッチパネルで構成され、ユーザからの操作入力を受け付ける。
【００１９】
表示部６は、液晶ディスプレイであって、アプリケーションを選択するための１以上の選択項目を表示する。
【００２０】
登録画像記憶部３は、正規ユーザの顔画像である登録画像を１つ記憶する。
タイマ８は、制限時間内にユーザの認証が成功するかを管理するために設けられる。
【００２１】
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像とを視線を表わす両目以外で照合する。
【００２２】
図２は、ユーザの顔画像の例を表わす図である。ユーザの顔画像において、両目の領域１０ａ，１０ｂは、視線を表わす瞳孔や反射光を受ける領域が含まれるので、両目の領域を除いて、登録画像と一致するか否かが照合される。
【００２３】
画像処理部２は、照合が一致した場合に、ユーザの顔画像からユーザの視線を検出する。
【００２４】
制御部４は、ユーザの顔画像と登録画像の照合が視線を表わす両目以外で一致した場合に、ユーザの認証が成功したと判断して、操作入力部５からのユーザの操作入力の受付を拒否するロック状態を解除する。
【００２５】
制御部４は、ユーザの認証が成功した場合に、検出されたユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部６に表示する。より具体的には、制御部４は、検出されたユーザの視線方向に表示された選択項目に対応するアプリケーションを起動する。制御部４は、検出されたユーザの視線方向に選択項目がない場合には、予め定められた画面（たとえば、待ち受け画面）を表示部６に表示する。
【００２６】
図３は、ユーザの視線によるアプリケーションの起動の例を表わす図である。
ユーザの認証の成功後、ユーザの視線方向に、サーチを実行するアプリケーションの選択項目が表示されているので、サーチが実行される。
【００２７】
図４は、第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【００２８】
図４を参照して、ユーザが電源ボタンを押下げた場合に（ステップＳ１０１でＹＥＳ）、制御部４は、タイマ８を起動する（ステップＳ１０２）。ここで、電源ボタンの押下を契機としたのは、ユーザが端末装置を使用しようとするとき、まずは電源ボタンを押下して、消灯している表示部６を点灯させると考えられるからである。よって、端末装置によっては、電源ボタンに限らず、他のハードキーの押下を契機にタイマ８が起動されてよい。また、アラームや着信などのイベントや割り込み処理を契機に表示部６を点灯させ、タイマ８を起動してもよい。その場合、タイマ８は、イベントや割り込み処理が完了するまでタイムオーバしないものであってもよい。
【００２９】
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像（つまり、正規ユーザの顔画像）とが視線を表わす両目以外で一致するか否かを照合する（ステップＳ１０３）。
【００３０】
制御部４は、照合結果が一致した場合には（ステップＳ１０４でＹＥＳ）、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。
【００３１】
さらに、画像処理部２は、カメラ７で撮影されたユーザの顔画像からユーザの視線方向を検出する（ステップＳ１０６）。
【００３２】
制御部４は、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在する場合には（ステップＳ１０７でＹＥＳ）、ユーザの視線方向の選択項目で選択されるアプリケーションを起動する（ステップＳ１０８）。
【００３３】
制御部４は、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在しない場合には（ステップＳ１０７でＮＯ）、待ち受け画面を表示する（ステップＳ１０９）。
【００３４】
一方、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。なお、ユーザ認証が成功しない旨は、表示されなくてもよい。
【００３５】
以上のように、本実施の形態によれば、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作させることなく、ユーザの所望のアプリケーションを起動することができる。
【００３６】
なお、図４のフローチャートに示すロック解除兼アプリ起動動作の手順においては、制御部４は、ステップＳ１０４において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。これに代えて、ステップＳ１０４において照合結果が一致した場合に、ユーザの視線方向を検出し（ステップＳ１０６）、その後、その照合結果に基づいてロックを解除してもよい。
【００３７】
すなわち、制御部４は、ユーザの視線方向を検出し、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在する場合に、ロックを解除するとともに、ユーザの視線方向の選択項目で選択されるアプリケーションを起動してもよい。一方、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在しない場合には、制御部４は、ロック解除とともに、待ち受け画面を表示してもよい。
【００３８】
また、図４のフローチャートでは、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、電源をオフにする（ステップＳ１１１）。しかし、ユーザの設定によっては、例えば、眼鏡をかける又は顔に怪我をする等して顔認識がうまくいかない場合に備えて、別の方法でロックを解除できるようにしてもよい。別の方法とは、例えば、画面をタップして、暗証番号を入力する画面を表示させ、パスワードを入力する方法である。
【００３９】
図５は、上記別の方法を考慮したときの、第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【００４０】
図５に示すように、照合結果が一致しない場合（ステップＳ１０４でＮＯ）、画面がタップされたか否かを検出する。画面がタップされた場合（ステップＳ３０１でＹＥＳ）、制御部４は、暗証番号を入力する入力ボックスを表示部６に表示する。入力ボックスに暗証番号が入力されると（ステップＳ３０２でＹＥＳ）、ロックを解除し、待ち受け画面を表示する。
【００４１】
画面がタップされず（ステップＳ３０１でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。
【００４２】
なお、図５に示す例では、暗証番号を入力するための画面を表示させる操作をタップ操作としたが、これに限らず、フリック操作若しくはダブルタップ操作等の他の操作であってもよい。また、ユーザが、顔認証に限らず、暗証番号入力によるロック解除も可能とする設定とした場合、タイマ８による時間管理をしない設定としてもよい。
【００４３】
［第２の実施形態］
第２の実施形態では、正規ユーザの視線ごとに登録画像を用意しておき、これらの登録画像と、撮影されたユーザの顔画像と照合することによって、ユーザの認証と視線の検出とを行なう。
【００４４】
登録画像記憶部３は、複数個の登録画像を記憶する。各登録画像は、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である。
【００４５】
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、複数個の登録画像とを照合する。
【００４６】
制御部４は、ユーザの顔画像と、１つの特定または任意の登録画像との照合が両目以外で一致した場合に、ユーザの認証が成功したと判断して、操作入力部５からのユーザの操作入力の受付を拒否するロック状態を解除する。
【００４７】
制御部４は、ユーザの認証が成功した場合に、ユーザの顔画像とある１つの登録画像の照合が両目も含めて一致した場合に、その登録画像に対応する選択項目で選択されるアプリケーションを起動する。制御部４は、ユーザの認証が成功した場合に、ユーザの顔画像と両目も含めた照合が一致するような登録画像が登録画像記憶部３に存在しない場合に、予め定められた画面、（たとえば、待ち受け画面）を表示部６に表示する。
【００４８】
図６は、第２の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
【００４９】
図６を参照して、ユーザが電源ボタンを押下げた場合に（ステップＳ１０１でＹＥＳ）、制御部４は、タイマ８を起動する（ステップＳ１０２）。
【００５０】
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１（つまり、正規ユーザの複数の顔画像のうちの１つ）とが視線を表わす両目以外で一致するか否かを照合する（ステップＳ２０３）。
【００５１】
制御部４は、照合結果が一致した場合には（ステップＳ１０４でＹＥＳ）、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。
【００５２】
さらに、画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合する（ステップＳ２０６）。
【００５３】
制御部４は、ユーザの顔画像が、登録画像＃１〜＃Ｎのうちのいずれかと一致する場合には（ステップＳ２０７でＹＥＳ）、一致した登録画像に対応する選択項目で選択されるアプリケーシを起動する（ステップＳ２０８）。
【００５４】
制御部４は、ユーザの顔画像が、登録画像＃１〜＃Ｎのいずれとも一致しない場合には（ステップＳ２０７でＮＯ）、待ち受け画面を表示する（ステップＳ１０９）。
【００５５】
一方、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。
【００５６】
以上のように、本実施の形態によれば、第１の実施形態と同様に、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作させることなく、ユーザの所望のアプリケーションを起動することができる。
【００５７】
なお、図６のフローチャートに示すロック解除兼アプリ起動動作の手順においては、制御部４は、ステップＳ１０４において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。これに代えて、ステップＳ１０４において照合結果が一致した場合に、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合し（ステップＳ２０６）、その後、その照合結果に基づいてロックを解除してもよい。
【００５８】
また、本実施形態によれば、画像処理部２が、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１（つまり、正規ユーザの複数の顔画像のうちの１つ）とが視線を表わす両目以外で一致するか否かを照合した（ステップＳ１０４）後、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合する（ステップＳ２０６）。これに代えて、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを一度に照合し、ロックの解除とともに、アプリケーションの起動又は待ち受け画面の表示を行ってもよい。
【００５９】
（変形例）
本発明は、上記の実施形態に限定されるものではない。たとえば、以下のような変形例も含まれる。
【００６０】
（１）待ち受け画面
本発明の実施形態では、ユーザの視線方向にアプリケーションの選択項目がない場合には、待ち受け画面を表示することとしたが、これに限定されるものではない。たとえば、ユーザの視線方向にアプリケーションの選択項目がなく、かつ表示画面の中央の場合に、待ち受け画面を表示することとしてもよい。
【００６１】
（２）端末装置
本発明は、携帯型の端末装置にのみ適用されるものではない。たとえば、入出室管理のために、扉の側に配置された端末装置に顔を向けてユーザ認証を行なうとともに、視線で空調や照明をオンにしたり、パソコンの電源をオンにしたりするようなアプリケーションを選択するようなことにも適用できる。また、アプリケーション以外にも、ＬＥＤのライトをつける、又は防犯ブザーを鳴らすなど、アプリケーション以外の何らかの機能を起動させることも可能である。
【００６２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６３】
１  端末装置、２  画像処理部、３  登録画像記憶部、４  制御部、５  操作入力部、６  表示部、７  カメラ、８  タイマ、９  アンテナ、１１  無線通信部。
【図１】
2014071476.tif 000003
【図２】
2014071476.tif 000004
【図３】
2014071476.tif 000005
【図４】
2014071476.tif 000006
【図５】
2014071476.tif 000007
【図６】
2014071476.tif 000008