(57)【要約】      （修正有）【課題】可視及び／又はＩＲスペクトルのいずれかで検知されるジェスチャ及び表情ベースの認証方法を提供する。【解決手段】ユーザは、認証プロトコルを設定するためのそれぞれの入力値を用いてジェスチャベースの入力モードを定義して、コンピュータをアンロックするか又は他のコンピュータ動作を制御することができる。代替的に又は追加的に、ユーザは、顔認証及びそれに加えて認証のために存在する人がイメージ化されたことを保証する閾値を満たすＩＲ検知、及び／又は顔認証及びそれに加えて笑顔及びウインクといった特定の表情に基づいて第２の入力モードを定義できる。【選択図】図２
2014056576.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、
前記プロセッサがアクセス可能であり、ロジックを具体化する命令を担持コンピュータ可読記憶媒体と、
を備えるコンピュータであって、前記ロジックは、
ユーザが、赤外線（ＩＲ）検知と組み合わせた顔認証、ユーザ定義の表情と組み合わせた顔認証、ユーザが定めた身体のジェスチャのイメージ、又はこれらの組み合わせである、関連する第１の入力パラメータを用いて少なくとも第１の入力モードを選択することを可能にする段階と、
認証の際に、前記第１の入力パラメータの少なくとも１つの後続の入力を受信した場合にのみ、前記コンピュータ動作を実行する段階と、
を含む、コンピュータ
【請求項２】
前記第１の入力パラメータは、赤外線（ＩＲ）検知と組み合わせた顔認証であり、前記顔認証に一致するイメージの受信、及び閾値の大きさに等しい大きさのＩＲ信号の検知にのみ応答してコンピュータ動作が実行される、請求項１に記載のコンピュータ。
【請求項３】
前記第１の入力パラメータは、ユーザ定義の表情と組み合わせた顔認証であり、前記顔認証に一致するイメージの受信、及び表情に一致するイメージの受信にのみ応答してコンピュータ動作が実行される、請求項１に記載のコンピュータ。
【請求項４】
第１の入力パラメータは、ユーザが定めた身体のジェスチャのイメージであり、身体のジェスチャのイメージに一致するイメージの受信にのみ応答してコンピュータ動作が実行される、請求項１に記載のコンピュータ。
【請求項５】
前記命令は、
関連する第２の入力パラメータを用いて、前記第１の入力モードとは異なる第２の入力モードを選択することを可能にする段階と、
前記ユーザが定義した順番で、前記第１の入力モード及び前記第２の入力モードにおいて、前記第１の入力パラメータ及び前記第２の入力パラメータの少なくとも１つの後続の入力を受信した場合に、前記コンピュータ動作を実行する段階と、
を含むロジックを更に具体化する、請求項１に記載のコンピュータ。
【請求項６】
前記ロジックは、前記ユーザが前記動作を選択することを可能にする段階を更に含む、請求項１に記載のコンピュータ。
【請求項７】
コンピュータディスプレイ上にユーザインタフェースのシーケンスを表示して、認証プロトコルを設定するためにユーザが少なくともそれぞれの第１の入力値を用いて第１の入力モードを定義することを可能にして、コンピュータ動作を可能にする段階と、
赤外線（ＩＲ）検知と組み合わせた顔認証、ユーザ定義の表情と組み合わせた顔認証、ユーザが定めた身体のジェスチャのイメージ、又はこれらの組み合わせである、前記第１の入力値を受信した場合にのみ前記コンピュータ動作を実行する段階と、
を含む方法。
【請求項８】
前記第１の入力値は、赤外線（ＩＲ）検知と組み合わせた顔認証である、請求項７に記載の方法。
【請求項９】
前記第１の入力値は、ユーザ定義の表情と組み合わせた顔認証である、請求項７に記載の方法。
【請求項１０】
前記第１の入力値は、ユーザが定めた身体のジェスチャのイメージである、請求項７に記載の方法。
【請求項１１】
関連する第２の入力パラメータを用いて、前記第１の入力モードとは異なる第２の入力モードを選択することを可能にする段階と、
前記ユーザが定義した順番で、前記第１の入力モード及び前記第２の入力モードにおいて、前記第１の入力パラメータ及び前記第２の入力パラメータの少なくとも１つの後続の入力を受信した場合に、前記コンピュータ動作を実行する段階と、
を含む、請求項７に記載の方法。
【請求項１２】
前記ユーザが前記動作を選択することを可能にする段階を更に含む、請求項７に記載の方法。
【請求項１３】
前記ユーザインタフェースにより、ユーザは、最初に特定の音声認識パターン、その後特定のイメージを設定することができ、後続のユーザインタフェースに関連するコンピュータへのログオンは、前記音声認識パターンが前記コンピュータに入力され、その後、前記イメージが前記コンピュータに提示された場合にのみ許可される、請求項７に記載の方法。
【請求項１４】
プロセッサと、
前記プロセッサに接続されるディスプレイと、
前記プロセッサに接続される第１の入力デバイスと、
前記第１の入力デバイスとは異なる様式の、前記プロセッサに接続される第２の入力デバイスと、
を備えるコンピュータデバイスであって、
前記プロセッサは前記第１の入力デバイスから第１の入力モード値を受信し、
前記プロセッサは前記第２の入力デバイスから第２の入力モード値を受信し、
前記プロセッサは、前記第１の入力モード値及び前記第２の入力モード値が、ユーザ定義値に一致するか否かを判定し、一致が見つかった場合にのみコンピュータ動作を実行し、少なくとも１つの入力モード値は、ジェスチャのイメージ、及び／又は顔認証及びそれに加えて認証のために存在する人がイメージ化されたことを保証する閾値を満たすＩＲ検知、及び／又は顔認証及びそれに加えて特定の表情によって設定される、デバイス。
【請求項１６】
記プロセッサにより、ユーザは前記コンピュータ動作を選択することができる、請求項１５に記載のデバイス。
【請求項１７】
前記コンピュータ動作は、前記コンピュータの完全利用をアンロックする、請求項１５に記載のデバイス。
【請求項１８】
少なくとも１つの入力モード値は、顔認証及びそれに加えて特定の表情によって設定される、請求項１５に記載のデバイス。
【請求項１９】
少なくとも１つの入力モード値は、ジェスチャによって設定される、請求項１５に記載のデバイス。
【請求項２０】
少なくとも１つの入力モード値は、顔認証及びそれに加えて認証のために存在する人がイメージ化されたことを保証する閾値を満たすＩＲ検知によって設定される、請求項１５に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に可視及び／又はＩＲスペクトルのいずれかで検知されるジェスチャ及び表情ベースの認証に関する。
【背景技術】
【０００２】
パスワードといったユーザ入力シーケンスは、コンピュータデバイスの動作及び制御をアンロックするために使用される。例えば、コンピュータデバイスを動作させるためにアンロックすることを含む。一般的に、コンピュータをアンロックするために、唯一の入力モードが使用され、例えば、テキスト入力だけが又は生体認証だけが使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本明細書で理解されるように、顔認証は同様にパスワードタイプの仕組みとして使用できるが、本明細書で理解されるように、顔認証を使用すると、認証されたユーザが彼らの前で自動認証が行われることを望まない他人の存在時に望ましくない自動ログインにつながる可能性がある。また、ユーザの写真は、認証されていない人がユーザ不在時にアクセスするたに使用できる。
【課題を解決するための手段】
【０００４】
従って、コンピュータは、プロセッサと、該プロセッサがアクセス可能で、ロジックを具体化する命令を担持するコンピュータ可読記憶媒体とを含み、該ロジックは、ユーザが、関連する第１の入力パラメータを用いて少なくとも第１の入力モードを選択することを可能にする。第１の入力パラメータは、赤外線（ＩＲ）検知と組み合わせた顔認証、ユーザ定義の表情と組み合わせた顔認証、ユーザが設定した身体のジェスチャのイメージ、又はこれらの組み合わせである。コンピュータ動作は、認証の際に第１の入力パラメータの少なくとも１つの後続の入力を受信した場合にのみ実行される。
【０００５】
いつかの実施例において、第１の入力パラメータは、赤外線（ＩＲ）検知と組み合わせた顔認証であり、コンピュータ動作は、顔認証に一致するイメージの受信、及び閾値の大きさに等しい大きさのＩＲ信号の検知にのみ応答して実行される。他の実施例において、第１の入力パラメータは、ユーザ定義の表情と組み合わせた顔認証であり、コンピュータ動作は、顔認証に一致するイメージの受信、及び表情に一致するイメージの受信にのみ応答して実行される。更に他の実施例において、第１の入力パラメータは、ユーザが定めた身体のジェスチャのイメージであり、コンピュータ動作は、身体のジェスチャのイメージに一致するイメージの受信にのみ応答して実行される。
【０００６】
所望であれば、命令は、関連する第２の入力パラメータを用いて、第１の入力モードとは異なる第２の入力モードを選択することを可能にする段階を更に含む。コンピュータ動作は、ユーザが定義した順番で、第１の入力モード及び第２の入力モードにおいて、第１の入力パラメータ及び第２の入力パラメータの少なくとも１つの後続の入力を受信した場合に実行される。ユーザはコンピュータ動作を選択することができる。
【０００７】
他の態様において、方法は、コンピュータディスプレイ上にユーザインタフェースのシーケンスを表示して、認証プロトコルを設定するためにユーザが少なくともそれぞれの第１の入力値を用いて第１の入力モードを定義することを可能にして、コンピュータ動作を可能にする段階を含む。第１の入力値は、赤外線（ＩＲ）検知と組み合わせた顔認証、ユーザ定義の表情と組み合わせた顔認証、ユーザが定めた身体のジェスチャのイメージ、又はこれらの組み合わせである。
【０００８】
他の態様において、コンピュータデバイスは、プロセッサと、プロセッサに接続されるディスプレイと、プロセッサに接続される第１の入力デバイスと、第１の入力デバイスとは異なる様式の、プロセッサに接続される第２の入力デバイスとを備える。プロセッサは第１の入力デバイスから第１の入力モード値を受信し、記第２の入力デバイスから第２の入力モード値を受信する。記プロセッサは、第１の入力モード値及び第２の入力モード値が、ユーザ定義値に一致するか否かを判定して、一致が見つかった場合にのみコンピュータ動作を実行する。少なくとも１つの入力モード値は、ジェスチャのイメージ、及び／又は顔認証及びそれに加えて認証のために存在する人がイメージ化されたことを保証する閾値を満たすＩＲ検知、及び／又は顔認証及びそれに加えて特定の表情によって設定される。
【０００９】
本発明の構成及び作動に関する詳細は、添付図面を参照して適切に理解することができ、同じ参照符合は同じ部品を示している。
【図面の簡単な説明】
【００１０】
【図１】本原理を使用することができるコンピュータデバイスの概略斜視図である。
【図２】例示的な全体ロジックのフローチャートである。
【図３】コンピュータデバイスに表示でき、ユーザがマルチモーダル入力シーケンスを定義できる、例示的なユーザインタフェースを示す画面ショットのシーケンスを示す。
【図４】ユーザがマルチモーダル入力シーケンスによってどのコンピュータ動作を制御するかを定義できるユーザインタフェースの例示的な画面ショットである。
【発明を実施するための形態】
【００１１】
最初に図１を参照すると、提示の実施形態において、デバイス１０は、タッチスクリーンディスプレイ等のディスプレイ１４及びキーパッド等のキー入力デバイス１６を有する携帯型軽量ハウジング１２を含む。いくつかの実施形態において、ハウジング１２は赤外線（ＩＲ）センサ１８を備えることもできる。
【００１２】
１つの例示的な実施形態において、デバイス１０は、スマートフォンによって実現することができる。他の実施形態において、デバイス１０は、ＴＶ、タブレット型コンピュータ、ラップトップ型コンピュータ、又はドアを作動させるための、人の存在を検知して照明及び音楽等の設定を定義するためのホームオートメーションコンピュータとすることができる。更に、デバイス１０は、医療施設用途又は軍事産業機密保護アクセスのためのアクセスドアとすることができる。実際には、デバイス１０は、限定されるものではないがＡＴＭ、トランザクションキオスク、携帯電話補充ステーション等の銀行コンピュータによって定めることができる。
【００１３】
一般に、キー入力デバイス１６及びＩＲセンサ１８は、入力信号をハウジング１２内の１つ又はそれ以上のプロセッサ２０（１つのプロセッサだけを示す）に供給する。プロセッサ２０は、ディスプレイ１４を制御して要求される画像を表示し、ディスプレイ１４がタッチスクリーンディスプレイの場合、プロセッサ２０はディスプレイ１４から入力信号を受信する。
【００１４】
プロセッサ２０は、１つ又はそれ以上の有形コンピュータ可読記憶媒体２２にアクセスしてデータを読み書きして、記憶されたロジックを実行することができる。図１に示す媒体２２は、ディスク記憶装置、半導体記憶装置で実装することができる。
【００１５】
図１には、ハウジング１２が支持できる、プロセッサ２０への種々の追加の入力信号の供給源が示されている。例えば、マイクロフォン２４は、プロセッサ２０に音声入力を供給することができ、一方でカメラ２６は、プロセッサ２０に静止画及び／又は動画入力を供給することができる。
【００１６】
デバイス１０がスマートフォンとして実現される場合、デバイス１０を利用して行われる音声及び／又はデータ呼び出しを可能にするために、ハウジング１２は無線電話送受信機２８を支持することができる。電話送受信機２８は、限定されるものではないが、移動体通信用グローバルシステム（ＧＳＭ）送受信機又は符号分割多元接続（ＣＤＭＡ）送受信機又は直行周波数分割多重（ＯＦＤＭ）送受信機又は衛星電話送受信機又はこれらの改良機とすることができる。
【００１７】
必要であれば、ハウジング１２に無線ネットワーク送受信機３０を設けて、デバイス１０を使用してネットワーク通信を可能にすることができる。送受信機３０は、限定されるものではないが、Ｂｌｕｅｔｏｏｔｈ送受信機、Ｗｉ−Ｆｉ送受信機、又は他の適切な送受信機とすることができる。
【００１８】
図２は、プロセッサ２０が実行することができる例示的なロジックを示す。ブロック３６において、設定画面をディスプレイ１４上に表示することができ、ユーザは、以下に示す目的のために、どの特定の入力モード及びこれに関連する値を使用するかを定義するために選択操作できる。モード及び値を定義するユーザ選択は、ブロック３８で受信される。ブロック４０において、プロセッサ２０により、ディスプレイ１４は、その一例が以下に説明されるユーザインタフェースをディスプレイ１４上に表示して、ユーザは、対応するユーザ選択されたコンピュータ動作を可能にする多値プロトコルを使用して、マルチモードを定めることができる。続いて、この動作は、ユーザ定義プロトコルが、ユーザが定義した入力である場合にだけ、つまり入力モーダル値がユーザ定義値に一致する場合にだけ、ブロック４２においてアンロックされ、従って、一致が見つかった場合にだけコンピュータ動作はアンロックされる。
【００１９】
図３は、図２のブロック４０のロジックにおいてディスプレイ１４上に表示できるユーザインタフェース画面セットの実施例を示す。画面４４は、ユーザに第１のモードを選択するように指示する。図示の実施例において、第１のモードは、対応する抑揚を用いる場合もある音声認識、キーパッド入力、ジェスチャ入力、及び以下に詳細に説明するＩＲ及び／又は表情の付加物を用いる場合があるイメージ入力を含むリストから選択できる。
【００２０】
ユーザが音声認識を選択したと仮定すると、ユーザにマイクロフォン２４に向かって例えば、単語又は単語列といった音声モード成分の所望の数値又はパラメータを話すように指示する画面４６を表示することができる。パラメータは、特定の単語及び／又は抑揚、タイミング、及び／又は声紋、音声文字認識等のより高度な音声認識パラメータを含むことができる。
【００２１】
プロセッサ２０は、音声認識ソフトウェアを実行して、マイクロフォンからの信号をデータ値に変換することができ、このデータ値は媒体２２に格納される。この値は、「音声モード」、つまりマイクロフォン２４からその後に受け取るデータ値の要件に関連する。
【００２２】
マルチモードを定めることができるので、次に、ユーザの第２のモードの選択を指示する画面４８をディスプレイ１４上に表示することができる。第１のモード（本実施例では音声入力）として選択されたモードは画面４８に表示する必要はないが、残りの利用可能なモードだけが表示されることに留意されたい。ユーザが「キーパッド」を選択すると仮定すると、ユーザがキーパッドモードの値に対応する所望のキーシーケンスを入力するように指示する、画面５０を表示することができる。この値は媒体２２に格納され、キーパッド１６に関連付けされる。
【００２３】
必要であれば、ユーザには２つ以上のモードを選択する機会が与えられる。又は、ユーザは、最初に選択された「ジェスチャ」又は「顔」を有することができる。いずれの場合も、第３のモードを選択するための別の画面５２が表示される。ユーザが画面４４、４８、又は５２で「ジェスチャ」を選択する場合、ユーザに対して、例えば、手を振ること、手信号、又は他のジェスチャ／動きであるジェスチャを行うように指示するＵＩ５４が表示される。ジェスチャのイメージをカメラ２６で取り込んで、プロセッサ２０に送って媒体２２に格納する。
【００２４】
画面５６は、ユーザに、例えばユーザの顔といった所望のイメージの写真を撮るように指示する画面４４、４８、又は５２からの「顔認証」に応答して表示することができ、イメージはメモリに記憶され、カメラ２６に関連付けされる。イメージは、静止画（パターン、光学文字認識等）、動画認識（移動検出、カラーパターン分析等）を含むことができる。また、提示の実施形態において、ユーザには、トグル選択を使用してＩＲ検知をオン／オフする選択肢が与えられる。更に、ユーザには、認証モードとしてユーザの顔だけを認識するのではなく、ユーザの顔の特定の表情も認識する選択肢が与えられる。
【００２５】
ＩＲ検出がオンになる場合、このことは、後続の認証が、顔認証の照合及びＩＲセンサ１８が検知したＩＲレベルの両方によってのみ示されることを意味し、ＩＲレベルは、カメラから数フィート以内に生きた人間が存在することを示すために経験的に設定された閾値に対応する。これにより、ユーザの不在時にユーザの写真をカメラの前で保持するという前述の問題を回避できる。
【００２６】
更に、「表情」が選択される場合、例えば次の数秒の間にカメラで撮像されるユーザの顔の表情は、認証に使用することが意図された後続のユーザのイメージ表情に一致する必要がある。例えば、ユーザは、表情ベースの顔認証パスワードとして笑顔で片目を閉じることができ、認証に使用することが意図された後続のユーザの顔のイメージは、後続のイメージが、笑顔で片目を閉じたユーザを示す（又は、最初に設定された表情が繰り返される）場合にのみ良好な認証をもたらすことになる。表情の別の例としては、左右又は上下を見る目、渋面、閉眼、険しい表情、舌の突出等を含むことができる。
【００２７】
ユーザがモードシーケンス及び値を定義すると、図４は、画面５８を表示し、ユーザは、定義されたモードシーケンス及び値の後続の入力のどれを使用するかの目的を定めることができる。例えば、ユーザは、コンピュータにログオンする、ネットワークに接続するための定義プロトコルの入力を要求することを選択することができる。ユーザ定義のマルチモーダルプロトコルの入力時にのみ呼び出すことができる、他のコンピュータ動作は、セキュリティデバイスロック係合状態の低消費電力休止モードのデバイス状態からアプリケーションソフトウェア又はネットワークサービスアクセス機能の能動的使用状態の他の状態への移行を含む。
【００２８】
ユーザ定義のコンピュータ動作をアンロックうるために使用できる入力シーケンスの実施例として、マイクロフォン２４からの単純な音声（音響）信号が最初に要求され、入力信号が図２のブロック４０からのユーザ定義値に一致する場合、第２のモードが起動する。第２のモードがイメージ検出の場合、カメラ２６が起動してカメラからの入力は、図２のブロック４０で格納されたユーザ定義のイメージ値に対して試験される。このことは、組み込まれたカメラを起動することで行うことができる。マルチモーダルプロトコルに関連するユーザ定義の動作は、入力モード値がブロック４０で設定されたユーザ定義値に一致する場合にのみ可能になる。
【００２９】
本明細書では特定のジェスチャ及び表情ベースの認証が示されて説明されているが、本発明に包含される主題は請求項によってのみ限定されることを理解されたい。
【符号の説明】
【００３０】
３６  設定画面
３８  認証入力のユーザ選択を受信
４０  入力を定義するためのユーザインタフェースを表示
４２  その後、正しい入力を受信した場合にのみアンロック
【図１】
2014056576.tif 000003
【図２】
2014056576.tif 000004
【図３−１】
2014056576.tif 000005
【図３−２】
2014056576.tif 000006
【図４】
2014056576.tif 000007
【外国語明細書】
2014056576000001.pdf