(57)【要約】  本開示は、動作認識のためのシステムおよび方法に関する。システムおよび方法は、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームの各々は、顔情報に関連付けられた複数の特徴点を含んでよい。システムおよび方法は、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。システムおよび方法は、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することができる。システムおよび方法は、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することができる。
2021511607.tif 000002
【特許請求の範囲】
【請求項１】
動作認識のためのシステムであって、
1組の命令を含む少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体と通信している少なくとも1つのプロセッサであって、前記1組の命令を実行すると、前記少なくとも1つのプロセッサが、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、取得することと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定することと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することと
を前記システムに行わせるように指示される、プロセッサと
を備える、システム。
【請求項２】
前記複数の特徴点が、第1の特徴点、第2の特徴点、第3の特徴点、第4の特徴点、および第5の特徴点を含み、
前記第1の特徴点および前記第2の特徴点が、前記顔情報に関連付けられた垂直中心線に対して対称であり、
前記第4の特徴点および前記第5の特徴点が、前記顔情報に関連付けられた前記垂直中心線に対して対称であり、
前記第3の特徴点が、前記顔情報に関連付けられた前記垂直中心線上にある、
請求項1に記載のシステム。
【請求項３】
前記第1の特徴点が左目の中心点であり、
前記第2の特徴点が右目の中心点であり、
前記第3の特徴点が鼻の先端点であり、
前記第4の特徴点が唇の左端点であり、
前記第5の特徴点が唇の右端点である、
請求項2に記載のシステム。
【請求項４】
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて前記第1の面積および前記第2の面積を決定するために、前記少なくとも1つのプロセッサが、
前記第1の特徴点、前記第3の特徴点、および前記第4の特徴点に基づいて前記第1の面積を決定することと、
前記第2の特徴点、前記第3の特徴点、および前記第5の特徴点に基づいて前記第2の面積を決定することと
をさらに前記システムに行わせるように指示される、請求項2または請求項3に記載のシステム。
【請求項５】
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の前記非対称パラメータを決定するために、前記少なくとも1つのプロセッサが、
前記第2の面積に対する前記第1の面積の第1の比率を決定することと、
前記第1の面積に対する前記第2の面積の第2の比率を決定することと、
前記第1の比率および前記第2の比率のうちの大きい方を前記非対称パラメータとして決定することと
をさらに前記システムに行わせるように指示される、請求項1から4のいずれか一項に記載のシステム。
【請求項６】
前記オブジェクトの前記顔情報に関連付けられた前記複数の連続するターゲット画像フレームを取得するために、前記少なくとも1つのプロセッサが、
前記オブジェクトの前記顔情報に関連付けられた複数の連続する候補画像フレームを取得することであって、前記連続する候補画像フレームの各々について、前記第3の特徴点が、前記第1の特徴点、前記第2の特徴点、前記第4の特徴点、および前記第5の特徴点に基づいて決定された四角形内にある、取得することと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの開始画像フレームを識別することであって、前記開始画像フレームに対応する前記非対称パラメータが、最小非対称比率しきい値より小さい、識別することと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの最終画像フレームを識別することであって、前記最終画像フレームに対応する前記非対称パラメータが、前記最小非対称比率しきい値より小さい、識別することと
をさらに前記システムに行わせるように指示される、請求項2から4のいずれか一項に記載のシステム。
【請求項７】
前記非対称パラメータが前記事前設定された条件を満たすことに応答して、前記首振り動作を識別するために、前記少なくとも1つのプロセッサが、
前記複数の連続するターゲット画像フレームから最大非対称パラメータを有する中間画像フレームを識別することと、
前記開始画像フレームから前記中間画像フレームまでの連続するターゲット画像フレームの第1の数のカウント、および前記中間画像フレームから前記終了画像フレームまでの連続するターゲット画像フレームの第2の数のカウントを決定することと、
前記複数の連続するターゲット画像フレームの中の前記第3の特徴点を整合させることにより、推定線を決定することと、
前記中間画像フレームの前記非対称パラメータが最大非対称比率しきい値より大きく、前記第1の数カウントが第1の数カウントしきい値より大きく、前記第2の数カウントが第2の数カウントしきい値より大きく、前記推定線と水平線との間の角度が角度しきい値より小さいことに応答して、前記首振り動作を識別することと
をさらに前記システムに行わせるように指示される、請求項6に記載のシステム。
【請求項８】
前記最小非対称比率しきい値が1．01〜1．02である、請求項7に記載のシステム。
【請求項９】
前記最大非対称比率しきい値が1．2〜1．3である、請求項7または請求項8に記載のシステム。
【請求項１０】
前記第1の数カウントしきい値が2〜10であり、第2の数カウントしきい値が2〜10である、請求項7から9のいずれか一項に記載のシステム。
【請求項１１】
前記角度しきい値が5°〜20°である、請求項7から10のいずれか一項に記載のシステム。
【請求項１２】
前記少なくとも1つのプロセッサが、
前記首振り動作の前記識別に応答して、前記オブジェクトに関連付けられた端末デバイスに認証を提供すること
をさらに前記システムに行わせるように指示される、請求項1から11のいずれか一項に記載のシステム。
【請求項１３】
前記複数の連続するターゲット画像フレームが取得されるビデオデータを提供するように構成されたカメラをさらに備える、請求項1から12のいずれか一項に記載のシステム。
【請求項１４】
少なくとも1つのプロセッサ、少なくとも1つのストレージデバイス、およびネットワークに接続された通信プラットフォームを有するコンピューティングデバイス上で実施される動作認識のための方法であって、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得するステップであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、ステップと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定するステップと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定するステップと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別するステップと
を備える、方法。
【請求項１５】
前記複数の特徴点が、第1の特徴点、第2の特徴点、第3の特徴点、第4の特徴点、および第5の特徴点を含み、
前記第1の特徴点および前記第2の特徴点が、前記顔情報に関連付けられた垂直中心線に対して対称であり、
前記第4の特徴点および前記第5の特徴点が、前記顔情報に関連付けられた前記垂直中心線に対して対称であり、
前記第3の特徴点が、前記顔情報に関連付けられた前記垂直中心線上にある、
請求項14に記載の方法。
【請求項１６】
前記第1の特徴点が左目の中心点であり、
前記第2の特徴点が右目の中心点であり、
前記第3の特徴点が鼻の先端点であり、
前記第4の特徴点が唇の左端点であり、
前記第5の特徴点が唇の右端点である、
請求項15に記載の方法。
【請求項１７】
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて前記第1の面積および前記第2の面積を決定するステップが、
前記第1の特徴点、前記第3の特徴点、および前記第4の特徴点に基づいて前記第1の面積を決定するステップと、
前記第2の特徴点、前記第3の特徴点、および前記第5の特徴点に基づいて前記第2の面積を決定するステップと
を備える、請求項15または請求項16に記載の方法。
【請求項１８】
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の前記非対称パラメータを決定するステップが、
前記第2の面積に対する前記第1の面積の第1の比率を決定するステップと、
前記第1の面積に対する前記第2の面積の第2の比率を決定するステップと、
前記第1の比率および前記第2の比率のうちの大きい方を前記非対称パラメータとして決定するステップと
を備える、請求項14から17のいずれか一項に記載の方法。
【請求項１９】
前記オブジェクトの前記顔情報に関連付けられた前記複数の連続するターゲット画像フレームを取得するステップが、
前記オブジェクトの前記顔情報に関連付けられた複数の連続する候補画像フレームを取得するステップであって、前記連続する候補画像フレームの各々について、前記第3の特徴点が、前記第1の特徴点、前記第2の特徴点、前記第4の特徴点、および前記第5の特徴点に基づいて決定された四角形内にある、ステップと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの開始画像フレームを識別するステップであって、前記開始画像フレームに対応する前記非対称パラメータが、最小非対称比率しきい値より小さい、ステップと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの最終画像フレームを識別するステップであって、前記最終画像フレームに対応する前記非対称パラメータが、前記最小非対称比率しきい値より小さい、ステップと
を備える、請求項15から17のいずれか一項に記載の方法。
【請求項２０】
前記非対称パラメータが前記事前設定された条件を満たすことに応答して、前記首振り動作を識別するステップが、
前記複数の連続するターゲット画像フレームから最大非対称パラメータを有する中間画像フレームを識別するステップと、
前記開始画像フレームから前記中間画像フレームまでの連続するターゲット画像フレームの第1の数のカウント、および前記中間画像フレームから前記終了画像フレームまでの連続するターゲット画像フレームの第2の数のカウントを決定するステップと、
前記複数の連続するターゲット画像フレームの中の前記第3の特徴点を整合させることにより、推定線を決定するステップと、
前記中間画像フレームの前記非対称パラメータが最大非対称比率しきい値より大きく、前記第1の数カウントが第1の数カウントしきい値より大きく、前記第2の数カウントが第2の数カウントしきい値より大きく、前記推定線と水平線との間の角度が角度しきい値より小さいことに応答して、前記首振り動作を識別するステップと
を備える、請求項19に記載の方法。
【請求項２１】
前記最小非対称比率しきい値が1．01〜1．02である、請求項20に記載の方法。
【請求項２２】
前記最大非対称比率しきい値が1．2〜1．3である、請求項20または請求項21に記載の方法。
【請求項２３】
前記第1の数カウントしきい値が2〜10であり、第2の数カウントしきい値が2〜10である、請求項20から22のいずれか一項に記載の方法。
【請求項２４】
前記角度しきい値が5°〜20°である、請求項20から23のいずれか一項に記載の方法。
【請求項２５】
前記方法が、
前記首振り動作の前記識別に応答して、前記オブジェクトに関連付けられた端末デバイスに認証を提供するステップ
をさらに備える、請求項14から24のいずれか一項に記載の方法。
【請求項２６】
前記方法が、
カメラによって提供されるビデオデータから前記複数の連続するターゲット画像フレームを取得するステップ
をさらに備える、請求項14から25のいずれか一項に記載の方法。
【請求項２７】
少なくとも1つのプロセッサによって実行されると、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得するステップであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、ステップと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定するステップと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定するステップと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別するステップと
を備える方法を前記少なくとも1つのプロセッサに実施させる、動作認識のための少なくとも1組の命令を備える、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、動作認識のためのシステムおよび方法に関し、詳細には、顔の特徴点に基づく首振り動作(shaking action)認識のためのシステムおよび方法に関する。
【背景技術】
【０００２】
動作認識（たとえば、首振り動作認識）に基づく生体検出は、多くのシナリオ（たとえば、システムログイン、身元認証、およびヒューマンコンピュータインタラクション）でますます重要になっている。「システムログイン」を例にとると、ユーザが顔認識を介してシステムにログインしようとするとき、「ユーザ」が偽物（たとえば、写真）ではなく生体であることを確認する必要があり得る。現在の首振り動作認識では、主にマイクロソフトのKinectで3次元情報が取得され、次いで、カテゴリベースの機械学習に隠れマルコフモデルが使用される。システムは、高い計算能力を必要とする複雑なアルゴリズムを伴い、システム負荷が重くなり、リアルタイムのニーズを満たすことができない。したがって、ユーザの動作を識別するために必要とする計算能力がより低い、効率的で迅速なシステムおよび方法を提供することが望ましい。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の一態様は、動作認識のためのシステムに関する。システムは、1組の命令を含む少なくとも1つの記憶媒体、および少なくとも1つの記憶媒体と通信している少なくとも1つのプロセッサを含んでよい。少なくとも1つのプロセッサが1組の命令を実行するとき、少なくとも1つのプロセッサは、以下の動作のうちの1つまたは複数をシステムに実行させるように指示されてよい。少なくとも1つのプロセッサは、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームの各々は、顔情報に関連付けられた複数の特徴点を含んでよい。少なくとも1つのプロセッサは、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。少なくとも1つのプロセッサは、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することができる。少なくとも1つのプロセッサは、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することができる。
【０００４】
本開示の別の態様は、少なくとも1つのプロセッサ、少なくとも1つのストレージデバイス、およびネットワークに接続された通信プラットフォームを有するコンピューティングデバイス上で実施される動作認識のための方法に関する。方法は、以下の動作のうちの1つまたは複数を含んでよい。少なくとも1つのプロセッサは、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームの各々は、顔情報に関連付けられた複数の特徴点を含んでよい。少なくとも1つのプロセッサは、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。少なくとも1つのプロセッサは、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することができる。少なくとも1つのプロセッサは、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することができる。
【０００５】
本開示のさらなる態様は、動作認識のための少なくとも1組の命令を備える非一時的コンピュータ可読媒体に関する。少なくとも1組の命令が少なくとも1つのプロセッサによって実行されるとき、少なくとも1組の命令は、少なくとも1つのプロセッサに方法を実施させることができる。方法は、以下の動作のうちの1つまたは複数を含んでよい。少なくとも1つのプロセッサは、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームの各々は、顔情報に関連付けられた複数の特徴点を含んでよい。少なくとも1つのプロセッサは、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。少なくとも1つのプロセッサは、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することができる。少なくとも1つのプロセッサは、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することができる。
【０００６】
いくつかの実施形態では、複数の特徴点は、第1の特徴点、第2の特徴点、第3の特徴点、第4の特徴点、および第5の特徴点を含んでよい。いくつかの実施形態では、第1の特徴点および第2の特徴点は、顔情報に関連付けられた垂直中心線に対して対称であってよく、第4の特徴点および第5の特徴点は、顔情報に関連付けられた垂直中心線に対して対称であってよく、第3の特徴点は、顔情報に関連付けられた垂直中心線上にあってよい。
【０００７】
いくつかの実施形態では、第1の特徴点は左目の中心点であってよく、第2の特徴点は右目の中心点であってよく、第3の特徴点は鼻の先端点であってよく、第4の特徴点は唇の左端点であってよく、第5の特徴点は唇の右端点であってよい。
【０００８】
いくつかの実施形態では、少なくとも1つのプロセッサは、第1の特徴点、第3の特徴点、および第4の特徴点に基づいて第1の面積を決定することができる。少なくとも1つのプロセッサは、第2の特徴点、第3の特徴点、および第5の特徴点に基づいて第2の面積を決定することができる。
【０００９】
いくつかの実施形態では、少なくとも1つのプロセッサは、第2の面積に対する第1の面積の第1の比率を決定することができる。少なくとも1つのプロセッサは、第1の面積に対する第2の面積の第2の比率を決定することができる。少なくとも1つのプロセッサは、第1の比率および第2の比率のうちの大きい方を非対称パラメータとして決定することができる。
【００１０】
いくつかの実施形態では、少なくとも1つのプロセッサは、オブジェクトの顔情報に関連付けられた複数の連続する候補画像フレームを取得することができ、連続する候補画像フレームの各々について、第3の特徴点は、第1の特徴点、第2の特徴点、第4の特徴点、および第5の特徴点に基づいて決定された四角形内にある。少なくとも1つのプロセッサは、複数の連続する候補画像フレームから複数の連続するターゲット画像フレームの開始画像フレームを識別することができ、開始画像フレームに対応する非対称パラメータは、最小非対称比率しきい値より小さい。少なくとも1つのプロセッサは、複数の連続する候補画像フレームから複数の連続するターゲット画像フレームの終了画像フレームを識別することができ、終了画像フレームに対応する非対称パラメータは、最小非対称比率しきい値より小さい。
【００１１】
いくつかの実施形態では、少なくとも1つのプロセッサは、複数の連続するターゲット画像フレームから最大非対称パラメータを有する中間画像フレームを識別することができる。少なくとも1つのプロセッサは、開始画像フレームから中間画像フレームまでの連続するターゲット画像フレームの第1の数カウント、および中間画像フレームから終了画像フレームまでの連続するターゲット画像フレームの第2の数カウントを決定することができる。少なくとも1つのプロセッサは、複数の連続するターゲット画像フレームの中の第3の特徴点を適合させることにより、推定線を決定することができる。少なくとも1つのプロセッサは、中間画像フレームの非対称パラメータが最大非対称比率しきい値より大きく、第1の数カウントが第1の数カウントしきい値より大きく、第2の数カウントが第2の数カウントしきい値より大きく、推定線と水平線との間の角度が角度しきい値より小さいことに応答して、首振り動作を識別することができる。
【００１２】
いくつかの実施形態では、最小非対称比率しきい値は1．01〜1．02であってよい。
【００１３】
いくつかの実施形態では、最大非対称比率しきい値は1．2〜1．3であってよい。
【００１４】
いくつかの実施形態では、第1の数カウントしきい値は2〜10であってよく、第2の数カウントしきい値は2〜10であってよい。
【００１５】
いくつかの実施形態では、角度しきい値は5°〜20°であってよい。
【００１６】
いくつかの実施形態では、少なくとも1つのプロセッサは、首振り動作の識別に応答して、オブジェクトに関連付けられた端末デバイスに認証を提供することができる。
【００１７】
いくつかの実施形態では、システムはカメラをさらに含んでよく、カメラはビデオデータを提供するように構成されてよく、ビデオデータから複数の連続するターゲット画像フレームが取得されてよい。
【００１８】
いくつかの実施形態では、少なくとも1つのプロセッサは、カメラによって提供されるビデオデータから複数のターゲット画像フレームを取得することができる。
【００１９】
さらなる特徴は、一部は以下の説明に記載され、一部は以下および添付の図面を検討すると当業者に明らかになり、または例の提示もしくは動作によって知られてよい。本開示の特徴は、以下で説明される詳細な例に示される方法、手段、および組合せの様々な態様の実践または使用によって実現および達成されてよい。
【００２０】
本開示は、例示的な実施形態に関してさらに記載される。これらの例示的な実施形態は、図面を参照して詳細に記載される。図面は縮尺通りではない。これらの実施形態は非限定的な概略実施形態であり、図面のいくつかの図の全体を通して、同様の参照番号は同様の構造を表す。
【図面の簡単な説明】
【００２１】
【図１】本開示のいくつかの実施形態による、例示的な動作認識システムを示す概略図である。
【図２】本開示のいくつかの実施形態による、コンピューティングデバイスの例示的なハードウェアおよび／またはソフトウェア構成要素を示す概略図である。
【図３】本開示のいくつかの実施形態による、モバイルデバイスの例示的なハードウェアおよび／またはソフトウェア構成要素を示す概略図である。
【図４】本開示のいくつかの実施形態による、例示的な処理エンジンを示すブロック図である。
【図５】本開示のいくつかの実施形態による、首振り動作を識別するための例示的なプロセスを示すフローチャートである。
【図６−Ａ】本開示のいくつかの実施形態による、顔の上の例示的な特徴点を示す概略図である。
【図６−Ｂ】本開示のいくつかの実施形態による、特徴点に基づいて決定された例示的な第1の面積および例示的な第2の面積を示す概略図である。
【図７】本開示のいくつかの実施形態による、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを決定するための例示的なプロセスを示すフローチャートである。
【図８】本開示のいくつかの実施形態による、首振り動作を識別するための例示的なプロセスを示すフローチャートである。
【図９】本開示のいくつかの実施形態による、首振り動作中の非対称パラメータの変動プロセスを示す例示的な曲線を示す概略図である。
【発明を実施するための形態】
【００２２】
以下の説明は、当業者が本開示を作成および使用することを可能にするために提示され、特定の用途およびその要件の文脈で提供される。開示された実施形態に対する様々な修正は当業者には容易に明らかであり、本明細書で定義された一般原理は、本開示の趣旨および範囲から逸脱することなく、他の実施形態および用途に適用されてよい。したがって、本開示は示された実施形態に限定されず、特許請求の範囲と一致する最も広い範囲が与えられるべきである。
【００２３】
本明細書で使用される用語は、特定の例示的な実施形態を記載することのみを目的としており、限定するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数形も含むものであってよい。本明細書で使用されるとき、「備える（comprise）」、「備える（comprises）」、および／または「備える（comprising）」、「含む（include）」、「含む（includes）」、および／または「含む（including）」という用語は、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【００２４】
本開示の上記その他の特徴、および特性、ならびに構造の関連する要素の動作および機能の方法、ならびに部品の組合せおよび製造の経済性は、それらのすべてが本開示の一部を形成する添付の図面を参照して以下の説明を考慮するとより明白になり得る。しかしながら、図面は例示および説明のみを目的としており、本開示の範囲を限定するものではないことを明確に理解されたい。図面は縮尺通りではないことが理解される。
【００２５】
本開示で使用されるフローチャートは、本開示のいくつかの実施形態に従ってシステムが実施する動作を示す。明確に理解されるべきことであるが、フローチャートの動作は順不同で実施されてよい。逆に、動作は逆の順序で、または同時に実施されてよい。さらに、フローチャートに1つまたは複数の他の動作が追加されてよい。フローチャートから1つまたは複数の動作が削除されてよい。
【００２６】
さらに、本開示で開示されるシステムおよび方法は、主に首振り動作の識別に関して記載されるが、これは1つの例示的な実施形態にすぎないことも理解されたい。本開示のシステムおよび方法は、任意の他の種類の動作認識に適用されてよい。たとえば、本開示のシステムおよび方法は、目の動き、まばたき動作、うなずき動作、頭を上げる動作、口を開く動作など、またはそれらの任意の組合せを含む他の動作認識に適用されてよい。動作認識システムは、システムログイン、身元認証、ヒューマンコンピュータインタラクション（HCl）などの多くのアプリケーションシナリオにおいて適用されてよい。本開示のシステムおよび方法のアプリケーションには、ウェブページ、ブラウザのプラグイン、クライアント端末、カスタムシステム、内部分析システム、人工知能ロボットなど、またはそれらの任意の組合せが含まれてよい。
【００２７】
本開示における「オブジェクト」、「人間」、または「ユーザ」という用語は、その動作が識別されるべき生体を指すために互換的に使用される。また、本開示における「画像フレーム」、「画像」、「候補画像フレーム」、および「ターゲット画像フレーム」という用語は、カメラデバイスによってキャプチャされたビデオデータまたは画像内のフレームを指すために使用される。本開示における「カメラ」、「カメラデバイス」、および「キャプチャデバイス」という用語は、ビデオデータまたは画像データをキャプチャすることができるデバイスを指すために互換的に使用されてよい。
【００２８】
本開示の一態様は、動作認識（たとえば、生体検出における動作認識）のためのシステムおよび方法に関する。首振り動作を例にとると、首振り動作中に、オブジェクトの顔の左側に関連付けられた面積および顔の右側に関連付けられた面積は、動的に変化する可能性がある。したがって、左側および右側に関連付けられた非対称パラメータも、首振り動作中に動的に変化する可能性がある。本開示のシステムおよび方法は、非対称パラメータの変化に基づいて首振り動作を識別することができる。たとえば、システムおよび方法は、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームの各々は、顔情報に関連付けられた複数の特徴点を含む。複数の連続するターゲット画像フレームの各々について、システムおよび方法は、複数の特徴点に基づいて左側に関連付けられた第1の面積および右側に関連付けられた第2の面積を決定し、第1の面積および第2の面積に基づいて非対称パラメータを決定するさらに、システムおよび方法は、複数の連続するターゲット画像フレームの非対称パラメータに基づいて、首振り動作を識別することができる。
【００２９】
図1は、本開示のいくつかの実施形態による、例示的な動作認識システムを示す概略図である。たとえば、動作認識システム100は、オブジェクト（たとえば、人間）の顔情報に基づく首振り動作の識別のためのオンライン動作認識プラットフォームであってよい。
【００３０】
いくつかの実施形態では、動作認識システム100は、ヒューマンコンピュータインタラクション（HCI）、システムログイン、身元認証など、またはそれらの任意の組合せなどの様々なアプリケーションシナリオにおいて使用されてよい。HCIのアプリケーションシナリオでは、動作認識システム100は、動作の識別に応答して、命令を実行してユーザによって定義された動作を実行することができる。たとえば、ユーザの顔情報を抽出し、ユーザの動作（たとえば、首振り動作）を識別した後、動作認識システム100は、命令を実行して、電子書籍のページをめくる、ビデオチャット中のアニメーション効果を追加する、動作を実行する（たとえば、床をモップがけする）ようにロボットを制御する、サービス（たとえば、タクシーを呼び止めるサービス）を要求するなどの定義された動作を実行することができる。システムログインのアプリケーションシナリオ（たとえば、銀行システム、オンライン検査システム、セキュリティおよび保護システム）では、ユーザの顔情報を抽出し、ユーザの動作（たとえば、首振り動作）を識別した後、動作認識システム100は、ログイン許可を決定し、ユーザに関連付けられたユーザアカウントがシステムにログインすることを可能にすることができる。身元認証のアプリケーションシナリオでは、ユーザの顔情報を抽出し、ユーザの動作（たとえば、首振り動作）を識別した後、動作認識システム100はユーザの身元を特定し、アカウント（たとえば、端末デバイス、支払いアカウント、会員アカウント）、または機密の場所（たとえば、会社、図書館、病院、アパート）への入場許可を提供することができる。
【００３１】
いくつかの実施形態では、動作認識システム100は、サーバ110、ネットワーク120、カメラデバイス130、ユーザ端末140、およびストレージ150を含むオンラインプラットフォームであってよい。
【００３２】
サーバ110は、単一のサーバまたはサーバグループであってよい。サーバグループは、集中型または分散型であってよい（たとえば、サーバ110は分散システムであってよい）。いくつかの実施形態では、サーバ110はローカルまたはリモートであってよい。たとえば、サーバ110は、ネットワーク120を介して、カメラデバイス130、ユーザ端末140、および／またはストレージ150に記憶された情報および／またはデータにアクセスすることができる。別の例として、サーバ110は、記憶された情報および／またはデータにアクセスするために、カメラデバイス130、ユーザ端末140、および／またはストレージ150に直接接続されてよい。いくつかの実施形態では、サーバ110は、クラウドプラットフォーム上に実装されてよい。単なる例として、クラウドプラットフォームには、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組合せが含まれてよい。いくつかの実施形態では、サーバ110は、本開示の図2に示された1つまたは複数の構成要素を有するコンピューティングデバイス200上に実装されてよい。
【００３３】
いくつかの実施形態では、サーバ110は処理エンジン112を含んでよい。処理エンジン112は、動作認識に関する情報および／またはデータを処理して、本開示に記載された1つまたは複数の機能を実行することができる。たとえば、処理エンジン112は、オブジェクト（たとえば、オブジェクト160）の顔情報に関連付けられた複数の連続するターゲット画像フレームに基づいて、首振り動作を識別することができる。いくつかの実施形態では、処理エンジン112は、1つまたは複数の処理エンジン（たとえば、シングルコア処理エンジンまたはマルチコアプロセッサ）を含んでよい。単なる例として、処理エンジン112には、中央処理装置（CPU）、特定用途向け集積回路（ASIC）、特定用途向け命令セットプロセッサ（ASIP）、グラフィックス処理装置（GPU）、物理処理装置（PPU）、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、プログラマブルロジックデバイス（PLD）、コントローラ、マイクロコントローラユニット、縮小命令集合コンピュータ（RISC）、マイクロプロセッサなど、またはそれらの任意の組合せなどの、1つまたは複数のハードウェアプロセッサが含まれてよい。
【００３４】
いくつかの実施形態では、サーバ110は不必要であってよく、サーバ110の機能のすべてまたは一部は、動作認識システム100の他の構成要素（たとえば、カメラデバイス130、ユーザ端末140）によって実装されてよい。たとえば、処理エンジン112は、カメラデバイス130またはユーザ端末140に統合されてよく、処理エンジン112の機能（たとえば、オブジェクトの顔情報に関連付けられた画像フレームに基づくオブジェクトの動作の識別）は、カメラデバイス130またはユーザ端末140によって実装されてよい。
【００３５】
ネットワーク120は、情報および／またはデータの交換を容易にすることができる。いくつかの実施形態では、動作認識システム100の1つまたは複数の構成要素（たとえば、サーバ110、カメラデバイス130、ユーザ端末140、ストレージ150）は、ネットワーク120を介して動作認識システム100の他の構成要素と情報および／またはデータを交換することができる。たとえば、サーバ110は、ネットワーク120を介してカメラデバイス130から情報および／またはデータ（たとえば、画像フレーム）を取得することができる。いくつかの実施形態では、ネットワーク120は、任意のタイプの有線もしくはワイヤレスのネットワーク、またはそれらの組合せであってよい。単なる例として、ネットワーク130には、ケーブルネットワーク、有線ネットワーク、光ファイバネットワーク、電気通信ネットワーク、イントラネット、インターネット、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、ワイヤレスローカルエリアネットワーク（WLAN）、メトロポリタンエリアネットワーク（MAN）、公衆電話交換網（PSTN）、Bluetooth(登録商標)ネットワーク、ZigBee(登録商標)ネットワーク、近距離無線通信（NFC）ネットワークなど、またはそれらの任意の組合せが含まれてよい。いくつかの実施形態では、ネットワーク120は、1つまたは複数のネットワークアクセスポイントを含んでよい。たとえば、ネットワーク120は、基地局および／またはインターネット交換ポイント120−1、120−2、．．．などの有線またはワイヤレスのネットワークアクセスポイントを含んでよく、それらを介して、動作認識システム100の1つまたは複数の構成要素は、データおよび／または情報を交換するためにネットワーク120に接続されてよい。
【００３６】
カメラデバイス130は、オブジェクトに関連付けられた画像データまたはビデオデータをキャプチャすることができる。たとえば、カメラデバイス130は、オブジェクトの顔情報に関連付けられた複数の画像フレームを含むビデオをキャプチャすることができる。いくつかの実施形態では、カメラデバイス130は、白黒カメラ、カラーカメラ、赤外線カメラ、X線カメラなどを含んでよい。いくつかの実施形態では、カメラデバイス130は、単眼カメラ、双眼カメラ、マルチカメラなどを含んでよい。いくつかの実施形態では、カメラデバイス130は、カメラを含むか、またはカメラに接続されたスマートデバイスであってよい。スマートデバイスは、スマートホームデバイス（たとえば、スマート照明デバイス、スマートテレビ）、インテリジェントロボット（たとえば、掃除ロボット、モップロボット、チャットロボット、産業ロボット）などを含んでよい。いくつかの実施形態では、カメラデバイス130は監視カメラであってよい。監視カメラは、ワイヤレスカラーカメラ、微光カメラ、耐衝撃性防犯カメラ、バレットカメラ、ピンホールカメラ、隠しスパイカメラ、固定ボックスカメラなど、またはそれらの任意の組合せを含んでよい。いくつかの実施形態では、カメラデバイス130は、ネットワーク120を介して動作認識システム100の任意の構成要素（たとえば、サーバ110、ユーザ端末140、ストレージ150）に、キャプチャされた画像データまたはビデオデータを送信することができるIPカメラであってよい。
【００３７】
いくつかの実施形態では、カメラデバイス130は、キャプチャされた画像フレームに基づいて、オブジェクトの動作を別々に識別することができる。いくつかの実施形態では、カメラデバイス130は、さらに処理されるために、キャプチャされた画像フレームをサーバ110またはユーザ端末140に送信することができる。いくつかの実施形態では、カメラデバイス130は、記憶されるために、キャプチャされた画像フレームをストレージ150に送信することができる。いくつかの実施形態では、カメラデバイス130はユーザ端末140に統合されてよい。たとえば、カメラデバイス130は、携帯電話のカメラ、コンピュータのカメラなどの、ユーザ端末140の一部であってよい。
【００３８】
いくつかの実施形態では、ユーザ端末140は、モバイルデバイス、タブレットコンピュータ、ラップトップコンピュータなど、またはそれらの任意の組合せを含んでよい。いくつかの実施形態では、モバイルデバイスは、ウェアラブルデバイス、スマートモバイルデバイス、仮想現実デバイス、拡張現実デバイスなど、またはそれらの任意の組合せを含んでよい。いくつかの実施形態では、ウェアラブルデバイスは、スマートブレスレット、スマートフットギア、スマートグラス、スマートヘルメット、スマートウォッチ、スマート衣類、スマートバックパック、スマートアクセサリなど、またはそれらの任意の組合せを含んでよい。いくつかの実施形態では、スマートモバイルデバイスは、携帯電話、携帯情報端末（PDA）、ゲームデバイス、ナビゲーションデバイス、販売時点情報管理（POS）デバイスなど、またはそれらの任意の組合せを含んでよい。いくつかの実施形態では、仮想現実デバイスおよび／または拡張現実デバイスは、仮想現実ヘルメット、仮想現実グラス、仮想現実パッチ、拡張現実ヘルメット、拡張現実グラス、拡張現実パッチなど、またはそれらの任意の組合せを含んでよい。たとえば、仮想現実デバイスおよび／または拡張現実デバイスは、Google Glass（登録商標）、RiftCon（登録商標）、Fragments（登録商標）、Gear VR（登録商標）などを含んでよい。
【００３９】
いくつかの実施形態では、ユーザ端末140は、直接またはネットワーク120を介して、動作認識システム100の他の構成要素（たとえば、サーバ110、カメラデバイス130、ストレージ150）と情報および／またはデータを交換することができる。たとえば、ユーザ端末140は、カメラデバイス130またはストレージ150から画像フレームを取得して、画像フレームに基づいてオブジェクトの動作を識別することができる。別の例として、ユーザ端末140は、サーバ110からメッセージ（たとえば、認証）を受信することができる。
【００４０】
ストレージ150は、データおよび／または命令を記憶することができる。いくつかの実施形態では、ストレージ150は、カメラデバイス130および／またはユーザ端末140から取得されたデータを記憶することができる。いくつかの実施形態では、ストレージ150は、本開示に記載された例示的な方法を実行するためにサーバ110が実行または使用することができる、データおよび／または命令を記憶することができる。いくつかの実施形態では、ストレージ150は、大容量ストレージ、リムーバルストレージ、揮発性読取りおよび書込みメモリ、読取り専用メモリ（ROM）など、またはそれらの任意の組合せを含んでよい。例示的な大容量ストレージには、磁気ディスク、光ディスク、ソリッドステートドライブなどが含まれてよい。例示的なリムーバブルストレージには、フラッシュドライブ、フロッピー(登録商標)ディスク、光ディスク、メモリカード、ジップディスク、磁気テープなどが含まれてよい。例示的な揮発性読取りおよび書込みメモリには、ランダムアクセスメモリ（RAM）が含まれてよい。例示的なRAMには、ダイナミックRAM（DRAM）、ダブルデータレート同期ダイナミックRAM（DDR SDRAM）、スタティックRAM（SRAM）、サイリスタRAM（T−RAM）、およびゼロコンデンサRAM（Z−RAM）などが含まれてよい。例示的なROMには、マスクROM（MROM）、プログラマブルROM（PROM）、消去可能プログラマブルROM（EPROM）、電気的消去可能プログラマブルROM（EEPROM）、コンパクトディスクROM（CD−ROM）、およびデジタル多用途ディスクROMなどが含まれてよい。いくつかの実施形態では、ストレージ150は、クラウドプラットフォーム上に実装されてよい。単なる例として、クラウドプラットフォームには、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組合せが含まれてよい。
【００４１】
いくつかの実施形態では、ストレージ150は、動作認識システム100の1つまたは複数の構成要素（たとえば、サーバ110、カメラデバイス130、ユーザ端末140など）と通信するためにネットワーク120に接続されてよい。動作認識システム100の1つまたは複数の構成要素は、ネットワーク120を介してストレージ150に記憶されたデータまたは命令にアクセスすることができる。いくつかの実施形態では、ストレージ150は、動作認識システム100の1つまたは複数の構成要素（たとえば、サーバ110、カメラデバイス130、ユーザ端末140など）に直接接続されるか、またはそれらと通信することができる。いくつかの実施形態では、ストレージ150はサーバ110の一部であってよい。
【００４２】
いくつかの実施形態では、動作認識システム100の1つまたは複数の構成要素（たとえば、サーバ110、カメラデバイス130、ユーザ端末140）は、ストレージ150にアクセスする許可を有してよい。たとえば、ユーザ端末140は、ストレージ150からの情報／データ（たとえば、オブジェクトの顔情報に関連付けられた画像フレーム）にアクセスすることができる。
【００４３】
この説明は例示的なものであり、本開示の範囲を限定するものではない。多くの代替、修正、および変形が当業者には明らかであろう。本明細書に記載された例示的な実施形態の特徴、構造、方法、および他の特性は、追加および／または代替の例示的な実施形態を取得するために様々な方法で組み合わされてよい。たとえば、ストレージ150は、パブリッククラウド、プライベートクラウド、コミュニティクラウド、およびハイブリッドクラウドなどのクラウドコンピューティングプラットフォームを含むデータストレージであってよい。しかしながら、それらの変形および修正は本開示の範囲から逸脱しない。
【００４４】
図2は、サーバ110、カメラデバイス130、および／またはユーザ端末140が本開示のいくつかの実施形態に従って実装され得る、コンピューティングデバイス200の例示的なハードウェアおよび／またはソフトウェア構成要素を示す概略図である。たとえば、処理エンジン112は、コンピューティングデバイス200上に実装され、本開示で開示された処理エンジン112の機能を実行するように構成されてよい。
【００４５】
コンピューティングデバイス200は、本明細書に記載された動作認識システム100の任意の構成要素を実装するために使用されてよい。たとえば、処理エンジン112は、そのハードウェア、ソフトウェアプログラム、ファームウェア、またはそれらの組合せを介して、コンピューティングデバイス上に実装されてよい。そのようなコンピュータは1つしか示されていないが、便宜上、本明細書に記載された動作認識サービスに関するコンピュータ機能は、処理負荷を分散するために、いくつかの類似するプラットフォーム上で分散して実装されてよい。
【００４６】
コンピューティングデバイス200は、たとえば、データ通信を容易にするためにネットワークに接続され、かつ／またはネットワークからそれに接続されたCOMポート250を含んでよい。コンピューティングデバイス200は、プログラム命令を実行するための、1つまたは複数のプロセッサ（たとえば、論理回路）の形態のプロセッサ（たとえば、プロセッサ220）も含んでよい。たとえば、プロセッサは、その中にインターフェース回路および処理回路を含んでよい。インターフェース回路は、バス210から電子信号を受信するように構成されてよく、電子信号は、処理回路が処理するための構造化されたデータおよび／または命令を符号化する。処理回路は、論理計算を行い、次いで、電子信号として符号化された結論、結果、および／または命令を決定することができる。次いで、インターフェース回路は、バス210を介して処理回路から電子信号を送出することができる。
【００４７】
コンピューティングデバイス200は、様々なデータファイルがコンピュータによって処理および／または送信されるために、様々な形態のプログラムストレージおよびデータストレージ、たとえば、ディスク270、および読取り専用メモリ（ROM）230、またはランダムアクセスメモリ（RAM）240をさらに含んでよい。コンピューティングデバイス200は、プロセッサ220によって実行されるために、ROM230、RAM240、および／または他のタイプの非一時的記憶媒体に記憶されたプログラム命令も含んでよい。本開示の方法および／またはプロセスは、プログラム命令として実装されてよい。コンピュータデバイス200は、コンピュータと他の構成要素との間の入出力をサポートするI／O構成要素260も含む。コンピューティングデバイス200は、ネットワーク通信を介してプログラミングおよびデータを受信することもできる。
【００４８】
単なる例示のために、コンピューティングデバイス200には、1つのCPUおよび／またはプロセッサのみが記載されている。しかしながら、本開示のコンピューティングデバイス200はまた、複数のCPUおよび／またはプロセッサを含んでよく、したがって、本開示に記載された1つのCPUおよび／またはプロセッサによって実行される動作および／または方法ステップも、複数のCPUおよび／またはプロセッサによって一緒または個別に実行されてよいことに留意されたい。たとえば、本開示において、コンピューティングデバイス200のCPUおよび／またはプロセッサがステップAとステップBの両方を実行する場合、ステップAおよびステップBは、コンピューティングデバイス200において一緒または個別に2つの異なるCPUおよび／またはプロセッサによって実行されてもよい（たとえば、第1のプロセッサがステップAを実行し、第2のプロセッサがステップBを実行するか、または第1および第2のプロセッサがステップAおよびBを一緒に実行する）ことを理解されたい。
【００４９】
図3は、カメラデバイス130、ユーザ端末140、またはカメラデバイス130もしくはユーザ端末140の一部が本開示のいくつかの実施形態に従って実装され得る、モバイルデバイス300の例示的なハードウェアおよび／またはソフトウェア構成要素を示す概略図である。図3に示されたように、モバイルデバイス300は、通信モジュール310、ディスプレイ320、グラフィック処理装置（GPU）330、中央処理装置（CPU）340、I／O350、メモリ360、およびストレージ390を含んでよい。CPU340は、プロセッサ220と同様のインターフェース回路および処理回路を含んでよい。いくつかの実施形態では、システムバスまたはコントローラ（図示せず）を含むがそれらに限定されない任意の他の適切な構成要素も、モバイルデバイス300に含まれてよい。
【００５０】
いくつかの実施形態では、モバイルオペレーティングシステム370（たとえば、iOSTM、Android（登録商標）、Windows Phone（登録商標）など）および1つまたは複数のアプリケーション380は、CPU340によって実行されるために、ストレージ390からメモリ360にロードされてよい。アプリケーション380は、モバイルデバイス300上の動作認識システム100から情報を受信しレンダリングするためのブラウザまたは任意の他の適切なモバイルアプリを含んでよい。情報ストリームとのユーザ対話は、I／Oデバイス350を介して実現され、ネットワーク120を介して動作認識システム100の処理エンジン112および／または他の構成要素に提供されてよい。
【００５１】
本開示に記載された様々なモジュール、ユニット、およびそれらの機能を実装するために、本明細書に記載された要素のうちの1つまたは複数のためのハードウェアプラットフォームとして、コンピュータハードウェアプラットフォームが使用されてよい。ユーザインターフェース要素を有するコンピュータは、パーソナルコンピュータ（PC）または任意の他のタイプのワークステーションもしくは端末デバイスを実装するために使用されてよい。コンピュータは、適切にプログラムされている場合、システムとして機能することもできる。
【００５２】
図4は、本開示のいくつかの実施形態による、例示的な処理エンジンを示すブロック図である。処理エンジン112は、取得モジュール410、面積決定モジュール420、非対称パラメータ決定モジュール430、および動作識別モジュール440を含んでよい。
【００５３】
取得モジュール410は、オブジェクト（たとえば、人間、動物）の顔情報に関連付けられた複数の連続するターゲット画像フレームを取得するように構成されてよい。取得モジュール410は、本開示の他の箇所に開示されたカメラデバイス130、ユーザ端末140、またはストレージデバイス（たとえば、ストレージ150）から複数の連続するターゲット画像フレームを取得することができる。
【００５４】
本明細書で使用される「画像フレーム」は、ビデオ内のフレームを指すことができ、「連続する」は、画像フレームがビデオ内のシーケンスに沿って順序付けられることを指すことができる。たとえば、カメラデバイス130は、時系列にビデオをキャプチャすることができる。ビデオは、それぞれ複数のキャプチャ時点に対応する複数の画像フレームを含む。したがって、画像フレームは、キャプチャ時点に基づいて時系列に順序付けられる。
【００５５】
いくつかの実施形態では、複数の連続するターゲット画像フレームの各々は、オブジェクトの顔情報に関連付けられた複数の特徴点を含んでよい。オブジェクトの顔情報は、顔器官の幾何学的情報（たとえば、位置、サイズ、形状）、色情報（たとえば、肌の色）、明るさ情報などを含んでよい。顔器官には、額、眉、目、鼻、唇、耳、あごなどが含まれてよい。本明細書で使用される、顔情報に関連付けられた「特徴点」は、認識可能な顔に位置する点、たとえば、目の端の点、眉の上の点、鼻の上の点などを指すことができる。いくつかの実施形態では、取得モジュール410は、顔の特徴点抽出方法に基づいて複数の特徴点を抽出することができる。顔の特徴点抽出方法は、アクティブな形状モデルベースの方法、アクティブな外観モデルベースの方法、回帰分析ベースの方法、深層学習ベースの方法、分類子ベースの方法など、またはそれらの任意の組合せを含んでよい。
【００５６】
面積決定モジュール420は、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定するように構成されてよい。本明細書で使用されるように、第1の面積は、顔の左側に関連付けられた領域に対応することができ、第2の面積は、顔の右側に関連付けられた領域に対応することができる。本明細書での領域は、任意の形状（たとえば、三角形、長方形、多角形、不規則な形状）の領域であってよい。
【００５７】
非対称パラメータ決定モジュール430は、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定するように構成されてよい。本明細書で使用される「非対称パラメータ」は、顔の左側と顔の右側との間の非対称性を示すパラメータを指すことができる。上述されたように、第1の面積および第2の面積は、それぞれ、左側に関連付けられた領域および右側に関連付けられた領域に対応するので、第1の面積および第2の面積に関連付けられた比率は、左側と右側と間の非対称性を示すことができる。
【００５８】
動作識別モジュール440は、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別するように構成されてよい。首振り動作中、オブジェクトの顔が首振り動作とともに動くことが知られている。したがって、顔の左側に関連付けられた第1の面積および顔の右側に関連付けられた第2の面積は、首振り動作中に複数の連続するターゲット画像フレーム内で動的に変化する。したがって、左側と右側との間の非対称性を示す非対称パラメータは、首振り動作中に動的に変化する。したがって、動作識別モジュール440は、非対称パラメータに基づいて首振り動作を識別することができる。
【００５９】
処理エンジン112内のモジュールは、有線接続またはワイヤレス接続を介して互いに接続されるか、または通信することができる。有線接続には、金属ケーブル、光ケーブル、ハイブリッドケーブルなど、またはそれらの任意の組合せが含まれてよい。ワイヤレス接続には、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、Bluetooth(登録商標)、ZigBee(登録商標)、近距離無線通信（NFC）など、またはそれらの任意の組合せが含まれてよい。モジュールのうちの2つ以上が単一のモジュールとして組み合わされてよく、モジュールのうちのいずれか1つが2つ以上のユニットに分割されてよい。たとえば、取得モジュール410および面積決定モジュール420は、複数の連続するターゲット画像フレームを取得し、ターゲット画像フレームに含まれる特徴点に基づいて第1の面積および第2の面積を決定する単一のモジュールとして組み合わされてよい。別の例として、処理エンジン112は、オブジェクトの顔情報に関連付けられた任意の情報および／またはデータを記憶するように構成されてよいストレージモジュール（図4には示されていない）を含んでよい。
【００６０】
図5は、本開示のいくつかの実施形態による、首振り動作を識別するための例示的なプロセスを示すフローチャートである。プロセス500は、ストレージROM230またはRAM240に記憶された1組の命令（たとえば、アプリケーション）として実装されてよい。図4に示されたプロセッサ220および／またはモジュールは1組の命令を実行することができ、命令を実行すると、プロセッサ220および／またはモジュールは、プロセス500を実行するように構成されてよい。以下に提示される示されたプロセスの動作は例示的なものである。いくつかの実施形態では、プロセス500は、記載されない1つまたは複数の追加の動作を用いて、かつ／または説明された1つまたは複数の動作なしに遂行されてよい。さらに、図5に示され、以下に記載されるプロセスの動作の順序は、限定するものではない。
【００６１】
502において、処理エンジン112（たとえば、取得モジュール410）（たとえば、プロセッサ220のインターフェース回路）は、オブジェクト（たとえば、人間、動物）の顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。処理エンジン112は、本開示の他の箇所に開示されたカメラデバイス130、ユーザ端末140、またはストレージデバイス（たとえば、ストレージ150）から複数の連続するターゲット画像フレームを取得することができる。
【００６２】
本明細書で使用される「画像フレーム」は、ビデオ内のフレームを指すことができ、「連続する」は、画像フレームがビデオ内のシーケンスに沿って順序付けられることを指すことができる。たとえば、カメラデバイス130は、時系列にビデオをキャプチャすることができる。ビデオは、それぞれ複数のキャプチャ時点に対応する複数の画像フレームを含む。したがって、画像フレームは、キャプチャ時点に基づいて時系列に順序付けられる。
【００６３】
いくつかの実施形態では、複数の連続するターゲット画像フレームは、以下に示される順序付けられた集合として表現され得る。
F＝［F1，F2，Fi，．．．，Fm］（1）
ここで、Fiはi番目のターゲット画像フレームを指し、mは複数のターゲット画像フレームの数を指す。順序付けられた集合において、複数の連続するターゲット画像フレームは、複数のターゲット画像フレームのキャプチャ時点に基づいて時系列に順序付けられる。たとえば、ターゲット画像フレームF1は第1のキャプチャ時点に対応し、ターゲット画像フレームF2は第2のキャプチャ時点に対応し、第2のキャプチャ時点は第1のキャプチャ時点より遅い。第1のキャプチャ時点と第2のキャプチャ時点との間の時間間隔は変化してよく、また、カメラデバイス130のデフォルトパラメータであってよい。
【００６４】
いくつかの実施形態では、複数の連続するターゲット画像フレームの各々は、オブジェクトの顔情報に関連付けられた複数の特徴点を含んでよい。オブジェクトの顔情報は、顔器官の幾何学的情報（たとえば、位置、サイズ、形状）、色情報（たとえば、肌の色）、明るさ情報などを含んでよい。顔器官には、額、眉、目、鼻、唇、耳、あごなどが含まれてよい。本明細書で使用される、顔情報に関連付けられた「特徴点」は、認識可能な顔に位置する点、たとえば、目の端の点、眉の上の点、鼻の上の点などを指すことができる。いくつかの実施形態では、処理エンジン112は、顔の特徴点抽出方法に基づいて複数の特徴点を抽出することができる。顔の特徴点抽出方法は、アクティブな形状モデルベースの方法、アクティブな外観モデルベースの方法、回帰分析ベースの方法、深層学習ベースの方法、分類子ベースの方法など、またはそれらの任意の組合せを含んでよい。
【００６５】
いくつかの実施形態では、複数の特徴点は、第1の特徴点、第2の特徴点、第3の特徴点、第4の特徴点、および第5の特徴点を含んでよい。第1の特徴点および第2の特徴点は、顔情報に関連付けられた垂直中心線に対して対称であってよく、第4の特徴点および第5の特徴点は、顔情報に関連付けられた垂直中心線に対して対称であってよく、第3の特徴点は、顔情報に関連付けられた垂直中心線上にある。たとえば、図6−Aに示されたように、第1の特徴点は左目の中心点であってよく、第2の特徴点は右目の中心点であってよく、第3の特徴点は鼻の先端点であってよく、第4の特徴点は唇の左端点であってよく、第5の特徴点は唇の右端点であってよい。
【００６６】
504において、処理エンジン112（たとえば、面積決定モジュール420）（たとえば、プロセッサ220の処理回路）は、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。本明細書で使用されるように、第1の面積は、顔の左側に関連付けられた領域に対応することができ、第2の面積は、顔の右側に関連付けられた領域に対応することができる。本明細書での領域は、任意の形状（たとえば、三角形、長方形、多角形、不規則な形状）の領域であってよい。
【００６７】
上述されたように、「5つの特徴点」を例にとると、第1の面積は、第1の特徴点、第2の特徴点、および第3の特徴点に基づいて決定された領域に対応し、第2の面積は、第4の特徴点、第5の特徴点、および第3の特徴点に基づいて決定された領域に対応する（詳細は図6−Bおよびその説明に見出され得る）。
【００６８】
いくつかの実施形態では、処理エンジン112は、複数の特徴点の座標に基づいて第1の面積および第2の面積を決定することができる。また、「5つの特徴点」を例にとると、特徴点の座標は以下のように表され得る。
P（xi，yi）、（i＝1、2、3、4、5）（2）
ここで、P（xi，yi）はi番目の特徴点の座標を指し、xiはi番目の特徴点の水平座標を指し、yiはi番目の特徴点の垂直座標を指す。例示の目的で、本開示は直角座標系を例にとり、複数の特徴点の座標は、任意の座標系（たとえば、極座標系）で表され得、座標系の原点は、画像フレーム内の任意のポイントであり得ることに留意されたい。
【００６９】
さらに、処理エンジン112は、それぞれ、以下の式（3）および式（4）に従って、5つの特徴点の座標に基づいて第1の面積および第2の面積を決定することができる。
Tl＝（x1＊y3＋x3＊y4＋x4＊y1−x1＊y4−x3＊y1−x4＊y3）／2（3）
Tr＝（x2＊y5＋x5＊y3＋x3＊y2−x2＊y3−x5＊y2−x3＊y5）／2（4）
ここで、Tlは第1の面積を指し、Trは第2の面積を指す。
【００７０】
上記の式（3）および式（4）は例示の目的で提供され、本開示の範囲を限定するものではないことに留意されたい。当業者は、本開示において三角形の面積を決定するための任意の方法が適用されてよいことを理解するべきである。たとえば、図6−Bに示されたように、処理エンジン112は、第1の特徴点と第4の特徴点との間の第1の距離、第1の特徴点と第3の特徴点との間の第2の距離、および第1の距離と第2の距離との間の角度を決定することができる。さらに、処理エンジン112は、以下の式（5）に従って第1の面積を決定することができる。
Tl＝d1＊d2＊sinα／2（5）
ここで、d1は第1の距離を指し、d2は第2の距離を指し、αは第1の距離と第2の距離との間の角度を指す。
【００７１】
同様に、処理エンジン112は、以下の式（6）に従って第2の面積を決定することができる。
Tr＝d3＊d4＊sinβ／2（6）
ここで、d3は第2の特徴点と第5の特徴点との間の第3の距離を指し、d4は第2の特徴点と第3の特徴点との間の第4の距離を指し、βは第3の距離と第4の距離との間の角度を指す。
【００７２】
506において、処理エンジン112（たとえば、非対称パラメータ決定モジュール330）（たとえば、プロセッサ220の処理回路）は、第1の面積および第2の面積に基づいて、複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することができる。本明細書で使用される「非対称パラメータ」は、顔の左側と顔の右側との間の非対称性を示すパラメータを指すことができる。上述されたように、第1の面積および第2の面積は、それぞれ、左側に関連付けられた領域および右側に関連付けられた領域に対応するので、第1の面積および第2の面積に関連付けられた比率は、左側と右側と間の非対称性を示すことができる。
【００７３】
いくつかの実施形態では、処理エンジン112は、それぞれ、以下の式（7）および式（8）に従って、第2の面積に対する第1の面積の第1の比率および第1の面積に対する第2の面積の第2の比率を決定することができる。
R1＝Tl／Tr（7）
R2＝Tr／Tl（8）
ここで、R1は第1の比率を指し、R2は第2の比率を指す。
【００７４】
さらに、処理エンジン112は、以下の式（9）に従って、第1の比率および第2の比率のうちの大きい方を非対称パラメータとして決定することができる。
Asy＝max（R1，R2）（9）
ここで、Asyは非対称パラメータを指す。
【００７５】
508において、処理エンジン112（たとえば、動作識別モジュール440）（たとえば、プロセッサ220の処理回路）は、非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することができる。首振り動作中、オブジェクトの顔が首振り動作とともに動くことが知られている。したがって、顔の左側に関連付けられた第1の面積および顔の右側に関連付けられた第2の面積は、首振り動作中に複数の連続するターゲット画像フレーム内で動的に変化する。したがって、左側と右側との間の非対称性を示す非対称パラメータは、首振り動作中に動的に変化する。
【００７６】
首振り動作の開始位置および終了位置が、両方ともオブジェクトの顔がカメラデバイス130に対して右向きまたは実質的に右向きである時点に対応すると仮定すると、理想的な条件では、開始位置に対応する非対称パラメータおよび終了位置に対応する非対称パラメータは、両方とも最小非対称比率しきい値より小さい（または両方とも1に近い）。首振り動作の間、オブジェクトの顔が動きを停止する（または後退を開始する）中間位置（「停止位置」とも呼ばれる）が存在し、それは左側と右側との間の非対称性が最大である時点に対応する。したがって、処理エンジン112は、開始位置に対応するかまたは実質的に対応する複数の連続するターゲット画像フレームの開始画像フレーム、終了位置に対応するかまたは実質的に対応する複数の連続するターゲット画像フレームの終了画像フレーム、および中間位置に対応するかまたは実質的に対応する中間画像フレームを識別し、開始画像フレーム、終了画像フレーム、および中間画像フレームの非対称パラメータに基づいて首振り動作を識別することができる。首振り動作の識別のさらなる説明は、本開示の他の箇所（たとえば、図7〜図8およびそれらの説明）で見出され得る。
【００７７】
本明細書で使用される「実質的に対応する」は、画像フレームがキャプチャされたキャプチャ時点と、その位置に対応する時点との間の時間間隔が当業者の時間しきい値より小さいことを指す。カメラデバイス130は、（デフォルトパラメータであってよい）フレームレートに従って画像フレームをキャプチャする、すなわち、2つの隣接する画像フレームのキャプチャ時点は連続的ではない（すなわち、2つのキャプチャ時点の間に時間間隔がある）ことが知られている。したがって、「開始位置」を例にとると、開始画像フレームは開始位置の時点に厳密に対応しない場合があるが、開始画像フレームのキャプチャ時点は、開始位置の時点に非常に近い時点であり得る。理想的な条件では、2つの時点は同じであると考えることができる。
【００７８】
いくつかの実施形態では、処理エンジン112はさらに、首振り動作の識別に応答して、オブジェクトに関連付けられた端末デバイス（たとえば、ユーザ端末140）に認証を提供することができる。認証を受け取った後、オブジェクトは端末デバイスへのアクセス許可をもつことができる。
【００７９】
上記の説明は単に例示の目的で提供され、本開示の範囲を限定するものではないことに留意されたい。当業者のために、本開示の教示の下で複数の変形および修正が行われてよい。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。たとえば、プロセス500の動作502の前に、1つまたは複数の他のオプションの動作（たとえば、特徴点抽出動作）が追加されてよい。特徴点抽出動作では、処理エンジン112は、複数の連続するフレーム画像の各々の中の複数の特徴点を抽出することができ、複数の抽出された特徴点に基づいて顔認識をさらに実行することができる。
【００８０】
図6−Aは、本開示のいくつかの実施形態による、顔の上の例示的な特徴点を示す概略図である。502に関連して記載されたように、複数の連続するターゲット画像フレームの各々は、複数の特徴点を含んでよい。図6−Aに示されたように、複数の特徴点は、第1の特徴点601、第2の特徴点602、第3の特徴点603、第4の特徴点604、および第5の特徴点605を含んでよい。第1の特徴点601は左目の中心点であり、第2の特徴点602は右目の中心点であり、第3の特徴点603は鼻の先端点であり、第4の特徴点604は唇の左端点であり、第5の特徴点605は唇の右端点である。
【００８１】
図6−Aに示された特徴点の例は、例示の目的で提供され、本開示の範囲を限定するものではないことに留意されたい。いくつかの代替実施形態では、第3の特徴点603は、顔の垂直中心線上の任意の点（たとえば、鼻根点603’）であってよい。第1の特徴点601および第2の特徴点602は、垂直線に対して対称である2つの点（たとえば、点601’および点602’）であってよい。第4の特徴点604および第5の点605は、垂直線に対して対称である2つの点（たとえば、点604’および点605’）であってよい。
【００８２】
図6−Bは、本開示のいくつかの実施形態による、特徴点に基づいて決定された例示的な第1の面積および例示的な第2の面積を示す概略図である。504に関連して記載されたように、処理エンジン112は、複数の連続するターゲット画像フレームの各々の中の複数の特徴点に基づいて、第1の面積および第2の面積を決定することができる。図6−Bに示されたように、処理エンジン112は、第1の特徴点601、第3の特徴点603、および第4の特徴点604に基づいて三角形の面積Tl（すなわち、第1の面積）を決定し、第2の特徴点602、第3の特徴点603、および第5の特徴点605に基づいて三角形の面積Tr（すなわち、第2の面積）を決定することができる。
【００８３】
図7は、本開示のいくつかの実施形態による、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを決定するための例示的なプロセスを示すフローチャートである。プロセス700は、ストレージROM230またはRAM240に記憶された1組の命令（たとえば、アプリケーション）として実装されてよい。図4に示されたプロセッサ220および／またはモジュールは1組の命令を実行することができ、命令を実行すると、プロセッサ220および／またはモジュールは、プロセス700を実行するように構成されてよい。以下に提示される示されたプロセスの動作は例示的なものである。いくつかの実施形態では、プロセス700は、記載されない1つまたは複数の追加の動作を用いて、かつ／または説明された1つまたは複数の動作なしに遂行されてよい。さらに、図7に示され、以下に記載されるプロセスの動作の順序は、限定するものではない。いくつかの実施形態では、動作502はプロセス700に基づいて実行されてよい。
【００８４】
702において、処理エンジン112（たとえば、取得モジュール410）（たとえば、プロセッサ220のインターフェース回路）は、オブジェクトの顔情報に関連付けられた複数の連続する候補画像フレームを取得することができる。本明細書で使用されるように、複数の連続する候補画像フレームの各々について、第3の特徴点は、第1の特徴点、第2の特徴点、第4の特徴点、および第5の特徴点に基づいて決定された四角形内にある。
【００８５】
704において、処理エンジン112（たとえば、取得モジュール410）（たとえば、プロセッサ220の処理回路）は、複数の連続する候補画像フレームから複数の連続するターゲット画像フレームの開始画像フレームを識別することができる。いくつかの実施形態では、処理エンジン112は、最小非対称比率しきい値より小さい非対称パラメータを有する候補画像フレームを開始画像フレームとして識別することができる。いくつかの実施形態では、最小非対称比率しきい値は、動作認識システム100のデフォルト設定であってもよく、様々な状況下で調整可能であってもよい。たとえば、最小非対称比率しきい値は、1．01〜1．1の範囲内の任意の値（たとえば、1．02）であってよい。
【００８６】
706において、処理エンジン112（たとえば、取得モジュール410）（たとえば、プロセッサ220の処理回路）は、複数の連続する候補画像フレームから複数の連続するターゲット画像フレームの終了画像フレームを識別することができる。いくつかの実施形態では、処理エンジン112は、最小非対称比率しきい値より小さい非対称パラメータを有する候補画像フレームを終了画像フレームとして識別することができる。502に関連して記載されたように、複数の連続するターゲット画像フレームは、ターゲット画像フレームのキャプチャ時点に基づいて時系列に順序付けられる。時系列順序に沿って、開始画像フレームと終了画像フレームとの間の任意のターゲット画像フレームの場合、非対称パラメータは最小非対称性比率しきい値以上である。
【００８７】
上記の説明は単に例示の目的で提供され、本開示の範囲を限定するものではないことに留意されたい。当業者のために、本開示の教示の下で複数の変形および修正が行われてよい。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。たとえば、1つまたは複数の他のオプションの動作（たとえば、記憶動作）がプロセス700の他の箇所に追加されてよい。記憶動作では、処理エンジン112は、画像フレームに関連付けられた任意の情報および／またはデータを記憶することができる。
【００８８】
図8は、本開示のいくつかの実施形態による、首振り動作を識別するための例示的なプロセスを示すフローチャートである。プロセス800は、ストレージROM230またはRAM240に記憶された1組の命令（たとえば、アプリケーション）として実装されてよい。図4に示されたプロセッサ220および／またはモジュールは1組の命令を実行することができ、命令を実行すると、プロセッサ220および／またはモジュールは、プロセス800を実行するように構成されてよい。以下に提示される示されたプロセスの動作は例示的なものである。いくつかの実施形態では、プロセス900は、記載されない1つまたは複数の追加の動作を用いて、かつ／または説明された1つまたは複数の動作なしに遂行されてよい。さらに、図8に示され、以下に記載されるプロセスの動作の順序は、限定するものではない。いくつかの実施形態では、動作508はプロセス800に基づいて実行されてよい。
【００８９】
802において、処理エンジン112（たとえば、動作識別モジュール410）（たとえば、プロセッサ220の処理回路）は、複数の連続するターゲット画像フレームから最大非対称パラメータを有する中間画像フレームを識別することができる。
【００９０】
804において、処理エンジン112（たとえば、動作識別モジュール410）（たとえば、プロセッサ220の処理回路）は、開始画像フレームから中間画像フレームまでの連続するターゲット画像フレームの第1の数カウント、および中間画像フレームから終了画像フレームまでの連続するターゲット画像フレームの第2の数カウントを決定することができる。
【００９１】
806において、処理エンジン112（たとえば、動作識別モジュール440）（たとえば、プロセッサ220の処理回路）は、複数の連続するターゲット画像フレームの中の第3の特徴点（たとえば、鼻の先端点）を適合させることにより、推定線を決定することができる。処理エンジン112は、適合法、たとえば、最小二乗法、補間法、積分法などに基づいて、第3の特徴点を適合させることができる。
【００９２】
808において、処理エンジン112（たとえば、動作識別モジュール440）（たとえば、プロセッサ220の処理回路）は、中間画像フレームの非対称パラメータが最大非対称比率しきい値より大きく、第1の数カウントが第1の数カウントしきい値より大きく、第2の数カウントが第2の数カウントしきい値より大きく、推定線と水平線との間の角度が角度しきい値より小さいことに応答して、首振り動作を識別することができる。
【００９３】
いくつかの実施形態では、最大非対称比率しきい値は、動作認識システム100のデフォルト設定であってもよく、状況下で調整可能であってもよい。たとえば、最大非対称比率しきい値は、1．2〜1．4の範囲内の任意の値（たとえば、1．2）であってよい。
【００９４】
いくつかの実施形態では、第1の数カウントしきい値および第2の数カウントしきい値は、動作認識システム100のデフォルト設定であってよい。たとえば、第1の数カウントしきい値または第2の数カウントしきい値は、2〜10の範囲内の任意の値（たとえば、4）であってよい。いくつかの実施形態では、第1の数カウントしきい値および第2の数カウントしきい値は、カメラデバイス130のフレームレートに従って調整可能であってよい。フレームレートは、単位時間当たり（たとえば、1秒当たり）カメラデバイス130によってキャプチャされた画像フレームの数を指すことができる。カメラデバイス130のフレームレートが大きいほど、第1の数カウントしきい値または第2の数カウントしきい値は大きくてよい。いくつかの実施形態では、第1の数カウントしきい値および第2の数カウントしきい値は、同じであっても異なっていてもよい。
【００９５】
いくつかの実施形態では、第3の特徴点に基づいて適合した推定線は直線であってよい。推定線と水平線との間の角度は、2つの直線の間の角度であってよい。いくつかの実施形態では、推定線は曲線であってよい。推定線と水平線との間の角度は、曲線上の点の接線と水平線との間の角度であってよい。角度しきい値は、動作認識システム100のデフォルト設定であってもよく、状況下で調整可能であってもよい。たとえば、角度しきい値は、5°〜20°の範囲内の任意の値（たとえば、10°）であってよい。
【００９６】
上記の説明は単に例示の目的で提供され、本開示の範囲を限定するものではないことに留意されたい。当業者のために、本開示の教示の下で複数の変形および修正が行われてよい。しかしながら、それらの変形および修正は、本開示の範囲から逸脱するものではない。たとえば、処理エンジン112は、中間画像フレームを決定する前に、動作806を最初に実行して推定線を決定することができる。別の例として、中間フレームを決定した後、処理エンジン112は、第1の数カウントおよび第2の数カウントを決定する前に、中間フレームの非対称パラメータが最大非対称比率しきい値より大きいかどうかを判定することができる。
【００９７】
図9は、本開示のいくつかの実施形態による、首振り動作中の非対称パラメータの変動プロセスを示す例示的な曲線を示す概略図である。図9に示されたように、横軸は「画像フレーム」を指し、縦軸は「非対称パラメータ」を指す。
【００９８】
本開示の他の箇所に記載されたように、処理エンジン112は、オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することができる。複数の連続するターゲット画像フレームは、最小非対称比率しきい値より小さい非対称パラメータを有する開始画像フレームF1、最大非対称パラメータを有する中間画像フレームFmid、および最小非対称比率しきい値より小さい非対称パラメータを有する終了画像フレームFmを含む。図9に示されたように、点aは開始画像フレームに対応し、点cは中間画像フレームに対応し、点eは終了画像フレームに対応する。
【００９９】
508に関連して記載されたように、首振り動作中、開始画像フレームは、オブジェクトの顔がカメラデバイス130に対して右向きまたは実質的に右向きである時点に対応する開始位置に対応するかまたは実質的に対応することができる。本明細書で使用される「実質的に右」は、オブジェクトの顔が向いている方向とカメラデバイス130に右を指す方向との間の角度が、当業者のしきい値より小さいことを指す。顔の例910に示されたように、開始画像フレームの非対称パラメータは、最小非対称比率しきい値（たとえば、1．02）より小さい1．0に近い。顔の例920に示されたように、オブジェクトが自分の頭を振るにつれて、顔の左側に関連付けられた三角形の面積Tl（すなわち、第1の面積）は徐々に増大し、顔の右側に関連付けられた三角形の面積Tr（すなわち、第2の面積）は徐々に減少する。それに応じて、左側と右側の非対称パラメータが徐々に増大する。
【０１００】
さらに、顔の例930に示されたように、中間画像フレームは、最大非対称比率しきい値（たとえば、1．2）より大きい、左側と右側との間の非対称性（たとえば、1．4）が最大である時点に対応する中間位置に対応するかまたは実質的に対応する。中間位置は、オブジェクトの顔が動きを停止する（または後退を開始する）停止位置に対応することができる。
【０１０１】
連続して、オブジェクトは中間位置から終了位置まで動き、終了位置は開始位置と同じかまたは実質的に同じである。本明細書で使用される「実質的に同じ」は、オブジェクトが終了位置で向いている方向とオブジェクトが開始位置で向いている方向との間の角度が、当業者の角度しきい値より小さいことを指す。顔の例940に示されたように、顔の左側に関連付けられた三角形の面積Tl（すなわち、第1の面積）は徐々に減少し、顔の右側に関連付けられた三角形の面積Tr（すなわち、第2の面積）は徐々に増大する。それに応じて、左側と右側の非対称パラメータが徐々に減少する。最後に、顔の例950に示されたように、オブジェクトは終了画像フレームに対応する終了位置まで動き、終了画像フレームの非対称パラメータは、最小非対称比率しきい値（たとえば、1．02）より小さい1．018である。
【０１０２】
さらに、複数の連続するターゲット画像フレームの中の第3の特徴点（たとえば、鼻の先端点）を適合させることによって決定された推定線960を見ることができる。首振り動作中、オブジェクトは厳密に水平線に沿って自分の頭を振ることはできない、すなわち、鼻の先端点は常に厳密に水平線上にあるとは限らないことが知られている。したがって、処理エンジン112は、推定線と水平線との間の角度が角度しきい値より小さいという条件で、角度しきい値（たとえば、5°〜20°）を定義し、首振り動作の識別が正しいと考えられる。
【０１０３】
図9から、点aと点cとの間の範囲が第1の数カウントに対応し、点cと点eとの間の範囲が第2の数カウントに対応することも分かる。本開示の他の箇所に記載されたように、2つの数カウントは首振り動作の識別にも使用される。
【０１０４】
このように基本的な概念を記載してきたが、この詳細な開示を読んだ後、前述の詳細な開示は例としてのみ提示されたものであり、限定的ではないことが当業者にはむしろ明らかであろう。本明細書では明示的に述べられていないが、様々な変更、改善、および修正が行われる可能性があり、当業者向けである。これらの変更、改善、および修正は、本開示によって示唆されるものであり、本開示の例示的な実施形態の趣旨および範囲内にある。
【０１０５】
さらに、本開示の実施形態を記載するために特定の用語が使用されている。たとえば、「一実施形態」、「実施形態」、および／または「いくつかの実施形態」という用語は、実施形態に関連して記載された特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の様々な部分における「実施形態」または「一実施形態」または「代替実施形態」への2つ以上の言及は、必ずしもすべてが同じ実施形態を指すとは限らないことが強調され、諒解されるべきである。さらに、特定の特徴、構造、または特性は、本開示の1つまたは複数の実施形態において適切であるように組み合わされてよい。
【０１０６】
さらに、当業者には諒解されるであろうが、本開示の態様は、任意の新しく有用なプロセス、機械、製造、もしくは物質の組成、またはその任意の新しく有用な改善を含む、いくつかの特許可能なクラスまたはコンテキストのいずれかで本明細書に図示および記載されてよい。したがって、本開示の態様は、完全にハードウェア、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェア、または本明細書においてすべて「ユニット」、「モジュール」、もしくは「システム」と総称されてよいソフトウェアおよびハードウェアの実装形態の組合せで実装されてよい。さらに、本開示の態様は、その上で具現化されるコンピュータ可読プログラムコードを有する1つまたは複数のコンピュータ可読媒体内で具現化されるコンピュータプログラム製品の形態をとることができる。
【０１０７】
コンピュータ可読信号媒体は、たとえば、ベースバンド内または搬送波の一部として、その中に具現化されたコンピュータ可読プログラムコードを有する伝搬データ信号を含んでよい。そのような伝搬信号は、電磁、光など、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかをとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれとともに使用するためのプログラムを通信、伝播、または移送することができる、任意のコンピュータ可読媒体であってよい。コンピュータ可読信号媒体上で具現化されたプログラムコードは、ワイヤレス、有線、光ファイバケーブル、RFなど、または前述の任意の適切な組合せを含む、任意の適切な媒体を使用して送信されてよい。
【０１０８】
本開示の態様の動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、Smalltalk、Eiffel、JADE、Emerald、C＋＋、C＃、VB．NET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、およびGroovyなどの動的プログラミング言語、または他のプログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せで書かれてよい。プログラムコードは、完全にユーザのコンピュータ上で、一部はユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、一部はユーザのコンピュータ上で、かつ一部はリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（LAN）またはワイドエリアネットワーク（WAN）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、あるいは接続は、（たとえば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに、もしくはクラウドコンピューティング環境で行われてよく、またはサービス型ソフトウェア（SaaS）などのサービスとして提供されてよい。
【０１０９】
さらに、処理要素またはシーケンスの列挙された順序、または数字、文字、もしくは他の指定の使用は、したがって、特許請求されたプロセスおよび方法を、特許請求の範囲で指定され得る場合を除いて、任意の順序に限定するものではない。上記の開示は、現在開示の様々な有用な実施形態であると考えられるものを様々な例を通して説明しているが、そのような詳細は単にその目的のためであり、添付の特許請求の範囲は開示された実施形態に限定されないが、反対に、開示された実施形態の趣旨および範囲内にある修正および同等の配置をカバーするものであることを理解されたい。たとえば、上述された様々な構成要素の実装形態はハードウェアデバイス上で具現化されてよいが、それは、ソフトウェアのみの解決策、たとえば、既存のサーバまたはモバイルデバイスへのインストールとして実装されてもよい。
【０１１０】
同様に、本開示の実施形態の前述の説明では、様々な実施形態の1つまたは複数を理解する際に支援する開示の簡素化を目的として、様々な特徴が、単一の実施形態、図、またはその説明において一緒にグループ化されることが多い。しかしながら、開示のこの方法は、特許請求される主題が各請求項で明示的に列挙されるより多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、特許請求される主題は、単一の前述の開示された実施形態のすべての特徴より少ないことにあってよい。
【符号の説明】
【０１１１】
100  動作認識システム
110  サーバ
112  処理エンジン
120  ネットワーク
120−1  基地局および／またはインターネット交換ポイント
120−2  基地局および／またはインターネット交換ポイント
130  カメラデバイス
140  ユーザ端末
150  ストレージ
160  オブジェクト
200  コンピューティングデバイス
210  バス
220  プロセッサ
230  読取り専用メモリ（ROM）
240  ランダムアクセスメモリ（RAM）
250  COMポート
260  I／O構成要素
270  ディスク
300  モバイルデバイス
310  通信モジュール
320  ディスプレイ
330  グラフィック処理装置（GPU）
340  中央処理装置（CPU）
350  I／Oデバイス
360  メモリ
370  モバイルオペレーティングシステム
380  アプリケーション
390  ストレージ
410  取得モジュール
420  面積決定モジュール
430  非対称パラメータ決定モジュール
440  動作識別モジュール
500  プロセス
502  動作
504  動作
506  動作
508  動作
601  第1の特徴点
601’  点
602  第2の特徴点
602’  点
603  第3の特徴点
603’  鼻根点
604  第4の特徴点
604’  点
605  第5の特徴点
605’  点
700  プロセス
702  動作
704  動作
706  動作
800  プロセス
802  動作
804  動作
806  動作
808  動作
910  顔の例
920  顔の例
930  顔の例
940  顔の例
950  顔の例
960  推定線
【図１】
2021511607.tif 000003
【図２】
2021511607.tif 000004
【図３】
2021511607.tif 000005
【図４】
2021511607.tif 000006
【図５】
2021511607.tif 000007
【図６−Ａ】
2021511607.tif 000008
【図６−Ｂ】
2021511607.tif 000009
【図７】
2021511607.tif 000010
【図８】
2021511607.tif 000011
【図９】
2021511607.tif 000012
【手続補正書】
【提出日】令和2年7月15日(2020.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動作認識のためのシステムであって、
1組の命令を含む少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体と通信している少なくとも1つのプロセッサであって、前記1組の命令を実行すると、前記少なくとも1つのプロセッサが、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得することであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、取得することと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定することと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定することと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別することと
を前記システムに行わせるように指示される、プロセッサと
を備える、システム。
【請求項２】
前記複数の特徴点が、第1の特徴点、第2の特徴点、第3の特徴点、第4の特徴点、および第5の特徴点を含み、
前記第1の特徴点および前記第2の特徴点が、前記顔情報に関連付けられた垂直中心線に対して対称であり、
前記第4の特徴点および前記第5の特徴点が、前記顔情報に関連付けられた前記垂直中心線に対して対称であり、
前記第3の特徴点が、前記顔情報に関連付けられた前記垂直中心線上にある、
請求項1に記載のシステム。
【請求項３】
前記第1の特徴点が左目の中心点であり、
前記第2の特徴点が右目の中心点であり、
前記第3の特徴点が鼻の先端点であり、
前記第4の特徴点が唇の左端点であり、
前記第5の特徴点が唇の右端点である、
請求項2に記載のシステム。
【請求項４】
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて前記第1の面積および前記第2の面積を決定するために、前記少なくとも1つのプロセッサが、
前記第1の特徴点、前記第3の特徴点、および前記第4の特徴点に基づいて前記第1の面積を決定することと、
前記第2の特徴点、前記第3の特徴点、および前記第5の特徴点に基づいて前記第2の面積を決定することと
をさらに前記システムに行わせるように指示される、請求項2または請求項3に記載のシステム。
【請求項５】
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の前記非対称パラメータを決定するために、前記少なくとも1つのプロセッサが、
前記第2の面積に対する前記第1の面積の第1の比率を決定することと、
前記第1の面積に対する前記第2の面積の第2の比率を決定することと、
前記第1の比率および前記第2の比率のうちの大きい方を前記非対称パラメータとして決定することと
をさらに前記システムに行わせるように指示される、請求項1から4のいずれか一項に記載のシステム。
【請求項６】
前記オブジェクトの前記顔情報に関連付けられた前記複数の連続するターゲット画像フレームを取得するために、前記少なくとも1つのプロセッサが、
前記オブジェクトの前記顔情報に関連付けられた複数の連続する候補画像フレームを取得することであって、前記連続する候補画像フレームの各々について、前記第3の特徴点が、前記第1の特徴点、前記第2の特徴点、前記第4の特徴点、および前記第5の特徴点に基づいて決定された四角形内にある、取得することと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの開始画像フレームを識別することであって、前記開始画像フレームに対応する前記非対称パラメータが、最小非対称比率しきい値より小さい、識別することと、
前記複数の連続する候補画像フレームから前記複数の連続するターゲット画像フレームの最終画像フレームを識別することであって、前記最終画像フレームに対応する前記非対称パラメータが、前記最小非対称比率しきい値より小さい、識別することと
をさらに前記システムに行わせるように指示される、請求項2から4のいずれか一項に記載のシステム。
【請求項７】
前記非対称パラメータが前記事前設定された条件を満たすことに応答して、前記首振り動作を識別するために、前記少なくとも1つのプロセッサが、
前記複数の連続するターゲット画像フレームから最大非対称パラメータを有する中間画像フレームを識別することと、
前記開始画像フレームから前記中間画像フレームまでの連続するターゲット画像フレームの第1の数のカウント、および前記中間画像フレームから前記最終画像フレームまでの連続するターゲット画像フレームの第2の数のカウントを決定することと、
前記複数の連続するターゲット画像フレームの中の前記第3の特徴点を整合させることにより、推定線を決定することと、
前記中間画像フレームの前記非対称パラメータが最大非対称比率しきい値より大きく、前記第1の数のカウントが第1の数カウントしきい値より大きく、前記第2の数のカウントが第2の数カウントしきい値より大きく、前記推定線と水平線との間の角度が角度しきい値より小さいことに応答して、前記首振り動作を識別することと
をさらに前記システムに行わせるように指示される、請求項6に記載のシステム。
【請求項８】
前記最小非対称比率しきい値が1．01〜1．02である、請求項7に記載のシステム。
【請求項９】
前記最大非対称比率しきい値が1．2〜1．3である、請求項7または請求項8に記載のシステム。
【請求項１０】
前記第1の数カウントしきい値が2〜10であり、第2の数カウントしきい値が2〜10である、請求項7から9のいずれか一項に記載のシステム。
【請求項１１】
前記角度しきい値が5°〜20°である、請求項7から10のいずれか一項に記載のシステム。
【請求項１２】
前記少なくとも1つのプロセッサが、
前記首振り動作の前記識別に応答して、前記オブジェクトに関連付けられた端末デバイスに認証を提供すること
をさらに前記システムに行わせるように指示される、請求項1から11のいずれか一項に記載のシステム。
【請求項１３】
前記複数の連続するターゲット画像フレームが取得されるビデオデータを提供するように構成されたカメラをさらに備える、請求項1から12のいずれか一項に記載のシステム。
【請求項１４】
少なくとも1つのプロセッサ、少なくとも1つのストレージデバイス、およびネットワークに接続された通信プラットフォームを有するコンピューティングデバイス上で実施される動作認識のための方法であって、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得するステップであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、ステップと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定するステップと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定するステップと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別するステップと
を備える、方法。
【請求項１５】
少なくとも1つのプロセッサによって実行されると、
オブジェクトの顔情報に関連付けられた複数の連続するターゲット画像フレームを取得するステップであって、前記複数の連続するターゲット画像フレームの各々が、前記顔情報に関連付けられた複数の特徴点を含む、ステップと、
前記複数の連続するターゲット画像フレームの各々の中の前記複数の特徴点に基づいて、第1の面積および第2の面積を決定するステップと、
前記第1の面積および前記第2の面積に基づいて、前記複数の連続するターゲット画像フレームの各々の中の非対称パラメータを決定するステップと、
前記非対称パラメータが事前設定された条件を満たすことに応答して、首振り動作を識別するステップと
を備える方法を前記少なくとも1つのプロセッサに実施させる、動作認識のための少なくとも1組の命令を備える、非一時的コンピュータ可読媒体。
【国際調査報告】
2021511607.tif 000013
2021511607.tif 000014