(57)【要約】本発明のいくつかの実施形態による行動および精神健康療法システムは、ディスプレイ、オーディオ出力、ホログラフィック出力、および／または振動触覚出力を含む、コンピューティングシステムに接続され、自動的に、社会的キューを少なくとも１つのカメラによって捕捉された画像から認識し、（限定ではないが）画像を表示する、ホログラフィックオーバーレイを表示する、可聴信号を生成する、および／または振動を生成する等、１つまたはそれを上回る出力を介して、本情報を装着者に提供する、ウェアラブルカメラおよび／または種々のセンサ（とりわけ、加速度計、マイクロホン）を含む。
2019522300.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムであって、
周囲環境の画像を捕捉するための少なくとも１つのカメラと、
ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリと
を備え、前記ソフトウェアは、前記少なくとも１つのプロセッサに、
前記少なくとも１つのカメラによって捕捉された画像のシーケンスを含むデータを取得することと、
前記画像のシーケンス内の複数の画像内の少なくとも１人の人物に関する顔を検出することと、
中立特徴推定および減算を前記複数の画像のそれぞれ内の前記少なくとも１人の人物の検出された顔上で実施し、前記複数の画像に基づいて、分類子を使用して、前記顔内の少なくとも１つの感情キューを検出することと、
前記感情キューに基づいて、少なくとも１つの感情を識別することと、
少なくとも１つの感情インジケータラベルをリアルタイムで表示し、療法フィードバックを提供することと
を行うように指示する、画像処理システム。
【請求項２】
前記システムは、少なくとも１つの外向きに面したカメラを備える、ウェアラブルビデオ捕捉システムを備える、請求項１に記載の画像処理システム。
【請求項３】
前記ウェアラブルビデオ捕捉システムは、仮想現実ヘッドセット、複合現実ヘッドセット、拡張現実ヘッドセット、およびヘッドアップディスプレイを備えるグラスから成る群から選択される、請求項２に記載の画像処理システム。
【請求項４】
前記ウェアラブルビデオ捕捉システムは、少なくとも１つのモバイルデバイスと通信し、前記少なくとも１つのプロセッサは、前記少なくとも１つのモバイルデバイス上で実行する、請求項２に記載の画像処理システム。
【請求項５】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、マイクロホン、加速度計、ジャイロスコープ、眼追跡センサ、頭部追跡センサ、体温センサ、心拍数センサ、血圧センサ、および皮膚伝導性センサから成る群から選択される少なくとも１つのセンサから捕捉されたデータを含む補完データを取得するように指示する、請求項１に記載の画像処理システム。
【請求項６】
少なくとも１つの感情インジケータラベルをリアルタイムで表示し、療法フィードバックを提供することはさらに、ラベルをヘッドアップディスプレイ内に表示することと、可聴信号を生成することと、振動を生成することと、ホログラフィックオーバーレイを表示することと、画像を表示することとのうちの少なくとも１つを実施することを含む、請求項１に記載の画像処理システム。
【請求項７】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、画像内の検出された顔に関連する着目領域内でより高い分解能で画像データを処理するように指示する、請求項１に記載の画像処理システム。
【請求項８】
前記着目領域は、前記検出された顔の周囲の境界領域であり、前記画像データを処理することはさらに、移動平均フィルタを使用して、前記着目境界領域を平滑化することを含む、請求項７に記載の画像処理システム。
【請求項９】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、
顔検出を実施することと、
基準点顔追跡を実施することと、
前記顔と規準的サイズおよび姿勢の位置合わせを実施することと、
照明正規化前処理を実施することと、
前記顔を中心とした着目領域内の勾配特徴抽出のヒストグラムを生成することと、
ロジスティック回帰分類子を介して、前記顔の表現の分類を実施することと、
前記結果として生じる分類をフィルタリングすることと
によって、中立特徴推定および減算を前記少なくとも１人の人物上で実施するように指示する、請求項８に記載の画像処理システム。
【請求項１０】
前記表現キューは、顔の表現、顔筋移動、ボディランゲージ、ジェスチャ、身体姿勢、アイコンタクトイベント、頭部姿勢、会話の特徴、貧乏ゆすり、および不安情報から成る群から選択される、情報を含む、請求項１に記載の画像処理システム。
【請求項１１】
前記分類子は、イベントベースの社会的キューを提供する、統計的に代表的な社会的表現データの訓練データセットを使用して訓練される、請求項１に記載の画像処理システム。
【請求項１２】
前記ソフトウェアは、前記少なくとも１つのプロセッサにさらに、前記訓練セットを標的個人のユーザラベルデータで補完するように指示する、請求項１１に記載の画像処理システム。
【請求項１３】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、前記分類子が、前記訓練データ内の他の個人の顔内の少なくとも１つの感情キューを検出する分類子の性能と比較して、前記標的個人の顔内の少なくとも１つの感情キューのより高い性能の検出を達成するように、前記訓練データおよび前記標的個人のユーザラベルデータを使用して、前記分類子を訓練するように指示する、請求項１２に記載の画像処理システム。
【請求項１４】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、
ユーザに、標的個人に関するデータを少なくとも１つの感情キューラベルでラベル化するように促すことと、
前記標的個人に関するユーザラベルデータをメモリ内に記憶することと
を行うように指示する、請求項１３に記載の画像処理システム。
【請求項１５】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、社会的相互作用データを記憶し、前記社会的相互作用データの精査のためのユーザインターフェースを提供するように指示する、請求項１に記載の画像処理システム。
【請求項１６】
前記分類子は、連続的社会的キューを提供する、回帰機械である、請求項１に記載の画像処理システム。
【請求項１７】
前記分類子は、標準的顔の表現のビデオデータを使用して、かつ表現会話シーケンスを用いて、視覚的時間依存分類子として訓練される、請求項１に記載の画像処理システム。
【請求項１８】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、外向きに面したビデオデータと併せて、少なくとも１つの内向きに面した眼追跡データを使用して、注視イベントを検出するように指示する、請求項１に記載の画像処理システム。
【請求項１９】
前記ソフトウェアは、前記少なくとも１つのプロセッサに、記録されたアクティビティの精査を提供し、前記記録されたアクティビティへの反応として生成されたユーザ行動データを提供するように指示する、請求項１に記載の画像処理システム。
【請求項２０】
中立特徴推定および減算を前記少なくとも１人の人物の顔上で実施することは、中立減算特徴上で訓練された第１の表現分類子および未加工（非中立減算）特徴上で訓練された第２の２クラス中立／表現分類子の出力に基づいて、中立表現減算を実施することを含む、請求項１に記載の画像処理システム。
【請求項２１】
行動療法システムであって、
周囲環境の画像を捕捉するための少なくとも１つのカメラと、
ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリと
を備え、前記ソフトウェアは、前記少なくとも１つのプロセッサに、
前記システムのメモリ内に前もって記憶された複数の画像毎に、特定の感情を表す人物の顔の画像を表示することであって、前記画像は、前記特定の感情と関連付けられる、ことと、
前記人物の顔によって描写されている感情を例証するものとして前記ユーザが選択した感情に関する入力を前記画像を視認しているユーザから受信することと、
前記ユーザから受信された入力が前記特定の画像と関連付けられた特定の感情に合致するかどうかを判定することと、
その選択に基づいて、フィードバックを前記ユーザに提供することと
を行うように指示する、システム。
【請求項２２】
行動療法システムであって、
周囲環境の画像を捕捉するための少なくとも１つのカメラと、
ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリと
を備え、前記ソフトウェアは、前記少なくとも１つのプロセッサに、
人物のビデオをリアルタイムで捕捉することと、
少なくとも１つの分類子を使用して、前記人物の顔に関する感情を検出することと、
現在検出されていない前記人物に引き起こされるべき異なる感情に関するインジケーションを提供することと、
前記感情がある期間内に誘発されたかどうかを判定することと、
前記感情を誘発するその能力に関するフィードバックを前記システムのユーザに提供することと
を行うように指示する、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイルおよびウェアラブルビデオ捕捉システムを使用して、行動障害のための療法を提供するためのシステムおよび方法の提供に関連する。特に、コンピューティングシステムは、分類子を利用して、システムによって捕捉された画像内で可視の顔内の表現を検出し、その療法処置の一部として、フィードバックをユーザに提供する、ソフトウェアシステムを起動する。
【背景技術】
【０００２】
自閉症、不安障害、鬱病、双極性障害、精神分裂症、外傷性脳損傷、アルツハイマー病、およびパーキンソン病のような精神障害は、社会的相互作用に悪影響を及ぼすことが知られている。例えば、約６８人中１人の子供および４６人中１人の男児が、自閉症を有し、その状態に起因して、顔の表現を認識し、アイコンタクトを行い、社会的相互作用に従事することが難しい。
【０００３】
そのような社会的技術の取得または再取得は、多くの場合、アクセスが高価かつ困難であって、一貫して実施されない、集約的行動介入を要求し得る。自閉症およびある他の障害のための現在の治療標準は、例えば、顔の表現の忍耐がいる暗記を伴う、「フラッシュカード療法」を伴う。その結果、自閉症を患う多くの子供は、中核となる社会的技術を構築することに失敗し、その症状を悪化させる、孤立への道へとすぐに逆行し得る。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の種々の実施形態による、モバイルおよびウェアラブルビデオ捕捉システムを使用して、行動および精神健康障害のための療法を提供するためのシステムおよび方法が、開示される。一実施形態では、画像処理システムは、周囲環境の画像を捕捉するための少なくとも１つのカメラと、ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリとを含み、ソフトウェアは、少なくとも１つのプロセッサに、少なくとも１つのカメラによって捕捉された画像のシーケンスを含む、データを取得することと、画像のシーケンス内のいくつかの画像内の少なくとも１人の人物に関する顔を検出することと、中立特徴推定および減算をいくつかの画像のそれぞれ内の少なくとも１人の人物の検出された顔上で実施し、いくつかの画像に基づいて、分類子を使用して、顔内の少なくとも１つの感情キューを検出することと、感情キューに基づいて、少なくとも１つの感情を識別することと、少なくとも１つの感情インジケータラベルをリアルタイムで表示し、療法フィードバックを提供することとを行うように指示する。
【０００５】
さらなる実施形態では、本システムは、少なくとも１つの外向きに面したカメラを含む、ウェアラブルビデオ捕捉システムを含む。
【０００６】
なおもさらなる実施形態では、ウェアラブルビデオ捕捉システムは、仮想現実ヘッドセット、複合現実ヘッドセット、拡張現実ヘッドセット、およびヘッドアップディスプレイを含むグラスから成る群から選択される。
【０００７】
別の実施形態では、ウェアラブルビデオ捕捉システムは、少なくとも１つのモバイルデバイスと通信し、少なくとも１つのプロセッサは、少なくとも１つのモバイルデバイス上で実行する。
【０００８】
なおもさらなる実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、マイクロホン、加速度計、ジャイロスコープ、眼追跡センサ、頭部追跡センサ、体温センサ、心拍数センサ、血圧センサ、および皮膚伝導性センサから成る群から選択された少なくとも１つのセンサから捕捉されたデータを含む、補完データを取得するように指示する。
【０００９】
さらに別の実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、ラベルをヘッドアップディスプレイ内に表示する、可聴信号を生成する、振動を生成する、ホログラフィックオーバーレイを表示する、および画像を表示することのうちの少なくとも１つを実施することによって、少なくとも１つの感情インジケータラベルをリアルタイムで表示し、療法フィードバックを提供するように指示する。
【００１０】
さらに別の実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、画像内の検出された顔に関連する着目領域内でより高い分解能で画像データを処理するように指示する。
【００１１】
再び、さらに別の実施形態では、着目領域は、検出された顔の周囲の境界領域であって、データを処理することはまた、移動平均フィルタを使用し、着目境界領域を平滑化する。
【００１２】
再び、なおもさらなる実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、顔検出を実施することと、基準点顔追跡を実施することと、顔と規準的サイズおよび姿勢の位置合わせを実施することと、照明正規化前処理を実施することと、顔を中心とした着目領域内の勾配特徴抽出のヒストグラムを生成することと、ロジスティック回帰分類子を介して、顔の表現の分類を実施することと、結果として生じる分類をフィルタリングすることとによって、中立特徴推定および減算を少なくとも１人の人物上で実施するように指示する。
【００１３】
再び、さらに別の実施形態では、表現キューは、顔の表現、顔筋移動、ボディランゲージ、ジェスチャ、身体姿勢、アイコンタクトイベント、頭部姿勢、会話の特徴、貧乏ゆすり、および不安情報から成る群から選択される情報を含む。
【００１４】
再び、なおもさらなる実施形態では、分類子は、イベントベースの社会的キューを提供する、統計的に代表的な社会的表現データの訓練データセットを使用して訓練される。
【００１５】
なおも別の付加的実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、訓練セットを標的個人のユーザラベルデータで補完するように指示する。
【００１６】
再び、なおもさらなる実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、分類子が、訓練データ内の他の個人の顔内の少なくとも１つの感情キューを検出する分類子の性能と比較して、標的個人の顔内の少なくとも１つの感情キューのより高い性能の検出を達成するように、訓練データおよび標的個人のユーザラベルデータを使用して、分類子を訓練するように指示する。
【００１７】
再び、別の実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、ユーザに、標的個人に関するデータを少なくとも１つの感情キューラベルでラベル化するように促し、標的個人に関するユーザラベルデータをメモリ内に記憶するように指示する。
【００１８】
再び、なおもさらに別の実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、社会的相互作用データを記憶し、社会的相互作用データの精査のためのユーザインターフェースを提供するように指示する。
【００１９】
なおもさらに付加的な実施形態では、分類子は、連続的社会的キューを提供する、回帰機械である。
【００２０】
なおもさらに別の付加的実施形態では、分類子は、標準的顔の表現のビデオデータを使用して、かつ表現会話シーケンスを用いて、視覚的時間依存分類子として訓練される。
【００２１】
再び、なおもさらに別の実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、外向きに面したビデオデータと併せて、少なくとも１つの内向きに面した眼追跡データを使用して、注視イベントを検出するように指示する。
【００２２】
再び、なおもさらに付加的な実施形態では、ソフトウェアは、少なくとも１つのプロセッサに、記録されたアクティビティの精査を提供し、記録されたアクティビティへの反応として生成されたユーザ行動データを提供するように指示する。
【００２３】
なおも別のさらなる実施形態では、中立特徴推定および減算を少なくとも１人の人物の顔上で実施することは、中立減算特徴上で訓練された第１の表現分類子および未加工（非中立減算）特徴上で訓練された第２の２クラス中立／表現分類子の出力に基づいて、中立表現減算を実施することを含む。
【００２４】
一実施形態では、行動療法システムは、周囲環境の画像を捕捉するための少なくとも１つのカメラと、ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリとを含み、ソフトウェアは、少なくとも１つのプロセッサに、システムのメモリ内に前もって記憶されたいくつかの画像毎に、特定の感情を表す人物の顔の画像を表示することであって、画像は、特定の感情と関連付けられる、ことと、人物の顔によって描写されている感情を例証するものとしてユーザが選択した感情に関する入力を画像を視認しているユーザから受信することと、ユーザから受信された入力が特定の画像と関連付けられた特定の感情に合致するかどうかを判定することと、その選択に基づいて、フィードバックをユーザに提供することとを行うように指示する。
【００２５】
別の実施形態では、行動療法システムは、周囲環境の画像を捕捉するための少なくとも１つのカメラと、ソフトウェアを含有する少なくとも１つのプロセッサおよびメモリとを含み、ソフトウェアは、少なくとも１つのプロセッサに、人物のビデオをリアルタイムで捕捉することと、少なくとも１つの分類子を使用して、人物の顔に関する感情を検出することと、現在検出されていない人物に引き起こされるべき異なる感情に関するインジケーションを提供することと、感情がある期間内に誘発されたかどうかを判定することと、感情を誘発するその能力に関するフィードバックをシステムのユーザに提供することとを行うように指示する。
【図面の簡単な説明】
【００２６】
説明は、本開示の種々の実施形態として提示され、本開示の範囲の完全列挙として解釈されるべきではない、以下の図およびデータグラフを参照することによって、より完全に理解されるであろう。
【００２７】
【図１】図１は、本発明のある実施形態による、行動療法システムを図示する。
【図２】図２は、本発明のある実施形態による、ウェアラブル捕捉デバイスが、自己中心的ビデオおよび他の感覚データをコンピューティングデバイスに提供する、行動システムの図式的概要を示す。
【図３】図３は、本発明のある実施形態による、自己中心的ビデオおよび他の感覚データをモバイルコンピューティングデバイスに提供する、一対のスマートグラスである、ウェアラブル捕捉デバイスを図示する。
【図４】図４は、本発明のある実施形態による、社会的キューを感覚データから生成し得る、社会的アクション認識システムを図示する。
【図５】図５は、本発明のある実施形態に従って利用される、顔追跡装置および顔の表現／アクション単位認識プロセスの相互作用の拡大図を提供する。
【図６】図６は、本発明のある実施形態による、外向きに面したビデオデータおよび可能性として内向きに面した眼追跡データを統合し、社会的キューをもたらし得る、相互注視または一方向注視イベントを検出するためのプロセスを図示する。
【図７】図７は、本発明のある実施形態による、外向きに面したビデオデータおよび可能性として内向きに面した眼追跡データを統合し、社会的キューをもたらし得る、相互注視または一方向注視イベントを検出するためのプロセスを図示する。
【図８】図８は、本発明のある実施形態による、デバイスの装着者および他のユーザに与えられるための社会的情報またはキューを生成する、システムを図示する。
【図９】図９は、本発明のある実施形態による、分類子を訓練する際に使用するための訓練データのラベル補正のためのプロセスを図示する。
【図１０】図１０は、本発明のある実施形態による、高次元機械学習システムの実施例を図示する。
【図１１】図１１は、本発明のある実施形態による、ウェアラブルグラスと携帯電話との間のフレームのパケットストリームが、「全体」顔フレームと「拡大」フレームとの間で交互し得る、プロセスを図示する。
【図１２】図１２は、本発明のある実施形態による、ヘッドアップディスプレイに表示され得る、種々のタイプの視覚的フィードバックを図示する。
【図１３】図１３は、本発明のある実施形態による、人物に関して検出されている感情のインジケーションを提供する、モバイルデバイス上で実行するアプリケーションを図示する。
【図１４】図１４は、本発明のある実施形態による、以前のセッション記録のニュースフィード状ビューを時系列で含有し得る、精査システムを図示する。
【図１５】図１５は、本発明のある実施形態による、アプリケーションの種々の設定を選択するためのいくつかのＵＩを図示する。
【図１６】図１６は、本発明のある実施形態による、人物に関して検出されている感情のインジケーションを提供する、モバイルデバイス上で実行するアプリケーションを図示する。
【図１７】図１７は、本発明のある実施形態による、行動療法システムを実行するモバイルデバイスの種々のＵＩを図示する。
【図１８】図１８は、本発明のある実施形態による、精査アプリケーションが、ユーザおよび介護者が１日を通して記録されたアクティビティを精査することを可能にする、ＵＩを図示する。
【図１９】図１９は、本発明のある実施形態による、中立減算のためのアルゴリズムを図示する。
【図２０】図２０は、取り入れから結論までのＳＲＳスコアを示す、特定の研究からの結果を図示する。
【図２１】図２１は、取り入れから結論までのＳＲＳスコアの変化を示す、特定の研究に関するグラフを図示する。
【発明を実施するための形態】
【００２８】
ここで図面に目を向けると、本発明の種々の実施形態による、モバイルおよびウェアラブルビデオ捕捉システムを使用して、行動および精神健康障害のための療法を提供するためのシステムおよび方法が、図示される。モバイルおよびウェアラブルデバイス（Ｍｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓに類似する複合現実ディスプレイを含む、Ｇｏｏｇｌｅ  Ｇｌａｓｓおよびデバイスのようなスマートグラス等）の出現は、例えば、最小限の干渉的社会的キューをリアルタイムでウェアラブルシステム上に与えることによって、（限定ではないが）アイコンタクトの量およびタイプ等のある観察可能かつ測定可能な行動進行度インジケータを精査することによって、または感情相互作用のビデオ記録を精査し、所与の状況においてうまくいった内容またはうまくいかなかった内容を識別することによって、社会的学習体験を患者の自宅に取り込む、アプリケーションを開発する機会を提示している。以下の発明を実施するための形態では、行動障害の療法としてモバイルおよびウェアラブルビデオ捕捉アプローチを使用するためのシステムだけではなく、本システムを有効にし、他の類似医療分野または非医療社会的認識タスクにおいて有用であり得る、種々の新規方法が、開示される。
【００２９】
本発明のいくつかの実施形態による行動療法システムは、ディスプレイ、オーディオ出力、ホログラフィック出力、および／または振動触覚出力を含む、コンピューティングシステムに接続され、自動的に、社会的キューを少なくとも１つのカメラによって捕捉された画像から認識し、（限定ではないが）画像を表示する、ホログラフィックオーバーレイを表示する、可聴信号を生成する、および／または振動を生成する等、１つまたはそれを上回る出力を介して、本情報を装着者に提供する、ウェアラブルカメラおよび／または種々のセンサ（とりわけ、加速度計、マイクロホン）を含む。いくつかの実施形態では、ウェアラブル行動療法システムは、カメラを組み込み、有線および／または無線データ接続を介して、ヘッドセットと通信し、画像データを処理し、ディスプレイを生成する、ヘッドセット内のプロセッサおよび／または携帯電話ハンドセット内のプロセッサに依拠する、拡張現実、複合現実、または仮想現実ヘッドセットの形態をとる。ある実施形態では、対象（精神障害を患う個人）は、他の生理学的（例えば、体温、心拍数）および行動／感覚データ（例えば、オーディオ信号、眼追跡、頭部追跡等）とともに、外向きに面したカメラを通したビデオフレームを捕捉し、これらのデータを携帯電話上で起動するアプリケーションにリアルタイムで送信する、ヘッドセットを装着する。いくつかの実施形態では、コンピューティングシステムは、分類子を利用して、カメラによって捕捉された画像内で可視の顔および／または顔内の表現イベントを検出する、ソフトウェアシステムを起動する。いくつかの実施形態では、コンピューティングシステムはまた、他の社会的キューも捕捉された画像および／または他のセンサデータから識別可能である。ある実施形態では、機械学習システムが、統計的に代表的な社会的表現データの訓練データセットに基づいて、１つまたはそれを上回る分類子を訓練するために利用される。コンピューティングシステムは、分類子を利用して、具体的な社会的キュー（例えば、対象が相互作用する人々の感情について）の尤度を識別および／または計算することができ、オーディオおよび／または視覚的フィードバックを通して、検出された顔および／または検出された社会的キューの存在を装着者に伝達することができる。さらに、コンピューティングシステムは、ローカルで、または遠隔記憶装置サービスを介して、社会的相互作用データを記憶することができ、これらのデータの精選された精査のためのユーザインターフェースを提供することができる。
【００３０】
以下は、本発明の多くの実施形態による、システムと、システムの種々のコンポーネントが、特定の参加者およびその介護者に関して良好に機能するように、システムの機械学習コンポーネントを較正することと、システムを能動的に訓練し、それらの人々に関するパフォーマンスを改善することと、機械学習コンポーネントの能力を拡張することと、提案されるシステムを一般的行動療法の状況に統合することとを可能にするために使用されるいくつかの方法とに行われ得る、複数の修正を説明する。
【００３１】
大まかには、ウェアラブル行動療法システムは、多くの実施形態では、（限定ではないが）以下の任意の組み合わせを含む、種々の機能を実施することができる。
１．患者の毎日の生活（例えば、夕食）の一部である、非構造化社会的相互作用の間、ウェアラブルデバイスは、リアルタイム社会的相互作用補助として使用され得る。
２．より魅力のある相互作用モードを提供するために、本システムは、システムを最大に利用し、および／または適切な療法価値を提供するように行動強化を促す、具体的なゲーム化されたアクティビティを含むことができる。そのようなアクティビティの一実施例は、子供のグループが、例えば、褒めて、楽しい顔を引き起こすことによって、感情を含有する顔を作り出すように別の人物（例えば、大人、兄弟）において感情を引き起こさせることによって、特定の選択された感情の数を「捕捉」することに挑戦させられる、ゲームである。別の実施例は、他者の表現を模倣することに関して、患者に報酬を与えることである。
３．ある使用周期後、患者およびその介護者は、患者の視点から記録されたアクティビティ（相互のおよび患者に向けた他者の相互作用を参照して）ならびに行動および生理学的データ（例えば、行われたアイコンタクト、模倣された表現等）の形態におけるそれらの状況に対する患者反応を精査してもよい。
４．システムの使用に続いて、結果として生じるデータは、いくつかのユーザ指示ラベル化で補完されてもよい（例えば、表現認識のアプリケーションにおいて、ユーザは、ビデオ内の「正しくなく」分類されたシーケンスを補正し得る）。（おそらく再ラベル化された）データは、次いで、システムの機械学習コンポーネントを改善するために使用され、所与のタスクに関する認識正確度を改善するか、または所与のタスク以外の社会的相互作用イベントを認識するように学習するかのいずれかを行うことができる。
【００３２】
当然ながら、これらの特徴の任意の組み合わせは、異なる状態、年齢、家族等のユーザのために適切となり得る。
【００３３】
以下は、これらの特徴を本発明の多くの実施形態において有効にするために利用される種々のシステムコンポーネントと、それらが相互作用する大まかな方法とを説明し、次いで、特徴１−４を実装し得る方法を具体的に説明し、次いで、依然として、類似療法目標を目指しながら、システムが異なるように構築され得る方法のいくつかの拡張を説明するであろう。
行動療法技術システム
【００３４】
図面を参照すると、図１は、本明細書に説明されるものに類似するデータ処理およびユーザインターフェース方法の実施を有効にする、コンピューティングデバイス１０７を含む、本発明のある実施形態による、行動療法技術システムを図示する。コンピューティングデバイスは、例えば、スマートフォン、デスクトップコンピュータ、ラップトップ、スマートＴＶ、スマートウォッチ、スマートグラス、および他の一般に説明されるコンピュータであることができる。コンピューティングデバイスのプロセッサ１０５は、メモリ１０６内に書き込まれるコンピュータプログラムを実行する。プロセッサは、Ｉ／Ｏデバイス１０１と協働し、データをメモリまたは遠隔記憶装置にダイレクトし、データをメモリまたは遠隔記憶装置から処理のためのプロセッサまたは通信ネットワークに送信する。プロセッサは、例えば、ユーザコンピュータ（例えば、Ｉｎｔｅｌ（Ｒ）Ｘｅｏｎ（Ｒ）マルチコアプロセッサ、Ｉｎｔｅｌ（Ｒ）マイクロアーキテクチャＮｅｈａｌｅｍ、ＡＭＤ  Ｏｐｔｅｒｏｎマルチコアプロセッサ等）において使用するために適応される、任意の市販のプロセッサまたは複数のプロセッサであることができる。当業者が理解するように、プロセッサはまた、コンピューティングデバイスが、カメラ等のセンサ、ならびにディスプレイ、キーボード、マウス、トラックボール、トラックパッド、および／または任意の他のユーザ入力／出力デバイス（図示せず）に接続される、またはコンテンツ（例えば、グラフィックまたはビデオカード）を視認することを可能にする、コンポーネントを含んでもよい。
【００３５】
メモリは、本発明のコンピュータ命令およびデータ（例えば、未加工データ、分析されたデータ、ビデオコンテンツ等）を記憶してもよい。したがって、メモリは、本発明の種々の実施形態によって要求されるように、ハードディスク、フラッシュメモリ、光ディスク、および同等物等の不揮発性メモリと、ＳＲＡＭ、ＤＲＡＭ、ＳＤＲＡＭ、および同等物等の揮発性メモリとの両方を含んでもよい。当業者が理解するように、メモリは、単一コンポーネントとして描写されるが、複数の異なるタイプのメモリが、存在してもよく、メモリはまた、ユーザコンピュータ（例えば、遠隔記憶装置として）に接続される、またはそれと通信する、別個のコンポーネントまたはデバイスであってもよい。したがって、いくつかの実施形態では、データを記憶するメモリの一部は、例えば、複数のハードディスクドライブを含む、ネットワーク接続記憶装置（ＮＡＳ）、記憶エリアネットワーク（ＳＡＮ）、直接アクセス記憶装置（ＤＡＳ）、または任意のそれらの組み合わせとして実装されてもよい。さらに、そのようなデータは、１つまたはそれを上回るデータベース、テーブル、またはフィールド内に記憶されてもよい。容易に理解され得るように、利用される具体的記憶装置は、具体的アプリケーションのデータ要件に大きく依存する。
【００３６】
図示されるシステムでは、１つまたはそれを上回るそのようなコンピューティングデバイスは、行動処理プログラム１０８を実行し、これは、コンピューティングシステムのメモリ内に記憶されるアプリケーションとして実装されることができ、種々の感覚データ１０３を処理し、いくつかの状況情報（顔が存在するかどうか、行われているアイコンタクトの量等）および／または行動データ内に記録された社会的相互作用についての情報を含有する社会的キューを、ディスプレイ、振動触覚デバイス、オーディオデバイス、またはある他のデバイス（１０４）等の出力にリアルタイムで出力する。社会的キューは、状況依存であって、複数のセンサに基づくことができる。例えば、外向きに面したカメラからのビデオデータは、機械学習モジュール（以下の特徴（１）の説明にさらに詳細に説明される）を使用して処理され、装着者の視野内の人々の顔の感情を認識してもよい。当然ながら、ビデオデータは、ＲＧＢ、グレースケール等の任意の適切なフォーマットにおける、そのフレームレートから独立した移動画像データを指し得、これらのデータは、深度情報を含有してもよく、カメラまたは赤外線カメラの単眼またはマルチビュー（例えば、ステレオ）アレイ等の種々のデバイスから捕捉されてもよい。本システムの一実施形態では、加速度計および／または眼追跡データからの患者の頭部姿勢および／または眼の注視が、患者と他の人々との間で生じる相互注視イベントを発見し、これらのデータに基づいて、社会的キューを適応させるために使用される。本発明の種々の実施形態において利用されることができる方法の詳細は、図４−１０を参照して以下に議論される。異なる感覚データの組み合わせを例証する、一実施例では、外向きに面したカメラから受信されたビデオデータ内の顔の表現認識、マイクロホンから受信された音内のオーディオデータ処理、および赤外線眼追跡カメラから受信されたビデオデータ内の眼追跡を使用して、行動処理エンジンは、患者がその会話パートナーにもはや関心を持たせない話題について長々と話しており、相互注視がますます少なくなり、負の表現をもたらしていることを認識することができる。ここで本システムによって計算された適切な社会的キューは、「中断して、質問をしなさい」であり得る。他の実施形態では、種々のフィードバックキューのいずれも、具体的用途の要件に適切となるように行動療法システムによって生成されることができる。
【００３７】
図２は、行動補助システムの具体的実施形態の図式的概要を示し、ウェアラブル捕捉デバイス２０１が、自己中心的ビデオおよび他の感覚データ２０２をコンピューティングデバイス２０３に提供し、これは、データを処理し、患者と相互作用する人々の社会的アクション（顔の表現等）ならびにそれらのアクションに対する患者の応答を認識し、適切な社会的キュー（例えば、感情について）を計算し、順に、１つまたはそれを上回る出力デバイス２０４を通して患者に伝達される。
【００３８】
一般に、本発明の多くの実施形態では、ウェアラブルデバイスは、ビデオデータ捕捉（上記に定義された意味において）および／またはユーザへのフィードバックの提供（例えば、視覚的に、ヘッドアップディスプレイまたはオーディオを通して、骨伝導スピーカまたはイヤホンを通して）のうちの少なくとも１つを可能にする。フィードバックおよびビデオ捕捉の両方をサポートする、一般的商業用実施例は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ、Ｖｕｚｉｘ  Ｍ１００、Ｅｐｓｏｎ  ＢＴ−２００、ＯＤＧ  Ｒ６、およびＭｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓを含む。フィードバックのみを配信（かつおそらくオーディオまたは生理学的データを捕捉）可能なデバイスは、例えば、Ｍｏｔｏｒｏｌａ  Ｍｏｔｏ  Ｈｉｎｔを含む。ウェアラブルデバイス自体が、上記図１に関して説明される意味におけるコンピューティングデバイスであってもよい、またはそうではなくてもよい。
【００３９】
図２を参照すると、患者は、自己中心的ビデオをその視点から捕捉するように、ウェアラブルコンピューティングデバイスを装着する（例えば、胸部または頭部搭載によって）。患者（「装着者」、「ユーザ」、または「対象」とも称される）は、概して、ある形態の投与される療法の一部として、行動介入として、または学習補助として、本システムを使用する、自閉症、不安、双極性障害、鬱病、精神分裂症、アルツハイマー病、およびパーキンソン病等の１つまたはそれを上回る行動問題または精神障害を患う個人である。しかしながら、ある形態の療法では、装着者は、精神障害を患う個人自身ではなく、介護者であってもよい。ウェアラブルデバイスは、ビデオおよび他の感覚データ２０２、例えば、心拍数、血圧、皮膚伝導性等の測定等の生理学的データ、および／または眼追跡装置を通した患者の眼もしくは患者の顔の付加的データを取得する。一般に、「眼追跡装置」は、１つまたはそれを上回るカメラ、深度センサ、赤外線照明源、および瞳孔位置および／または注視方向を識別することを狙いとするそのようなデバイス内に典型的に見出される他のコンポーネントを使用し得る、本システムと相互作用する人物の眼移動を監視するために使用されるハードウェアデバイスであってもよい。眼追跡装置は、Ｔｏｂｉｉ  Ｐｒｏ  ＧｌａｓｓｅｓまたはＳＭＩ  Ｅｙｅ  Ｔｒａｃｋｉｎｇ  Ｇｌａｓｓｅｓ  ２のような任意の市販のシステムであってもよい、または単に、単眼カメラ（おそらく、赤外線放出光源によって補完される）であり得る。眼追跡装置は、ビデオデータを独自に生成し、これは、眼追跡装置を組み込むより大きいシステムによってソフトウェア内で後処理されてもよい（Ｐｕｐｉｌ  Ｌａｂｓ  Ｐｒｏｊｅｃｔ眼追跡装置の場合のように）、またはそのような処理は、眼追跡ハードウェア自体に実装されてもよい（ＴｏｂｉｉまたはＳＭＩ眼追跡システムの場合のように）。
【００４０】
種々のソースからの補完感覚データは、外向きに面したビデオデータとともに、コンピューティングデバイス２０３に伝送される。行動追跡プログラムのステップの実行に応じて、計算された社会的キューは、次いで、１つまたはそれを上回る出力デバイス（コンピューティングデバイス２０３を含んでもよく、出力可能である場合、ウェアラブルデバイス２０１自体）に伝送され、出力され、リアルタイムフィードバックを患者およびその介護者に提供する。
【００４１】
図２の本システムの１つの具体的実施形態では、自己中心的カメラ（有線またはＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）等のネットワーキング接続を介して接続される）が、入力デバイスとしての役割を果たすことができる一方、イヤホン（また、有線またはＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）等のネットワーキング接続を介して接続される）は、オーディオ出力デバイスとしての役割を果たすことができる。この場合、モバイル処理デバイスは、適切な出力を、直接、イヤホン内のスピーカに送信する。
【００４２】
多くの実施形態では、ウェアラブル捕捉デバイスは、捕捉されている画像を処理するための計算リソースを提供する、モバイルデバイとスペアリングされてもよい。図３は、ウェアラブル捕捉デバイスが、自己中心的ビデオおよび他の感覚データ２０２をモバイルコンピューティングデバイス３０３に提供し、データを処理し、患者と相互作用する人々の社会的アクション（顔の表現等）ならびにそれらのアクションに対する患者の応答を認識し、適切な社会的キュー（例えば、感情について）を計算し、これが順に、スマートグラス３０２および／またはモバイルデバイス３０３のヘッドアップディスプレイまたはオーディオ出力を通して、患者に伝達される、一対のスマートグラス３０２である、実施形態を説明する。
【００４３】
本フィードバックは、他の人々（介護者または患者等）が、療法目標に応じて、気付くまたは気付き得ないように設計されることができる。図１２を参照すると、視覚的フィードバックは、例えば、テキスト２０１、色２０２、または感情アイコン２０３、もしくはヘッドアップディスプレイに表示されるような任意の組み合わせから成ことができる。そのようなフィードバックは、離散的である（すなわち、具体的イベントを示す）、または経時的に変化してもよい（例えば、患者にその会話パートナー２０４の関心レベルを示す「現在の関心レベル」スコア等のスコア）。オーディオフィードバックは、ナレータが、感情名を読み上げること、または具体的キューを読み上げること、ならびに感情または他の社会的キューと関連付けられたある範囲の陽気な音効果を含む。ウェアラブルデバイスとして選定されるハードウェアプラットフォームに応じて、視覚的フィードバックは、ホログラフィック投影を通して、情報を世界のビュー上にオーバーレイするように拡張されることができる（例えば、Ｇｏｏｇｌｅ  Ｇｌａｓｓとは対照的に、Ｍｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓのような複合現実システムを使用するとき）。その最も単純な形態では、これは、図１２からのフィードバック「画面駆動」インターフェースをとり、それらを社会的キューが参照している人物に近接して投影する。本アプローチのより複雑な実施形態では、社会的キューについてのフィードバックは、局所化されることができる。例えば、「楽しい」のような感情キューは、図を人物の口上にオーバーレイし、ユーザに表現の位置関係をアラートすることによって、個人の表現をハイライトすることができる。フィードバックはまた、視覚的、オーディオ、または振動キューを通して、装着者が、現在見ており、顔に関わっていることの確認を含んでもよい。これは、単に、顔が検出されたかどうかおよび／またはその場所を表示することから、ユーザの視野内の誰かとの関わりを示すより時間的に敏感な測定、ユーザが視野外で関わり得る、指向性、局在化、または非局在化フィードバックまで及び得る。該フィードバックは、暗示的または明示的に、関わりに関する報酬を伝達してもよい。フィードバックはまた、それらが生じるにつれて、ある社会的キューまたは状況に応答する方法に関して、装着者への提案を含んでもよい。
【００４４】
図３を参照すると、リアルタイム社会的フィードバックに加え、状況情報が、以下にさらに説明されるように、ゲーム化されたアクティビティを伴う、インターフェースにおいて使用するためのウェアラブルデバイスに伝送されることができる。
【００４５】
図２および図３の両方では、ビデオおよび他の感覚データが、リアルタイムで伝送されてもよい（適切な伝送およびおそらく圧縮モデルを使用するが、圧縮は、低待ち時間用途のために省略されることが所望され得る）、または将来的処理のためにキャッシュされることができる。さらに、より高い情報密度（すなわち、色または分解能）のビデオを含有する、任意のビデオデータのバージョンが、リアルタイム目的のために、より低い分解能フレームをストリーミングすることに加え、将来的伝送のために、ウェアラブル上にキャッシュされてもよい。
【００４６】
多くの実施形態では、ウェアラブルデバイスは、内向きおよび外向きカメラ、加速度計、ジャイロスコープ、ヘッドアップディスプレイ、およびマイクロホンを含む、種々のセンサのいずれかを含んでもよい。本発明のある実施形態による、外向きに面したカメラ、加速度計、ヘッドアップディスプレイ、および／またはマイクロホンを含む、ウェアラブルグラス３０１が、図３に図示される。眼追跡装置が、ウェアラブルグラスまたはモバイルデバイスのいずれかへの配線を介して接続される固定具を使用して、本デバイスに取り付けられることができる。本システムのある実施形態では、行動補助「ユニット」は、無線ネットワークを介して接続される、一対のウェアラブルグラス（Ａｎｄｒｏｉｄオペレーティングシステム上で起動するＧｏｏｇｌｅ  Ｇｌａｓｓ等）および携帯電話（Ｎｅｘｕｓ６等）を含む。ウェアラブルグラスは、ビデオおよび頭部姿勢データのための感覚入力デバイスならびに骨伝導スピーカ、随意のイヤホン、およびヘッドアップディスプレイを通した出力デバイスとして作用してもよい。グラス上の限定されるバッテリ寿命および処理電力を節約するために、フレーム処理、ビデオエンコーディング、およびデータ記憶装置等の計算集約的タスクの多くは、電話上でハンドリングされてもよい。ユーザが、新しいアクティビティを開始および終了することを所望すると、モバイルアプリを使用することができ、これは、軽量通信プロトコルを使用し、ウェアラブルグラス上でライトアクティビティをトリガし、グラスに、ＵＤＰパケットストリームを使用して、約３０フレーム／秒のレートでカメラフレームの捕捉を開始するように促し得る。これは、電話上のホットスポットをスパウニングし、ウェアラブルグラスをクライアントとしてＷｉＦｉネットワークに接続することによって、バッテリ効率的様式で実装されることができる。新しいフレームが、捕捉されると、完全フレームおよび他のセンサデータならびに顔面積の高分解能画像が、処理のために電話に伝送されることができる。電話は、ビデオデータを並列方式においてエンコードおよび記憶し、および／または表現認識パイプラインを通してフレームを起動してもよい。次いで、追跡された顔および表現についてのメタデータを含む、結果パケットをグラスに伝送してもよい。グラスは、結果を解釈し、適切な社会的キューを示してもよい（ディスプレイ上またはオーディオとしてのいずれか）。本プロセスは、５０ｍｓ未満の待ち時間を伴って、リアルタイムで発生することができる。
【００４７】
図１１に説明されるプロセスを参照すると、ウェアラブルグラスと携帯電話との間のフレームのパケットストリームは、「全体」顔フレームと、より粒度の細かい処理のためにある着目領域（例えば、顔）をより高い分解能で表す、「拡大」フレームとの間で交互してもよい。行動処理エンジン１１０１からの状況情報入力に応じて（図３の具体的実施形態におけるウェアラブルカメラ捕捉システムまたは図１に準拠する他の実施形態におけるシステム内の任意の他のコンピューティングデバイス上に最も簡単に実装される）、着目領域（例えば、顔内で追跡される基準点によって、または人物の身体の周囲の境界長方形または他の形状によって与えられる）が、識別された。これらの領域の時間的ストリームおよび可能性としてウェアラブルデバイスからの他の関連付けられたデータに基づいて、新しい推定される着目領域が、計算され、フィルタリングされ、本領域に対する高分解能クロップが、行動処理エンジンに返信される。本方法の最も単純な実施形態では、送信される状況情報は、追跡された顔の境界を含む。これらの境界に基づいて、固定フレームサイズの初期クロップが、顔境界がフレーム内の最も中心に含まれるように計算されてもよい。これは、「現在の推定」として維持され、状況情報が、オリジナルフレーム内の現在の推定外にあるか、またはある固定数のフレームにわたって着目面積を含有しないかのいずれかである、着目面積を含有するまで、全てのフレームが、本推定に対してクロッピングされる。本システムの別のより複雑な実施形態では、移動平均またはカルマンフィルタが、全てのフレーム上で更新される現在の顔推定の周囲の着目境界領域を「平滑化」するために使用される。容易に理解され得るように、種々のプロセスのいずれも、本発明の種々の実施形態に従って、具体的用途の要件に適切であるように利用されることができる。
【００４８】
全体的システムアーキテクチャを参照すると、１つの大まかな設定の機能的に類似する修正を伴う種々の実施形態が、当業者がこれらの設定を実装することを可能にする方法とともに説明された。当然ながら、これらは、さらに拡張されることができ、限定と見なされるべきではない。図２−３の種々の実施形態では、本システムの種々のコンポーネントは、拡張または省略されることができる。図２では、例えば、ウェアラブル捕捉デバイスおよびモバイル処理ユニットは、ネットワーク接続を介して接続される２つの別個のエンティティとは対照的に、同一デバイスであってもよい（例えば、統合されるカメラを伴うスマートフォンと見なされ得る）。これは、ネットワーキングが２つの明確に異なるアプリケーション間で通信するために要求されないため、関連付けて説明される本システムのアーキテクチャを非常に簡略化する。しかしながら、以下に説明される特徴（少なくともそのサブセット）を実装するために要求される処理を実行可能なウェアラブルコンピューティングデバイスの使用を要求する。さらに別の実施形態では、図１−３のシステムは、単に、一次捕捉から集められたデータおよび洞察を精査するための「精査ステーション」として使用される、コンピューティングデバイスと、リアルタイムフィードバックシステム（例えば、ビデオおよび行動統計）とを伴うように拡張されてもよい。要するに、種々の市販のハードウェアシステム（前述のように）が、本発明のある具体的用途、例えば、行動療法において適切であり得る、コスト、機能性、および妨害性におけるトレードオフを伴って、これらの実施形態において採用されることができる。
（１）社会的アクション認識システムおよび非構造化社会的キュー：
【００４９】
前の節は、そのようなエンジンを我々のシステムに「配線」する方法について説明したが、本節は、有用な社会的キューに到達するために使用され得る、機械学習およびデータ処理システムを作成することに焦点を当てる。
【００５０】
図４を参照すると、本発明のある実施形態による、社会的キューを感覚データから生成することができる、社会的アクション認識システムが、図示される。図示される実施形態は、データ捕捉機構（オーディオ、ビデオ、加速度計等）４０７に依拠し、これは、次いで、データストリーム上でリアルタイムで、またはデータのセット上でオフラインで実行される、配信されるデータに関連する社会的情報４０８（顔の表現、顔筋移動、ボディランゲージ、ジェスチャ、身体姿勢、アイコンタクトイベント、頭部姿勢、会話の特徴、貧乏ゆすり、または他の不安の出現等）を出力する、処理システムにフィードされる。
【００５１】
大まかには、社会的アクション認識システムは、人工知能システムおよびハードワイヤルールのセットを含む。人工知能（ＡＩ）システムは、典型的には、一連の事前処理ステップ、機械学習分類子、および後処理ステップを含んでもよい。ＡＩシステムからの出力は、「ハードワイヤ」システム（ここでは、行動処理エンジン４０６の一部として）にパスされてもよく、これは、ルールのセットを実装し、最終社会的キューを出力することができる。
【００５２】
これらの機械学習システムコンポーネントは、概して、回帰または分類機械として実装されることができる。回帰ケースでは、ＡＩシステムは、最も一般には、連続的社会的キュー（例えば、「楽しさ」スコア）をもたらす。分類ケースでは、典型的には、イベントベースのキュー（例えば、「怒り」の瞬間）をもたらす。機械学習の当業者に公知であるように、分類子の実装に応じて、本システムは、通常、これらの２つのタイプのキュー間を変換するように容易に構成されることができる。出力された離散および連続的キューは、多くの場合、前の節に議論されるように、そのフィードバックインターフェースにおいて異なるように取り扱われる。
【００５３】
社会的相互作用システムのいくつかの実施形態は、図に描写されるように配線される、顔追跡モジュール４０３、表現認識モジュール４０１、注視追跡モジュール４０２、オーディオ処理モジュール４０４、加速度計データ処理モジュール４０５、および最終出力を計算する行動処理エンジン等の種々のサブシステムを採用してもよい。当然ながら、これらのモジュールの任意の組み合わせが、本システムの用途に応じて使用されてもよい。
【００５４】
これらのモジュールを適切な詳細で説明するために、その入力およびプロセスを別個に検討することが有用である。最初に、部分４０３および４０１の相互作用を検討すると、図５は、本発明のいくつかの実施形態において利用される顔追跡装置と顔の表現／アクション単位認識プロセスの相互作用に関する拡大図５０８を提供する。ビデオデータへの注意を制限するために、プロセスへの入力は、各フレームに関連する社会的情報を出力する目標で、一度に１つの画像が提供される。本明細書に説明される方法は、主に、単眼カメラからの処理入力に焦点を当てるが、当業者が理解するように、提案される新規システム自体が、付加的センサ入力を処理し、依然として、本明細書に説明される処理、記録、および精査構造を維持することによって拡張されることができる。
【００５５】
顔の表現または顔のアクションを識別するためのプロセスは、以下の断片、すなわち、（１）顔検出５０１および／または（２）基準点顔追跡５０２、（３）顔と規準的サイズおよび姿勢の位置合わせ５０３、（４）照明正規化前処理技法５０４、（５）顔についての着目領域内の勾配特徴抽出のヒストグラム５０５、（６）画像データ上で訓練されたロジスティック回帰分類子を介した顔の表現の分類５０６、および（７）結果として生じる分類のフィルタリング５０７を含んでもよい。１つのそのような処理パイプラインは、２０１６年にＮｉｃｋ  Ｈａｂｅｒ，  Ｃａｔａｌｉｎ  Ｖｏｓｓ，  Ｄｅｎｎｉｓ  Ｗａｌｌ，  Ａｚａｒ  Ｆａｚｅｌ，  ａｎｄ  Ｔｅｒｒｙ  ＷｉｎｏｇｒａｄによってＩＥＥＥ  Ｗｉｎｔｅｒ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＷＡＣＶ）において提示された論文“Ａ  ｐｒａｃｔｉｃａｌ  ａｐｐｒｏａｃｈ  ｔｏ  ｒｅａｌ−ｔｉｍｅ  ｎｅｕｔｒａｌ  ｓｕｂｔｒａｃｔｉｏｎ  ｆｏｒ  ｆａｃｉａｌ  ｅｘｐｒｅｓｓｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ”（その関連開示は、参照することによってその全体として本明細書に組み込まれる）に説明されている。図５は、これらの操作のそれぞれ１つが文献において公知のアプローチを使用して達成され得る方法の実施例を与える。例えば、ステップ（３）における位置合わせは、明白な幾何学的プロシージャであって、ステップ（４）における照明正規化は、Ｔａｎ，  Ｘｉａｏｙａｎｇ，  ａｎｄ  Ｂｉｌｌ  Ｔｒｉｇｇｓ．“Ｅｎｈａｎｃｅｄ  ｌｏｃａｌ  ｔｅｘｔｕｒｅ  ｆｅａｔｕｒｅ  ｓｅｔｓ  ｆｏｒ  ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｎｄｅｒ  ｄｉｆｆｉｃｕｌｔ  ｌｉｇｈｔｉｎｇ  ｃｏｎｄｉｔｉｏｎｓ．”Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  １９．６（２０１０）：１６３５−１６５０（本開示は、参照することによってその全体として本明細書に組み込まれる）の方法を使用して遂行されることができる。完全パイプライン５０８に取って代わり得る、顔の表現認識のための代替候補アルゴリズムの調査は、論文Ｆ．  Ｄｅｌａ  Ｔｏｒｒｅ  ａｎｄ  Ｊ．  Ｃｏｈｎ：“Ｆａｃｉａｌ  ｅｘｐｒｅｓｓｉｏｎ  ａｎａｌｙｓｉｓ．”Ｉｎ  Ｔ．  Ｂ．  Ｍｏｅｓｌｕｎｄ，  Ａ．  Ｈｉｌｔｏｎ，  Ｖ．  Ｋｒｇｅｒ，  ａｎｄ  Ｌ．  Ｓｉｇａｌ，  ｅｄｉｔｏｒｓ，  Ｖｉｓｕａｌ  Ａｎａｌｙｓｉｓ  ｏｆ  Ｈｕｍａｎｓ，  ｐａｇｅｓ  ３７７−４０９，  Ｓｐｒｉｎｇｅｒ  Ｌｏｎｄｏｎ，  ２０１１（本開示は、参照することによってその全体として本明細書に組み込まれる）に与えられている。
【００５６】
本明細書に説明されるシステムの状況においてこれらのアプローチをリアルタイム状況で実践させるいくつかの方法が、説明される。
【００５７】
第１のものは、中立減算と称され、以下に詳細に説明され、また、論文“Ａ  ｐｒａｃｔｉｃａｌ  ａｐｐｒｏａｃｈ  ｔｏ  ｒｅａｌ−ｔｉｍｅ  ｎｅｕｔｒａｌ  ｓｕｂｔｒａｃｔｉｏｎ  ｆｏｒ  ｆａｃｉａｌ  ｅｘｐｒｅｓｓｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ”にも説明される、対象の中立顔特徴の推定をリアルタイムで学習し、抽出された特徴から減算する。これは、照明および対象間変動にわたって本システムのロバスト性を向上させる目的を有する。
【００５８】
第２のものは、表現認識システムのフレーム毎分類結果を求め、それらを時間を横断して平滑化することから成る。分類は、本質的に、時間を横断して、時間を横断していくつかの連続性を仮定することによって緩和され、したがって、より良好なユーザ体験につながり得る、雑音を有する。時間ｔを含め、それまでに見られる全てのフレームを時間ｔにおける入力として求め、これらのデータを使用して、時間ｔに関する予測を行う、任意のアルゴリズムが、適用されることができる。これの多くの実施形態は、単に、フレームの直近のシーケンスを保持する固定サイズバッファを保ち、固定割合のフレームが表現であると分類されたときのみ、ユーザ出力を与えることを伴う。いくつかの実施形態では、時間依存性は、隠れマルコフモデル（例えば、Ｊ．  Ｗａｎｇ，  Ｓ．  Ｗａｎｇ  ａｎｄ  Ｑ．  Ｊｉ，”Ｅａｒｌｙ  Ｆａｃｉａｌ  Ｅｘｐｒｅｓｓｉｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｕｓｉｎｇ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ，”Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ），２０１４  ２２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｓｔｏｃｋｈｏｌｍ，  ２０１４，  ｐｐ．４５９４−４５９９参照）（本開示は、参照することによってその全体として本明細書に組み込まれる）、または条件付き確率場（例えば、Ｒ．  Ｗａｌｅｃｋｉ，  Ｏ．  Ｒｕｄｏｖｉｃ，  Ｖ．  Ｐａｖｌｏｖｉｃ  ａｎｄ  Ｍ．  Ｐａｎｔｉｃ，”Ｖａｒｉａｂｌｅ−ｓｔａｔｅ  ｌａｔｅｎｔ  ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄｓ  ｆｏｒ  ｆａｃｉａｌ  ｅｘｐｒｅｓｓｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ａｃｔｉｏｎ  ｕｎｉｔ  ｄｅｔｅｃｔｉｏｎ，”Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＦＧ），  ２０１５  １１ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ａｎｄ  Ｗｏｒｋｓｈｏｐｓ  ｏｎ，  Ｌｊｕｂｌｊａｎａ，  ２０１５，  ｐｐ．１−８参照）（参照することによってその全体として本明細書に組み込まれる）を通してモデルに明示的に追加され、ユーザにモデルによって提供される平滑化された出力を供給する。いくつかの実施形態では、フィードフォワード畳み込みニューラルネットワークが、ＨＭＭおよびＣＲＦを一般化する学習関係である、ＬＳＴＭ（Ｓｅｐｐ  Ｈｏｃｈｒｅｉｔｅｒ  ａｎｄ  Ｊｕｒｇｅｎ  Ｓｃｈｍｉｄｈｕｂｅｒ（１９９７）．Ｌｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ．  ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎ９（８）：１７３５−１７８０．（本開示は、参照することによってその全体として本明細書に組み込まれる））およびＧＲＵ（Ｋ．  Ｃｈｏ，  Ｂ．  ｖａｎ  Ｍｅｒｒｉｅｎｂｏｅｒ，  Ｄ．  Ｂａｈｄａｎａｕ，  ａｎｄ  Ｙ．  Ｂｅｎｇｉｏ．  Ｏｎ  ｔｈｅ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  ｎｅｕｒａｌ  ｍａｃｈｉｎｅ  ｔｒａｎｓｌａｔｉｏｎ：Ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ  ａｐｐｒｏａｃｈｅｓ．  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１４０９．１２５９，２０１４（本開示は、参照することによってその全体として本明細書に組み込まれる））等の再帰型ニューラルネットワークと併用される。特に、データの空間依存性��前提として、一実施形態は、畳み込みＬＳＴＭまたはＧＲＵゲートを採用し（Ｃｈｏｙ，  Ｃｈｒｉｓｔｏｐｈｅｒ  Ｂ．；Ｘｕ，  Ｄａｎｆｅｉ；  Ｇｗａｋ，  ＪｕｎＹｏｕｎｇ；Ｃｈｅｎ，  Ｋｅｖｉｎ；Ｓａｖａｒｅｓｅ，  Ｓｉｌｖｉｏ．  ３Ｄ−Ｒ２Ｎ２：Ａ  Ｕｎｉｆｉｅｄ  Ａｐｐｒｏａｃｈ  ｆｏｒ  Ｓｉｎｇｌｅ  ａｎｄ  Ｍｕｌｔｉ−ｖｉｅｗ  ３Ｄ  Ｏｂｊｅｃｔ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．  Ｅｐｒｉｎｔ  ａｒＸｉｖ：１６０４．００４４９，０４／２０１６、（本開示は、参照することによってその全体として本明細書に組み込まれる）に見られるもの等）、これらの畳み込み再帰型方法を直接フレームのシーケンスからの表現認識のタスクに適応してもよい。適切なモデルの学習は、予期されるより具体的なユーザ相互作用に依存し、したがって、そのような実施形態は、これらの療法ユースケースにおいて集められたデータを通して学習された特定のモデルを要求するであろう。
【００５９】
本発明の多くの実施形態による、１つの特定の平滑化問題システムは、会話中の表現認識に対処し得る。標準的アルゴリズムは、会話中の表現におけるわずかな瞬間的変動に起因して、対象が会話しているとき、望ましくないフィードバックを与える。多くが、前述の平滑化努力によって緩和され得るが、本システムのいくつかの実施形態は、対象が会話中として認識されるとき、明示的スクリーニング（出力は与えられない）を伴う。これは、対象が会話中であるビデオシーケンスを認識することを狙いとして視覚的時間依存分類子を明示的に訓練することによって遂行され得る。いくつかの実施形態は、オーディオ信号を使用して、対象が会話中であるときを伝えることを伴う。ある実施形態は、時間依存分類子（例えば、条件付き確率場、または再帰型ニューラルネットワーク）を訓練し、標準的顔の表現だけではなく、「中立会話」、「楽しい会話」、「悲しい会話」等を認識することに依存する。本状況における時間依存モデルは、対象が会話中であるデータをハンドリングするときの主要問題が、任意の所与のフレームにおいて、より長い期間にわたって保持される場合、対象が異なるように解釈されるであろう表現を有し得ることであるため、有用であり得る。そのような時間依存モデルは、表現会話シーケンスとともに、標準的顔の表現のビデオデータで訓練され得る。
【００６０】
広義には、より良好なユーザ体験は、本システムが、不確かであるとき、中立表現を予測する（かつ、例えば、フィードバックを与えない）ようにバイアスされるときにもたらされ、上記のアルゴリズムは、内蔵「中立バイアス」を有することができ、これは、分類子の標準的パラメータを調整することによって達成されることができる。
【００６１】
多くの実施形態は、外向きに面したビデオデータと併せて、１つまたはそれを上回る内向きに面した眼追跡データを使用して、注視イベントを検出する。モジュール４０２に移行すると、図６および７は、本発明のある実施形態による、外向きに面したビデオデータおよび可能性として内向きに面した眼追跡データを統合し、社会的キューをもたらし得る、相互注視または一方向注視イベントを検出するための２つの方法を与える。顔の表現認識と同様に、両方法は、顔画像データを検出、追跡、位置合わせ、および前処理することを伴う。図６の方法は、幾何学的アプローチに依拠し、装着者および装着者の正面の追跡された対象の注視が、同様に推定される、その位置のそれぞれに対して、同時に推定される。これは、そのようなデータを組み合わせ、相互注視イベントの予測を生成する。図７の方法は、機械学習分類子を直接使用し、外向き対象（基準点、テクスチャ特徴、ニューラルネットワーク出力）から抽出される特徴のデータと、装着者からの特徴（眼追跡、加速度計測定）と、これらのイベントのための予測器を学習するために、（相互）注視イベントの真値を組み合わせることができる。瞳孔追跡は、種々の方法においてリアルタイムで行われることができる。例えば、Ｔｉｍｍ，  Ｆａｂｉａｎ，  ａｎｄ  Ｅｒｈａｒｄｔ  Ｂａｒｔｈ．  Ａｃｃｕｒａｔｅ  Ｅｙｅ  Ｃｅｎｔｒｅ  Ｌｏｃａｌｉｓａｔｉｏｎ  ｂｙ  Ｍｅａｎｓ  ｏｆ  Ｇｒａｄｉｅｎｔｓ．  ＶＩＳＡＰＰ  ２０１１−Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｉｘｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，  Ｖｉｌａｍｏｕｒａ，  Ａｌｇａｒｖｅ，  Ｐｏｒｔｕｇａｌ，  ５−７  Ｍａｒｃｈ，  ２０１１（本開示は、参照することによってその全体として本明細書に組み込まれる）ならびにオープンソースプロジェクト（ＰｕｐｉｌＬａｂｓ．ｈｔｔｐｓ：／／ｐｕｐｉｌ−ｌａｂｓ．ｃｏｍ／ｐｕｐｉｌ／．Ａｃｃｅｓｓｅｄ２Ｍａｙ２０１６）を参照されたい。
【００６２】
モジュール４０４に移行すると、本システムの多くの実施形態は、オーディオ信号を統合してもよく、本システムは、表現コンテンツを分析後、例えば、Ｍ．  Ｗｏｌｌｍｅｒ，  Ａ．  Ｍｅｔａｌｌｉｎｏｕ，  Ｎ．  Ｋａｔｓａｍａｎｉｓ，  Ｂ．  Ｓｃｈｕｌｌｅｒ  ａｎｄ  Ｓ．  Ｎａｒａｙａｎａｎ，”Ａｎａｌｙｚｉｎｇ  ｔｈｅ  ｍｅｍｏｒｙ  ｏｆ  ＢＬＳＴＭ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｅｎｈａｎｃｅｄ  ｅｍｏｔｉｏｎ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｉｎ  ｄｙａｄｉｃ  ｓｐｏｋｅｎ  ｉｎｔｅｒａｃｔｉｏｎｓ，”Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），２０１２  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｋｙｏｔｏ，  ２０１２，  ｐｐ．４１５７−４１６０（本開示は、参照することによってその全体として本明細書に組み込まれる）において吟味された成功時間依存モデルを使用して、フィードバックを提供してもよい。これの１つのバージョンは、単に、語調のみに基づいて、表現認識キューを提供してもよい一方、別のバージョンは、ある限定された範囲まで、会話のコンテンツに注意を払うことによって、これを拡張させてもよい。全てのケースにおいて、オーディオ信号は、構成デバイスのいずれかによって記録され、視覚的情報とストリーミング／同期され、分類デバイスにフィードされてもよい。
【００６３】
モジュール４０５に移行すると、種々の場所（頭部搭載型、腕搭載型等）からの加速度計データが、強迫性行動（動揺、反復移動等）またはジェスチャ（頭部動揺、点頭、頭部の前方移動等）等の具体的な社会的関連イベントを検出することによって、社会的相互作用認識プロセスの中に組み込まれることができる。多くのウェアラブルシステムは、そのような目的のために好適な「ジェスチャ認識ＡＰＩ」を提供するが、より複雑な機械学習システムが、本タイプの認識を有効にするために使用されることができる。時間的加速度計データをジェスチャ分類に変えるための種々の好適なアプローチは、学術文献に説明されており、利用される具体的プロセスは、所与の用途の要件に大きく依存する。さらに、加速度計データは、直接、または他のセンサと併せて、心拍数測定等の生理学的データを抽出するために使用されてもよい。論文（Ｊ．  Ｈｅｒｎａｎｄｅｚ，  Ｙ．  Ｌｉ，  Ｊ．  Ｍ．  Ｒｅｈｇ  ａｎｄ  Ｒ．  Ｗ．  Ｐｉｃａｒｄ，”ＢｉｏＧｌａｓｓ：Ｐｈｙｓｉｏｌｏｇｉｃａｌ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ａ  ｈｅａｄ−ｍｏｕｎｔｅｄ  ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ，”Ｗｉｒｅｌｅｓｓ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｈｅａｌｔｈｃａｒｅ（Ｍｏｂｉｈｅａｌｔｈ），２０１４  ＥＡＩ  ４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ａｔｈｅｎｓ，  ２０１４，  ｐｐ．５５−５８（本開示は、参照することによってその全体として本明細書に組み込まれる））は、これを行うための方法を例証し、概念実証を与え、そのようなシステムが、実生活状況においてロバストに性能を発揮し得ることを示す。これらのデータは、他のデータと併せて、行動処理エンジン４０６によって使用され、ゲームプレーを有効にする（例えば、点頭のような表現を模倣することに関してユーザに報酬を与える）、または社会的キュー出力を変化させる（例えば、感覚的過負荷／強迫性動揺時、非常に多くの社会的キューを送信することを回避する）ことができる。
【００６４】
最後に、これは全て、行動処理エンジン４０６内に統合されることができる。図８に描写されるように、本システムは、全ての上記システムの結果を組み合わせ、デバイスの装着者および他のユーザに与えられるための社会的情報またはキューを生成することができる。本システムは、以下のコンポーネント、すなわち、（１）入力としてビデオデータ（視覚的および／または聴覚的）をとる、分類子および回帰効果モデルの形態における、顔の表現認識（アクション単位、ユニバーサル表現、および／またはより複雑な表現）、（２）弁別的行動ルール、（３）社会的相互作用を有効にするゲームの実装（以下のゲームアプリケーションに説明される）、（４）注視追跡、（５）頭部姿勢／加速度計データ、（６）相互眼注視モデル、および（７）時間を横断した平滑出力の生成のための前述のフィルタ）のうちの１つまたはそれを上回るものを使用することができる。本システムは、次いで、関連社会的情報またはキューを決定し、装着者または他のユーザに提供する（一実施形態は、ゲームの形態であって、複数の物理的コンポーネントが、同時に、ユーザにインターフェースされる）。
【００６５】
より広い社会的アクション認識に注意を向けようと、顔の表現認識のために説明されるシステムの多くは、顔内の基本感情より複雑なアクション認識に拡張されることができる。
【００６６】
顔およびオーディオ以外に、本システムはまた、我々の独自の分類システムならびにアクティビティ認識に関する高度に開発された研究に依拠する、社会的キューを与えるために、ボディランゲージおよび姿勢情報を組み込んでもよい。これは、顔の表現認識のために使用される同一ビデオストリームを使用して、論文Ｍ．  Ｄａｎｔｏｎｅ，  Ｊ．  Ｇａｌｌ，  Ｃ．  Ｌｅｉｓｔｎｅｒ  ａｎｄ  Ｌ．  Ｖａｎ  Ｇｏｏｌ，”Ｈｕｍａｎ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  Ｕｓｉｎｇ  Ｂｏｄｙ  Ｐａｒｔｓ  Ｄｅｐｅｎｄｅｎｔ  Ｊｏｉｎｔ  Ｒｅｇｒｅｓｓｏｒｓ，”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２０１３  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｐｏｒｔｌａｎｄ，  ＯＲ，  ２０１３，  ｐｐ．３０４１−３０４８（本開示は、参照することによってその全体として本明細書に組み込まれる）等の姿勢追跡における最近の進歩を採用してもよい。ビデオフィードを通して得られた姿勢情報および他のキューを使用して、本システムは、データをアクティビティ認識のための種々の高度に開発されたシステムにフィードすることができる（例えば、Ｒ．  Ｂｏｄｏｒ，  Ｂ．  Ｊａｃｋｓｏｎ，  ａｎｄ  Ｎ．  Ｐａｐａｎｉｋｏｌｏｐｏｕｌｏｓ．  Ｖｉｓｉｏｎ−ｂａｓｅｄ  ｈｕｍａｎ  ｔｒａｃｋｉｎｇ  ａｎｄ  ａｃｔｉｖｉｔｙ  ｒｅｃｏｇｎｉｔｉｏｎ．  Ｉｎ  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  １１ｔｈ  Ｍｅｄｉｔｅｒｒａｎｅａｎ  Ｃｏｎｆ．  ｏｎ  Ｃｏｎｔｒｏｌ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，  Ｊｕｎｅ  ２００３（本開示は、参照することによってその全体として本明細書に組み込まれる）、ならびにＭ．  Ｋ．  Ｆｉａｚ  ａｎｄ  Ｂ．  Ｉｊａｚ，”Ｖｉｓｉｏｎ  ｂａｓｅｄ  ｈｕｍａｎ  ａｃｔｉｖｉｔｙ  ｔｒａｃｋｉｎｇ  ｕｓｉｎｇ  ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ，”Ｉｎｔｅｌｌｉｇｅｎｔ  ａｎｄ  Ａｄｖａｎｃｅｄ  Ｓｙｓｔｅｍｓ（ＩＣＩＡＳ），２０１０  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｋｕａｌａ  Ｌｕｍｐｕｒ，  Ｍａｌａｙｓｉａ，２０１０，ｐｐ．１−５（本開示は、参照することによってその全体として本明細書に組み込まれる）参照）。本システムはまた、該ビデオデータおよび上記の表現認識を取り込み、より長い期間にわたって、不安、退屈、または注意を払っていること等のより複雑な感情状態を推測し（例えば、Ｒ．  Ｅｌ  Ｋａｌｉｏｕｂｙ  ａｎｄ  Ｐ．  Ｒｏｂｉｎｓｏｎ，”Ｍｉｎｄ  ｒｅａｄｉｎｇ  ｍａｃｈｉｎｅｓ：ａｕｔｏｍａｔｅｄ  ｉｎｆｅｒｅｎｃｅ  ｏｆ  ｃｏｇｎｉｔｉｖｅ  ｍｅｎｔａｌ  ｓｔａｔｅｓ  ｆｒｏｍ  ｖｉｄｅｏ，”Ｓｙｓｔｅｍｓ，  Ｍａｎ  ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，  ２００４  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｔｈｅ  Ｈａｇｕｅ，  ２００４，ｐｐ．６８２−６８８  ｖｏｌ．１（本開示は、参照することによってその全体として本明細書に組み込まれる）において述べられるアルゴリズムを使用して）、より長い期間にわたってそのような状態に気付いた後、社会的キューを配信してもよい。これらは、周囲世界の知識と装着者の知識を組み合わせ、フィードバック��適宜調整するために、限定ではないが、注視追跡および加速度計を含む、他のセンサと組み合わせられることができる。
【００６７】
図４の社会的相互作用認識システムを参照すると、多くの実施形態では、本システムの種々のサブコンポーネントは、単一の位置合わせおよび事前に処理なしの高次元機械学習システムと置換されてもよい。本発明のある実施形態による、高次元機械学習システムの実施例が、図１０に図示され、入力１００１に応じて、単一機械学習システムは、直接、種々の入力データの連結から、社会的情報および／またはキューを予測してもよい。ＡｌｅｘＮｅｔ（Ａｌｅｘ  Ｋｒｉｚｈｅｖｓｋｙ，  Ｉｌｙａ  Ｓｕｔｓｋｅｖｅｒ  ａｎｄ  Ｇｅｏｆｆｒｅｙ  Ｅ．  Ｈｉｎｔｏｎ．  ＩｍａｇｅＮｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ．  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  ２５．Ｐａｇｅｓ：１１０６−１１１４，２０１２（本開示は、参照することによってその全体として本明細書に組み込まれる））を手始めとして、より最近のＧｏｏｇＬｅＮｅｔ（Ｃｈｒｉｓｔｉａｎ  Ｓｚｅｇｅｄｙ，  Ｗｅｉ  Ｌｉｕ，  Ｙａｎｇｑｉｎｇ  Ｊｉａ，  Ｐｉｅｒｒｅ  Ｓｅｒｍａｎｅｔ，  Ｓｃｏｔｔ  Ｒｅｅｄ，  Ｄｒａｇｏｍｉｒ  Ａｎｇｕｅｌｏｖ，  Ｄｕｍｉｔｒｕ  Ｅｒｈａｎ，  Ｖｉｎｃｅｎｔ  Ｖａｎｈｏｕｃｋｅ，  Ａｎｄｒｅｗ  Ｒａｂｉｎｏｖｉｃｈ．  Ｇｏｉｎｇ  Ｄｅｅｐｅｒ  Ｗｉｔｈ  Ｃｏｎｖｏｌｕｔｉｏｎｓ．  Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），  ２０１５，  ｐｐ．１−９（本開示は、参照することによってその全体として本明細書に組み込まれる））まで（両方とも広く利用可能なアーキテクチャである）、種々の深層畳み込みニューラルネットワークアーキテクチャは、任意の位置合わせまたは画像前処理を伴わずに、オブジェクト認識、セグメント化、および局所化タスクを実施する能力を示している。転移学習が、次いで、少量のデータを用いて、アフェクティブコンピューティングのドメインに適用されることができる。これらのアーキテクチャは、次いで、前述の再帰型ニューラルネットワーク（ｃｏｎｖ−ＬＳＴＭまたはＧＲＵならびに一般的ＬＳＴＭおよびＧＲＵ）アーキテクチャのいずれかにおいて微調整および使用され得る、特徴を生成するために用いられることができる。別の実施形態は、散乱畳み込みニューラルネットワーク（Ｊｏａｎ  Ｂｒｕｎａ  ａｎｄ  Ｓｔｅｐｈａｎｅ  Ｍａｌｌａｔ．  Ｉｎｖａｒｉａｎｔ  Ｓｃａｔｔｅｒｉｎｇ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｔｗｏｒｋｓ．  ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１２０３．１５１３，２０１２（本開示は、参照することによってその全体として本明細書に組み込まれる）参照）を使用する。
【００６８】
多くの実施形態では、本システムはまた、対象間差異を考慮するために、表現認識の較正を含む、種々の方略を採用し、ユーザに関する社会的アクション認識を較正してもよい。これは、較正目的のためのデータ捕捉イベントおよび社会的アクション認識システムの実行の際に以前に捕捉されたデータを含む、いくつかのモードを通して得られ得る、具体的個人に関するデータの捕捉を伴ってもよい。多くの実施形態では、本システムは、次いで、グラウンドトルースを判定するために、１人またはそれを上回るユーザにクエリしてもよい。これは、社会的アクション認識システムにおける一般的分類子の正確率を改善し、具体的個人（患者の家族または介護者のグループ等）に関する最高水準を凌ぐための重要な要素であり得る。いったんラベル化または非ラベル化のいずれかのデータが、標的家族に関して集められると、本システムは、標的データ分布（標的家族）に関する正確度を標的分布からのわずかなデータおよびソース分布（それ以外の全ての者）からの多くのデータを前提として増加させることを狙いとする、ドメイン適応方法を広く適用することができる。これらの技法のいずれかを通して貫かれるべき慎重に考慮が必要な平衡は、１つの所与の家族に関する任意のデータ収集努力が、本システムを用いて、あらゆる照明、外観の変化、およびアクティビティにおける他の個人の含有を考慮することができないため、モデルが、介護者（例えば、ユーザの家族）の標的グループに関して集められたデータに関して良好に性能を発揮すべきであるだけではなく、また、概して、ロバストでもあることである。多くの実施形態は、ドメイン特有であって、データを通して到達される、アルゴリズムパラメータ（学習率および正規化項等）の慎重な選択を利用し得る、確率的勾配降下法を通して、学習される一般的モデルに加重パラメータの単純調整を提供する。いくつかの実施形態は、階層ベイズアプローチを使用し、異なる家族は、異なる加重で訓練されたモデルを有することができるが、各家族の加重が一般的分布から導き出されるという条件に従う。これは、自動的に、１つの家族のデータからの知識をそれ以外の全ての者のデータからの知識で補完する効果を有する。これらのアプローチは両方とも、標的家族に関するデータの捕捉に応じて、モデルが、一般的モデル以外の任意のリソースを用いずに、デバイス上で適応されることができ、全てのデバイス上にコンパクトに記憶され得るという明確に異なる利点を有し得る。これは、迅速較正を可能にすることができる。本システムのある実施形態は、一般的モデルを訓練するために使用される全てのデータのより多くのリソースを利用してもよく、故に、全てのデータが、ローカルで保たれ得るか、または計算が、ローカルデバイスと外部コンピューティングリソースとの間で協働して行われ得る（データを外部コンピューティングリソースにアップロードする、または定期的通信を用いて並列で計算を行うことによって等）かのいずれかとなる。本実施形態は、全てのデータを使用し、標的データを加重されたソースデータで補完してもよく（ＳＶＭおよびロジスティック回帰等の大部分の既製機械学習アルゴリズム、サポートデータ加重、および任意のアルゴリズムが、加重に比例してデータを再サンプリングすることによって、そのように行われることができる）、加重は、ソースデータと標的データとの間の関連性基準によって判定されることができる。１つのそのような関連性基準は、Ｙ．  Ｑ．  Ｍｉａｏ，  Ｒ．  Ａｒａｕｊｏ  ａｎｄ  Ｍ．  Ｓ．  Ｋａｍｅｌ，”Ｃｒｏｓｓ−Ｄｏｍａｉｎ  Ｆａｃｉａｌ  Ｅｘｐｒｅｓｓｉｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｕｓｉｎｇ  Ｓｕｐｅｒｖｉｓｅｄ  Ｋｅｒｎｅｌ  Ｍｅａｎ  Ｍａｔｃｈｉｎｇ，”Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ（ＩＣＭＬＡ），２０１２  １１ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，  Ｂｏｃａ  Ｒａｔｏｎ，  ＦＬ，  ２０１２，  ｐｐ．３２６−３３２（本開示は、参照することによってその全体として本明細書に組み込まれる）に見出されることができる。
【００６９】
多くの実施形態では、機械学習分類および社会的キューへの到達に応じて、種々の後処理技法が、使用され、偽陽性の数を最小限に保ち、誤分類から生じ得る、潜在的療法上の有害物を低減させることができる。
【００７０】
最初に、提供されるキューの数は、移動平均フィルタ、低域通過時間ドメインフィルタ、または他の好適なモデル等のフィルタリングアルゴリズムを使用して、最小限に保たれ、可能性として多数のキューアラートと関連付けられる感覚過負荷を低減させてもよい。
【００７１】
さらに、行動処理エンジンから生じる雑音の課題に対処するために、本発明のいくつかの実施形態によるシステムは、患者が潜在的偽陰性キューからのキューの欠如を伝え得るように、信頼度スコアを行動処理エンジンから取得することに基づいて、視覚的インジケータをウェアラブルデバイス上で使用し、本システムが適切に機能しているときを患者に示す。複合現実システムでは、社会的キューは、特定の顔に局所化されてもよく、例えば、その顔を指す矢印または顔もしくはその特定の部分の周囲の円形である。
（２）ゲームアプリケーション：
【００７２】
多くの実施形態による本システムの包括的アーキテクチャ説明および部分（１）を前提として、当業者は、部分（２）がウェアラブルおよびモバイルハブデバイスを横断して実装され得る方法および部分（３）がモバイルデバイス単独上に実装され得る方法を容易に理解し得る。
【００７３】
多くの実施形態では、社会的アクション認識システムおよび通信インフラストラクチャを前提として、モバイルウェアラブルシステムは、社会的相互作用を有効にする種々のゲームのためのプラットフォームとしての役割を果たすことができる。本システムの多くの実施形態では、そのようなゲームは、モバイルデバイス上で介護者によってトリガされ、次いで、ウェアラブルデバイス上で開始する。ウェアラブルデバイスは、上記に説明されるように、データフレームをモバイルデバイスにストリーミングし、モバイルデバイスからストリーミングされる行動処理から抽出される「状況情報」を使用して、ゲームプレー論理を誘導してもよい。ゲームプレープロンプトが、前述の他の社会的キューのように、種々のフィードバック機構（聴覚的、視覚的等）を通して伝達されることができる。例えば、ウェアラブルデバイスを装着している患者は、他の人々とアイコンタクトをとることに関して報酬を与えられる。より高いスコアまたはある他の種類の報酬が、社会的アクション認識システムが対面アイコンタクトを高確率で認識するときに達成されてもよい。別の実施例では、患者は、点頭等のある社会的アクションを模倣することに関して報酬を与えられてもよい。
【００７４】
別の実施例では、介護者は、再演するための感情を選定してもよく、装着者は、それらを正しく推測することに関して報酬を与えられる。スコア追跡およびますます複雑、または微妙な感情のレベルが、再演のその認識が改善するにつれて、装着者の従事を拡張するために使用されてもよい。他の実施例では、ゲームは、トラックパッド入力、音声コマンド、または他の方法によって、介護者とは対照的に、装着者によってトリガされてもよい。例えば、装着者は、長時間にわたってウェアラブルを装着し、見つけ得る度に顔または感情を「収集」するように促され、装着者にゲームプレーの増加された制御を与えてもよい。いくつかの実施形態では、プラットフォーム上で使用されるゲームは、宝探し方式である場所において着目アイテムを設置または見出すために、種々の場所検出技術（限定ではないが、ＧＰＳ技術を含む）の使用を伴ってもよい。提案される種々のゲームはまた、装着者および介護者が、ゲームを横断してスコアを収集し、その全体的進行度を経時的に追跡し得る方法を含んでもよい。装着者および／または介護者はまた、提案される種々のゲームのいくつかのセッションの完了に関して、報酬システムとして、本システムのユーザインターフェースを個人化する機会を提示されてもよい。
（３）精査アプリケーション：
【００７５】
本発明の多くの実施形態による、データ精査アプリケーションは、（１）の従事を通して集められたデータを採取し、装着者および（１）の従事を通して装着者と相互作用する者によって精査され得る様式で、それを提示する。
【００７６】
図１８を参照すると、ある実施形態では、精査アプリケーションは、ユーザおよび介護者が、１日を通して記録されたアクティビティを精査することを可能にする。ビデオが、ユーザが、ビデオ（認識される社会的アクションのタイプに関する情報を含む）内でその外観を可視化し、その視認に心を引き付けられることを可能にする、インターフェースにおいて、自動精選および強調された「感情的瞬間」とともに提示されてもよい。感情ハイライトが、上記に説明される方法を使用して抽出されることができる。一例示的療法設定では、介護者は、これらの瞬間をその患者（彼らが選定する場合、潜在的に、行動療法士および／または他の介護者）とともに精査するように促される。
【００７７】
ある実施形態では、親精査システムは、計算集約的である感情認識を実施する社会的行動処理プログラムと同一電話上で起動する、モバイルアプリケーションである。図１３および図１６は、本発明のある実施形態による、モバイルデバイス３０１上で実行し、人物に関して検出されている感情３０２のインジケーションを提供する、アプリケーションを図示する。図１４に描写されるように、精査システムは、以前のセッション記録のニュースフィード状ビューを時系列で含有してもよい。精査システムのユーザは、任意の時間において、ニュースフィードからのビデオを視認、隠蔽、または恒久的に削除する能力を有する。図１５は、本発明のある実施形態による、アプリケーションの種々の設定を選択するためのいくつかのＵＩインターフェースを図示する。
【００７８】
ある実施形態では、精査システムは、ビデオセッション直後に短いビデオクリップを提示し、自動精選された「感情的瞬間」のみを表し、装着者および／または介護者に、セッションを終了する一部として、それらを精査するように求める形態をとってもよい。これはさらに、（４）オンラインおよび能動的学習に説明されるタスクを統合および有効にし得る。感情的瞬間はまた、子供または介護者によって、任意の時間において、フォトロール状ビューを介して、再訪問および再ラベル化され、データを経時的にさらにラベル化する機会を可能にし得る。
【００７９】
ビデオおよび感覚出力から抽出される統計的データは、本アプリケーション内に記憶され、オフロードされた処理のために、付加的サーバに伝送されてもよい。そのようなデータおよび結果として生じる統計（遠隔でまたはモバイルデバイス上で計算されてもよい）は、進行度測定および／または達成として、種々の可視化（円グラフ、グラフ等）において提示されることができる。
（４）オンラインおよび能動的学習
【００８０】
図７および図９を参照すると、概して、本発明の多くの実施形態によるシステムによって採用される、機械学習システムは、モデルをより良好にするために、種々の方法でユーザにクエリするように設定されることができる。いくつかの実施形態では、そのようなクエリは、デバイスの療法的使用後、種々のインスタンスが正しく分類されたかどうかをユーザに尋ねるためのものであって、これは同様に、ユーザに関する学習ツールとしての二重の役割を果たすことができる。このように、表現を捕捉した画像および／またはビデオシーケンスは、グラウンドトゥルース情報で注釈が付けられ、更新された分類子を訓練するために依拠されることができる。そのようなクエリのいくつかの実施形態は、ユーザまたはサポートスタッフに、データセットラベルを補正するように求めることである。両ケースにおいて、クエリは、本システムの任意の部分または別個のコンソール上において、単純グラフィカルディスプレイを介して実施されてもよく、画像または画像のシーケンスが、予測から表現を変更するためのオプションを伴って、「現在の表現は、＿＿＿＿＿＿＿？」の形態の質問とともに、静止画またはビデオフォーマットで表示される。両ケースにおいて、人間にラベルをフレーム毎に手動で補正するように求めることは、実行不可能であって、したがって、これらの実施形態は、能動的学習観点（Ｂｕｒｒ  Ｓｅｔｔｌｅｓ，  Ａｃｔｉｖｅ  Ｌｅａｒｎｉｎｇ，  Ｍｏｒｇａｎ  ＆  Ｃｌａｙｐｏｏｌ，  ２０１２（本開示は、参照することによってその全体として本明細書に組み込まれる）参照）をとり得、これは、種々のヒューリスティックに依拠し、これらのクエリにおいて使用されるべきデータを選択する。これらのヒューリスティックは、最大事後エントロピ（確率論的分類子を前提として）を伴うデータの選択、またはいくつかの分類子が同時に使用され、十分な不一致がもたらされるときにユーザがクエリされる、不一致によるクエリを含む。データは、時間依存性を伴って構造化されるため、クエリは、多くの場合、ある意味の連続性または平滑性を時間を横断して考慮する。ある実施形態では、そのようなプロセスは、単に、小ブロックの連続的データ点に同一ラベルを持たせるように強いるものである。いくつかの実施形態は、テキスト情報抽出（詳細に関しては、Ａｒｏｎ  Ｃｕｌｏｔｔａ，  Ｔｒａｕｓｔｉ  Ｋｒｉｓｔｊａｎｓｓｏｎ，  Ａｎｄｒｅｗ  ＭｃＣａｌｌｕｍ，  ａｎｄ  Ｐａｕｌ  Ｖｉｏｌａ．  Ｃｏｒｒｅｃｔｉｖｅ  ｆｅｅｄｂａｃｋ  ａｎｄ  ｐｅｒｓｉｓｔｅｎｔ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｉｎｆｏｒｍａｔｉｏｎ  ｅｘｔｒａｃｔｉｏｎ．  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  Ｖｏｌｕｍｅ  １７０  Ｉｓｓｕｅ  １４−１５，  Ｏｃｔｏｂｅｒ，  ２００６，  Ｐａｇｅｓ  １１０１−１１２２（本開示は、参照することによってその全体として本明細書に組み込まれる）参照）からの技法の適応を伴う。多くのプロセスは、時間依存データを使用して、条件付き確率場モデルを訓練し、その「制約前向き後ろ向き」アルゴリズムによって得られた信頼度推定を使用してユーザにクエリすることによって、ラベル補正が、その「制約ビタビ」アルゴリズムを介して、時間ドメインを横断して伝搬されることができる。ラベルを補正することに応じて、モデルは、これらのデータを使用して、新しいラベルで更新されることができる。これは、２つの特徴に分けられる。すなわち、クエリをユーザに行ったデバイスによって使用されるモデルのローカル更新（エンドユーザがクエリに回答した場合）と、ローカルモデルが適応する、グローバルモデルである。ローカルケースでは、種々のヒューリスティック基準のいずれか（エントロピの変化、誤った時間の割合、例えば）が、（１）において述べられたドメイン適応方法のいずれかを使用して、モデルをローカルでまたはグローバルに再訓練または更新することを決定するために使用されることができる。グローバルケースでは、展開されるシステムは、周期的に、補正を受けたデータを中央コンピューティングリソースに伝送してもよく、データは、グローバルモデルのための一般的訓練データを拡張する。グローバルモデルを更新することに応じて、新しいモデルパラメータが、展開されるシステムに伝送されてもよい。これは、再帰型ニューラルネットワークを含む、表現認識の多くの時間依存モデルに適用されるように、条件付き確率場を超えて拡張されることができる。
【００８１】
前段落で述べられたデータラベル化／フィードバック機構は、ユーザにクエリし、本技術の測定として表現を認識する、ゲーム／結果測定との統合であることができる。図１７を参照すると、コンピュータまたは電話インターフェースを通して配信されることで、結果測定は、ユーザおよび介護者に、データ内に見出される表現を識別するように求めることができる。クエリされるフレームは、表現認識分類子の改善のために有用なデータ点を与えるために、例えば、アルゴリズムが非常に確信のある（ユーザが評価するために明確な例を与える）顔と、上記に述べられたエントロピまたは不一致によるクエリ方略によって測定されるようなアルゴリズムがあまり確信のない顔の混合であることができる。いくつかの信号を与える複数のラベル付与者（子供および介護者）の使用は、誤差を低減させることができ、ラベルの合理性を測定するモジュール（機械学習されたアルゴリズムと併せて、人間ラベル付与者の一致レベルを使用して）は、さらなる専門家ラベル付与者が表現の真値を判定すべきである、人間入力が真値としてとられるべきである、またはデータが破棄されるべきであるかどうかを決定することができる。
中立特徴減算
【００８２】
楽しい、悲しい、怒っている等の顔を識別する、自動化された顔の表現認識のための方法は、典型的には、画像から抽出される特徴の分類に依拠する。形状およびテクスチャ情報をエンコードするように設計される、これらの特徴は、（１）個人が行っている表現と、（２）個人の物理的特性および画像の照明条件の両方に依存し得る。（２）の影響を低減させるために、いくつかのアプローチは、個人に関する「ベースライン」を確立し、本個人のベースライン中立特徴を減算する。本余剰中立特徴情報は、多くの場合、特に、以前に認められていない対象の管理下にないリアルタイム分類に関して利用不可能である。したがって、「中立減算」を実装するために、多くの実施形態は、個人の中立特徴を推定する。さらに、多くの実施形態は、顔および照明間相違を補正する方法として、中立減算を異なるコンピュータビジョン特徴空間に拡張する。多くの実施形態はさらに、不均衡クラスにロバストであって、原理的に、広範なクラスの特徴選択肢にわたって機能する、単純リアルタイム方法を提供する。
【００８３】
多くの実施形態は、複雑な対象特有のモデルの訓練を要求せず、したがって、リアルタイムで新しい対象に適応され得る、アプローチを利用する。特に、ｘｓを対象特徴ランダム変数とし、Ｖｓを対象の中立（非表現顔）の（隠れ）特徴とする。以下である場合、
【化１】
2019522300.tif 000003
【００８４】
（式中、δｅは、代わりに、現在の表現ｅに依存する、対象独立変数である）、表現認識は、（１）対象に関するｖｓを推定し、（２）分類モデル
【化２】
2019522300.tif 000004
を学習するようにまとめられることができる。特に、仮定の単純化が、以下のように行われる場合、
【化３】
2019522300.tif 000005
【００８５】
ｖｓに関して推定
【化４】
2019522300.tif 000006
が存在すると仮定して、以下の中立減算特徴を訓練および試験する。
【化５】
2019522300.tif 000007
【００８６】
方程式（２）は、一般に、線形近似である。前処理下の多くの外観特徴に関して、これが良好な近似であると考える理由がある（以下に議論される「ベースライン：特徴抽出」節）。第１に、照明正規化である。いくつかの実施形態は、背景減算に関する標準的論証が適用されることを可能にする、整合された画像上の特徴を計算し得る。したがって、ＨＯＧおよびＳＩＦＴ等の特徴は、良好に性能を発揮し得る。これは、幾何学的特徴に関して直感的に理にかなっている。すなわち、特徴空間のいくつかのサブ空間が、眉毛と鼻との間に距離を与える場合、本量ではなく、むしろ、現在の距離量と中立状態における量との間の差異が、驚くべきことに、表現と最良に相関し得る。同一直観は、種々の特徴空間にも適用されることができる。ＳＩＦＴおよびＨＯＧ等の外観ベースの特徴は、額上の皺の外観に注意を払う、分類子をもたらすことができ、そのような分類子は、皺を伴う対象が絶え間なく怒っていると決定し得る。中立減算は、これを補正することを可能にする。外観ベースの特徴を、照明、肌質、およびある程度まで、顔の産毛を含む、種々の変動で補助し得ることを期待することは、合理的である。
寄与
【００８７】
多くの実施形態は、対象ｓ毎にｖｓを推定し、表現を伴うフレームを分類し、表現分類をリアルタイムで配信するための単純プロセスを提供する。多くの実施形態では、プロセスは、入力として、全てのフレームの未加工特徴（ｘｓ）に関して訓練された中立／表現（２クラス）分類子ならびに中立減算特徴に関する表現分類子（中立を含む、故に、７または８クラス）をとり、ｖｓは、真値としての中立を伴う全ての特徴の平均として推定される。ランタイム時、２クラス分類子は、プロセスが、中立特徴の初期推定を得て、その推定を継続的に更新することを可能にし得る。
【００８８】
多くの実施形態では、本プロセスは、いくつかの利点を有する。第１に、殆ど処理遅延を伴わずに、出力をリアルタイムで提供し、複雑な対象特有のモデルが訓練されることを要求し得ない。性能は、変動し得るが、使用される入力分類子タイプから独立し得、分類子からの確率論的出力を要求し得ない。また、原理上、様々な幾何学的および外観特徴にとらわれ得ない。さらに、以下に説明されるように、多くの実施形態では、ＨＯＧ特徴とも良好に性能を発揮することが示されている。訓練および評価は、フレーム毎に行われ、入力分類子の必要性を上回るさらなる需要をデータに課し得ない（かつ全ての訓練対象が全てのクラスの例を有することを要求し得ない）。最後に、試験時におけるクラス不均衡が中立特徴推定に影響を及ぼす範囲を限定し得る。
【００８９】
分類タスク内のクラスとして「中立」を含むことは、中立減算モデルを用いて正確度を高め得るという異論が生じ得る、すなわち、中立減算特徴のノルムに関する単純閾値化が、例を中立または非中立として分類するために良好に機能する。しかしながら、（１）リアルタイム表現認識では、対象が、多くの場合、会話設定でさえ表現的ではないであろうため、中立顔を認識することは、重要であり得、（２）行われた実験は、より困難な分類タスクに関して、中立減算の全体的効果が、分類タスクが「中立」を含まないときでさえ実質的であり得ることを明らかにする。リアルタイム中立特徴推定および減算のための提案されるプロセスは、実験結果とともに、以下に説明される。
リアルタイム中立特徴推定および減算
【００９０】
画像を表現のラベルＹにマッピングする分類タスクを前提とする。クラスの数は、Ｋとする。多くの実施形態では、プロセスは、入力として、中立減算特徴に関して訓練されたＫ個のクラス表現分類子Ｆならびに未加工（非中立減算）特徴に関して訓練された２クラス中立／表現分類子Ｇｅをとる。より精密にするために、ｓ人のパラメータ化対象および対象ｓのフレームに関するＩｓ個のインデックスを伴う、訓練データ
【化６】
2019522300.tif 000008
を前提とする。訓練時、対象毎に、プロセスは、平均中立特徴を計算し得る。
【化７】
2019522300.tif 000009
【００９１】
式中、
【化８】
2019522300.tif 000010
は、対象ｓに関する中立特徴の数である。多くの実施形態は、次いで、フレーム毎に、
【化９】
2019522300.tif 000011
を計算し得る。Ｆは、アルゴリズムの任意の選択肢を用いて、前処理されたデータ
【化１０】
2019522300.tif 000012
に関して訓練されてもよい。一般的表現分類子Ｇｅを訓練するために、多くの実施形態は、全ての利用可能なｓおよびｉに関して未加工特徴ｘｓ，ｉを使用し、ｙｓ，ｉが中立である場合、ラベルが中立となり、そうでなければ、表現となるように改変してもよい。これらの分類子を訓練する際、使用される学習方法に応じて、多くの実施形態は、１つまたは複数のクラスを平衡化し、アンダーサンプリング／オーバーサンプリング／加重することに注意を払う必要があり得る。
【００９２】
試験時、多くの実施形態は、対象ｓの特徴のストリーム
【化１１】
2019522300.tif 000013
を時系列で与えられる。多くの実施形態は、予測が行われないバッファ周期を可能にしてもよく、代わりに、全てのフレームは、Ｇｅで分類され、中立としてラベル化された全てのフレームの平均をｖｓの第１の推定としてとってもよい。本バッファ周期は、いくつかの方法において選定されることができる。例えば、中立としてラベル化された特徴のあるセット数が認められた後、または中立としてラベル化された特徴の平均がある閾値未満の変化を被った後である。多くの実施形態では、単に、数秒に対応するバッファ周期を終了する前に認められるべきフレームの数を設定することで、高正確度を達成し得る。図１９に図示されるアルゴリズムでは、多くの実施形態は、本決定をバッファ
【化１２】
2019522300.tif 000014
（式中、ｊは現在のフレームである）によって要約し、プロセスが依然としてバッファ周期内にある場合、真を、バッファ周期が終了し得る場合、偽を返す。
【００９３】
バッファ周期後、すなわち、フレームｊｂｕｆｆにおいて、プロセスは、多くの実施形態では、戻り、推定
【化１３】
2019522300.tif 000015
を使用して、フレーム１からｊｂｕｆｆまでの予測を行ってもよい。
【化１４】
2019522300.tif 000016
は、これらの予測を与える。この後、認められる全ての特徴ｘｓ，ｊに関して、プロセスは、中立特徴の推定を更新してもよい。これは、いくつかの方法において行われることができる。多くの実施形態では、最も単純なバージョンは、単に、平均
【化１５】
2019522300.tif 000017
を更新することである。ｋｎが、ｘｓ，ｉの前に認められる中立特徴の数であって、プロセスが、中立特徴に関して推定される
【化１６】
2019522300.tif 000018
を有する場合、Ｇｅがｘｓ，ｉを中立として分類する場合、プロセスは、単に、以下
【化１７】
2019522300.tif 000019
を更新し、ｋｎを１だけインクリメントしてもよい。ｘｓ，ｊが、中立として分類されない場合、更新は、行われない。Ｇｅが、確率論的出力を与える場合、多くの実施形態は、ｖｓの期待値をとり、確率によって認められる全ての特徴をそれぞれ中立として加重することができる。
【００９４】
確率論的出力がない場合、多くの実施形態は、依然として、いくつかの更新選択肢を有する。例えば、
【化１８】
2019522300.tif 000020
へのｘｓ，ｊの更新は、現在の推定からのその距離に依存し得る。多くの実施形態は、方程式（５）に関する推定へのその寄与を低減させ得、これは、外れ値が心配される場合（例えば、顔追跡装置が信頼性がない場合）、有用である。または、多くの実施形態では、ｖｓがランタイム時に変化するであろうことが予期される場合、例えば、照明が、有意に変化することが予期される場合、多くの実施形態は、ｖｓの推定を方程式（５）と比較してより高速に更新させることができる。より一般的には、多くの実施形態は、定数の統計がこれまで認められる全てのフレームから収集されることを可能にし（Ｇｅの決定を含む
【化１９】
2019522300.tif 000021
）、フィルタを推定ｖｓに適用することができる。図１９では、行われる更新の選択肢は、以下のように参照される。
【化２０】
2019522300.tif 000022
【００９５】
「定数」は、特徴のストリームから収集される統計の定数に対する制限を指す（メモリ目的のために、多くの実施形態は、それらを全てキャッシュすることを所望しない）。
【００９６】
指数関数的移動平均等の低域通過フィルタは、可変ｖｓに適応可能であることと、雑音を考慮することとの間の単純中間媒体を提供し得る。方程式（５）の修正は、単純であり得る。Ｇｅによって中立として分類された全ての例を等しく加重する代わりに、多くの実施形態は、直近のものを最も加重し得、加重における指数関数的ドロップオフを伴う。
【化２１】
2019522300.tif 000023
【００９７】
カルマンフィルタは、よりロバストであることが証明され得るが、その更新は、大状態寸法のため計算上高価であり得、プロセスの多くの実施形態は、連携する必要があり得る。
【００９８】
多くの実施形態では、指数関数的移動平均は、雑音から保護することと、可変ｖｓに迅速に適応することとの両方を行い、これは、照明が変化するとき（照明正規化技法がこれを緩和することを意味するにもかかわらず）、またはより極端には、１人のユーザが分類子を別のユーザに「手渡す」ときに予期され得る。適切な照明変化を有するデータベースの欠如に起因して（部屋内でオンにされているライト等）、多くの実施形態は、円多重データベースに見出され得るものより一貫した照明変化を要求する。
【００９９】
推定
【化２２】
2019522300.tif 000024
の更新後、多くの実施形態は、断定
【化２３】
2019522300.tif 000025
を行う。アルゴリズムは、中立推定および減算（ＮＥＳ）アルゴリズムと称される。前述は、中立推定および減算を実施するための特定のプロセスを説明するが、種々の機構のいずれも、本発明の多くの実施形態に従って、具体的用途の要件に適切であるように、中立推定および減算を実施するために利用されてもよい。
デバイス較正
【０１００】
自然な社会的会話の特徴をモデル化および認識する、アフェクティブコンピューティングは、自然な社会的相互作用データを要求する。特に、自然な社会的会話を真にモデル化する唯一の方法は、自然な社会的相互作用データから学習することである。しかしながら、これは、深刻なラベル化難点をもたらす。特に、何らかのものに関するデータをいわゆるユニバーサル表現（例えば、楽しい、悲しい、怒っている、驚いている、恐怖、および嫌悪）と同様に単純に時間的に敏感かつ正確な様式でラベル化することは、非常に労働集約的である。故に、多くの実施形態は、ラベル化のプロセスを大幅に安価化する、教師なしかつ能動的学習事前注釈化技法を利用する。
【０１０１】
要するに、教師なし技法および雑音予測が、人間専門家にクエリし、小割合のデータをラベル化し、データの形状を通してデータの残りについてラベルを推測するように求めるために使用されることができる。このために、多くの実施形態は、テキストの文法的注釈化に成功を収めているシステムとともに、種々の一般的能動的学習技法を適応する。最初に、多くの実施形態は、典型的には、開発参加者を用いて、非構造化会話ビデオデータを実験室セッションにおいて集め、専門ラベル付与者を用いて、本事前注釈化スキームを実験室内で精緻化する。専門家ラベル付与者を用いて本事前注釈化スキームを実験室内で精緻化後、多くの実施形態は、それを療法システムのユーザ（ｎ＝１００）に展開し、ユーザに、その独自のデータをより良好にラベル化することに役立てるようにクエリし、人間参加型学習を通して、データのラベル化を効果的にクラウドソーシングする。
個人化された表現認識
【０１０２】
前述の努力と併せて、多くの実施形態は、特定のユーザの表現認識システムを調整するために、ドメイン適応技法を提供する。ドメイン適応は、１つまたは多くの関連するが明確に異なるソース分布から導き出されるより豊富なデータが存在することを前提として、殆どラベル化されていない、または未ラベル化のデータが、存在する、ある標的分布から導き出されるデータに関して良好に性能を発揮することを試みる、機械学習タスクである。特に、本タスクは、ある個人の標的集合（療法が調整される家族）に関する自然な社会的相互作用データに関して良好に性能を発揮するが、データの大部分が他の個人から成り、多くの場合、人工実験室内で捕捉され、設定が提示される。一般的モデルは、大部分の個人に関して良好に性能を発揮し得るが、人々を横断した表現における自然な変動に起因して、対象を横断して正確度にかなりの変動が存在する。療法状況では、療法に関連する個人に関して不良に性能を発揮する認識システムは、失敗努力を表す。故に、個人化された表現認識の開発は、必須であり得る。これは、教師なしオンラインおよび教師ありドメイン適応の組み合わせを通して達成されてもよい。
【０１０３】
教師なしオンラインドメイン適応では、未ラベル化データが、標的分布のために提供され、全てのデータに関するモデルを再訓練せずに適応され、種々の技法（例えば、とりわけ、ｏｎｌｉｎｅ＿ｃａｓｃａｄｅ，ｏｎｌｉｎｅ＿ｍｕｌｔｉ＿ｏｂｊｅｃｔ）が、これを利用するために存在する。これは、受動較正イベントと見なされ得る。すなわち、本システムは、ビュー内の対象に関するデータを取り込み、モデルをリアルタイムで適応させる。本システムの多くの実施形態は、このアドホックバージョン（例えば、中立減算）を採用し、現在のユーザの中立（非表現）顔の推定を構築し、それを現在の顔から減算する。本システムの多くの実施形態は、本プロセスを最適化し、最適適応について発見するために、ｈｉｅｒ＿ｂａｙｅｓ等の方法を採用する。
【０１０４】
教師ありドメイン適応では、本システムの多くの実施形態は、標的個人に関するラベル化されたデータを集め、一般的モデルを適応させ、それらに関してより良好に性能を発揮し、より完全な再訓練を可能にし得る（必ずしも、リアルタイムではない）。これは、２つの形態で発生し得る。すなわち、本システムのユーザに表現を行動化するようにクエリすることと、彼らに関して集められた自然な社会的相互作用データに関してラベルを確認／補正するように求めることである。これらは両方とも、可変程度に、潜在的に、変動性の欠乏の深刻な問題に直面し、ユーザに関して集められたデータは、欠乏以外に、ある種類の重要な変動が埋め込まれていない場合がある。本システムの多くの実施形態は、したがって、一般的モデルが本変動に対して有するロバスト性を害さずに、ユーザデータに適応させ得る。
【０１０５】
本システムの多くの実施形態は、階層ベイズ技法（例えば、ｈｉｅｒ＿ｂａｙｅｓ）を使用して、モデルを適応させ、教師なしオンラインおよび教師あり状況の両方において、非常に高速かつ計算上安価な適応を可能にする。これは、２つの段階において行われてもよい。第１の段階では、本システムは、前述の副目標において集められた写実的ビデオデータを採取し、ｌｅａｖｅ−ｏｎｅ−ｓｕｂｊｅｃｔ−ｏｕｔ（対象除外）方式で交差検証を行い得る。すなわち、全ての他の対象と組み合わせられた前述の学術的データセットとしてのソースデータおよび標的対象データのある小サブセットである標的訓練データを用いて、本システムは、前述の目標の結果を通してラベル化される、標的の自然な社会的相互作用データの残りに関するモデルを検証し得る。第２の段階では、本システムは、療法システムを参加者（ｎ＝１００）に展開し、前述の２つのパラダイムを通してデータをラベル化し得る。前述は、階層ベイズ技法を使用して、モデルを適応させることを説明するが、種々の技法のいずれも、本発明の多くの実施形態による、具体的用途の要件に適切であるように利用されてもよい。
畳み込みおよび再帰型ニューラルネットワーク
【０１０６】
畳み込みニューラルネットワークは、特に、画像認識タスクにおいて強力であることが証明されている一方、ある再帰型ニューラルネットワークアーキテクチャは、シーケンシャルデータ（例えば、字幕、手書き）に対処する際に有用であることが証明されている。多くの実施形態は、これらの技法を時間依存ビデオ表現認識タスクのために適用する。特に、ネットワーク深度は、特に、ドメイン適応に適していると考えられ、前述の階層ベイズ法は、特に、本クラスの学習者に実り多いものでることが証明され得る。本システムの多くの実施形態は、これを一次モデルアーキテクチャとして前述のドメイン適応開発のために適用し、線形分類子が、ベースラインとしてＨＯＧ特徴上で起動される。
種々の研究からの実験結果
【０１０７】
いくつかの研究が、行動システムの種々の側面に関して行われている。例えば、Ｇｏｏｇｌｅ  Ｇｌａｓｓプロトタイプは、グラスの外向きに面したカメラおよび高正確度（約９０％）を伴って８つの感情を検出する８００，０００を上回るサンプルの表現データに関して訓練された機械学習システムを使用して、顔内の表現イベントを自動的に追跡するように構築されている。プロトタイプモデルは、感情表現と関連付けられた顔筋移動に由来するアクション単位を計算し、多種多様な顔、頭部位置／姿勢、および光条件を横断してリアルタイムで機能するように設計された。次いで、２０人の自閉症および２０人の対照参加者に関して試験された。同意および標準的自閉症総合テスト（例えば、ＳＲＳ）を使用した表現型検査に続いて、４０人の参加者（平均年齢６歳）のそれぞれが、自閉症グラスおよび頭部搭載型瞳孔追跡装置を装備した状態で、コンピュータ画面の正面に着座した。画面は、６秒間、「高自閉症関心」データベースからの２つの交互社会的および非社会的標準化された「妨害課題」画像とともに、顔変動（例えば、人種／民族性）に関して平衡化された３つのバッチの顔を表示した。対象は、感情フィードバックを伴わずに（バッチ１）、グラスユニットの「ヘッドアップ」ディスプレイを介して提供されるフィードバックを伴って（バッチ２）、および再びフィードバックを伴わずに（バッチ３）、画面上の顔の感情の識別を試みた。結果は、子供がデバイスの装着に迅速に適応したことを示し（何人かは、これを「超能力」と呼んだ）、フィードバックインターフェースを調整するために必要とされる予備データをもたらした。より低機能およびより若い参加者は、視覚的社会的フィードバックより聴覚的フィードバックを好み、モードを切り替えるための新しいソフトウェアの構築を余儀なくさせた。自閉症を患う全ての参加者は、表現分類タスクにおいて定型発達子供より低いベースラインスコアを呈した。しかしながら、彼らは、バッチ３までの約１５分以内にスコアに有意な改善を示し、スコアは、定型発達対照によって提示されるものと同一レベルを達成した（提出の際）。本研究において収集された眼追跡データの分析は、自閉症を患う子供が、顔を見るとき、眼とは対照的に口にその注視の焦点を当てるという所見に合致し、グラスフィードバックに先立った感情の誤分類を部分的に説明する。本データは、限定使用であっても、測定可能な利得をもたらし得るという仮説を支援し、自宅および臨床実験室環境外における使用のために技術を進歩させる計画の動機付けとなった。
【０１０８】
別の研究では、自閉症グラスの実施形態は、１４家族（平均年齢＝９．５７歳、標準偏差＝３．３７；ｎ＝女性３名）の自宅に発送され、変化が、主に、対人応答性尺度第二版（ＳＲＳ−２）、子供が人物における感情を正しくラベル化した程度を査定する（４０の質問のうち）「感情推測ゲーム」（ＥＧＧ）、および親の定質的報告によって、評価および親の観察を通して、取り入れから結論まで査定された（グラスを使用してから数ヶ月後）。反復測定が、ＳＲＳ−２およびＥＧＧスコアの両方における変化を分析するための一方向ＡＮＯＶＡのために使用された。参加者はまた、モバイルアプリインターフェースに関するフィードバックを提供するように求められた。以下の結果が、図２０および図２１に図示されるように達成された。平均７．１４点のＳＲＳ−２総合スコアにおける有意な経時的減少が認められた（Ｆ（１，１３）＝３３．２０、ｐ＝＜０．００１、より高いスコアは、より高いＡＳＤ重症度を示す）。ＥＧＧスコアはまた、平均９．５５の正しい応答によって経時的に有意に増加した（Ｆ（１，１０）＝１１．８９、ｐ＝＜０．０１）。５０００分を上回るビデオデータが、記録および分析された。親は、アイコンタクトの増加およびより優れた社会的鋭敏さを報告した。加えて、参加者は、革新的フィードバックを共有し、モバイルアプリに関するユーザ体験設計変更につながった。
【０１０９】
本発明の前述の説明は、例証および説明目的のために提示されている。これは、包括的であること、または本発明を開示される精密な形態に限定することを意図するものではない。他の修正および変形例も、前述の教示に照らして可能性として考えられ得る。実施形態は、本発明の原理およびその実践的用途を最良に説明し、それによって、他の当業者が本発明を検討される特定の使用に好適な種々の実施形態および種々の修正において最良に利用することを可能にするように選定および説明された。これは、添付の請求項が、均等物構造、コンポーネント、方法、および手段を含む、本発明の他の代替実施形態を含むように解釈されることが意図される。
【０１１０】
当業者に明白となるであろうように、本開示の熟読に応じて、本明細書で説明および図示される個々の実施形態はそれぞれ、離散コンポーネントおよび特徴を有し、これは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のいずれかの特徴から容易に分離される、またはそれと組み合わせられてもよい。任意の列挙される方法は、列挙されるイベントの順序において、または論理上可能である任意の他の順序において実施されることができる。さらに、提示される各システムコンポーネントおよび／または方法ステップは、該システムコンポーネントおよび／または方法ステップのために説明される機能を実施する、「〜のための手段」または「〜のためのステップ」と見なされるべきである。したがって、列挙される機能を実施する「〜のための手段」または「〜のためのステップ」を対象とする任意の請求項用語は、本明細書では、列挙される機能を実施するシステムコンポーネントおよび／または方法ステップならびにその均等物を指す。
【図１】
2019522300.tif 000026
【図２】
2019522300.tif 000027
【図３】
2019522300.tif 000028
【図４】
2019522300.tif 000029
【図５】
2019522300.tif 000030
【図６】
2019522300.tif 000031
【図７】
2019522300.tif 000032
【図８】
2019522300.tif 000033
【図９】
2019522300.tif 000034
【図１０】
2019522300.tif 000035
【図１１】
2019522300.tif 000036
【図１２】
2019522300.tif 000037
【図１３】
2019522300.tif 000038
【図１４】
2019522300.tif 000039
【図１５】
2019522300.tif 000040
【図１６】
2019522300.tif 000041
【図１７】
2019522300.tif 000042
【図１８】
2019522300.tif 000043
【図１９】
2019522300.tif 000044
【図２０】
2019522300.tif 000045
【図２１】
2019522300.tif 000046
【国際調査報告】
2019522300.tif 000047
2019522300.tif 000048
2019522300.tif 000049
2019522300.tif 000050