(57)【要約】  受け取ったユーザ入力に応答して、実行すべきアクションを決定するとき、非言語コミュニケーションが使用される。受け取った入力は、直接入力（例えば、発話、テキスト、ジェスチャ）と、間接入力（例えば、非言語コミュニケーション）とを含む。非言語コミュニケーションは、ボディーランゲージ、顔の表情、呼吸数、心拍数、同様に発声キュー（例えば、韻律的および音響的キュー）などのキューを含む。様々な非言語コミュニケーションキューがモニタされ、その結果、実行されるアクションがパーソナライズされる。実行すべきアクション（例えば、「アクション１を実行すること」）を指定する直接入力は、受け取った１つまたは複数の間接入力（例えば、非言語キュー）に基づいて調節することができる。別のアクションを間接入力に応答して実行することもできる。プロファイルは、ユーザに関連づけることができ、その結果、システムによって行われる応答は、ユーザに関連する非言語キューを使用して決定される。
2016510452.tif 000002
【特許請求の範囲】
【請求項１】
意図したアクションを決定するために非言語コミュニケーションを使用する方法であって、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取るステップと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定するステップと、
前記非言語コミュニケーションを含む前記間接入力を決定するステップと、
前記直接入力から決定された前記意図したアクションに加えて前記間接コミュニケーションを使用して、実行すべきアクションを決定するステップと、
前記アクションを実行するステップと
を含む、方法。
【請求項２】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップに応答して、追加のアクションを実行するステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記ユーザ満足感を決定するステップに応答して、前記追加のアクションを実行するステップが、前記意図したアクションに対して明確化を要求するステップを含む、請求項３に記載の方法。
【請求項５】
非言語コミュニケーションを使用するためのコンピュータ実行可能命令を記憶するコンピュータ可読媒体であって、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取るステップと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定するステップと、
発声キュー、心拍数、呼吸数、顔の表情、体の動作、および姿勢のうちの１つまたは複数を含む前記非言語コミュニケーションを含む前記間接入力を決定するステップと、
ユーザに関連する非言語コミュニケーションキューのベースラインに関係する情報を含むプロファイルにアクセスするステップと、
前記決定された間接コミュニケーションを使用して前記ベースラインからの変化を決定するステップと、
前記直接入力から決定された前記意図したアクションに加えて、前記間接コミュニケーションおよび前記決定された変化を使用して、実行すべきアクションを決定するステップと、
前記アクションを実行するステップと
を含む、コンピュータ可読媒体。
【請求項６】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップをさらに含む、請求項５に記載のコンピュータ可読媒体。
【請求項７】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップに応答して、追加のアクションを実行するステップをさらに含む、請求項５に記載のコンピュータ可読媒体。
【請求項８】
非言語コミュニケーションを使用するためのシステムであって、
動作を検出するように構成されたカメラと、
発話入力を受け取るように構成されたマイクロフォンと、
プロセッサおよびメモリと、
前記プロセッサを使用して実行する動作環境と、
ディスプレイと、
理解マネージャであり、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取ることと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定することと、
発声キュー、心拍数、呼吸数、顔の表情、体の動作、および姿勢のうちの１つまたは複数を含む前記非言語コミュニケーションを含む前記間接入力を決定することと、
ユーザに関連する非言語コミュニケーションキューのベースラインに関係する情報を含むプロファイルにアクセスすることと、
前記決定された間接コミュニケーションを使用して前記ベースラインからの変化を決定することと、
前記直接入力から決定された前記意図したアクションに加えて、前記間接コミュニケーションおよび前記決定された変化を使用して、実行すべきアクションを決定することと、
前記アクションを実行することと
を含む動作を実行するように構成された、理解マネージャと
を備える、システム。
【請求項９】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定することと、前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定することに応答して、追加のアクションを実行することとをさらに含む、請求項８に記載のシステム。
【請求項１０】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用して前記ユーザ満足感を決定することが、顔の表情を決定することを含む、請求項８に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  言語コミュニケーションおよび他の直接入力は、様々な異なる用途に使用することができる。例えば、発話入力（speech input）および他の直接入力法は、生産性アプリケーション、ゲーム、および／または何か他のアプリケーションと対話するときに使用することができる。これらのシステムは、ユーザから受け取った発話、テキスト、および／またはジェスチャなどの異なるタイプの直接入力を使用することができる。ユーザの直接入力を解釈し応答するシステムを作り出すことは、挑戦的でありうる。
【発明の概要】
【０００２】
[0002]  この「発明の概要」は簡単化された形態の概念の選択を紹介するために提供され、概念は「発明を実施するための形態」において以下でさらに説明される。この「発明の概要」は、請求される主題のキーの特徴または本質的な特徴を識別することが意図されていないし、請求される主題の範囲を決定する際の助けとして使用されることも意図されていない。
【０００３】
[0003]  受け取ったユーザ入力に応答して、実行すべきアクションを決定するとき、非言語コミュニケーション（例えば、言葉自体ではなく発話の振舞いおよび要素）が使用される。受け取った入力は、直接入力（例えば、発話、テキスト、ジェスチャ）と、間接入力（例えば、非言語コミュニケーション）とを含む。非言語コミュニケーションは、ボディーランゲージ、顔の表情、呼吸数、心拍数、同様に発声キュー（例えば、韻律的および音響的キュー）などのキュー（cue）を含むが、言葉自体を含まない。様々な非言語コミュニケーションキューがモニタされ、その結果、実行されるアクションがパーソナライズされる。実行すべきアクション（例えば、「アクション１を実行すること」）を指定する直接入力は、受け取った１つまたは複数の間接入力（例えば、非言語キュー）に基づいて調節することができる。別のアクションを間接入力に応答して実行することもできる。例えば、非言語キューが、実行されたアクションによりイライラを示す場合、変更されたアクションを実行することができ、および／または明確化（clarification）がユーザから要求されることがある。プロファイルは、ユーザに関連づけることができ、その結果、システムによって行われる応答は、ユーザに関連する非言語キューを使用して決定される。例えば、第１のユーザのプロファイルは、ユーザが、一般に、前かがみになり、非常に大声であることを示すことがあり、その一方で、第２のユーザのプロファイルは、第２のユーザがおとなしい（例えば、めったに大声にならない）ことを示す。第２のユーザのために実行されるアクションは、第２のユーザが大声になったことに基づいて調節することができるが、その一方で、第１のユーザは通常大声であることを第１のユーザのプロファイルが示しているので、第１のユーザが大声であるとき、第１のユーザのための実行されるアクションは調節されないことがある。
【図面の簡単な説明】
【０００４】
【図１】[0004]会話システムにおいて実行すべきアクションを決定するために非言語コミュニケーションを使用するためのシステムを示す図である。
【図２】[0005]実行すべきアクションを決定するために直接コミュニケーションとともに非言語コミュニケーションを使用するための例示的なプロセスを示す図である。
【図３】[0006]間接入力として使用することができる例示的な非言語コミュニケーションキューを示す図である。
【図４】[0007]非言語コミュニケーションを使用するための例示的なシステムを示す図である。
【図５】[0008]本発明の実施形態を実践することができる様々な動作環境の論議を、関連する説明とともに、提供する図である。
【図６Ａ】本発明の実施形態を実践することができる様々な動作環境の論議を、関連する説明とともに、提供する図である。
【図６Ｂ】本発明の実施形態を実践することができる様々な動作環境の論議を、関連する説明とともに、提供する図である。
【図７】本発明の実施形態を実践することができる様々な動作環境の論議を、関連する説明とともに、提供する図である。
【発明を実施するための形態】
【０００５】
[0009]  次に、同様の数字が同様の要素を表す図面を参照して、様々な実施形態が説明される。
【０００６】
[0010]  図１は、実行すべきアクションを決定するために非言語コミュニケーションを使用するためのシステムを示す。図示のように、システム１００は、アプリケーションプログラム１１０、理解マネージャ２６、ユーザプロファイル１２５、受け取った対話１２０、非言語コミュニケーションキュー１２１〜１２３、およびデバイス１１５を含む。
【０００７】
[0011]  理解マネージャ２６とのコミュニケーションを容易にするために、１つまたは複数のコールバックルーチンを実装することができる。１つの実施形態によれば、アプリケーションプログラム１１０は、ユーザ対話を受け取るように構成された、アプリケーションのＭＩＣＲＯＳＯＦＴ（登録商標）  ＯＦＦＩＣＥスイートに含まれるものなどの生産性アプリケーションである。アプリケーションプログラム１１０は、１つまたは複数の異なるコンピューティングデバイス（例えば、スレート／タブレット、デスクトップコンピュータ、タッチスクリーン、ディスプレイ、ラップトップ、モバイルデバイス、…）と対話する／１つまたは複数の異なるコンピューティングデバイス上で動作するように構成することができる。ユーザ対話は、１つまたは複数の異なる感知デバイスを使用して受け取ることができる。例えば、感知デバイスは、カメラ、マイクロフォン、モーションキャプチャデバイス（例えば、MICROSOFT KINECT（登録商標））、タッチ表面、ディスプレイ、感知デバイス（例えば、心臓、呼吸、…）などを含むことができる。
【０００８】
[0012]  ユーザ対話は、直接入力（例えば、特定の言葉、ジェスチャ、アクション）と、間接入力（例えば、非言語コミュニケーションキュー１２１〜１２３などの非言語コミュニケーション）とを含む。ユーザ対話は、音声入力（voice input）、キーボード入力（例えば、物理的キーボードおよび／またはSIP）、ビデオベース入力などのような対話を含むことができる。
【０００９】
[0013]  理解マネージャ２６は、直接入力および間接入力を含む対話に応答して情報をアプリケーション１１０に供給することができる。一般に、非言語コミュニケーションは、直接コミュニケーション（例えば、言葉、事前定義されたジェスチャ、テキスト入力、…）を使用することなしにどのように何かが伝達されるかをとらえる、任意の形態の検出されたコミュニケーションを含む。非言語コミュニケーションを使用して、直接コミュニケーションを肯定する、および／または直接コミュニケーションを否定することができる。多くの場合、非言語コミュニケーションがコミュニケーションにおいて使用される。例えば、ユーザが取り乱すと、ユーザの音声はより大きくなり、および／または音調を変えることがある。ユーザの身体特性も変わることがある。例えば、ユーザの心拍数／呼吸数が、増加／減少することがあり、顔の表情、体の動作、姿勢などが状況に応じて変わる（例えば、ユーザは気遣いを示すために前かがみになる、不満を示すために嫌悪の表情を示す、…）ことがある。
【００１０】
[0014]  いくつかの例では、直接入力は、検出された非言語コミュニケーションと矛盾することがある。例えば、ユーザは、１組の結果を気に入っていると述べているかもしれないが、非言語コミュニケーションは、弱いレベルの満足感（例えば、怒りの音調が検出される）を示している。
【００１１】
[0015]  理解マネージャ２６は、受け取ったユーザ入力／対話に応答して、実行すべきアクションを決定するように構成される。前述のように、受け取った対話は、直接入力（例えば、発話、テキスト、ジェスチャ）と、間接入力（例えば、非言語コミュニケーション）とを含む。非言語コミュニケーションは、ボディーランゲージ、顔の表情、呼吸数、心拍数などのキューと、同様に発声キューなどとを含む。本明細書で使用する発声キューには、イントネーション（ピッチ）キュー：ある期間にわたるレベル、範囲、および輪郭と、音量（エネルギー）キュー：ある期間にわたるレベル、範囲、および輪郭と、継続パターンキュー：待ち時間休止（機械アクションとユーザの発話との間の時間）を含む発話および沈黙領域のタイミングと、音声品質キュー：（発声努力（vocal effort）、テンション（tension）、気息音、粗さを示す）音声音質のスペクトルおよび音響の特徴とが含まれる。
【００１２】
[0016]  異なる非言語コミュニケーションキューが、理解マネージャ２６によって受け取られおよび／またはモニタされる。理解マネージャ２６は、実行すべきアクションを指定する直接入力（例えば、「アクション１を実行して下さい」）を、受け取った／検出した１つまたは複数の間接入力（例えば、非言語キュー）に基づいて変更することができる。理解マネージャ２６は、間接入力に応答して別のアクションを実行することもできる。例えば、非言語キューが、実行されたアクションによりイライラを示す場合、理解マネージャ２６は、実行されうる変更されたアクションを実行することができ、および／または明確化がユーザから要求されることがある。
【００１３】
[0017]  プロファイル（ユーザプロファイル１２５）は、各ユーザに関連づけることができ、その結果、非言語キューを使用して決定されるアクション／応答は、ユーザに関係する非言語コミュニケーション振舞いを使用して決定される。各ユーザは、一般に、異なる非言語コミュニケーション振舞いを示す。例えば、第１のユーザのプロファイルは、ユーザが、一般に、前かがみになり、非常に大声であることを示すことがあり、その一方で、第２のユーザのプロファイルは、第２のユーザがおとなしい（例えば、めったに大声にならない）ことを示す。第２のユーザのために実行されるアクションは、第２のユーザが大声になったことに基づいて理解マネージャ２６によって調節することができるが、その一方で、第１のユーザは通常大声であることを第１のユーザのプロファイルが示しているので、第１のユーザが大声であるとき、第１のユーザのための実行されるアクションは調節されないことがある。さらなる詳細が以下で提供される。
【００１４】
[0018]  図２は、実行すべきアクションを決定するために直接コミュニケーションとともに非言語コミュニケーションを使用する例示的なプロセス２００を示す。本明細書で提示するルーチンの論議を読むとき、様々な実施形態の論理オペレーションは、（１）一連のコンピュータで実施される動作、またはコンピューティングシステム上で走るプログラムモジュールとして、および／または（２）コンピューティングシステム内の相互接続された機械論理回路または回路モジュールとして実装されることを理解されたい。その実装は、本発明を実施するコンピューティングシステムの性能要件によって決まる選択の問題である。したがって、本明細書で説明する実施形態を例証し構成する論理オペレーションは、オペレーション、構造デバイス、動作、またはモジュールと様々に呼ばれる。これらのオペレーション、構造デバイス、動作、およびモジュールは、ソフトウェアで、ファームウェアで、専用デジタル論理で、およびそれらの任意の組合せで実装することができる。
【００１５】
[0019]  開始オペレーションの後、プロセスはオペレーション２１０に移り、ユーザ対話が受け取られる。ユーザ対話は、発話、タッチ、ジェスチャ、テキスト、マウスなどのような異なる形態の対話を含むことができる。例えば、ユーザは、コマンドを言い、および／または何か他の入力（例えば、入力に伴う関連するジェスチャ）を実行することができる。ユーザ対話は、１つまたは複数の異なるデバイスを使用して受け取ることができる。例えば、デバイスは、カメラ、マイクロフォン、モーションキャプチャデバイス（例えば、MICROSOFT KINECT）、タッチ表面、ディスプレイ、感知デバイス（例えば、心臓、呼吸、…）などを含むことができる。ユーザ対話は、直接入力（例えば、特定の言葉、ジェスチャ、アクション）と、間接入力（例えば、非言語コミュニケーション）とを含む。
【００１６】
[0020]  オペレーション２２０に流れて、ユーザ対話からの直接入力が決定される。直接入力は、アクションを実行するようにアプリケーション／システムに要求する発話入力、ジェスチャ（例えば、特定の体の動作）、タッチジェスチャ（例えば、タッチデバイスを使用する）、テキスト入力などとすることができる。直接入力は、ユーザ対話に関連する特定の言葉／コマンドである。
【００１７】
[0021]  オペレーション２３０に移動して、間接入力が決定される。モニタされる／検出される間接入力は、様々な異なる非言語コミュニケーションキューを含むことができる。例えば、非言語コミュニケーションキューは、発声キュー、心拍数、呼吸数、顔の表情、ボディーランゲージなどのうちの１つまたは複数を含むことができる（図３および関係する論議を参照）。間接入力を使用して、直接入力を確認し、および／または直接入力を変更し、および／または１つまたは複数の他のアクションを実行することができる。
【００１８】
[0022]  オペレーション２４０に移行して、対話を実行するユーザに関連するプロファイルがアクセスされる。一実施形態によれば、プロファイルは、ユーザに関連する非言語コミュニケーションキュー／情報を含む。プロファイルは、ユーザによって一般に使用される非言語コミュニケーションキューのベースラインプロファイルを含むことができる。例えば、プロファイルは、ユーザに関連する正常な心拍数、呼吸数、姿勢、顔の表情、および発声キューを含むことができる。各ユーザの非言語キューは異なっていることがある。例えば、あるユーザは常にきちんと座り、一本調子な音声で話すことがあり、その一方で、別のユーザは一般に前かがみであり、大声で話す。プロファイルに含まれる非言語キューは、ユーザの非言語コミュニケーションに変化があるときを決定する際に使用される。
【００１９】
[0023]  オペレーション２５０に流れて、実行すべきアクションが、直接入力および間接入力を使用して決定される。例えば、ユーザは実行すべきアクションを示すために発話入力を使用することができるが、非言語コミュニケーションは躊躇／疑念を示している。これらの非言語キューを使用して、実行すべきアクションを変更し、および／またはユーザからのさらなる入力を要求する（例えば、確認のために問いただす、質問を変える、…）ことができる。例えば、システムの音声は、ユーザの非言語コミュニケーションから検出された怒り／喜びのレベルに基づいて変えることができる（適応音声応答）。検出された満足感のレベルに応答して、異なるパス／手法を取ることもできる。ユーザインタフェースは、検出された非言語コミュニケーションに応答して変更されうる（適応UI応答）。例えば、ユーザがアクションに確信がないことが検出された場合、ヘルプスクリーンを表示することができる。別の例として、ゲーム（または何か他のアプリケーション）中に、非言語コミュニケーション（例えば、心拍数、呼吸、興奮、…）を使用して、ゲームの強度を変えることができる。
【００２０】
[0024]  オペレーション２６０に移動して、決定されたアクションが実行される。
【００２１】
[0025]  オペレーション２７０に移行して、ユーザに関連する満足感が、アクションの実行に応答して決定される。一実施形態によれば、直接入力を使用／要求することなく、非言語コミュニケーションをモニタしてユーザの満足感を決定する。例えば、探索を実行し、結果を戻した後、ユーザから検出された非言語コミュニケーションは、結果への不満／満足感を示すことができる。
【００２２】
[0026]  オペレーション２８０に移動して、決定された満足感に基づいてアクション／応答を調節することができる。例えば、ユーザが満足しているおよび／または幸せであると決定されるときと比較して、ユーザがイライラしているかまたは怒っていると決定されるとき、システムの音声（例えば、落ち着かせる音声）は、変わることができる（適応音声応答）。検出された満足感のレベルに応答して、異なるパス／手法を取ることもできる。例えば、質問は、ユーザを助けるように変えることができる（例えば、より簡単な選択式質問は、標準の質問と比較して、対話によりユーザを進ませるのにより有用でありうる）。ユーザインタフェースは、検出されたユーザの満足感に応答して変更されうる（適応UI応答）。例えば、スクリーンに表示された探索結果の数は、それが以前の結果では不満であることが検出される場合、できる限りより多くの結果を表示することによって変えることができる。同様に、システムが何を質問しているかに関してユーザには確信がないように見えることが非言語コミュニケーションから決定される場合、またはユーザが半信半疑のしるしを示す（例えば、肩をすくめる）場合、システムは異なる質問で応答することができる。
【００２３】
[0027]  次に、プロセスは終了オペレーションに移り、他のアクションの処理に戻る。
【００２４】
[0028]  図３は、間接入力として使用することができる例示的な非言語コミュニケーションキューを示す。
【００２５】
[0029]  非言語コミュニケーションは、直接コミュニケーション（例えば、言葉、事前定義されたジェスチャ、テキスト入力、…）の形態でない検出されたコミュニケーションを含む。非言語コミュニケーションは、直接コミュニケーションを肯定する、および／または直接コミュニケーションを否定する際に使用することができる。非言語コミュニケーションは、一般的な形態のコミュニケーションである。例えば、ユーザが取り乱すと、ユーザの音声はより大きくなり、および／または音調を変えることがある。ユーザの身体特性も変わることがある。例えば、ユーザの心拍数／呼吸数が、増加／減少することがあり、顔の表情、体の動作、姿勢などが状況に応じて変わる（例えば、ユーザは気遣いを示すために前かがみになる、不満を示すために嫌悪の表情を示す、…）ことがある。
【００２６】
[0030]  発声キュー３０５は、直接入力に含まれる言葉自体でない非言語コミュニケーションである。上述のように、発声キューには、イントネーション（ピッチ）キュー：ある期間にわたるレベル、範囲、および輪郭と、音量（エネルギー）キュー：ある期間にわたるレベル、範囲、および輪郭と、継続パターンキュー：待ち時間休止（機械アクションとユーザの発話との間の時間）を含む発話および沈黙領域のタイミングと、音声品質キュー：音声音質のスペクトルおよび音響の特徴（発声努力、テンション、気息音、粗さを示す）とが含まれる。発声キュー３０５は、音調、音量、抑揚、文化固有の音響、言葉のペーシングなどのようなキューを含むことができる。例えば、一本調子は退屈を示すことがある、遅い速さの発話は気落ちを示すことがある、高い音声および／または語気鋭いピッチは熱中を示すことがある、上昇する音調は驚きを示すことがある、大きい／ぶっきらぼうな音声は怒りを示すことがある、高いピッチ／長期にわたる言葉の間の間隔は不信を示すことがある、などである。発声キューを使用して、心理的な奮起、感情、機嫌、ならびにユーザが、皮肉をこめて、傲慢に、および／または従順に行動しているかどうかを決定することができる。
【００２７】
[0031]  心拍数３１０は、ユーザの状態（例えば、興奮、疲れている、ストレスがない、ストレスがある、…）を示すことができる非言語コミュニケーションである。心拍数は、様々な方法を使用して測定することができる。例えば、皮膚の色の変化を使用することができ、および／または１つまたは複数のセンサを使用して心拍数をモニタすることができる。心拍数は、ユーザプロファイル内におよび／またはユーザセッションの間保持することができる。ユーザとのセッションの間の心拍数の上昇は、ユーザの満足感レベルを示すであろう。
【００２８】
[0032]  呼吸数３１５は、ユーザの様々な状態を示すことができる。例えば、ユーザの呼吸は、ユーザが真実を述べているかどうか、ユーザがアクションによって疲れているかどうかなどを示すことがある。検出された呼吸キューは、呼吸数が、速い、遅い、腹で低いのに対して胸で高い、ため息をついているなどであるかどうかを含むことができる。
【００２９】
[0033]  顔の表情３２０は、ユーザの顔の表情に基づいて検出されたキューを含む。例えば、口の形状（例えば、微笑んでいる、不機嫌そうな）、横目で見ているなどを検出することができ、まばたき、唇の動き、眉の動き、唇の噛み、皮膚の色の変化、舌を見せることなどを検出することができる。眼の位置を検出することもできる（例えば、上で右／左、中線で左／右、下で右／左）。人々は、いくつかの表情（例えば、微笑）をあやつることを学ぶことができるが、多くの無意識の顔の表情（唇のとがらせ、緊張した口、および舌見せ）が、ユーザの本当の感情および隠れた態度を反映することがある。
【００３０】
[0034]  ユーザの姿勢、体の動作などのボディーランゲージ３２５が検出される。ボディーランゲージは、分かりやすいコミュニケーションだけでなく分かりにくいコミュニケーションを示すことができる。ボディーランゲージは、感情状態ならびに身体状態および／または精神状態を示すことがある。検出されたボディーランゲージは、顔の表情３２０、姿勢（例えば、前かがみになる、反り返る）、ジェスチャ（例えば、うなずく）、頭の位置（かしげる（tilt）、傾ける（leaning）、他の変化）、上体の緊張、肩の位置（持ち上げる、下げる）、体の動作（例えば、そわそわする、激しく揺れ動かす、腕／脚を組む、…）、アイコンタクト、眼の位置、微笑むなどのようなキューを含むことができる。２以上のキューを検出することができる。肩をすくめることは、あきらめ、半信半疑、および服従のしるしと見なされる。肩をすくめるキューは、言葉による発言を変更するか、和らげるか、または否定することがある。例えば、ユーザが、肩を持ち上げるとともに「はい、確かです」と述べて場合、ユーザは、実際には、「それほど確かではない」と言っていることが示唆されている。肩をすくめるのは、会話および口頭の証言において誤解させるような、曖昧な、または不確かな部分を現していることがある。
【００３１】
[0035]  実行すべきアクションを決定する際に、他の非言語コミュニケーションキュー３３０を検出し使用することもできる。
【００３２】
[0036]  図４は、非言語コミュニケーションを使用するための例示的なシステムを示す。図示のように、システム１０００は、サービス１０１０、データストア１０４５、タッチスクリーン入力デバイス／ディスプレイ１０５０（例えば、スレート）、およびスマートフォン１０３０を含む。
【００３３】
[0037]  図示のように、サービス１０１０は、ゲーミングサービス、探索サービス、電子メッセージサービス（例えば、MICROSOFT EXCHANGE/OUTLOOK（登録商標））、生産性サービス（例えば、MICROSOFT OFFICE 365）などのサービスを提供するように構成することができるクラウドベースおよび／またはエンタープライズベースサービス、またはメッセージおよびコンテンツ（例えば、スプレッドシート、文書、プレゼンテーション、チャート、メッセージなど）と対話するのに使用される何か他のクラウドベース／オンラインサービスである。サービスは、異なるタイプの入力／出力を使用して対話することができる。例えば、ユーザは、発話、ジェスチャ、タッチ入力、ハードウェアベース入力、発話入力などを使用することができる。サービスは、事前記録された発話および合成された発話を組み合わせた発話出力を提供することができる。サービス１０１０によって提供されるサービス／アプリケーションのうちの１つまたは複数に関しての機能は、クライアント／サーバベースアプリケーションとして構成することもできる。システム１０００は会話理解システムに関係するサービスを示しているが、他のサービス／アプリケーションを構成することができる。
【００３４】
[0038]  図示のように、サービス１０１０は、任意の数のテナント（例えば、テナント１〜Ｎ）にリソース１０１５およびサービスを提供するマルチテナントサービスである。マルチテナントサービス１０１０は、サービスに加入しているテナントにリソース／サービス１０１５を提供するクラウドベースサービスであり、各テナントのデータを別々に維持し、他のテナントデータから保護している。
【００３５】
[0039]  図示のようなシステム１０００は、タッチスクリーン入力デバイス／ディスプレイ１０５０（例えば、スレート／タブレットデバイス）と、タッチ入力がいつ受け取られたか（例えば、指がタッチスクリーンに接触するかまたはほとんど接触することにより）を検出するスマートフォン１０３０とを含む。ユーザのタッチ入力を検出する任意のタイプのタッチスクリーンを利用することができる。例えば、タッチスクリーンは、タッチ入力を検出する静電容量材料の１つまたは複数の層を含むことができる。静電容量材料に加えてまたはその代わりに、他のセンサを使用することができる。例えば、赤外線（IR）センサを使用することができる。一実施形態によれば、タッチスクリーンは、タッチ可能な表面に接触する物体またはタッチ可能な表面の上の物体を検出するように構成される。「上の」という用語がこの説明で使用されるが、タッチパネルシステムの方位は無関係であることを理解されたい。「上の」という用語は、そのような方位のすべてに適用可能であることを意図する。タッチスクリーンは、タッチ入力がどこで受け取られているかの場所（例えば、開始点、中間点、および終了点）を決定するように構成することができる。タッチ可能な表面と物体との間の実際の接触は、例えば、タッチパネルに結合された振動センサまたはマイクロフォンによることを含む任意の好適な手段により検出することができる。接触を検出するセンサの例の網羅的でないリストには、圧力ベース機構、マイクロ機械加工加速度計、圧電気デバイス、静電容量センサ、抵抗センサ、誘導センサ、レーザ振動計、およびＬＥＤ振動計が含まれる。
【００３６】
[0040]  スマートフォン１０３０およびデバイス／ディスプレイ１０５０は、さらに、本明細書で説明するような他の入力感知デバイス（例えば、マイクロフォン、カメラ、モーション感知デバイス）とともに構成される。一実施形態によれば、スマートフォン１０３０およびタッチスクリーン入力デバイス／ディスプレイ１０５０は、発話入力を受け取るアプリケーションとともに構成される。
【００３７】
[0041]  図示のように、タッチスクリーン入力デバイス／ディスプレイ１０５０およびスマートフォン１０３０は、アプリケーションの使用を示し、かつ直接入力および間接入力（非言語コミュニケーション）を使用して決定されたアクションを実行する例示のディスプレイ１０５２／１０３２を示す。データは、デバイス（例えば、スマートフォン１０３０、スレート１０５０）に、または何か他の場所（例えば、ネットワークデータストア１０４５）に記憶することができる。デバイスで使用されるアプリケーションは、クライアントベースアプリケーション、サーバベースアプリケーション、クラウドベースアプリケーション、および／またはある組合せとすることができる。
【００３８】
[0042]  理解マネージャ２６は、実行すべきアクションを本明細書で説明するように決定する際に、非言語コミュニケーションの使用に関係するオペレーションを実行するように構成される。マネージャ２６がサービス１０１０内に示されているが、マネージャの機能は、他の場所に（例えば、スマートフォン１０３０および／またはスレートデバイス１０５０に）含まれてもよい。
【００３９】
[0043]  本明細書で説明する実施形態および機能は、有線および無線コンピューティングシステム、モバイルコンピューティングシステム（例えば、モバイル電話、タブレットまたはスレートタイプコンピュータ、ラップトップコンピュータなど）を含む多くのコンピューティングシステムを介して動作することができる。加えて、本明細書で説明する実施形態および機能は分散型システムによって動作することができ、アプリケーション機能、メモリ、データ記憶装置、ならびに検索および様々な処理機能は、インターネットまたはイントラネットなどの分散型コンピューティングネットワーク上で互いにリモートで動作することができる。様々なタイプのユーザインタフェースおよび情報は、内蔵コンピューティングデバイスディスプレイを介して、または１つまたは複数のコンピューティングデバイスに関連するリモートディスプレイユニットを介して表示することができる。例えば、様々なタイプのユーザインタフェースおよび情報は、様々なタイプのユーザインタフェースおよび情報が投影される壁面に表示され対話することができる。本発明の実施形態を実践することができる多くのコンピューティングシステムとの対話は、キーストロークエントリ、タッチスクリーンエントリ、音声または他のオーディオエントリ、ジェスチャエントリを含み、関連するコンピューティングデバイスは、コンピューティングデバイスの機能を制御するためのユーザジェスチャなどを捉えて解釈するための検出（例えば、カメラ）機能を備えつけている。
【００４０】
[0044]  図５〜７および関連する説明は、本発明の実施形態を実施することができる様々な動作環境の論議を提供する。しかしながら、これらの図に関して例証し論じるデバイスおよびシステムは、例および例証のためのものであり、本明細書で説明する本発明の実施形態を実践するために利用できる莫大な数のコンピューティングデバイス構成を限定するものではない。
【００４１】
[0045]  図５は、本発明の実施形態を実践することができるコンピューティングデバイス１１００の例示の物理的構成要素を示すブロック図である。以下で説明するコンピューティングデバイス構成要素は、上述のコンピューティングデバイスにとって好適でありうる。基本構成において、コンピューティングデバイス１１００は、少なくとも１つの処理ユニット１１０２と、システムメモリ１１０４とを含むことができる。コンピューティングデバイスの構成およびタイプに応じて、システムメモリ１１０４は、限定はしないが、揮発性メモリ（例えば、ランダムアクセスメモリ（RAM））、不揮発性メモリ（例えば、読取り専用メモリ（ROM））、フラッシュメモリ、または任意の組合せを含むことができる。システムメモリ１１０４は、オペレーティングシステム１１０５と、１つまたは複数のプログラミングモジュール１１０６とを含むことができ、ウェブブラウザアプリケーション１１２０を含むことができる。オペレーティングシステム１１０５は、例えば、コンピューティングデバイス１１００のオペレーションを制御するのに好適でありうる。１つの実施形態では、プログラミングモジュール１１０６は、コンピューティングデバイス１１００にインストールされる上述のような理解マネージャ２６を含むことができる。さらに、本発明の実施形態は、グラフィックスライブラリ、他のオペレーティングシステム、または他のアプリケーションプログラムと連携して実践することができ、任意の特定なアプリケーションまたはシステムに限定されない。この基本構成は、図５において破線１１０８内のそれらの構成要素で示されている。
【００４２】
[0046]  コンピューティングデバイス１１００は追加の特徴または機能を有することができる。例えば、コンピューティングデバイス１１００は、例えば磁気ディスク、光ディスク、またはテープなどの追加のデータ記憶デバイス（着脱可能なおよび／または非着脱可能な）をさらに含むことができる。そのような追加の記憶装置は、着脱可能記憶装置１１０９および非着脱可能記憶装置１１１０によって示される。
【００４３】
[0047]  上記で述べたように、いくつかのプログラムモジュールおよびデータファイルを、オペレーティングシステム１１０５を含むシステムメモリ１１０４に記憶することができる。処理ユニット１１０２で実行するとともに、マネージャなどのプログラミングモジュール１１０６は、例えば、上述のような方法に関係するオペレーションを含むプロセスを実行することができる。前述のプロセスは一例であり、処理ユニット１１０２は他のプロセスを実行することができる。本発明の実施形態に従って使用することができる他のプログラミングモジュールは、ゲームアプリケーション、サーチアプリケーション、電子メールおよびコンタクトアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、データベースアプリケーション、スライドプレゼンテーションアプリケーション、描画またはコンピュータ支援アプリケーションプログラムなどを含むことができる。
【００４４】
[0048]  一般に、本発明の実施形態と矛盾せずに、プログラムモジュールは、特定のタスクを実行できるかまたは特定の抽象データタイプを実施できるルーチン、プログラム、コンポーネント、データ構造、および他のタイプの構造を含むことができる。その上、本発明の実施形態は、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実践することができる。本発明の実施形態は、さらに、通信ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される分散型コンピューティング環境で実践することができる。分散型コンピューティング環境において、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に配置することができる。
【００４５】
[0049]  さらに、本発明の実施形態は、個別電子要素を含む電気回路、ロジックゲートを含むパッケージ化もしくは集積化電子チップ、マイクロプロセッサを利用する回路、または電子要素もしくはマイクロプロセッサを含むシングルチップで実践することができる。例えば、本発明の実施形態は、システムオンチップ（SOC）を介して実践することができ、図５に示した構成要素の各々または多くは単一の集積回路上に集積化することができる。そのようなＳＯＣデバイスは、１つまたは複数の処理ユニット、グラフィックスユニット、コミュニケーションユニット、システム仮想化ユニット、および様々なアプリケーション機能を含むことができ、それらはすべて単一の集積回路としてチップ基板上に集積化される（「または焼き込まれる」）。ＳＯＣを介して動作するとき、マネージャ２６に関する、本明細書で説明する機能は、単一の集積回路（チップ）上にコンピューティングデバイス／システム１１００の他の構成要素とともに集積化されたアプリケーション専用論理を介して動作することができる。本発明の実施形態は、さらに、限定はしないが、機械技術、光学技術、流体技術、および量子技術を含む、例えば、ＡＮＤ、ＯＲ、およびＮＯＴなどの論理オペレーションを実行することができる他の技術を使用して実践することができる。加えて、本発明の実施形態は、汎用コンピュータ内で、または任意の他の回路もしくはシステムで実践することができる。
【００４６】
[0050]  本発明の実施形態は、例えば、コンピュータプロセス（方法）、コンピューティングシステムとして、またはコンピュータプログラム製品もしくはコンピュータ可読媒体などの製品として実施することができる。コンピュータプログラム製品は、コンピュータシステムにより読取り可能であり、コンピュータプロセスを実行するための命令からなるコンピュータプログラムを符号化するコンピュータ記憶媒体とすることができる。
【００４７】
[0051]  本明細書で使用するコンピュータ可読媒体という用語は、コンピュータ記憶媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実施される揮発性および不揮発性、着脱可能および非着脱可能媒体を含むことができる。システムメモリ１１０４、着脱可能記憶装置１１０９、および非着脱可能記憶装置１１１０はすべてコンピュータ記憶媒体の例（すなわち、メモリ記憶装置）である。コンピュータ記憶媒体は、限定はしないが、ＲＡＭ、ＲＯＭ、電気的に消去可能な読取り専用メモリ（EEPROM）、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（DVD）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または情報を記憶するために使用することができ、コンピューティングデバイス１１００でアクセスすることができる任意の他の媒体を含むことができる。任意のそのようなコンピュータ記憶媒体はデバイス１１００の一部とすることができる。コンピューティングデバイス１１００は、さらに、キーボード、マウス、ペン、音響入力デバイス、タッチ入力デバイスなどのような入力デバイス１１１２を有することができる。ディスプレイ、スピーカ、プリンタなどのような出力デバイス１１１４を含むこともできる。前述のデバイスは例であり、他のものを使用することができる。
【００４８】
[0052]  カメラおよび／または何か他の感知デバイスは、１つまたは複数のユーザを記録し、コンピューティングデバイスのユーザによってなされる動きおよび／またはジェスチャを捉えるように稼働することができる。感知デバイスは、さらに、マイクロフォンなどによって話し言葉を捉え、かつ／またはキーボードおよび／またはマウス（図示せず）などによってユーザからの他の入力を捉えるように稼働することができる。感知デバイスは、ユーザの動作を検出することができる任意のモーション検出デバイスを含むことができる。例えば、カメラは、複数のカメラと複数のマイクロフォンとを含むＭＩＣＲＯＳＯＦＴ  ＫＩＮＥＣＴ（登録商標）モーションキャプチャデバイスを含むことができる。
【００４９】
[0053]  本明細書で使用するコンピュータ可読媒体という用語は、通信媒体をさらに含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構などの変調されたデータ信号における他のデータで具現することができ、任意の情報伝達媒体を含む。「変調されたデータ信号」という用語は、情報を信号に符号化するように設定されたかまたは変化させられた１つまたは複数の特性を有する信号を表すことができる。限定ではなく、例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体と、音響、高周波（RF）、赤外線、および他の無線媒体などの無線媒体とを含むことができる。
【００５０】
[0054]  図６Ａおよび６Ｂは、本発明の実施形態を実践することができる好適なモバイルコンピューティング環境、例えば、モバイル電話、スマートフォン、タブレットパーソナルコンピュータ、ラップトップコンピュータなどを示す。図６Ａを参照すると、実施形態を実施するための例示のモバイルコンピューティングデバイス１２００が示される。基本構成において、モバイルコンピューティングデバイス１２００は、入力要素および出力要素の両方を有するハンドヘルドコンピュータである。入力要素は、ユーザがモバイルコンピューティングデバイス１２００に情報を入れることができるようにするタッチスクリーンディスプレイ１２０５および入力ボタン１２１５を含むことができる。モバイルコンピューティングデバイス１２００は、さらなるユーザ入力を可能にするオプションの側面入力要素１２１５をさらに組み込むことができる。オプションの側面入力要素１２１５は、ロータリスイッチ、ボタン、または他のタイプの手動入力要素とすることができる。代替実施形態では、モバイルコンピューティングデバイス１２００はより多いまたはより少ない入力要素を組み込むことができる。例えば、ディスプレイ１２０５は、実施形態によってはタッチスクリーンでないことがある。さらなる別の代替実施形態では、モバイルコンピューティングデバイスは、ディスプレイ１２０５および入力ボタン１２１５を有するセルラー電話などの携帯電話システムである。モバイルコンピューティングデバイス１２００は、オプションのキーパッド１２３５をさらに含むことができる。オプションのキーパッド１２１５は、物理的キーパッド、またはタッチスクリーンディスプレイ上に発生される「ソフト」キーパッドとすることができる。
【００５１】
[0055]  モバイルコンピューティングデバイス１２００は、グラフィカルユーザインタフェース（GUI）を表示できるディスプレイ１２０５などの出力要素を組み込む。他の出力要素には、スピーカ１２２５と、ＬＥＤライト１２２０とが含まれる。追加として、モバイルコンピューティングデバイス１２００は、イベントをユーザに通知するためにモバイルコンピューティングデバイス１２００が振動するようにする振動モジュール（図示せず）を組み込むことができる。さらなる別の実施形態では、モバイルコンピューティングデバイス１２００は、出力信号を供給する別の手段を備えるためのヘッドホン差込口（図示せず）を組み込むことができる。
【００５２】
[0056]  モバイルコンピューティングデバイス１２００と組み合わせて本明細書で説明しているが、代替実施形態では、本発明は、例えば、デスクトップ環境、ラップトップもしくはノートブックコンピュータシステム、マルチプロセッサシステム、マイクロプロセッサベースもしくはプログラマブル家電、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどにおける任意の数のコンピュータシステムと組み合わせて使用される。本発明の実施形態は、さらに、分散型コンピューティング環境の通信ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される分散型コンピューティング環境で実践することができ、プログラムは、ローカルおよびリモートメモリ記憶デバイスの両方に配置することができる。要約すると、複数の環境センサと、通知をユーザに供給する複数の出力要素と、複数の通知イベントタイプとを有する任意のコンピュータシステムを、本発明の実施形態に組み込むことができる。
【００５３】
[0057]  図６Ｂは、１つの実施形態で使用されるモバイルコンピューティングデバイス、例えば図６Ａに示したコンピューティングデバイスなどの構成要素を示すブロック図である。すなわち、モバイルコンピューティングデバイス１２００は、いくつかの実施形態を実施するためにシステム１２０２を組み込むことができる。例えば、システム１２０２は、例えば、プレゼンテーションアプリケーション、ブラウザ、Ｅメール、スケジューリング、インスタントメッセージング、およびメディアプレイヤアプリケーションなどの、デスクトップまたはノートブックコンピュータのものと同様の１つまたは複数のアプリケーションを走らせることができる「スマートフォン」を実装する際に使用することができる。いくつかの実施形態では、システム１２０２は、統合された携帯情報端末（PDA）および無線音素などのコンピューティングデバイスとして統合される。
【００５４】
[0058]  １つまたは複数のアプリケーションプログラム１２６６がメモリ１２６２にロードされ、オペレーティングシステム１２６４上でまたはそれに関連して走ることができる。アプリケーションプログラムの例には、電話ダイヤラプログラム、Ｅメールプログラム、ＰＩＭ（個人情報管理）プログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、インターネットブラウザプログラム、メッセージングプログラムなどが含まれる。システム１２０２は、メモリ１２６２内に不揮発性記憶装置１２６８をさらに含む。不揮発性記憶装置１２６８は、システム１２０２の電源が落とされた場合に失われるべきでない永続的情報を記憶するために使用することができる。アプリケーション１２６６は、Ｅメールアプリケーションによって使用されるＥメールまたは他のメッセージなどのような不揮発性記憶装置１２６８中の情報を使用し記憶することができる。同期アプリケーション（図示せず）が、システム１２０２に常駐することもでき、不揮発性記憶装置１２６８に記憶された情報を、ホストコンピュータに記憶された対応する情報に同期させたままにするために、ホストコンピュータに常駐している対応する同期アプリケーションと対話するようにプログラムされる。理解されるであろうように、他のアプリケーションが、メモリ１２６２にロードされ、上述のように理解マネージャ２６を含むデバイス１２００上で走ることができる。
【００５５】
[0059]  システム１２０２は電源１２７０を有し、電源１２７０は１つまたは複数のバッテリとして実装することができる。電源１２７０は、ＡＣアダプタまたは充電用ドッキングクレードルなどの外部電源をさらに含むことができる。
【００５６】
[0060]  システム１２０２は、高周波通信を送信および受信する機能を実行するラジオ１２７２をさらに含むことができる。ラジオ１２７２は、通信搬送波またはサービスプロバイダを介する、システム１２０２と「外部の世界」との間の無線接続を容易にする。ラジオ１２７２とのやりとりの送信は、ＯＳ１２６４の制御下で行われる。言い換えれば、ラジオ１２７２によって受信される通信は、ＯＳ１２６４を介してアプリケーションプログラム１２６６に流すことができ、逆の場合も同様である。
【００５７】
[0061]  ラジオ１２７２により、システム１２０２は、ネットワークなどを通じて他のコンピューティングデバイスと通信できるようになる。ラジオ１２７２は通信媒体の１つの例である。通信媒体は、一般に、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構などの変調されたデータ信号における他のデータで具現することができ、任意の情報伝達媒体を含む。「変調されたデータ信号」という用語は、情報を信号に符号化するように設定されたかまたは変化させられた１つまたは複数の特性を有する信号を意味する。限定ではなく、例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体とを含む。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体および通信媒体の両方を含む。
【００５８】
[0062]  システム１２０２のこの実施形態は、２つのタイプの通知出力デバイス、すなわち、視覚通知を与えるために使用することができるＬＥＤ１２２０、およびオーディオ通知を与えるためにスピーカ１２２５とともに使用することができるオーディオインタフェース１２７４により示されている。これらのデバイスは、電源１２７０に直接結合することができ、その結果、これらのデバイスは、作動されると、たとえプロセッサ１２６０および他の構成要素がバッテリ電力を節約するめに停止していても、通知機構によって指示された期間の間作動したままである。ＬＥＤ１２２０は、デバイスの電源投入状態を示すためにユーザが処置を取るまで無期限に作動したままであるようにプログラムすることができる。オーディオインタフェース１２７４は、可聴信号をユーザに与え、可聴信号をユーザから受け取るために使用される。例えば、スピーカ１２２５に結合されることに加えて、オーディオインタフェース１２７４は、さらに、可聴入力を受け取るために、例えば、電話会話を容易にするなどのためにマイクロフォン１２２０に結合することができる。本発明の実施形態によれば、マイクロフォン１２２０は、さらに、以下で説明するように、通知の制御を容易にするためにオーディオセンサとして働くことができる。システム１２０２は、静止画像、ビデオストリームなどを記録するための内蔵カメラ１２３０の操作を可能にするビデオインタフェース１２７６をさらに含むことができる。
【００５９】
[0063]  システム１２０２を実装するモバイルコンピューティングデバイスは、追加の特徴または機能を有することができる。例えば、デバイスは、例えば磁気ディスク、光ディスク、またはテープなどの追加のデータ記憶デバイス（着脱可能なおよび／または非着脱可能な）をさらに含むことができる。そのような追加の記憶装置が、図８Ｂにおいて記憶装置１２６８によって示されている。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のために任意の方法または技術で実施される揮発性および不揮発性、着脱可能および非着脱可能媒体を含むことができる。
【００６０】
[0064]  デバイス１２００によって発生されるかまたは捉えられ、システム１２０２を介して記憶されるデータ／情報は、上述のように、デバイス１２００上にローカルに記憶することができ、またはデータは、デバイス１２００と、デバイス１２００に関連する別個のコンピューティングデバイス、例えば、インターネットなどの分散型コンピューティングネットワーク中のサーバコンピュータとの間で、ラジオ１２７２を介してまたは有線接続を介してデバイスによってアクセスされうる任意の数の記憶媒体に記憶することができる。理解されるであろうように、そのようなデータ／情報は、デバイス１２００を介して、ラジオ１２７２経由で、または分散型コンピューティングネットワーク経由でアクセスすることができる。同様に、そのようなデータ／情報は、電子メールおよび協調的データ／情報共有システムを含む、よく知られているデータ／情報転送および記憶手段による記憶および使用のためにコンピューティングデバイス間で容易に移送されうる。
【００６１】
[0065]  図７は、メッセージアイテムの構成の間に使用されるアイテムを推薦するためのシステムアーキテクチャを示す。
【００６２】
[0066]  理解マネージャ２６を介して管理される構成要素は、異なる通信チャネルまたは他の記憶タイプに記憶することができる。例えば、構成要素は、それを構築する情報と一緒に、ディレクトリサービス１３２２、ウェブポータル１３２４、メールボックスサービス１３２６、インスタントメッセージングストア１３２８、およびソーシャルネットワーキングサイト１３３０を使用して記憶することができる。システム／アプリケーション２６、１３２０は、ストア１３１６中の構成要素の管理および記憶を可能にするために、これらのタイプのシステムなどのうちの任意のものを使用することができる。サーバ１３３２は、アイテムの推薦に関係する通信およびサービスを提供することができる。サーバ１３３２は、ネットワーク１３０８を通してウェブ上のサービスおよびコンテンツをクライアントに提供することができる。サーバ１３３２を利用できるクライアントの例には、任意の汎用パーソナルコンピュータを含むことができるコンピューティングデバイス１３０２、タブレットコンピューティングデバイス１３０４、および／またはスマートフォンを含むことができるモバイルコンピューティングデバイス１３０６を含むことができる。これらのデバイスのいずれもストア１３１６からディスプレイ構成要素マネジメント通信およびコンテンツを得ることができる。
【００６３】
[0067]  本発明の実施形態が、本発明の実施形態による方法、システム、およびコンピュータプログラム製品のブロック図および／または動作図を参照しながら上述されている。ブロックで述べられている機能／動作は、どの流れ図に示されている順序からも外れて行うことができる。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行することができ、またはブロックは、時には、必要とされる機能／動作に応じて逆の順序で実行することができる。
【００６４】
[0068]  上述の明細、例、およびデータは、本発明の構成物の製造および使用についての完全な説明を提供している。本発明の多くの実施形態は、本発明の趣旨および範囲から逸脱することなくなしうるので、本発明は以下に添付された特許請求の範囲内にある。
【図１】
2016510452.tif 000003
【図２】
2016510452.tif 000004
【図３】
2016510452.tif 000005
【図４】
2016510452.tif 000006
【図５】
2016510452.tif 000007
【図６Ａ】
2016510452.tif 000008
【図６Ｂ】
2016510452.tif 000009
【図７】
2016510452.tif 000010
【手続補正書】
【提出日】平成26年8月20日(2014.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
意図したアクションを決定するために非言語コミュニケーションを使用する方法であって、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取るステップと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定するステップと、
前記非言語コミュニケーションを含む前記間接入力を決定するステップと、
前記直接入力から決定された前記意図したアクションに加えて前記間接コミュニケーションを使用して、実行すべきアクションを決定するステップと、
前記アクションを実行するステップと、
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップに応答して、追加のアクションを実行するステップと
を含む、方法。
【請求項２】
前記ユーザ満足感を決定するステップに応答して、前記追加のアクションを実行するステップが、前記意図したアクションに対して明確化を要求するステップを含む、請求項１に記載の方法。
【請求項３】
非言語コミュニケーションを使用するためのコンピュータ実行可能命令を記憶するコンピュータ可読媒体であって、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取るステップと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定するステップと、
発声キュー、心拍数、呼吸数、顔の表情、体の動作、および姿勢のうちの１つまたは複数を含む前記非言語コミュニケーションを含む前記間接入力を決定するステップと、
ユーザに関連する非言語コミュニケーションキューのベースラインに関係する情報を含むプロファイルにアクセスするステップと、
前記決定された間接コミュニケーションを使用して前記ベースラインからの変化を決定するステップと、
前記直接入力から決定された前記意図したアクションに加えて、前記間接コミュニケーションおよび前記決定された変化を使用して、実行すべきアクションを決定するステップと、
前記アクションを実行するステップと、
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップに応答して、追加のアクションを実行するステップと
を含む、コンピュータ可読媒体。
【請求項４】
非言語コミュニケーションを使用するためのシステムであって、
動作を検出するように構成されたカメラと、
発話入力を受け取るように構成されたマイクロフォンと、
プロセッサおよびメモリと、
前記プロセッサを使用して実行する動作環境と、
ディスプレイと、
理解マネージャであり、
意図したアクションを指定する直接入力と、非言語コミュニケーションを含む間接入力とを含むユーザ対話を受け取ることと、
発話入力、ジェスチャ入力、およびテキスト入力のうちの少なくとも１つを使用して前記直接入力を決定することと、
発声キュー、心拍数、呼吸数、顔の表情、体の動作、および姿勢のうちの１つまたは複数を含む前記非言語コミュニケーションを含む前記間接入力を決定することと、
ユーザに関連する非言語コミュニケーションキューのベースラインに関係する情報を含むプロファイルにアクセスすることと、
前記決定された間接コミュニケーションを使用して前記ベースラインからの変化を決定することと、
前記直接入力から決定された前記意図したアクションに加えて、前記間接コミュニケーションおよび前記決定された変化を使用して、実行すべきアクションを決定することと、
前記アクションを実行することと、
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定することと、
前記アクションを実行した後、受け取った非言語コミュニケーションを使用してユーザ満足感を決定するステップに応答して、追加のアクションを実行することと
を含む動作を実行するように構成された、理解マネージャと
を備える、システム。
【請求項５】
前記アクションを実行した後、受け取った非言語コミュニケーションを使用して前記ユーザ満足感を決定することが、顔の表情を決定することを含む、請求項４に記載のシステム。
【国際調査報告】
2016510452.tif 000011
2016510452.tif 000012