(57)【要約】      （修正有）【課題】仮想アシスタントをトリガするのに使用することができる、発語トリガ閾値を動的に調整するためのシステム及びプロセスを提供する。【解決手段】プロセスにおいて、オーディオ入力を、マイクロフォンを介して受信する。受信したオーディオ入力は、サンプリングされ、サンプリングされたオーディオ入力が口頭トリガの一部分を含むかの信頼レベルを判定する。閾値を上回る信頼レベルに応じて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガする。閾値は、知覚されるイベント（例えば、ユーザがスピーチでの双方向作用を開始する可能性がより高い又はより低いことがあることを示すイベント、トリガを検出することが困難であることを示すイベント、トリガを逸したことを示すイベント）に応じて動的に調整することができ、逸したトリガ及び誤った肯定的トリガイベントの両方を最小化する。【選択図】図３
2019091472.tif 000002
【特許請求の範囲】
【請求項１】
発語トリガ閾値を動的に調整するための方法であって、
プロセッサ及びメモリを有する電子デバイスにおいて、
マイクロフォンを介してオーディオ入力を受信することと、
前記受信したオーディオ入力をサンプリングすることと、
前記サンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定することと、
閾値を上回る前記信頼レベルに応じて、前記オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることと、を含み、
前記閾値は、知覚されるイベントに応じて動的に調整される、方法。
【請求項２】
前記仮想アシスタントをトリガすることが、ユーザとの仮想アシスタントのセッションを開始することを含む、請求項１に記載の方法。
【請求項３】
前記受信したユーザコマンドに基づいて、ユーザの意図を判定することと、
前記判定されたユーザの意図に関連付けられたコマンドを実行することと、を更に含む、請求項１に記載の方法。
【請求項４】
前記知覚されるイベントに応じて、前記閾値を低下させることを更に含む、請求項１に記載の方法。
【請求項５】
前記知覚されるイベントが、前記オーディオ入力の以前のサンプリングから、前記以前のサンプリングされたオーディオ入力が前記口頭トリガの一部分を含むという信頼レベルを判定することを含み、前記以前のサンプリングされたオーディオ入力に対する前記信頼レベルは、前記閾値を上回ることなく前記閾値の所定の範囲内である、請求項４に記載の方法。
【請求項６】
前記知覚されるイベントが、ディスプレイ上に表示されたコンテンツを検出することを含む、請求項１に記載の方法。
【請求項７】
前記知覚されるイベントが、前記仮想アシスタントに関連付けられたコンテンツの表示を検出することを含む、請求項１に記載の方法。
【請求項８】
前記知覚されるイベントが、前記仮想アシスタントがアクティブであることを検出することを含む、請求項１に記載の方法。
【請求項９】
前記知覚されるイベントが、ユーザの近接を検出することを含む、請求項１に記載の方法。
【請求項１０】
前記ユーザの近接が、前記電子デバイスに関連付けられたカメラ若しくは近接センサの１つ又は両方に基づいて検出される、請求項９に記載の方法。
【請求項１１】
前記ユーザの近接が、前記電子デバイス以外のデバイスに関連付けられたカメラ又は近接センサの１つ以上に基づいて検出される、請求項９に記載の方法。
【請求項１２】
前記ユーザの近接が、動き検出器に基づいて検出される、請求項９に記載の方法。
【請求項１３】
前記ユーザの近接が、人間の存在に関連付けられたサウンドを含むサウンドプロファイルに基づいて検出される、請求項９に記載の方法。
【請求項１４】
前記ユーザの近接が、前記電子デバイス及び少なくとも１つの他のデバイスで検出され、前記少なくとも１つの他のデバイスより前記電子デバイスがより近くユーザに近接していることに基づいて、前記電子デバイスで前記閾値が低下される、請求項９に記載の方法。
【請求項１５】
前記ユーザの近接が、車両内で検出される、請求項９に記載の方法。
【請求項１６】
前記知覚されるイベントが、検出された動きを含む、請求項１に記載の方法。
【請求項１７】
前記知覚されるイベントが、通知を受信することを含む、請求項１に記載の方法。
【請求項１８】
前記知覚されるイベントが、時間帯又は予定されたカレンダーのイベントを含む、請求項１に記載の方法。
【請求項１９】
前記知覚されるイベントが、前記サンプリングされたオーディオ入力内の実施可能なユーザコマンドを検出することを含む、請求項１に記載の方法。
【請求項２０】
前記知覚されるイベントに応じて、前記閾値を上昇させることを更に含む、請求項１に記載の方法。
【請求項２１】
前記知覚されるイベントが、前記仮想アシスタントを却下するユーザコマンドを検出することを含む、請求項１に記載の方法。
【請求項２２】
前記知覚されるイベントが、前記電子デバイスへのオブジェクトの近接を検出することを含む、請求項１に記載の方法。
【請求項２３】
前記知覚されるイベントが、予定された会議を含む、請求項１に記載の方法。
【請求項２４】
前記知覚されるイベントが、ユーザの不在を検出することを含む、請求項１に記載の方法。
【請求項２５】
前記知覚されるイベントが、前記電子デバイスに関連付けられた通知拒否設定を検出することを含む、請求項１に記載の方法。
【請求項２６】
所定の時間が経過した後で、前記閾値が所定のレベルに復元される、請求項１に記載の方法。
【請求項２７】
前記所定のレベルが、使用に基づいて経時的に調整される、請求項２６に記載の方法。
【請求項２８】
通知を受信したことに応じて、前記オーディオ入力からユーザコマンドを受信するように、前記仮想アシスタントをトリガすることを更に含む、請求項１に記載の方法。
【請求項２９】
前記仮想アシスタントが、前記口頭トリガの受信を検出することなしにトリガされる、請求項２８に記載の方法。
【請求項３０】
請求項１から２９のいずれか一項に記載の方法を実行するコンピュータ実行可能命令を備える、コンピュータ可読記憶媒体。
【請求項３１】
請求項３０に記載のコンピュータ可読記憶媒体と、
前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
を備えるシステム。
【請求項３２】
発語トリガ閾値を動的に調整するためのシステムであって、
マイクロフォンを介してオーディオ入力を受信するための手段と、
前記受信したオーディオ入力をサンプリングするための手段と、
前記サンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定するための手段と、
閾値を上回る前記信頼レベルに応じて、前記オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガするための手段と、を備え、
前記閾値は、知覚されるイベントに応じて、動的に調整される、システム。
【発明の詳細な説明】
【背景技術】
【０００１】
［関連出願の相互参照］
本出願は、２０１４年９月１２日付けで出願された「ＤＹＮＡＭＩＣ  ＴＨＲＥＳＨＯＬＤＳ  ＦＯＲ  ＡＬＷＡＹＳ  ＬＩＳＴＥＮＩＮＧ  ＳＰＥＥＣＨ  ＴＲＩＧＧＥＲ」と題する米国特許仮出願第６２／０４９，９１７号、及び２０１５年８月２４日付けで出願された「ＤＹＮＡＭＩＣ  ＴＨＲＥＳＨＯＬＤＳ  ＦＯＲ  ＡＬＷＡＹＳ  ＬＩＳＴＥＮＩＮＧ  ＳＰＥＥＣＨ  ＴＲＩＧＧＥＲ」と題する米国特許非仮出願第１４／８３４，１９４号に基づく優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照として本明細書に組み込まれる。
【技術分野】
【０００２】
本出願は、概して発語トリガに関し、より具体的には、常時リッスンするスピーチ（発語）トリガ閾値を動的に調整することに関する。
【０００３】
インテリジェント自動アシスタント（又は仮想アシスタント）は、ユーザと電子デバイスとの間の直感的なインタフェースを提供する。これらのアシスタントは、ユーザが口頭形式及び／又はテキスト形式の自然言語を使用して、デバイス又はシステムと双方向作用することを可能にすることができる。例えば、ユーザは、自然言語形式の口頭ユーザ入力を電子デバイスに関連付けられた仮想アシスタントに提供することにより、電子デバイスのサービスにアクセスすることができる。仮想アシスタントは、ユーザの意図を推測しユーザの意図をタスクとして作動可能にするために、口頭ユーザ入力について自然言語処理を実行することができる。その後、電子デバイスの１つ以上の機能を実行することによってタスクが実行されてもよく、関連する出力が自然言語形式でユーザに返されてもよい。
【０００４】
仮想アシスタントの双方向作用は、様々な方法でトリガすることができる。一例では、仮想アシスタントのセッションは、ユーザがユーザデバイス上の物理ボタン又は仮想ボタンを押圧したことに応じて開始することができ、その後、仮想アシスタントは、ユーザコマンドを受信し、ユーザの意図を判定し、関連付けられたコマンドを実行することができる。他の例では、仮想アシスタントのセッションは、口頭トリガを検出したことに応じて開始することができる。例えば、ユーザデバイスは、トリガ語又はトリガ語句をリッスンすることを、常に（例えば、常時リッスンする）、特定の状況で、特定の時間に、など、行うことができる。口頭のトリガ語又はトリガ語句を検出すると、仮想アシスタントのセッションを開始することができ、仮想アシスタントは、ユーザコマンドを受信し、ユーザの意図を判定し、関連付けられたコマンドを実行する。口頭トリガはまた、他のアクションを引き起こし、様々な他のシステム及びデバイスとの双方向作用を開始するために使用することができる。
【０００５】
しかし、発語トリガは、背景ノイズ、干渉。ユーザスピーチの変動、及び様々な他の要因のために、逸することがある。例えば、ユーザは、静かに、騒がしい環境で、独特の声の調子で、など、発語トリガを発言することがあり、仮想アシスタントは、トリガされないことがある。そのような場合にユーザは、より大きな声で又はより明瞭に発語トリガを繰り返すことがある、又はユーザは、手動で仮想アシスタントのセッションを開始することに頼ることがある。トリガを逸することは、したがってユーザにとって苛立たしいことがある。逸することに加えて、発語トリガはまた、誤って認識されることがあり、誤った肯定的トリガイベントを招き、このことは、ユーザエクスペリエンスを損なう、デバイスの電力を無駄にすることなどにつながる。例えば、近隣の人からのバックグランドスピーチが、検出されることがあり、ユーザが意図しなかった誤った肯定的トリガイベントを不必要に招くことがある。
【０００６】
いくつかの例では、口頭トリガを含み得るサンプリングした音声に基づいて仮想アシスタントをトリガするか判定するために、閾値信頼レベルを使用することができる。信頼スコア又は信頼レベルは、音声が意図的な口頭のトリガ語又はトリガ語句を含む可能性に基づいて判定することができる。仮想アシスタントのセッションは、信頼スコアが所定の閾値を上回る又は下回るかに依存して開始することができる。閾値を下回る信頼スコアは、仮想アシスタントをトリガしないようにでき、閾値を上回る信頼スコアは、仮想アシスタントをトリガすることができる。しかし、環境要因及び使用方法が変わると、所定の閾値は、トリガを逸すること及び誤った肯定的トリガイベントを不必要に生じることがある。
【０００７】
したがって、所定のトリガ閾値を用いて発語トリガを常時リッスンすることにより、環境要因及び使用要因が変化すると精度不足を被ることがあり、それにより実用性を制限してユーザエクスペリエンスに悪影響することがある。
【発明の概要】
【０００８】
発語トリガ閾値を動的に調整するためのシステム及びプロセスが開示される。一実施例では、マイクロフォンを介してオーディオ入力を受信することができる。オーディオ入力は、サンプリングされることができる。サンプリングされたオーディオ入力が口頭トリガの一部分を含むとことの信頼レベルを判定することができる。閾値を上回る信頼レベルに応じて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることができる。閾値は、様々な知覚されるイベントに応じて、動的に調整（例えば、上昇又は低下）することができる。いくつかの実施例では、仮想アシスタントをトリガすることは、ユーザとの仮想アシスタントのセッションを開始することを含む。他の実施例では、受信したユーザコマンドに基づいて、ユーザの意図を判定することができ、判定されたユーザの意図に関連付けられたコマンドを実行することができる。
【図面の簡単な説明】
【０００９】
【図１】様々な実施例に係る、発語トリガ閾値を動的に調整するための例示的なシステムを示す。
【００１０】
【図２】様々な実施例に係る、例示的なユーザデバイスのブロック図を示す。
【００１１】
【図３】発語トリガ閾値を動的に調整し仮想アシスタントをトリガするための例示的なプロセスを示す。
【００１２】
【図４Ａ】発語トリガ閾値を調整するのに使用することができる、例示的な仮想アシスタントのインタフェースを有するユーザデバイスを示す。
【００１３】
【図４Ｂ】発語トリガ閾値を調整するのに使用することができる、例示的な表示コンテンツを有するユーザデバイスを示す。
【００１４】
【図５】発語トリガ閾値を動的に調整するための複数のデバイスとの双方向作用を示す。
【００１５】
【図６】様々な実施例に係る、発語トリガ閾値を動的に調整し仮想アシスタントをトリガするように構成された電子デバイスの機能ブロック図を示す。
【発明を実施するための形態】
【００１６】
以下の実施例の説明では、実施することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができることを理解されたい。
【００１７】
本出願は、例えば、仮想アシスタントをトリガする又は他のアクション若しくは双方向作用を開始するのに使用することができる、発語トリガ閾値を動的に調整するためのシステム及びプロセスに関する。一実施例では、知覚されるイベント（例えば、環境要因、デバイスの使用方法など）に基づいて発語トリガ閾値を動的に調整することにより、正確な発語トリガを実現することができる。例えば、知覚されるイベントが、ユーザが発語トリガを使用して仮想アシスタントのセッションを開始する可能性がより高いことがあり得る又は発語トリガを検出することがより困難であり得ることを示す場合、発語トリガ閾値を低下させることができる。これにより、トリガする可能性を増大することでトリガを逸することを最小化することができる。逆に、例えば、知覚されるイベントが、ユーザが発語トリガを使用して仮想アシスタントのセッションを開始する可能性がより低いことがあり得ることを示す場合、発語トリガ閾値を上昇させることができる。これにより、トリガする可能性を減少させることで誤った肯定的トリガイベントを最小化することができる。
【００１８】
一実施例では、マイクロフォン（例えば、ユーザデバイスの）を介して、オーディオ入力を受信することができる。受信したオーディオ入力は、サンプリングされることができ、サンプリングされたオーディオ入力が口頭トリガの一部分を含むかの信頼レベルを判定することができる。閾値を上回る信頼レベルに応じて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることができる。閾値は、知覚されるイベントに応じて動的に調整することができ、それにより、トリガを逸すること及び誤った肯定的トリガイベントの両方を最小化する。
【００１９】
発語トリガ閾値を動的に調整することにより、正確な発語トリガ、著しいシステムの実用性、及び楽しめるユーザエクスペリエンスを提供することができることを理解されたい。誤った肯定的トリガイベントを最小化して、それにより不要な仮想アシスタントのセッション又は他のトリガされたアクションを制限することにより、デバイスの電力もまた節約することができる。しかし、本明細書で説明する様々な実施例により、更に多くの他の利点を達成できることを理解されたい。
【００２０】
図１は、様々な実施例に係る、発語トリガ閾値を動的に調整し仮想アシスタントをトリガするための例示的なシステム１００を示す。本明細書で説明するように発語トリガ閾値を調整することは、仮想アシスタントの支援を含む、様々なアプリケーションの任意のもののために使用することができることを理解されたい。他の実施例では、発語トリガ閾値は、様々な他のアクションを引き起こす、並びに様々な他のシステム及びデバイスの任意のものとの双方向作用を開始するために使用することができ、そのような発語トリガ閾値は、本明細書の様々な実施例により、動的に調整することができる。用語「仮想アシスタント」、「デジタルアシスタント」、「インテリジェント自動アシスタント」、又は「自動デジタルアシスタント」は、口頭及び／又はテキスト形式の自然言語入力を解釈してユーザの意図を推測し、推測されたユーザの意図に基づきアクションを実行することができる、任意の情報処理システムを指すことができる。例えば、推測されたユーザの意図を実行するために、システムは、以下の１つ以上を実行することができる。すなわち、推測されたユーザの意図を実現するために設計されたステップ及びパラメータを有するタスクフローを識別すること、推測されたユーザの意図からの具体的な要求をタスクフローに入力すること、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによりタスクフローを実行すること、並びに音響（例えば、スピーチ）形式及び／又は視覚形式でユーザへの出力応答を生成すること。
【００２１】
仮想アシスタントは、自然言語のコマンド、要求、陳述、叙述、及び／又は照会の形で、少なくとも部分的にユーザ要求を受け入れる能力を有することができる。通常、ユーザ要求は仮想アシスタントによる情報回答又はタスクの実行のいずれかを求める。ユーザ要求への満足な応答は、要求された情報回答の提供、要求されたタスクの実行のいずれか、又はその２つの組み合わせを含んでもよい。例えば、ユーザは仮想アシスタントに「私は今どこにいますか？」等の質問をしてもよい。ユーザの現在の場所に基づき、仮想アシスタントは、「あなたはセントラルパーク内にいます」と回答してもよい。ユーザはまた、例えば、「今日午後４時に母に電話することを私に思い出させてください」と、タスクの実行を要求してもよい。それに応じて、仮想アシスタントは要求を認識し、次に、ユーザの電子スケジュール内に適当なリマインダ項目を作成してもよい。要求されたタスクの実行中、仮想アシスタントは、長時間にわたって複数回の情報の交換を伴う連続的なダイアログにおいて、ユーザと対話してもよい。情報又は様々なタスクの実行を要求するために仮想アシスタントと対話する方法は他にも数多く存在する。言葉による応答を提供し、プログラムされたアクションを取ることに加えて、仮想アシスタントは、他の視覚又はオーディオ形式の応答を（例えば、テキスト、警報、音楽、ビデオ、アニメーション等として）提供してもよい。
【００２２】
仮想アシスタントの１つの例が、その開示全体が参照により本明細書に組み込まれる２０１１年１月１０日出願の「Ｉｎｔｅｌｌｉｇｅｎｔ  Ａｕｔｏｍａｔｅｄ  Ａｓｓｉｓｔａｎｔ」に対する出願人の米国実用特許出願第１２／９８７，９８２号に示されている。
【００２３】
図１に示すように、いくつかの実施例では、仮想アシスタントはクライアント−サーバモデルに従って実装されてもよい。仮想アシスタントは、ユーザデバイス１０２上で実行されるクライアント側部分、及びサーバシステム１１０上で実行されるサーバ側部分を含んでもよい。ユーザデバイス１０２としては、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ポータブルメディアプレーヤ、デスクトップコンピュータ、ラップトップコンピュータ、ＰＤＡ、テレビ、テレビ用セットトップボックス（例えば、ケーブルボックス、ビデオ再生装置、ビデオストリーミングデバイスなど）、装着型電子デバイス（例えば、デジタル眼鏡、リストバンド、腕時計、ブローチ、アームバンドなど）、ゲーミングシステム、ホーム・セキュリティー・システム、ホーム・オートメーション・システム、車両制御システムなどの任意の電子デバイスを挙げることができる。ユーザデバイス１０２は、インターネット、イントラネット、又は任意の他の有線若しくは無線の公衆ネットワーク若しくはプライベートネットワークを含み得る、１つ以上のネットワーク１０８を介して、サーバシステム１１０と通信することができる。
【００２４】
ユーザデバイス１０２上で実行されるクライアント側部分は、ユーザ対応入力及び出力処理並びにサーバシステム１１０との通信等のクライアント側機能を提供してもよい。サーバシステム１１０は、それぞれのユーザデバイス１０２上に常駐する任意の数のクライアントに対してサーバ側機能を提供してもよい。
【００２５】
サーバシステム１１０は、クライアント対応Ｉ／Ｏインタフェース１２２、１つ以上の処理モジュール１１８、データ及びモデル記憶装置１２０、並びに外部サービスへのＩ／Ｏインタフェース１１６を含み得る、１つ以上の仮想アシスタントサーバ１１４を含んでもよい。クライアント対応Ｉ／Ｏインタフェース１２２は、仮想アシスタントサーバ１１４のためのクライアント対応入力及び出力処理を促進してもよい。１つ以上の処理モジュール１１８は、データ及びモデル記憶装置１２０を利用して、自然言語入力に基づきユーザの意図を判定することができ、推測されたユーザの意図に基づきタスクを実行することができる。いくつかの実施例では、仮想アシスタントサーバ１１４は、タスクを完了させるか又は情報を取得するために、ネットワーク（単数又は複数）１０８を介して、電話サービス、カレンダーサービス、情報サービス、メッセージングサービス、ナビゲーションサービス等の外部サービス１２４と通信してもよい。外部サービスへのＩ／Ｏインタフェース１１６はこのような通信を促進してもよい。
【００２６】
サーバシステム１１０は、１つ以上のスタンドアロンデータ処理デバイス、又はコンピュータの分散型ネットワーク上に実装されてもよい。いくつかの実施例では、サーバシステム１１０は、また、様々な仮想デバイス及び／又はサードパーティサービスプロバイダ（例えば、サードパーティクラウドサービスプロバイダ）のサービスを利用して、サーバシステム１１０の土台となるコンピューティングリソース及び／又はインフラストラクチャリソースを提供してもよい。
【００２７】
仮想アシスタントの機能は、クライアント側部分及びサーバ側部分の両方を含むものとして図１に示されるが、いくつかの実施例では、アシスタントの機能（又は発語認識全般）は、ユーザデバイスにインストールされたスタンドアロンアプリケーションとして実装されてもよい。加えて、仮想アシスタントのクライアント部分とサーバ部分との間の機能の分配は実施例によって異なり得る。例えば、いくつかの実施例では、ユーザデバイス１０２上で実行されるクライアントは、ユーザ対応入力及び出力処理機能のみを提供し、仮想アシスタントの他のすべての機能をバックエンドサーバに委ねるシンクライアントであってもよい。
【００２８】
図２は、様々な実施例に係る、例示的なユーザデバイス１０２のブロック図を示す。ユーザデバイス１０２は、メモリインタフェース２０２、１つ以上のプロセッサ２０４、及び周辺機器インタフェース２０６を含むことができる。１つ以上の通信バス又は信号線によって、ユーザデバイス１０２内の種々の構成要素を一体に結合することができる。ユーザデバイス１０２は、周辺機器インタフェース２０６に結合される種々のセンサ、サブシステム、及び周辺デバイスを更に含むことができる。センサ、サブシステム、及び周辺デバイスは情報を収集し、及び／又はユーザデバイス１０２の種々の機能を可能にすることができる。
【００２９】
例えば、ユーザデバイス１０２は、向き、光、及び近接度の検知機能を可能にするための動きセンサ２１０、光センサ２１２、及び近接センサ２１４を含むことができ、それらは、周辺機器インタフェース２０６に結合されている。また、関係する機能を可能にするために、測位システム（例えば、ＧＰＳ受信機）、温度センサ、生体測定センサ、ジャイロスコープ、コンパス、加速度計、及び同様のものなどの、１つ以上の他のセンサ２１６を周辺機器インタフェース２０６に接続することができる。
【００３０】
いくつかの実施例では、カメラサブシステム２２０及び光学センサ２２２を利用して、写真の撮影及びビデオクリップの録画などの、カメラ機能を可能にすることができる。１つ以上の有線及び／又は無線通信サブシステム２２４を介して、通信機能を可能にすることができ、通信サブシステムは、種々の通信ポート、無線周波数受信器及び送信器、並びに／又は光（例えば、赤外線）受信器及び送信器を含むことができる。発語トリガ検出機能、音声認識機能、音声複製機能、デジタル録音機能、及び電話機能などの音声対応機能を可能にするために、オーディオサブシステム２２６をスピーカ２２８及びマイクロフォン２３０に結合することができる。
【００３１】
いくつかの実施例では、ユーザデバイス１０２は、周辺機器インタフェース２０６に結合されたＩ／Ｏサブシステム２４０を更に含むことができる。Ｉ／Ｏサブシステム２４０は、タッチスクリーンコントローラ２４２及び／又は他の入力コントローラ（単数又は複数）２４４を含むことができる。タッチスクリーンコントローラ２４２は、タッチスクリーン２４６に結合することができる。タッチスクリーン２４６及びタッチスクリーンコントローラ２４２は、例えば、容量性、抵抗性、赤外線、表面弾性波技術、近接センサアレイなどの複数のタッチ感知技術のうちのいずれかを用いて、接触及びその移動又は中断を検出することができる。他の入力コントローラ（単数又は複数）２４４は、１つ以上のボタン、ロッカスイッチ、サムホイール、赤外線ポート、ＵＳＢポート、及び／又はスタイラスなどのポインタデバイスなどの、他の入力／制御デバイス２４８に結合することができる。
【００３２】
いくつかの実施例では、ユーザデバイス１０２は、メモリ２５０に結合されたメモリインタフェース２０２を更に含むことができる。メモリ２５０は、任意の電子、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置、又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（random access memory）（ＲＡＭ）（磁気）、読み出し専用メモリ（read−only memory）（ＲＯＭ）（磁気）、消去可能なプログラマブル読み出し専用メモリ（erasable programmable read−only memory）（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、若しくはＤＶＤ−ＲＷ等のポータブル光ディスク、又はコンパクトフラッシュカード、セキュリティ保護されたデジタルカード、ＵＳＢメモリデバイス、メモリスティック等のフラッシュメモリ等を含んでもよい。いくつかの実施例では、メモリ２５０の非一時的コンピュータ可読記憶媒体は、（例えば、以下に説明するプロセス３００の一部又はすべてを実行する）命令を、コンピュータベースのシステム、プロセッサを含むシステム、又は命令実行システム、装置、若しくはデバイスから命令をフェッチすることができ、それらの命令を実行することができる他のシステムなどの、命令実行システム、装置、若しくはデバイスによる使用、又はそれと関連した使用のために記憶するために用いることができる。他の実施例では、（例えば、以下で説明するプロセス３００を実行する）命令は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体上に記憶されてもよく、又はメモリ２５０の非一時的コンピュータ可読記憶媒体とサーバシステム１１０の非一時的コンピュータ可読記憶媒体との間で分配されてもよい。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。
【００３３】
いくつかの実施例では、メモリ２５０は、オペレーティングシステム２５２、通信モジュール２５４、グラフィカルユーザインタフェースモジュール２５６、センサ処理モジュール２５８、電話モジュール２６０、及びアプリケーション２６２を記憶することができる。オペレーティングシステム２５２は、基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含んでもよい。通信モジュール２５４は、１つ以上の追加のデバイス、１つ以上のコンピュータ及び／又は１つ以上のサーバとの通信を可能にすることができる。グラフィカルユーザインタフェースモジュール２５６は、グラフィックユーザインタフェース処理を促進してもよい。センサ処理モジュール２５８は、センサ関連の処理及び機能を促進してもよい。電話モジュール２６０は電話に関係するプロセス及び機能を可能にすることができる。アプリケーションモジュール２６２は、電子メッセージング、ウェブブラウジング、メディア処理、ナビゲーション、イメージング及び／又はその他のプロセス及び機能などの、ユーザアプリケーションの種々の機能性を可能にすることができる。
【００３４】
本明細書で説明するように、メモリ２５０はまた、例えば仮想アシスタントのクライアント側機能を提供するために、（例えば、仮想アシスタントクライアントモジュール２６４内の）クライアント側仮想アシスタント命令、並びに種々のユーザデータ２６６（例えば、ユーザ固有の語彙データ、設定データ、及び／又はユーザの電子アドレス帳、ｔｏ−ｄｏリスト、買い物リストなどの他のデータなど）も記憶することができる。また、ユーザデータ２６６は、仮想アシスタントをサポートする、又は任意の他のアプリケーションのために、発語認識を実行する際に使用することができる。
【００３５】
種々の実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザデバイス１０２の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム２４０、オーディオサブシステム２２６など）を通じて音声入力（例えば、発語入力）、テキスト入力、タッチ入力、及び／又はジェスチャ入力を受け入れる能力を有することができる。仮想アシスタントトクライアントモジュール２６４はまた、オーディオ（例えば、発語出力）形態、視覚形態、及び／又は触覚形態の出力を提供する能力も有することができる。例えば、出力は、音声、音響、警報、テキストメッセージ、メニュー、グラフィック、ビデオ、アニメーション、振動、及び／又は上記のもののうちの２つ以上の組み合わせとして提供することができる。動作時、仮想アシスタントクライアントモジュール２６４は、通信サブシステム２２４を用いて仮想アシスタントサーバと通信することができる。
【００３６】
いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザ、現在のユーザ対話及び／又は現在のユーザ入力と関連付けられたコンテキストを確立するために、種々のセンサ、サブシステム及び周辺デバイスを利用してユーザデバイス１０２の周囲環境から追加情報を収集することができる。いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、ユーザの意図の推測を助けるために、ユーザ入力と共にコンテキスト情報又はそのサブセットを仮想アシスタントサーバに提供することができる。仮想アシスタントはまた、コンテキスト情報を使用して、ユーザへの出力をどのように準備し、配信するのかを判定することができる。更に、本明細書で説明するように、正確な発語認識をサポートするために、ユーザデバイス１０２又はサーバシステム１１０によりコンテキスト情報を使用することができる。
【００３７】
いくつかの実施例では、ユーザ入力に付随するコンテキスト情報は、照明、環境ノイズ、周囲温度、周囲環境の画像又はビデオ、別のオブジェクトとの距離、などの、センサ情報を含むことができる。コンテキスト情報は、ユーザデバイス１０２の物理状態（例えば、デバイスの向き、デバイスの位置、デバイスの温度、電力レベル、速度、加速度、モーションパターン、セルラー信号強度など）、又はユーザデバイス１０２のソフトウェア状態（例えば、実行中の処理、インストールされているプログラム、過去及び現在のネットワークアクティビティ、バックグラウンドサービス、エラーログ、リソース使用など）と関連付けられた情報を更に含むことができる。これらの種類のコンテキスト情報の任意のものを、ユーザ入力に関連付けられたコンテキスト情報として、仮想アシスタントサーバ１１４に提供する（又はユーザデバイス１０２自体で使用する）ことができる。
【００３８】
いくつかの実施例では、仮想アシスタントクライアントモジュール２６４は、仮想アシスタントサーバ１１４からの要求に応じて、ユーザデバイス１０２に記憶された情報（例えば、ユーザデータ２６６）を選択的に提供することができる（あるいは、発語認識及び／又は仮想アシスタント機能を実行する際にユーザデバイス１０２自体で使用することができる）。仮想アシスタントクライアントモジュール２６４はまた、仮想アシスタントサーバ１１４による要求時に、自然言語ダイアログ又は他のユーザインタフェースを介して、ユーザからの追加入力も引き出すことができる。仮想アシスタントクライアントモジュール２６４は、意図推測及び／又はユーザ要求内に表されているユーザの意図の達成において仮想アシスタントサーバ１１４を助けるために、追加入力を仮想アシスタントサーバ１１４に渡すことができる。
【００３９】
種々の実施例では、メモリ２５０は、追加の命令又はより少数の命令を含むことができる。更に、ユーザデバイス１０２の種々の機能は、１つ以上の信号処理回路及び／又は特定用途向け集積回路の形態を含む、ハードウェアの形態及び／又はファームウェアの形態で実装することができる。
【００４０】
システム１００は、図１に示される構成要素及び構成に限定されず、ユーザデバイス１０２は同様に、図２に示される構成要素及び構成に限定されないことを理解されたい。システム１００及びユーザデバイス１０２の両方は、種々の実施例による複数の構成において、より少数の構成要素又は他の構成要素を含むことができる。
【００４１】
図３は、発語トリガ閾値を動的に調整し仮想アシスタントをトリガするための例示的なプロセス３００を示す。プロセス３００は、例えば、図２を参照して上述したユーザデバイス１０２のプロセッサ２０４上で実行することができる。他の実施例では、サーバシステム１１０の処理モジュール１１８及びユーザデバイス１０２のプロセッサ２０４は、プロセス３００の一部又はすべてを実行するためにともに使用することができる。ブロック３０２で、ユーザデバイス１０２のマイクロフォン２３０などのマイクロフォンを介して、オーディオ入力を受信することができる。ブロック３０４で、受信したオーディオ入力をサンプリングすることができる。一実施例では、受信した音声の一部分を１０ミリ秒毎にサンプリングするなどの規則的な間隔で、受信したオーディオ入力をサンプリングすることができる。他の実施例では、様々な他の間隔で、受信したオーディオ入力を連続的にサンプリングする又は分析することができる。常時リッスンすることは、連続的に音声を受信し分析することを含むことができる、又は規則的な間隔で若しくは特定の時間に音声を受信し分析することを含むことができることを理解されたい。
【００４２】
ブロック３０６で、サンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定することができる。一実施例では、音声のサンプリングされた部分を分析して、その部分が発語トリガの一部分を含むかどうか判定することができる。発語トリガは、アクション（例えば、仮想アシスタントのセッションを開始すること）をトリガするためにユーザが発言することができる、様々な口頭の単語又は語句の任意のものを含むことができる。例えば、ユーザは、「Ｓｉｒｉ」と呼ばれる仮想アシスタントとのセッションを開始するために、「やあ、Ｓｉｒｉ」と発言することができる。他の実施例では、ユーザは、「アシスタント」、「Ｓｉｒｉ」、「秘書」、「やあ、アシスタント」、「こんにちは、助手」、又は任意の他の名前若しくはリファレンスなどの、指定されたアシスタントの名前又はリファレンスを発言することができる。
【００４３】
他の実施例では、口頭トリガは、コマンド、アクション、照会、又は他の実施可能な単語若しくは語句を含むことができる。例えば、特定のコマンド又は質問を、常に又は特定の状況で使用可能とすることができ、これらのコマンド又は質問を、アクション（例えば、関連付けられたコマンドを実行すること又は質問に応答すること）を開始するための口頭トリガとして使用することができる。いくつかの実施例では、アプリケーション又はプログラムの名前もまた、それらのアプリケーションを起動するための口頭トリガとして使用することができる。ユーザは、例えば、「電源オン」、「メッセージを送信」、「何時ですか」、「私の次の会議は何ですか」、「カメラアプリケーションを起動」、「カメラ」、「電子メール」、「メッセージ」、「音楽を再生」、「音楽を一時停止」、「ラジオ」、「ナビゲーション」、「計算機」「メモ」、「フラッシュ光」、「電話」、又はアプリケーションを起動する、コマンドを実行する、若しくは照会に応答するための口頭トリガとして認識することができる様々な他のアプリケーション名、コマンド、及び照会の任意のものを発言することができる。いくつかの実施例では、いくつかのアプリケーションを起動すること、特定のコマンドを実行すること、及び特定の照会に応答することは、仮想アシスタントとのセッションを完全に開始することなく（例えば、仮想アシスタントの双方向作用を開始することなく）行うことができる。他の実施例では、仮想アシスタントのセッションを、そのような発言に応じて開始することができ、関連付けられた機能を、ユーザからの更なる口頭入力なしに実行することができる。更に他の実施例では、ユーザは、トリガ語句及びコマンド又は質問を、間に確認又はプロンプトを待つことなく順に発言することができ（例えば、「やあ、Ｓｉｒｉ、今日の天気は何？」）、仮想アシスタントは、トリガ語句及びコマンド若しくは質問の間に、プロンプトを発行する又は他の遅延を実施することなく、コマンド又は質問への応答を実行することができる。
【００４４】
したがって、様々な単語、語句、アクション、コマンド、照会、それらの組み合わせなどを口頭トリガとして使用することができることを理解されたい。同様に、仮想アシスタントをトリガする（例えば、セッションを開始する）実施例を本明細書で説明しているが、口頭トリガは、様々な他のアクション、コマンド、照会、機能などのために使用することができ、トリガ閾値を動的に調整する本明細書で説明する実施例は、任意の他の機能に関連付けられた任意の他の口頭トリガのために使用することができる。
【００４５】
サンプリングされた音声が口頭トリガの一部分を含む可能性に対する信頼レベル又は信頼スコアは、様々な方法でブロック３０６で判定することができる。一実施例では、サンプリングされた音声は、容認された発語トリガのオーディオファイル又は他のデジタル表現と比較することができ、スコア又はレベルは、サンプリングされた音声が発語トリガの表現と一致する程度に基づいて判定することができる。他の実施例では、一連の音素をサンプリングされた音声から判定することができ、音素の順序を、容認された発語トリガの音素の順序と比較することができる。次に、スコア又はレベルを、サンプリングされた音声の音素の順序が容認された発語トリガの音素の順序と一致する程度に基づいて判定することができる。更に他の実施例では、サンプリングされた音声は、サンプリングされた音声が口頭トリガの一部分と一致する程度に対するスコア又はレベルを判定する様々な他の方法で口頭トリガの一部分と比較することができる。音声サンプルが発語トリガの一部分若しくはすべてを含む又は対応する可能性（例えば、信頼レベル、信頼スコアなど）を判定するために使用することができる様々な手法があることを、当業者は理解するであろう。
【００４６】
判断ブロック３０８で、ブロック３０６で判定された信頼レベルが閾値を上回るかについて判定を行うことができる。一実施例では、上回ると対応するアクションを開始することができ、下回ると対応するアクションを開始することができない、発語トリガの信頼レベルの閾値を予め決定することができる。そのような閾値は、例えば、経験的に決定する、ユーザプリファレンスにより設定するなどができる。ブロック３１２を参照して以下により詳細に説明するように、そのような閾値は、様々な知覚されるイベント及び状況に基づいて動的に調整することができる。
【００４７】
判断ブロック３０８で判定されるとき、ブロック３０６からの信頼レベルが閾値を上回らない場合（例えば、「いいえ」の分岐）、プロセス３００は、ブロック３０２に復帰して、音声を受信してサンプリングすることを継続して続行することができる。いくつかの実施例では、プロセス３００は、発語トリガを常時リッスンするように連続してループすることができる。他の実施例では、プロセス３００は、特定の時間の間（例えば、一般的に起きている時間、就業期間、社会的時間など）、発語トリガをリッスンするようにループすることができる。更に他の実施例では、プロセス３００は、イベント（例えば、電源オン、スクリーンウェイク、警報が鳴ること、通知の受信など）に続く特定の非ゼロ時間期間の間、発語トリガをリッスンするようにループすることができる。また他の実施例では、プロセス３００は、様々な他の要因に基づいて（例えば、デバイスが電源に接続されている間、ユーザがデバイスを使用している間、スクリーンがオンしている間、予定したカレンダーの会議の間、予定したカレンダーの会議外など）、発語トリガをリッスンするようにループすることができる。
【００４８】
判断ブロック３０８で判定されるとき、ブロック３０６からの信頼レベルが閾値を上回る場合（例えば、「はい」の分岐）、プロセス３００は、ブロック３１０に進むことができる。ブロック３１０で、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることができる。例えば、発語トリガが発言され受信された可能性があることを示す、閾値を上回る信頼レベルを用いて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることができる。いくつかの実施例では、仮想アシスタントをトリガすることは、ユーザとの仮想アシスタントのセッションを開始することを含むことができる。仮想アシスタントのセッションは、例えば、トリガが認識されてシステムがコマンドを受信する準備ができていることをユーザに通知するために、プロンプト（例えば、再生されたサウンド、表示された画像、表示されたテキスト、照明されたインジケータ光など）を含むことができる。ユーザは、次に、仮想アシスタントに対するコマンド又は要求を発言することができる。上述したように、ユーザの意図は、次に、受信したユーザコマンド又は要求に基づいて判定することができ、判定されたユーザの意図に関連付けられたコマンドを実行することができる、又は要求に対する応答を提供することができる。
【００４９】
他の実施例では、仮想アシスタントのセッションは、特定のプロンプトなしに開始することができ、仮想アシスタントは、トリガ語句の直後に続くオーディオ入力からユーザコマンドを受信することができる。例えば、ユーザは、トリガ語句の直後にコマンド又は質問を続けて発言することができる（例えば、「やあ、Ｓｉｒｉ、私は行く途中だと私の母に伝えて」）。トリガ語句が話されたという充分に高い信頼レベルを用いて、最初にプロンプト又は他の遅延を必要とせずに、その後に続くオーディオ入力をコマンド（例えば、「私は行く途中だと私の母に伝えて」）として受信するように、仮想アシスタントをトリガすることができる。しかし、いくつかの実施例では、短いプロンプト、無音のプロンプト（例えば、テキスト表示、照明された光など）、又は他の目障りでないプロンプトを、トリガ語句とコマンド又は質問との間に素早く発行することができる。更に他の実施例では、上記したように、トリガ語句自体が、コマンド又は質問を含むことができ、ブロック３１０で仮想アシスタントにオーディオ入力から（例えば、バッファなどから）コマンド又は質問を受信させることができる。
【００５０】
ブロック３１２で、判断ブロック３０８で使用した発語トリガの信頼レベルの閾値を、知覚されるイベントに応じて動的に調整することができる。いくつかの実施例では、閾値を低下させることができ、それによりトリガの感度を増大させることができ、したがって、オーディオ入力がトリガとして認識されるであろう可能性が増大する。他の実施例では、閾値を上昇させることができ、それによりトリガの感度を減少させることができ、したがって、オーディオ入力がトリガとして認識されるであろう可能性が減少する。様々な知覚されるイベント、条件、状況などに応じて、閾値を動的に上昇及び／又は低下させることができる。例えば、知覚されるイベントが、ユーザが発語トリガを発言する可能性があると示唆する場合、誤ったトリガによる不便は最小限度であろう（例えば、騒がしい環境にある間）場合、トリガを逸することが、相対的に不便であるであろう（例えば、運転中に）場合などに、トリガする可能性を増大させるように閾値を低下させることができる。逆に、知覚されるイベントが、ユーザが発語トリガを発言する可能性が低いと示唆する場合、誤ったトリガは、特に望ましくないであろう（例えば、重要な会議の間、又は静かな環境において）場合、トリガを逸することによる不便は、最小限度であろう場合などに、トリガする可能性を減少させるように閾値を上昇させることができる。
【００５１】
一実施例では、逸したトリガの可能性が高いように見え、再試行が予想される場合に、閾値を低下させることができる。例えば、ユーザはトリガ語句（例えば、「やあ、Ｓｉｒｉ」）を発言することがあるが、プロセス３００のブロック３０６で判定された信頼レベルが閾値を下回り、仮想アシスタントをトリガするのに不十分であることがある（例えば、静かに話している、干渉、デバイスからの距離などのため）。ユーザは、再試行してトリガ語句を再度話す（例えば、より明瞭に、より大きな声で、デバイスにより近づいてなど）可能性が高いことがあり、繰り返されたトリガを再度逸しないことを確実にすることが望ましいことがある。逸したトリガの間に判定された信頼レベルは、閾値を上回ることなく閾値の所定の範囲内であることがある。例えば、閾値を数ポイント下回る又は閾値から特定のパーセント値内であるなどである。例えば、７０の閾値に対して、所定の範囲は、５０〜６９として定義することができる。この例では、逸したトリガは、６５のスコアであった場合があり、仮想アシスタントをトリガするのには不十分であろう。しかし、知覚されるトリガが５０〜６９の所定の範囲内であるとして、繰り返されたトリガ語句が、ユーザがその語句を二回目に発言したときに仮想アシスタントをトリガする可能性がより高くなり得るように、閾値を低下させることができる。したがって、閾値を上回ることなく閾値の所定の範囲内の信頼レベルを有するオーディオ入力の以前のサンプリングに基づいて、閾値を低下させることができる。所定の範囲は、経験的に決定する、ユーザにより設定するなどができることを理解されたい。
【００５２】
別の実施例では、ディスプレイ上に表示されたコンテンツを検出したことに基づいて、閾値を低下又は上昇させることができる。例えば、スクリーンがアクティブ化されて又は起きている場合、発語要求にとってありがちな題材である特定のコンテンツが表示されている場合、通知が受信又は表示されている場合、ユーザが仮想アシスタントのサービスにアクセスしている場合などに、閾値を低下させることができる。関連するディスプレイとしては、ユーザデバイス１０２のタッチスクリーン２４６、又は任意の他のディスプレイ（例えば、テレビのディスプレイ、ラップトップコンピュータのディスプレイ、制御パネルのディスプレイなど）を挙げることができる。いくつかの実施例では、表示されたコンテンツの種類に基づいて、又は同様に、ユーザの画面上の要素との双方向作用（例えば、再生する音楽を選択すること、電子メールを読むこと、メッセージに応答することなど）に基づいて、閾値を上昇又は低下させることができる。
【００５３】
図４Ａは、発語トリガ閾値を調整するのに使用することができる、仮想アシスタントのインタフェース４２２を表示するタッチスクリーン２４６を有するユーザデバイス１０２を示す。一実施例では、インタフェース４２２が表示されているといつでも、又はユーザが別の方法で仮想アシスタント若しくは仮想アシスタントのサービスと双方向作用していると（例えば、仮想アシスタントに関連付けられた任意のコンテンツが表示されていると）いつでも、閾値を低下させることができる。具体的には、仮想アシスタントの双方向作用が、１つのユーザ照会を越えて延長することがあるので、同じ双方向作用の間に追加の照会が受信されるであろう可能性を使用して発語トリガ閾値を低下させることができ、それにより、後に続く照会に対してトリガする可能性を増大する。インタフェース４２２は、例えば、ユーザにコマンドを促すアシスタントの挨拶４２４、ユーザの照会を含む転記されたユーザのスピーチ４２６（例えば、「今日は雨が降るだろうか？」）、及び照会に応答するアシスタントの応答４２８（例えば、「予報では６０％の雨の確率があります」）を含むことができる。インタフェース４２２が表示されている間、後に続く双方向作用を容易に検出するために、再度コマンドを受信するように仮想アシスタントをトリガするための閾値を低下させることができる。例えば、インタフェース４２２が表示されている間、ユーザは、「写真を起動」と発言することができ、いくつかの実施例では、それをトリガ語句として認識することができる。低下させた閾値により、発言がトリガして仮想アシスタントにコマンドを受信させ関連付けられたユーザの意図を実行させるであろう可能性をより高めることができる。
【００５４】
別の実施例では、仮想アシスタントがアクティブであるかに基づいて、閾値を低下させることができる。いくつかの実施例では、仮想アシスタントがアクティブであるかは、表示（例えば、タッチスクリーン２４６上のインタフェース４２２などの）から識別することができる。しかし、他の実施例では、仮想アシスタントは、情報を表示することなくアクティブ（例えば、ディスプレイを有さないデバイス上でアクティブ、バックグランドで動作している、情報を表示せずに車両内で動作しているなど）であることがある。図４Ａのインタフェース４２２のように、仮想アシスタントがアクティブであることを検出したことを使用して、受信したトリガ発言によってトリガする可能性を増大させるように閾値を低下させることができる。これにより、後に続く発言が、後に続く照会を受信するように仮想アシスタントを正しくトリガするであろう可能性を増大することができる。
【００５５】
図４Ｂは、発語トリガ閾値を調整するのに使用することができる、例示的な表示コンテンツを表示するタッチスクリーン２４６を有するユーザデバイス１０２を示す。一実施例では、発語トリガ閾値は、通知が受信されている、発行されている、表示されている、鳴らされていることなどを検出したことに応じて調整することができる。例えば、新しい電子メール４３４が受信されたことを示す通知インタフェース４３２を表示する（例えば、矢印により示すように、タッチスクリーン２４６の上部から滑り落ちるようにアニメーションする）ことができる。通知インタフェース４３２の表示、新しい電子メール４３４の受信、通知が鳴ること、又は通知がユーザに提供されているという別の示唆を検出したことに応じて、発語トリガ閾値を低下させることができる。いくつかの場合では、通知は、電子メールを読み上げること、新しいメッセージを表示すること、受信したメッセージに応答すること、着信を受けること、着信を拒否することなどの、関連する仮想アシスタントのコマンドを発行するようにユーザに促すことができる。受信した通知の直後にユーザが支援を所望しているであろう可能性が増大したとして、仮想アシスタントをトリガする可能性をより高くすることができるように、通知を検出すると、発語トリガ閾値を低下させることができる。
【００５６】
任意の種類の通知を検出されることにより発語トリガ閾値を低下させることができる。通知は、着信、新しいメッセージ、アプリケーションの通知、警報、カレンダーのリマインダなどを含む。加えて、いくつかの実施例では、異なる種類の通知は、異なる量だけ、閾値を低下させることができる。例えば、ユーザがアプリケーションの通知に対してより着信に関連付けられた音声コマンドを発行する可能性がより高くあり得るため、アプリケーションの通知に対してより着信に対してより閾値を低下させることができる。他の実施例では、通知を検出したことに応じて、閾値を上昇させることができる。例えば、会議が始まるところだというカレンダーのリマインダに応じて、閾値を上昇させることができ、これによって、仮想アシスタントが誤ってトリガして会議の邪魔をする可能性がより低くなり得る。したがって、発語トリガ閾値を調整するために、様々な方法で通知を使用することができる。
【００５７】
いくつかの実施例では、ユーザが最初に発語トリガを発言することなく仮想アシスタントと双方向作用することを可能にするために、疑似トリガとして通知を使用することができる。例えば、通知（例えば、通知インタフェース４３２内に表示された新しい電子メール４３４）を受信したことに応じて、口頭トリガの受信を検出することなくオーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることができる。ユーザが通知の後に続けてコマンドを発言した場合（例えば、「それを私に読んで」）、最初に特定の発語トリガを必要とすることなく、ユーザの意図を判定することができ、コマンドを実行することができる（例えば、新しく受信した電子メールを読み上げることができる）。ユーザが特定の時間内にコマンドを発言しない場合、その入力からユーザの意図が判定される可能性は低く、仮想アシスタントのアクションが行われない場合がある。単一の簡単な通知を受信した（例えば、リマインダ、警報など）場合より、複数の通知を受信した又は通知が複雑である（例えば、カレンダーの招待、メッセージなど）場合、より長い持続時間の間コマンドをリッスンすることなどの、通知に基づいて口頭コマンドを待つ時間を変化させることができる。いくつかの実施例では、したがって、通知を受信したことに応じて、最初に特定の発語トリガを必要とせずに仮想アシスタントをトリガしてコマンドをリッスンすることができる。
【００５８】
他の実施例では、異なる種類の表示コンテンツに基づいて、他の方法で発語トリガ閾値を調整することができる。例えば、図４Ｂは、ユーザデバイス１０２のタッチスクリーン２４６上の、音楽の選択肢４３８を有する音楽インタフェース４３６を示す。一実施例では、表示されている音楽インタフェース４３６に基づいて、又は音楽インタフェース４３６が表示されている間、発語トリガ閾値を低下させることができる。仮想アシスタントは、ユーザに代わって、特定の音楽を再生することを含む様々な動作を実行することができる。したがって、音楽インタフェース４３６が表示されている間、ユーザが発語トリガを発言して音楽の選択肢４３８又は他の音楽の１つの再生を要求することがある可能性がより高いことがある。音楽インタフェース４３６の表示に基づいて閾値を低下させることにより、仮想アシスタントをトリガする可能性をより高くすることができ、したがって、口頭トリガの可能性が高い場合にトリガを逸する可能性を低減する。
【００５９】
発語トリガ閾値を上昇又は低下させるために、様々な他の種類の表示されたコンテンツを同様に使用することができる。例えば、ありがちな仮想アシスタントの要求に関連付けることができる表示されたコンテンツは、発語トリガ閾値を低下させることができ、ありがちな仮想アシスタントの要求に関連付けられないことがある表示されたコンテンツは、発語トリガ閾値を上昇させることができる。例えば、電子メールのメッセージ、テキストメッセージ、音楽のリスト、アプリケーションのリスト、カレンダー項目、連絡先、電話アプリケーション、株価、天気情報、ソーシャルメディアのフィード、レストラン、映画、地図、アドレス、タスクリスト、リマインダ、メモ、設定、特定のアプリケーションなどの表示に基づいて、発語トリガ閾値を低下させることができる。例えば、電子ブック、再生している映画、一部のゲーム、特定のアプリケーションなどの表示に基づいて、発語トリガ閾値を上昇させることができる。株価のリストの表示に対してより、電話アプリケーションの表示に対して閾値をより低下させることなどの、表示されたコンテンツの種類に基づいて、発語トリガ閾値を上昇又は低下させる量もまた、変化させることができる。いくつかの実施例では、上昇又は低下の量は、特定の表示されたコンテンツに関連付けられた仮想アシスタントの照会がありがちである程度に関連付けることができる。したがって、様々な表示されたコンテンツに基づいて、様々な方法で発語トリガ閾値を調整することができる。
【００６０】
別の実施例では、様々なデバイスに関連付けられた様々なセンサに基づいて、発語トリガ閾値を調整することができる。例えば、ユーザの電子デバイスへの近接を検出（例えば、ユーザデバイス１０２の近接センサ２１４及び／又はカメラ２２２を使用して）したことに基づいて、発語トリガ閾値を上昇又は低下させることができる。例えば、ユーザが存在することが検出されない場合、スプリアスノイズ又はサウンドに対してトリガすることを回避するように、閾値を上昇させることができる。一方で、ユーザがデバイスの付近にいると検出される場合、発言された発語トリガに対してトリガする可能性を増大するように、閾値を低下させることができる。いくつかの実施例では、ユーザの存在又は不在を検出するために、近接センサを使用することができる。他の実施例では、ユーザの存在又は不在を検出するために、カメラを使用することができる。更に他の実施例では、カメラの視野内の特定のユーザを認識するために、顔認識を実行することができ、デバイスに関連付けられたユーザ（例えば、デバイスの所有者、認可されたユーザ、親類など）の存在又は不在に基づいて、発語トリガ閾値を調整することができる。車両内のデバイス、廊下でのデバイス、家又は仕事の部屋の中のデバイス、屋外のエリア内のデバイスなどを含む、様々な場所で様々なデバイスにより、ユーザの近接は、判定することができる。
【００６１】
一実施例では、サウンドプロファイルを分析して、ユーザの存在を判定し、それに応じて発語トリガ閾値を調整することができる。例えば、デバイスで受信した音声を分析して、サウンドプロファイルを構成するサウンドの種類を判定することができる。サウンドプロファイルに基づいて、ユーザの近接を判定することができる。人間の存在に関連付けられたサウンドは、例えば、近くにいるユーザを示すものであることがある。そのようなサウンドとしては、人間のスピーチ、呼吸、運動（例えば、歩行）、掃除、料理などを挙げることができる。対照的に、ホワイトノイズ、ファンのノイズ、電子機器からのノイズ、動物のサウンド、反響などの他のサウンドは、人間の不在に関連付けることができる。一実施例では、人の不在に関連付けられたノイズとは反対に、人間の存在に関連付けられたサウンドを含む検出したサウンドプロファイルに基づいて、ユーザがデバイスの付近にいるかを判定することができる。判定されたユーザの近接に基づいて、発言された発語トリガに関してより容易にトリガするように、発語トリガ閾値を低下させることができる。対照的に、判定されたユーザの不在に基づいて、ユーザが存在する可能性が低いことがある場合にスプリアスサウンドに関してトリガすることを回避するように、発語トリガ閾値を上昇させることができる。
【００６２】
センサデータを複数の異なるデバイスから収集して、発語トリガ閾値を調整するために単独で又は組み合わせて使用することができる。一実施例では、セキュリティシステム、ゲーミングシステム、テレビシステムなどに関連付けられたカメラ、動きセンサなどを使用して、ユーザの存在又は近接を検出することができる。検出されたユーザの不在を使用して、誤ったトリガを回避するようにトリガ閾値を上昇させることができ、検出されたユーザの存在を使用して、トリガを逸することを回避するようにトリガ閾値を低下させることができる。一実施例では、スピーチ対応デバイスは、１つ以上のセンサを使用して、その後それ自体の発語トリガ閾値を調整するために、ユーザの存在又は近接を検出することができる。例えば、スピーチ対応のモバイルデバイス、スピーチ対応のテレビ制御システム、スピーチ対応のゲーミングシステム、スピーチ対応のセキュリティシステムなどは、動き検出器、近接センサ、カメラ、又は他のセンサを含むことができる。センサデータに基づいて、様々なシステム又はデバイス用の発語トリガ閾値を調整することができる。例えば、ユーザが部屋又はデバイス付近のエリアに入り、１つ以上のセンサにより検出される場合、存在するユーザからのトリガを逸することを回避するように、発語トリガ閾値を低下させることができる。ユーザが部屋又はエリアを去り、ユーザの不在がセンサデータから明らかな又は推定される場合、スプリアスノイズ又はサウンドからの誤ったトリガを回避するように、発語トリガ閾値を上昇させることができる。このように、様々な種類のデバイスは、使用可能なセンサ情報を使用して、ユーザの近接又は存在に基づいて発語トリガ閾値を動的に調整することができる。
【００６３】
他の実施例では、近くにあり通信状態にある（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、又は他の通信チャンネルを介して）複数のデバイスが、センサデータ又はトリガ閾値情報を共有して、様々なデバイス用の発語トリガ閾値を調整することができる。図５は、デバイスの１つ以上のための発語トリガ閾値を動的に調整するための、様々なデバイスの間での双方向作用を含むことができるマルチデバイスシステム５４０を示す。図示した実施例では、様々なデバイス及び複数のユーザが存在することができ、様々なデバイスからのセンサ情報に基づいて、様々なスピーチ対応デバイス用の発語トリガ閾値を調整することができる。マルチデバイスシステム５４０は、例えば、テレビ用セットトップボックス５４６、セキュリティシステム用制御パネル５５４、ユーザデバイス１０２、及びタブレットコンピュータ５６４などの、複数のスピーチ対応デバイスを含むことができる。様々なデバイスは、様々な異なるセンサ及びディスプレイに関連付けることができる。例えば、テレビ用セットトップボックス５４６は、ディスプレイ５４２、及び顔認識、ジェスチャ検出、存在検出、写真撮影、動画撮影などに使用することができるカメラ５４４に接続することができる。セキュリティシステム用制御パネル５５４は、顔認識、ジェスチャ検出、存在検出などに同様に使用することができるカメラ５５６に関連付けることができる。ユーザデバイス１０２及びタブレットコンピュータ５６４は、ユーザの存在を検出するために同様に使用することができる様々なセンサを含むことができる。
【００６４】
一実施例では、１つのデバイスからのセンサデータを使用して、別のデバイスの発語トリガ閾値を調整することができる。例えば、カメラ５４４を有するテレビ用セットトップボックス５４６又はカメラ５５６を有するセキュリティシステム用制御パネル５５４は、ユーザ５５０の存在を検出することができる。ユーザ５５０の存在（又は未識別の人の存在）は、次に、ユーザデバイス１０２及びタブレットコンピュータ５６４などの他の近隣のデバイスに通信することができる。検出されたユーザ５５０の存在に基づいて、ユーザデバイス１０２及び／又はタブレットコンピュータ５６４は、ユーザが存在するとしてトリガする可能性をより高くし、したがってトリガを逸することを回避するように、それらの発語トリガ閾値を低下させることができる。別の実施例では、カメラ５５６を有するセキュリティシステム用制御パネル５５４により検出されたユーザが誰もいないことは、テレビ用セットトップボックス５４６に通信することができ、それにより、検出されたユーザがいないとして誤ったトリガを回避するように、セットトップボックスの発語トリガ閾値を上昇させることができる。更に別の実施例では、ユーザ５５８の存在は、ユーザデバイス１０２又はタブレットコンピュータ５６４により検出して、テレビ用セットトップボックス５４６及びセキュリティシステム用制御パネル５５４の１つ又は両方に通信することができ、それにより、次に、ユーザの存在が検出されたとしてトリガを逸することを回避するように、それらの発語トリガ閾値を低下させることができる。したがって、様々なデバイスからのセンサデータは、様々な他のデバイスに通信して、発語トリガ閾値を調整するために使用することができる。
【００６５】
別の実施例では、ユーザと複数のデバイスとの間の距離を使用して、トリガ語句の検出の際にどのデバイスがトリガするべきかを判定することができる。例えば、マルチデバイスシステム５４０では、複数のデバイスが、ユーザ５５０又はユーザ５５８のいずれかからの発語トリガを検出することができ得る。複数のスピーチ対応デバイスが同じ発言からトリガすることを回避するために、様々なデバイスへの相対的なユーザの近接を判定して、最も近いデバイスが最もトリガする可能性が高いことを確実にするために使用することができる。一実施例では、デバイスは、どのデバイスがユーザに最も近いかを判定するために、相対距離を通信することができる。例えば、テレビ用セットトップボックス５４６は、カメラ５４４を使用して（例えば、ユーザ５５０の画像サイズ、飛行時間測距、近接センサの値などに基づいて）概略の距離５４８を判定することができる。セキュリティシステム用制御パネル５５４は、カメラ５５６を使用して（例えば、ユーザ５５０の画像サイズ、飛行時間測距、近接センサの値などに基づいて）概略の距離５５２を判定することができる。２つのデバイスは、判定した距離５４８及び５５２を比較して、距離５５２が距離５４８未満であるとしてユーザ５５０がセキュリティシステム用制御パネル５５４により近くにあり得ると判定することができる。セキュリティシステム用制御パネル５５４へのユーザの近接及びテレビ用セットトップボックス５４６からの相対距離に基づいて、検出された発語トリガ語句に応じてセキュリティシステム用制御パネル５５４がトリガするであろう可能性をより高くするように、セキュリティシステム用制御パネル５５４に関連付けられた発語トリガ閾値を低下させることができる。いくつかの実施例では、検出された発語トリガ語句に応じてテレビ用セットトップボックス５４６がトリガするであろう可能性を減少させるように、テレビ用セットトップボックス５４６に関連付けられた発語トリガ閾値を上昇させることができる。
【００６６】
他の実施例では、発語トリガを検出したことに応じてどちらのデバイスがトリガすべきかを判定するために、距離５４８及び５５２を、他の方法で見積もることができる。例えば、発語トリガ語句を検出した際に、テレビ用セットトップボックス５４６及びセキュリティシステム用制御パネル５５４は、検出された発語トリガから判定された信頼値を比較することができる（例えば、プロセス３００のブロック３０８で）。発語トリガに応じてトリガするために、より高い信頼値を有するデバイスを選択することができる。別の実施例では、２つのデバイスにより受信されたオーディオ入力の音量レベルを比較することができ、２つのデバイスのどちらが発語トリガに応答すべきかを判定するために、相対音量レベルから距離５４８及び５５２を見積もることができる。いくつかの実施例では、これは、より近いデバイスに対するトリガ閾値を低下させ、より遠くのデバイスに対するトリガ閾値を上昇させることにより行うことができる。図５の実施例では、様々なセンサデータ（例えば、カメラ、マイクロフォン、近接センサ、動き検出器などからの）の任意のものを使用して、距離５４８及び５５２を見積もる又はユーザ５５０が一方のデバイス又は他方のデバイスにより近い可能性があるかを判定するために、テレビ用セットトップボックス５４６とセキュリティシステム用制御パネル５５４との間で比較することができる。適切なデバイスを発語トリガに対して応答させるために、ユーザに最も近いと判定されたデバイス（例えば、距離５５２にあるセキュリティシステム用制御パネル５５４）に対して、発語トリガ閾値を低下させることができ、より遠いと判定されたデバイス（例えば、距離５４８にあるテレビ用セットトップボックス５４６）に対して、発語トリガ閾値を上昇させることができる。距離５４８及び５５２はまた、飛行時間測距、反響定位、信号強度判定、近接センサの値、カメラ視野内のユーザのサイズなどを含む、様々な他の方法の任意の方法で見積もることができる。
【００６７】
別の実施例では、モバイルデバイス又はハンドヘルドデバイスに対して相対距離を判定して、それらのデバイスの発語トリガ閾値を調整するために使用することができる。例えば、ユーザ５５８は、図５に示すように、ユーザデバイス１０２及びタブレットコンピュータ５６４の近くでトリガ語句を発言することができる。発語トリガに応じて両方のデバイスがトリガすることを回避するために、デバイスへのユーザ５５８の近接度を比較することができ、最も近いデバイスの発語トリガ閾値を低下させることができ、より遠いデバイスの発語トリガ閾値を上昇させることができる。図示した実施例では、距離５６０及び５６２は、様々な方法の任意の方法で判定することができる。例えば、飛行時間測距、反響定位、信号強度判定、近接センサの値、カメラ視野内のユーザのサイズ、発語入力の音量レベル、温度、動き、又は様々な他のセンサデータの任意のものに基づいて、概略の距離５６０及び５６２を判定することができる。見積もられた距離５６０及び５６２は、ユーザデバイス１０２とタブレットコンピュータ５６４との間で共有することができる。タブレットコンピュータ５６４への距離５６２と比較して、距離５６０にあるユーザデバイス１０２にユーザ５５８が近接していることに基づいて、ユーザデバイス１０２の発語トリガ閾値を低下させることができ、タブレットコンピュータ５６４の発語トリガ閾値を上昇させることができる。デバイスの閾値を調整することにより、ユーザ５５８からの発語トリガは、タブレットコンピュータ５６４上よりユーザデバイス１０２上でトリガする可能性がより高くすることができ、したがって、同じ発言によって複数のデバイス上でトリガすることを回避することができる。
【００６８】
他の実施例では、様々な種類の複数のデバイスが、ユーザに近いスピーチ対応デバイスがトリガし、他の近隣のスピーチ対応デバイスはトリガしないことを確実にするために、センサ情報を通信することができる。例えば、マルチデバイスシステム５４０では、ユーザ５５０又はユーザ５５８のいずれかにより発言された発語トリガに応じて、様々なデバイスのいずれかがトリガすることができる。そのように、様々な距離を判定して、デバイスの間で共有することができ、どのデバイスがユーザに近く、どのデバイスがユーザからより遠いかを判定することができる。一実施例では、共有した距離に従って、様々なスピーチ対応デバイスの発語トリガ閾値を調整することができる（例えば、ユーザデバイス１０２の発語トリガ閾値を低下させることができ、セキュリティシステム用制御パネル５５４の発語トリガ閾値を低下させることができ、タブレットコンピュータ５６４の発語トリガ閾値を上昇させることができ、テレビ用セットトップボックス５４６の発語トリガ閾値を上昇させることができる）。このようにして、さもなければユーザに近い複数のデバイスが同じ発言からトリガし得たとしても、ユーザに近いと判定されたデバイスが、ユーザからより遠いと判定されたデバイスより、トリガする可能性をより高くすることができる。
【００６９】
更に他の実施例では、様々なデバイスの間で信頼レベルを比較すること、様々なデバイスで受信したスピーチの音量レベルを比較すること、様々なデバイスの間で様々な他の種類のセンサデータを比較することなどに基づいて、トリガ語句を検出したことに応じて複数のデバイスのどれがトリガするかを、判定することができる。例えば、単一の発言に基づいて２つ以上のデバイスがトリガすることがあり得る場合、トリガする前に、デバイスは、デバイスのどれがトリガすべきでどれがトリガすべきでないかを判定するために、センサデータを共有することができる。
【００７０】
更に他の実施例では、特定の発言に応じてトリガするか否かを判定するのに、様々な他のセンサ及びユーザデータを使用することができる。例えば、顔認識を使用して、ユーザの顔がセキュリティシステム用制御パネル５５４の方向にではなくテレビ用セットトップボックス５４６の方向に向けられているかを判定することができる。顔認識に基づいて、テレビ用セットトップボックス５４６の発語トリガ閾値を低下させることができる、及び／又はセキュリティシステム用制御パネル５５４の発語トリガ閾値を上昇させることができる。別の実施例では、顔認識に基づいて、両方のデバイスにより検出された可能性がある検出された発語トリガに応じて、セキュリティシステム用制御パネル５５４の代わりにテレビ用セットトップボックス５４６が、トリガすることができる（例えば、トリガする前にデバイス間でトリガ検出を通信することにより）。
【００７１】
したがって、複数のデバイスは、センサ情報、発語トリガ検出、信頼レベルなどを通信することができ、そのような複数のデバイスは、検出された発語トリガに応じて協調することができる、及び／又は一部のデバイスを他のデバイスより有利にするように発語トリガ閾値を調整することができることを理解されたい。更に、マルチデバイスシステム５４０及び説明した実施例は、複数のデバイスの間での可能性がある双方向作用を例示しているが、様々な他の双方向作用を有する多数の他のデバイスが、発語トリガ閾値を調整する及び／又は１つのデバイスでトリガすることを別のデバイスより有利にするために、本明細書で説明する技術を同様に用いることができることを理解されたい。
【００７２】
別の実施例では、（例えば、ユーザデバイス１０２の加速度計及び／又はジャイロスコープからの）検出された動きに基づいて、発語トリガ閾値を調整することができる。いくつかの実施例では、ユーザは、デバイスを移動（例えば、バッグから出してデバイスを持ち上げる、ポケットからデバイスを出す、テーブルからデバイスを取り上げるなど）した後で発語トリガを発言する可能性がより高いことがある。検出された動きに基づいて、発言された発語トリガに関してより容易にトリガするように、発語トリガ閾値を低下させることができる。他の実施例では、ユーザは、デバイスが規則的又はいくぶん一定な動きをしている（例えば、ユーザが歩いている間、ユーザが運動しているときなど）場合に、発語トリガを発言する可能性がより低いことがある。それらの検出された動きに基づいて、トリガする可能性を減少させるように、発語トリガ閾値を上昇させることができる。
【００７３】
一実施例では、時間帯又は予定されたカレンダーのイベントに基づいて、発語トリガ閾値を調整することができる。例えば、ユーザがスピーチを使用してデバイスと双方向作用する可能性がより高いことがある非就業時間の間、発語トリガ閾値を低下させることができる。対照的に、ユーザがスピーチを使用してデバイスと双方向作用する可能性がより低いことがある就業時間の間、発語トリガ閾値を上昇させることができる。いくつかの実施例では、ユーザは、特定の時間又は状況の間の感度に対する好みを設定することができる。他の実施例では、カレンダーのイベント又は認識された状況に基づいて、発語トリガ閾値を調整することができる。例えば、邪魔することがある誤ったトリガを回避するために、仕事の会議、授業、デートなどの間、発語トリガ閾値を上昇させることができる。別の実施例では、友人との外出、通勤、特定の余暇活動などの間、それらの状況ではスピーチによる双方向作用の可能性がより高いことがあるため、発語トリガ閾値を低下させることができる。
【００７４】
別の実施例では、サンプリングしたオーディオ入力の処理に基づいて、発語トリガ閾値を遡及的に調整することができる。例えば、サンプリングしたオーディオ入力を分析して、ユーザのスピーチ及び／又はユーザの意図を判定することができる。サンプリングされたオーディオ入力内に実施可能なコマンドが検出された場合、仮想アシスタントにより実施可能なコマンドを受信して実行できるように、発語トリガ閾値を遡及的に低下させることができる。例えば、たとえユーザが実施可能なコマンドを直後に続けてトリガ語句を発言したとしても（例えば、「やあ、Ｓｉｒｉ、お父さんに電話をかけて」）、様々な理由のいずれかのために発語トリガを逸することがあるが、受信した音声内の実施可能なコマンドを識別することができ、発語トリガ閾値を遡及的に低下させることができ、結果として仮想アシスタントにより実施可能なコマンドを受信して実行することができる。
【００７５】
他の実施例では、様々なユーザのアクションに応じて、発語トリガ閾値を調整することができる。例えば、誤ったトリガの後で、ユーザは、そのトリガが不要であったことを示す語句（例えば、「今はだめ」、「誤ったトリガ」、「間違い」、「静かに」、「邪魔しないで」、「止めて」など）を発言することができる。次に、更なる誤ったトリガを回避するために、発語トリガ閾値を上昇させることができる。別の実施例では、デバイスの位置又は場所に基づいて、発語トリガ閾値を上昇させることができる。例えば、電子デバイスがテーブル上で下に向いている、ポケットの中にある、ハンドバッグの中にある、ユーザの顔に押し当てられている、スリーブの中にある、ケースに押し当てられている場合などの、電子デバイスへのオブジェクトの近接を検出することができる。デバイスへのオブジェクトの近接に基づいて、デバイスの位置に基づきスピーチでの双方向作用は可能性がより低い又は不必要であり得るとして、発語トリガ閾値を上昇させることができる。別の実施例では、ユーザがテーブル上でデバイスの表面を指ではじく、ユーザが特定の仕方でデバイスを振る、ユーザがデバイスをポケットの中に滑りこませるなどの、特定の検出されたデバイスの動きに基づいて、発語トリガ閾値を上昇させることができる。
【００７６】
別の実施例では、検出されたデバイス設定に応じて、発語トリガ閾値を調整することができる。例えば、電子デバイスに関連付けられた振動、無音、及び／又は通知拒否（do not disturb）の設定（例えば、振動するだけ、無音にしておく、及び／又は視覚を含むすべての通知を回避する、というユーザデバイス１０２上の設定）を検出したことに応じて、発語トリガ閾値を上昇させることができる。いくつかの実施例では、閾値の調整は、振動設定に基づいて第１の量、発語トリガ閾値を上昇させること、及び通知拒否設定に基づいて第２のより大きな量、発語トリガ閾値を上昇させることなどの、デバイス設定に基づいて異なることができる。このように、特定のデバイス設定を選択するユーザからの合図に基づいて、不必要に割り込むことがある誤ったトリガを回避することができる。
【００７７】
本明細書で説明する様々な実施例のいずれでも、発語トリガ閾値の調整は、一時的又は恒久的とすることができる。いくつかの実施例では、所定の時間（ゼロより長い時間）が経過した後で、発語トリガ閾値を所定のレベルに復元させることができる。例えば、所定の非ゼロ時間の間、閾値の調整を維持することができ、その時間は、すべての調整に対して設定することができる、又は閾値を調整させた異なるイベントに対して異なることができる。例えば、ユーザの活動が誤ったトリガを回避することの重要性を示す（例えば、通知拒否設定、ユーザが「今はだめ」と発言すること、重要な会議などに基づいて）場合、調整を維持する所定の時間を、より長くすることができる。例えば、調整をさせたイベントが一時的である可能性がある（例えば、トリガを逸した可能性がある、通知、表示されたコンテンツなど）場合、調整を維持する所定の時間を、より短くすることができる。したがって、異なる持続時間の非ゼロ時間の間、閾値の調整を維持することができ、その後、閾値を所定のレベルに自動的に復元させることができる。
【００７８】
他の実施例では、イベントの終了の後で、発語トリガ閾値を所定のレベルに復元させることができる。例えば、カレンダーの会議の終了時、就業日の終了時、余暇活動の終了時、通勤の終了時、設定を除去した際、位置の変化の際、デバイスの移動の際などに、発語トリガ閾値を所定のレベルに復元させることができる。デバイスは、カレンダー設定、デバイスの移動、ユーザ対話、サウンドプロファイルなどに基づいてなどの、様々な方法でそのようなイベントの終了を検出することができる。
【００７９】
いくつかの実施例では、使用に基づいて経時的に、発語トリガ閾値の所定のレベルを調整することができる。例えば、ユーザとの双方向作用、逸したトリガ、誤ったトリガなどに基づいて経時的に、閾値の設定点又は復元点を調整することができる。一実施例では、頻繁な誤ったトリガのユーザのフィードバック（例えば、ユーザがデバイスを無音にすること、「今はだめ」と発言すること、ボタンを用いて誤ったトリガを識別すること、要求を伴うプロンプトに従わないこと、など）に基づいて、トリガする可能性をより低くするように、発語トリガの所定のレベルを経時的に上昇させることができ、誤ったトリガが継続する頻度に基づいて、そのレベルを上昇させ続けることができる。対照的に、頻繁な逸したトリガのユーザのフィードバック（例えば、繰り返されたトリガ語句、手動のアシスタントのアクティブ化、手動の指示、など）に基づいて、トリガする可能性をより高くするように、発語トリガの所定のレベルを経時的に低下させることができ、逸したトリガが継続する頻度に基づいて、そのレベルを低下させ続けることができる。別の実施例では、所定のレベルは、発語トリガを使用して頻繁に双方向作用するユーザに対して、経時的に低下させることができ、発語トリガを使用してめったに双方向作用しないユーザに対して、経時的に上昇させることができる。他の実施例では、ユーザは、発語トリガに対する所定のレベル（例えば、発語トリガに対する感度）を手動で設定することができる。
【００８０】
本明細書の様々な実施例のいずれでも、発語トリガ閾値を上昇又は低下させる量は、調整を引き起こす知覚されるイベント又は様々な他の要因に従って、変化させることができる。例えば、調整の根拠となる知覚されるイベントに従って最適な効果を有するように、調整量を設定することができる（例えば、知覚されるイベントの重大度、持続時間、影響などを用いて調整量を変化させること）。別の実施例では、逸したトリガ及び誤ったトリガを最小化する有効性に基づいて経験的に、調整量を設定することができる。更に他の実施例では、ユーザプリファレンスにより、調整量を設定することができる。
【００８１】
本明細書で説明する知覚されるイベントの任意のものに応じて、発語トリガ閾値を上昇又は低下させることができることを理解されたい。更に、複数の知覚されるイベントに基づいて発語トリガ閾値を調整することができることを理解されたい（例えば、同時発生のイベントに基づいて合計量だけ低下させる、相殺するイベントに基づいて調整する、など）。このように、例えば、逸したトリガ及び誤ったトリガを低減し、楽しめて効率的なユーザエクスペリエンスを提供するように、発語トリガ閾値を動的に調整することができる。
【００８２】
加えて、本明細書で説明する様々な実施例のいずれでも、様々な態様は、特定のユーザのためにパーソナライズすることができる。本明細書で説明する様々なプロセスは、ユーザプリファレンス、連絡先、テキスト、使用履歴、プロフィールデータ、人口統計的属性などに従って変更することができる。加えて、そのような好み及び設定は、ユーザ対話（例えば、頻繁に発言されたコマンド、頻繁に選択されたアプリケーションなど）に基づいて、経時的に更新することができる。様々なソースから入手可能であるユーザデータの収集及び利用を、ユーザへの、勧誘コンテンツ、又は彼らの興味を引くと思われる任意の他のコンテンツの配信を改善するために用いることができる。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に識別するか、又はその人に連絡するか、若しくはその人のロケーションを特定するために用いることができる個人情報データを含み得ることを企図している。このような個人情報データは、人口統計学的データ、ロケーションベースのデータ、電話番号、電子メールアドレス、自宅住所、又は任意のその他の識別情報を含むことができる。
【００８３】
本開示は、本技術における、このような個人情報データの使用は、ユーザの利益のために使用することができると認識している。例えば、個人情報データは、よりユーザの興味を引く、的を絞ったコンテンツを配信するために用いられてもよい。したがって、このような個人情報データの使用は、配信されるコンテンツの意図的な制御を可能にする。更に、ユーザに利益をもたらす個人情報データの他の使用法も、本開示によって企図されている。
【００８４】
本開示は、このような個人情報データの収集、分析、開示、転送、記憶、又はその他の使用に関与する事業体は、しっかり確立されたプライバシポリシー及び／又はプライバシー慣行を遵守することを更に企図している。特に、このような事業体は、個人情報データを非公開且つ安全なものとして維持するための産業界又は行政の要求を満たすか又はそれらを超えると一般的に認識されているプライバシポリシー及び慣行を履行し、一貫して用いるべきである。例えば、ユーザからの個人情報は、その事業体の合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集は、ユーザに告知して同意を受けた後にのみ実施するべきである。加えて、そのような事業体は、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシポリシー及び手順を遵守することを確実にするための、あらゆる必要な措置を講じるであろう。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。
【００８５】
前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施例も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するためのハードウェア要素及び／又はソフトウェア要素を提供することができることを企図している。例えば、広告配信サービスの場合、本技術は、ユーザがサービスの登録中に個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することを可能にするように構成することができる。別の実施例では、ユーザは、的を絞ったコンテンツ配信サービスのために位置情報を提供しないことを選択することができる。更に別の実施例では、ユーザは、正確な位置情報を提供しないが、ロケーションゾーンの情報の転送を可能にするように選択することができる。
【００８６】
したがって、本開示は、１つ以上の様々な開示された実施例を実施するための個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施例がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。即ち、本技術の様々な実施例は、そのような個人情報データの全て又は一部分の欠如により、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツなどの非個人情報データ若しくは必要最小限の個人情報、コンテンツ配信サービスが入手可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、コンテンツを選択し、ユーザへ配信することができる。
【００８７】
いくつかの実施例によれば、図６は、説明される様々な実施例の原理に従って構成された、電子デバイス６００の機能ブロック図を示す。デバイスの機能ブロックは、説明される様々な実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実装されてもよい。図６で説明する機能ブロックが、説明される様々な実施例の原理を実施するために、組み合わされ、又はサブブロックに分離され得ることが当業者に理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割、又は更なる定義を、任意選択的に、支持する。
【００８８】
図６に示すように、電子デバイス６００は、情報を受信するように構成された入力インタフェースユニット６０２（例えば、音声を録音するためのマイクロフォン）を含むことができる。電子デバイス６００は、情報を出力するように構成された出力インタフェースユニット６０４（例えば、コンテンツを表示するためのディスプレイ）を更に含むことができる。電子デバイス６００は、入力インタフェースユニット６０２及び出力インタフェースユニット６０４に結合された処理ユニット６０６を更に含むことができる。いくつかの実施例では、処理ユニット６０６は、オーディオ受信ユニット６０８、オーディオサンプリングユニット６１０、信頼レベル判定ユニット６１２、仮想アシスタントトリガユニット６１４、及び閾値調整ユニット６１６を含むことができる。
【００８９】
処理ユニット６０６は、発語トリガ閾値を動的に調整するように構成され得る。処理ユニット６０６は、マイクロフォンを介して（例えば、オーディオ受信ユニット６０８を使用して入力インタフェースユニット６０１を介して）オーディオ入力を受信するように構成され得る。処理ユニット６０６は、受信したオーディオ入力をサンプリングする（例えば、オーディオサンプリングユニット６１０を使用して）ように更に構成され得る。処理ユニット６０６は、サンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定する（例えば、信頼レベル判定ユニット６１２を使用して）ように更に構成され得る。処理ユニット６０６は、閾値を上回る信頼レベルに応じて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガする（例えば、仮想アシスタントトリガユニット６１４を使用して）ように更に構成され得る。処理ユニットは、知覚されるイベントに応じて、閾値を動的に調整する（例えば、閾値調整ユニット６１６を使用して）ように更に構成され得る。
【００９０】
いくつかの実施例では、仮想アシスタントをトリガすることは、ユーザとの仮想アシスタントのセッションを開始することを含む。他の実施例では、処理ユニット６０６は、受信したユーザコマンドに基づいてユーザの意図を判定し、判定されたユーザの意図に関連付けられたコマンドを実行するように更に構成され得る。いくつかの実施例では、処理ユニット６０６は、知覚されるイベントに応じて、閾値を低下させるように更に構成され得る。一実施例では、知覚されるイベントは、オーディオ入力の以前のサンプリングから、以前のサンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定することを含む。以前のサンプリングされたオーディオ入力に対する信頼レベルは、閾値を上回ることなく閾値の所定の範囲内である。別の実施例では、知覚されるイベントは、ディスプレイ上に表示されたコンテンツを検出することを含む。更に別の実施例では、知覚されるイベントは、仮想アシスタントに関連付けられたコンテンツの表示を検出することを含む。他の実施例では、知覚されるイベントは、仮想アシスタントがアクティブであることを検出することを含む。
【００９１】
いくつかの実施例では、知覚されるイベントは、ユーザの近接を検出することを含む。一実施例では、ユーザの近接は、電子デバイスに関連付けられたカメラ若しくは近接センサの１つ又は両方に基づいて検出される。別の実施例では、ユーザの近接は、電子デバイス以外のデバイスに関連付けられたカメラ又は近接センサの１つ以上に基づいて検出される。別の実施例では、ユーザの近接は、動き検出器に基づいて検出される。別の実施例では、ユーザの近接は、人間の存在に関連付けられたサウンドを含むサウンドプロファイルに基づいて検出される。別の実施例では、ユーザの近接は、電子デバイス及び少なくとも１つの他のデバイスで検出され、少なくとも１つの他のデバイスよりその電子デバイスがより近くユーザに近接していることに基づいて、その電子デバイスで閾値が低下される。更に別の実施例では、ユーザの近接は、車両内で検出される。他の実施例では、知覚されるイベントは、検出された動きを含む。更に他の実施例では、知覚されるイベントは、通知を受信することを含む。一実施例では、知覚されるイベントは、時間帯又は予定されたカレンダーのイベントを含む。別の実施例では、知覚されるイベントは、サンプリングされたオーディオ入力内の実施可能なユーザコマンドを検出することを含む。
【００９２】
いくつかの実施例では、処理ユニット６０６は、知覚されるイベントに応じて、閾値を上昇させるように更に構成され得る。一実施例では、知覚されるイベントは、仮想アシスタントを却下するユーザコマンドを検出することを含む。別の実施例では、知覚されるイベントは、電子デバイスへのオブジェクトの近接を検出することを含む。別の実施例では、知覚されるイベントは、予定された会議を含む。別の実施例では、知覚されるイベントは、ユーザの不在を検出することを含む。更に別の実施例では、知覚されるイベントは、電子デバイスに関連付けられた通知拒否設定を検出することを含む。
【００９３】
いくつかの実施例では、所定の時間が経過した後で、閾値は所定のレベルに復元される。一実施例では、この所定のレベルは、使用に基づいて経時的に調整される。別の実施例では、処理ユニット６０６は、通知を受信したことに応じて、オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガするように更に構成され得る。更に別の実施例では、仮想アシスタントは、口頭トリガの受信を検出することなしにトリガされる。
【００９４】
添付の図面を参照して、実施例について十分に説明してきたが、当業者には種々の変更及び修正（例えば、本明細書で論じた任意の他のシステム又はプロセスに関して説明した概念に従って、本明細書で論じたシステム又はプロセスのうちのいずれかを修正すること）が明らかになるであろうことに留意されたい。そのような変更及び修正は、添付の特許請求の範囲によって定義されるような様々な実施例の範囲内に含まれるものとして理解されたい。
【図１】
2019091472.tif 000003
【図２】
2019091472.tif 000004
【図３】
2019091472.tif 000005
【図４Ａ】
2019091472.tif 000006
【図４Ｂ】
2019091472.tif 000007
【図５】
2019091472.tif 000008
【図６】
2019091472.tif 000009
【手続補正書】
【提出日】平成31年2月1日(2019.2.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
発語トリガ閾値を動的に調整するための方法であって、
プロセッサ及びメモリを有する電子デバイスにおいて、
マイクロフォンを介してオーディオ入力を受信することと、
前記受信したオーディオ入力をサンプリングすることと、
前記サンプリングされたオーディオ入力が口頭トリガの一部分を含むという信頼レベルを判定することと、
閾値を上回る前記信頼レベルに応じて、前記オーディオ入力からユーザコマンドを受信するように、仮想アシスタントをトリガすることと、を含み、
前記閾値は、条件に応じて、動的に調整される、方法。
【請求項２】
前記仮想アシスタントをトリガすることが、ユーザとの仮想アシスタントのセッションを開始することを含む、請求項１に記載の方法。
【請求項３】
前記受信したユーザコマンドに基づいて、ユーザの意図を判定することと、
前記判定されたユーザの意図に関連付けられたコマンドを実行することと、を更に含む、請求項１または２に記載の方法。
【請求項４】
前記条件に応じて、前記閾値を低下させることを更に含む、請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
前記条件が、前記仮想アシスタントに関連付けられたコンテンツの表示を検出することを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項６】
前記条件が、前記仮想アシスタントがアクティブであることを検出することを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項７】
前記条件が、ユーザの近接を検出することを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項８】
前記条件が、検出された動きを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項９】
前記条件が、通知を受信することを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項１０】
前記条件が、時間帯又は予定されたカレンダーのイベントを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項１１】
前記条件が、前記サンプリングされたオーディオ入力内の実施可能なユーザコマンドを検出することを含む、請求項１ないし４のいずれか一項に記載の方法。
【請求項１２】
前記条件に応じて、前記閾値を上昇させることを更に含む、請求項１ないし１１のいずれか一項に記載の方法。
【請求項１３】
前記条件が、前記仮想アシスタントを却下するユーザコマンドを検出することを含む、請求項１ないし４および１２のいずれか一項に記載の方法。
【請求項１４】
前記条件が、前記電子デバイスへのオブジェクトの近接を検出することを含む、請求項１ないし４および１２のいずれか一項に記載の方法。
【請求項１５】
前記条件が、ユーザの不在を検出することを含む、請求項１ないし４および１２のいずれか一項に記載の方法。
【請求項１６】
前記条件が、前記電子デバイスに関連付けられた通知拒否設定を検出することを含む、請求項１ないし４および１２のいずれか一項に記載の方法。
【請求項１７】
所定の時間が経過した後で、前記閾値が所定のレベルに復元される、請求項１ないし１６のいずれか一項に記載の方法。
【請求項１８】
通知を受信したことに応じて、前記オーディオ入力からユーザコマンドを受信するように、前記仮想アシスタントをトリガすることを更に含み、前記口頭トリガの受信を検出することなしに前記仮想アシスタントがトリガされる、請求項１ないし１７のいずれか一項に記載の方法。
【請求項１９】
請求項１ないし１８のいずれか一項に記載された方法をコンピュータに実行させる、コンピュータプログラム。
【請求項２０】
請求項１９に記載されたコンピュータプログラムを記憶するメモリと、前記メモリに記憶された前記コンピュータプログラムを実行可能な１つ以上のプロセッサとを有する、電子デバイス。
【請求項２１】
請求項１ないし１８のいずれか一項に記載された方法を実行する手段を有する、電子デバイス。
【外国語明細書】
2019091472000001.pdf