(57)【要約】      （修正有）【課題】ユーザ発話入力を選択的に処理し、且つ、それに応答するシステム及び方法が提供する。【解決手段】ユーザ発話入力を含むオーディオ入力をユーザデバイスで受信する。ユーザ発話入力を、ユーザ発話入力の始点及び終点を識別することによりオーディオ入力から抽出する。文脈情報に基づいて、ユーザ発話入力が仮想アシスタントに向けられたか否かを判定する。判定は、規則依存システム又は確率システムを使用して実行する。ユーザ発話入力を仮想アシスタントに向ける意図があったと判定した場合、ユーザ発話入力を処理し、適切な応答を生成する。逆に、ユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定した場合、ユーザ発話入力を無視する且つ／又は応答を生成しない。【選択図】図３
2018136568.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイスにおいて仮想アシスタントを動作させる方法であって、
前記電子デバイスでオーディオ入力を受信することと、
第１のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記オーディオ入力中の前記第１のユーザ発話入力を識別することと、
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することと、
前記第１のユーザ発話入力に応答するとの判定に応じて、
前記第１のユーザ発話入力に対する応答を生成することと、
第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記第１のユーザ発話入力に応答しないという判定に応じて、前記第１のユーザ発話入力に対する応答を生成せずに、前記第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと
を備えることを特徴とする方法。
【請求項２】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、前記第１のユーザ発話入力の開始時の１つ以上の所定の語を識別することを排除することを特徴とする請求項１記載の方法。
【請求項３】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、前記第１のユーザ発話入力を受信する前に受信された物理的ボタン入力又は仮想ボタン入力を識別することを排除することを特徴とする請求項１記載の方法。
【請求項４】
前記第１のユーザ発話入力に対する前記応答を生成することは、
前記第１のユーザ発話入力に対して音声からテキストへの変換を実行することと、
前記第１のユーザ発話入力に基づいてユーザの意図を判定することと、
前記第１のユーザ発話入力に基づいて実行されるタスクを判定することと、
前記第１のユーザ発話入力に基づいて実行される前記タスクのパラメータを判定することと、
前記実行されるタスクを実行することと、
前記第１のユーザ発話入力に対するテキスト応答を表示することと、
前記第１のユーザ発話入力に対するオーディオ応答を出力することと
のうち１つ以上を含むことを特徴とする請求項１記載の方法。
【請求項５】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、
前記第１のユーザ発話入力に関連する前記文脈情報に依存する１つ以上の条件付き規則を評価すること
を含むことを特徴とする請求項１記載の方法。
【請求項６】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、
前記仮想アシスタントが前記第１のユーザ発話入力に関連する前記文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである尤度スコアを計算することと、
前記尤度スコアを閾値と比較することと
を含むことを特徴とする請求項１記載の方法。
【請求項７】
前記第１のユーザ発話入力に関連する前記文脈情報は、
前記第１のユーザ発話入力の受信と以前のユーザ入力との間の経過時刻、
以前のユーザ発話入力、
前記第１のユーザ発話入力が受信されたときのユーザと前記電子デバイスとの間の距離、
前記第１のユーザ発話入力が受信されたときの前記電子デバイスの向き、
前記第１のユーザ発話入力が受信されたときの前記ユーザと前記電子デバイスとの間の向き、
前記第１のユーザ発話入力が受信されたときのユーザの視線の方向、
前記第１のユーザ発話入力が自動音声認識装置により認識されたか否かを示す指標、
前記第１のユーザ発話入力と前記以前のユーザ発話入力との意味的関係、
前記第１のユーザ発話入力の長さ、
前記第１のユーザ発話入力の発話者のＩＤ、
前記第１のユーザ発話入力が受信された時刻、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスが前記ユーザへ情報を出力していたか否かを示す指標、
前記ユーザから入力を受信する期待値、
前記第１のユーザ発話入力が受信されたときに電子デバイスが保持状態であったか否かを示す指標、
前記第１のユーザ発話入力が受信されたときの前記電子デバイスの動作状態、
前記電子デバイスにより以前に実行されたアクション、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスによりコンテンツが表示されていたか否かを示す指標、
前記第１のユーザ発話入力が受信されたときの前記第１のユーザ発話入力と前記電子デバイスにより表示されていたコンテンツとの意味的関係、
前記第１のユーザ発話入力が受信されたときの前記ユーザの位置、
前記第１のユーザ発話入力が受信されたときに前記ユーザにより実行されたジェスチャー、
前記電子デバイスの以前の出力、
前記第１のユーザ発話入力が受信されたときの前記電子デバイスの場所、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスにより実行されていたアプリケーション、
フロントモーストアプリケーション、
最も近い時点で活動していたアプリケーション、
以前の連絡、
以前のＥメール、
以前のＳＭＳメッセージ、
前記第１のユーザ発話入力が受信されたときの前記電子デバイスの動き、
前記電子デバイスのユーザ設定、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスにより感知された光の量、
カレンダーデータ
のうち１つ以上を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記文脈情報は、前記第１のユーザ発話入力と以前のユーザ入力との間の経過時刻を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである尤度スコアを計算することは、
持続時刻の閾値より大きい前記経過時刻の値に応じて前記尤度スコアを減少させることと、
前記持続時刻の閾値より小さい前記経過時刻の値に応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項９】
前記以前のユーザ入力は、タッチ感知ディスプレイで以前に受信されたタッチ入力、マウスのクリック、ボタンの押下又はユーザ発話入力を含むことを特徴とする請求項８記載の方法。
【請求項１０】
前記文脈情報は以前のユーザ発話入力を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、前記以前のユーザ発話入力と前記第１のユーザ発話入力との一致を検出することに応じて前記尤度スコアを増加させることを含むことを特徴とする請求項６記載の方法。
【請求項１１】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときのユーザと前記電子デバイスとの間の距離を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記距離が距離の閾値より長いことに応じて前記尤度スコアを減少させることと、
前記距離が前記距離の閾値より短いことに応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１２】
前記距離は、少なくとも一部で前記第１のユーザ発話入力の音量、近接センサにより測定された距離、イメージセンサにより生成された画像、又は加速度計からの加速度計データに基づいて判定されることを特徴とする請求項１１記載の方法。
【請求項１３】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記電子デバイスの向きを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記電子デバイスの向きが下向き又は逆さであることに応じて前記尤度スコアを減少させることと、
前記電子デバイスの向きが上向き又は直立であることに応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１４】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記ユーザと前記電子デバイスとの間の向きを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記向きが前記電子デバイスのディスプレイが前記ユーザと向かい合うような向きであることに応じて前記尤度スコアを増加させることと、
前記向きが前記電子デバイスの前記ディスプレイが前記ユーザから外れた向きであることに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１５】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記ユーザの視線の方向を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ユーザの視線の方向が前記電子デバイスを指していることに応じて前記尤度スコアを増加させることと、
前記ユーザの視線の方向が前記電子デバイスからそれていることに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１６】
前記文脈情報は、前記第１のユーザ発話入力が自動音声認識装置により認識されたか否かを示す指標を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力が前記自動音声認識装置により認識されたことを示す指標に応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力が前記自動音声認識装置により認識されなかったことを示す指標に応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１７】
前記文脈情報は、前記第１のユーザ発話入力と前記以前のユーザ発話入力との意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを判定することは、
前記意味的関係の値がユーザ発話入力の意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記ユーザ発話入力の意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１８】
前記文脈情報は前記第１のユーザ発話入力の長さを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力の前記長さが長さの閾値より短いことに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力の前記長さが前記長さの閾値より長いことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１９】
前記文脈情報は、前記第１のユーザ発話入力の発話者のＩＤを含むことを特徴とする請求項６記載の方法。
【請求項２０】
前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力の前記発話者のＩＤが既知の発話者のリストの中の１つであることに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力の前記発話者のＩＤが既知の発話者のリストの中の１つではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項１９記載の方法。
【請求項２１】
前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力の前記発話者のＩＤが前記以前のユーザ発話入力の発話者のＩＤと同一であることに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力の前記発話者のＩＤが前記以前のユーザ発話入力の前記発話者のＩＤとは異なることに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項１９記載の方法。
【請求項２２】
前記文脈情報は、前記第１のユーザ発話入力が受信された時刻を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記時刻が所定の１組の時刻の中に含まれることに応じて前記尤度スコアを増加させることと、
前記時刻が前記所定の１組の時刻の中に含まれないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２３】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときに前記電子デバイスが前記ユーザへ情報を出力していたか否かを示す指標を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスが前記ユーザへ情報を出力していたことを前記指標が示すことに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスが前記ユーザへ情報を出力していなかったことを前記指標が示すことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２４】
前記文脈情報は、前記ユーザからの入力を受信する期待値を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ユーザからの入力を受信する前記期待値が前記ユーザから入力が受信されると期待されたことを示すことに応じて前記尤度スコアを増加させることと、
前記ユーザからの入力を受信する前記期待値が前記ユーザから入力が受信されると期待されなかったことを示すことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２５】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときに前記電子デバイスが保持状態であったか否かを示す指標を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスが保持状態であったことを前記指標が示すことに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力が受信されたときに前記電子デバイスが保持状態ではなかったことを前記指標が示すことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２６】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記電子デバイスの動作状態を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記電子デバイスの動作状態が１組の所定の動作状態のうち１つの動作状態であることに応じて前記尤度スコアを増加させることと、
前記電子デバイスの動作状態が前記１組の所定の動作状態のうち１つの動作状態ではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２７】
前記文脈情報は、前記電子デバイスにより以前に実行されたアクションを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記電子デバイスにより以前に実行されたアクションが１組の所定のアクションのうち１つのアクションであることに応じて前記尤度スコアを増加させることと、
前記電子デバイスにより以前に実行されたアクションが前記１組の所定のアクションのうち１つのアクションではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項２８】
前記文脈情報は、前記第１のユーザ入力情報が受信されたときに前記電子デバイスにより前記コンテンツが表示されていたか否かを示す指標を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、前記第１のユーザ発話入力が受信されたときに前記電子デバイスによりコンテンツが表示されていたことを前記指標が示すことに応じて前記尤度スコアを増加させることを含むことを特徴とする請求項６記載の方法。
【請求項２９】
前記文脈情報は、前記第１のユーザ発話入力と、前記第１のユーザ発話入力が受信されたときに前記電子デバイスにより表示されていたコンテンツとの間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値がコンテンツ意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の前記値が前記コンテンツ意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３０】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記ユーザの位置を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ユーザの位置が所定の１組の位置のうち１つの位置であることに応じて前記尤度を増加させることと、
前記ユーザの位置が前記所定の１組の位置のうち１つの位置ではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３１】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときに前記ユーザにより実行されていたジェスチャーを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ジェスチャーが所定の１組のジェスチャーのうち１つのジェスチャーであることに応じて前記尤度スコアを増加させることと、
前記ジェスチャーが前記所定の１組のジェスチャーのうち１つのジェスチャーではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３２】
前記文脈情報は、前記第１のユーザ発話入力と前記電子デバイスの以前の出力との間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前の出力の意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前の出力の意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３３】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときの前記電子デバイスの場所を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記場所が所定の１組の場所のうち１つの場所であることに応じて前記尤度スコアを減少させることと、
前記場所が前記所定の１組の場所のうち１つの場所ではないことに応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３４】
前記文脈情報は、前記第１のユーザ発話入力と、前記第１のユーザ発話入力が受信されたときに前記電子デバイスにより実行されていたアプリケーションとの意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値がアプリケーション意味閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記アプリケーション意味閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３５】
前記文脈情報は、前記第１のユーザ発話入力と以前の連絡との間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前連絡意味閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前連絡意味閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３６】
前記文脈情報は、前記第１のユーザ発話入力と以前のＥメールとの間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前のＥメールの意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前のＥメールの意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３７】
前記文脈情報は、前記第１のユーザ発話入力と以前のＳＭＳメッセージとの間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前ＳＭＳメッセージ意味閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前ＳＭＳメッセージ意味閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３８】
前記文脈情報は前記電子デバイスの動きを含み、前記仮想アシスタントが文脈情報に基づいて前記第１の発話入力に応答すべきである前記尤度スコアを計算することは、
前記動きが所定の１組の動きのうち１つの動きであることに応じて前記尤度スコアを増加させることと、
前記動きが前記所定の１組の動きのうち１つの動きではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項３９】
前記文脈情報はユーザ設定を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ユーザ設定が所定の１組のユーザ設定のうち１つのユーザ設定であることに応じて前記尤度スコアを増加させることと、
前記ユーザ設定が前記所定の１組のユーザ設定のうち１つのユーザ設定ではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項４０】
前記文脈情報は、前記電子デバイスにより感知される光の量を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記光の量が光の閾値量より多いことに応じて前記尤度スコアを増加させることと、
前記光の量が前記光の閾値量より少ないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項４１】
前記文脈情報はカレンダーデータを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、前記第１のユーザ発話入力が受信された時刻に前記ユーザが仕事中であったことをカレンダーデータが示すことに応じて前記尤度スコアを減少させることを含むことを特徴とする請求項６記載の方法。
【請求項４２】
方法は、
前記オーディオ入力中の前記第２のユーザ発話入力を識別することと、
前記第２のユーザ発話入力に関連する文脈情報に基づいて前記第２のユーザ発話入力に応答すべきか否かを判定することと、
前記第２のユーザ発話入力に応答するとの判定に応じて、
前記第２のユーザ発話入力に対する応答を生成することと、
第３のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記第２のユーザ発話入力に応答すべきではないという判定に応じて、前記第２のユーザ発話入力に対する前記応答を生成せずに、前記第３のユーザ発話入力を識別するために前記オーディオ入力を監視することと
を更に含むことを特徴とする請求項１記載の方法。
【請求項４３】
前記電子デバイスは、電話、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、テレビ、テレビのセットトップボックス、又はウェアラブル電子デバイスであることを特徴とする請求項１記載の方法。
【請求項４４】
請求項１から４３のいずれか１項に記載の方法を実行するための命令を備える非一時的コンピュータ可読記憶媒体。
【請求項４５】
システムであって、
請求項４４記載の非一時的コンピュータ可読記憶媒体と、
前記非一時的コンピュータ可読記憶媒体の前記命令を実行可能な１つ以上のプロセッサと
を備えることを特徴とするシステム。
【請求項４６】
システムであって、
オーディオ入力を受信する手段と、
第１のユーザ発話入力を識別するために前記オーディオ入力を監視する手段と、
前記オーディオ入力中の前記第１のユーザ発話入力を識別する手段と、
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答すべきか否かを判定する手段と、
前記第１のユーザ発話入力に応答するとの判定に応じて、
前記第１のユーザ発話入力に対する応答を生成し、
第２のユーザ発話入力を識別するために前記オーディオ入力を監視する手段と、
前記第１のユーザ発話入力に応答すべきではないという判定に応じて、前記第１のユーザ発話入力に対する前記応答を生成せずに、前記第２のユーザ発話入力を識別するために前記オーディオ入力を監視する手段と
を備えることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に音声処理に関し、特に文脈データを使用するユーザ発話入力の選択的処理に関する。
【背景技術】
【０００２】
インテリジェント自動アシスタント（又は仮想アシスタント）は、ユーザと電子デバイスとの間に直感的インタフェースを構成する。このようなアシスタントより、ユーザは、発話及び／又はテキストの形で自然言語を使用してデバイス又はシステムと対話できる。例えば、電子デバイスと関連する仮想アシスタントにユーザ発話入力を提供することにより、ユーザは電子デバイスのサービスをアクセスできる。仮想アシスタントは、ユーザ発話入力からユーザの意図を解釈し、ユーザの意図をタスクとして運用化できる。電子デバイスの１つ以上の機能を実行することにより、それらのタスクを実行でき、関連出力を自然言語の形でユーザへ返送することができる。
【０００３】
仮想アシスタントにユーザ発話入力を適正に処理させ且つそれに適正に応答させるために、まず仮想アシスタントは、通常始点指定及び終点指定とそれぞれ呼ばれる処理を使用してオーディオ入力のストリームの中のユーザ発話入力の始点と終点を識別できる。従来の仮想アシスタントは、受信されたオーディオストリームのエネルギーレベル及び／又は音響特性に基づいて、あるいはユーザによる手動識別により、始点及び終点を識別できる。例えば、仮想アシスタントの中には、仮想アシスタントに向かって話しかける前に物理的ボタン又は仮想ボタンを押すことにより、あるいは自然言語の形で仮想アシスタントに話しかける前に特定のトリガフレーズを発話することにより、ユーザに始点識別子を入力することを要求するものがある。これらの始点識別子の１つを受信したことに応答して、仮想アシスタントは、その後に受信される音声をユーザ発話入力であると解釈できる。仮想アシスタントに向けられたユーザ発話入力を明確に識別するために、これらの技術を使用できるが、この方法で仮想アシスタントと対話するのは不自然であるか、又はユーザには難しいといえる。例えば、仮想アシスタントとユーザとの間の会話のやり取りの中で、ユーザはユーザ発話入力のたびに、発話前に始点識別子を入力すること（例えば、ボタンを押すこと又は同一のトリガフレーズを繰り返すこと）を要求できる。
【発明の概要】
【０００４】
仮想アシスタントを動作させるシステム及び方法が開示される。方法の一実施形態は、電子デバイスでオーディオ入力を受信することと、第１のユーザ発話入力を識別するためにオーディオ入力を監視することと、オーディオ入力中の第１のユーザ発話入力を識別することと、第１のユーザ発話入力に関連する文脈情報に基づいて第１のユーザ発話入力に応答すべきか否かを判定することとを含むことができる。方法は、第１のユーザ発話入力に応答するとの判定に応答して、第１のユーザ発話入力に対する応答を生成することと、第２のユーザ発話入力を識別するためにオーディオ入力を監視することとを更に含むことができる。方法は、第１のユーザ発話入力に応答すべきではないという判定に基づいて、第１のユーザ発話入力に対する応答を生成せずに、第２のユーザ発話入力を識別するためにオーディオ入力を監視することを更に含むことができる。
【図面の簡単な説明】
【０００５】
【図１】図１は、種々の実施形態に係る仮想アシスタントが動作できる例示的な環境を示す図である。
【図２】図２は、種々の実施形態に係る例示的なユーザデバイスを示す図である。
【図３】図３は、種々の実施形態に係る文脈情報を使用してユーザ発話入力を選択的に処理し且つそれに応答する例示的な処理を示す図である。
【図４】図４は、種々の実施形態に係る文脈情報を使用してユーザ発話入力を選択的に処理し且つそれに応答する別の例示的な処理を示す図である。
【図５】図５は、種々の実施形態に係る文脈情報を使用してユーザ発話入力を選択的に処理し且つそれに応答するように構成された電子デバイスを示す機能ブロック図である。
【発明を実施するための形態】
【０００６】
以下の実施形態の説明中、例示を目的として実施可能な特定の実施形態を示す添付の図面を参照する。他の実施形態も使用可能であり、種々の実施形態の範囲から逸脱することなく構造の変更を実施できることを理解すべきである。
【０００７】
本発明は、ユーザ発話入力を選択的に処理し且つそれに応答するシステム及び方法に関する。一実施形態の方法において、ユーザ発話入力を含むオーディオ入力がユーザデバイスで受信できる。ユーザ発話入力の始点及び終点を識別することにより、オーディオ入力からユーザ発話入力が識別できる。ユーザ発話入力がユーザデバイスで実行中の仮想アシスタントに向けられたか否か及び仮想アシスタントが文脈情報に基づいてユーザ発話入力に応答すべきか否かが判定できる。この判定は、規則依存システム又は確率（例えば、機械学習）システムを使用して実行できる。ユーザ発話入力が仮想アシスタントに向けられたこと及び仮想アシスタントがユーザ発話入力に応答することが判定された場合、ユーザ発話入力は処理され、適切な応答が生成される。逆に、ユーザ発話入力が仮想アシスタントに向けられなかったと判定された場合、ユーザ発話入力は無視されることもあり且つ／又は応答は生成されないこともある。ユーザ発話入力が仮想アシスタントに向けられた否かを判定するために文脈情報を使用することにより、ユーザは、ユーザ発話入力のたびに、発話前に始点を手動操作で識別する（例えば、ボタンを押すか又はトリガフレーズを発話することにより）必要なく仮想アシスタントと対話できるので好都合である。
【０００８】
システムの概要
図１は、種々の実施形態に係る仮想アシスタントを実現する例示的なシステム１００を示す。「仮想アシスタント」、「デジタルアシスタント」、「インテリジェント自動化アシスタント」又は「自動デジタルアシスタント」という用語は、ユーザの意図を推測するために発話及び／又はテキストの形の自然言語を解釈し且つ推測されたユーザの意図に基づいてアクションを実行する何らかの情報処理システムを表すことができる。例えば、推測されたユーザの意図に基づいて動作するために、システムは、推測されたユーザの意図を実現するように設計されたステップ及びパラメータを有するタスク流れを識別すること、推測されたユーザの意図からタスク流れの中に特定の要件を入力すること、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによりタスク流れを実行すること、及び聴き取れる形（例えば、音声）及び／又は目に見える形でユーザに対して出力応答を生成することのうち１つ以上を実行できる。
【０００９】
仮想アシスタントは、少なくとも一部で自然言語コマンド、要求、ステートメント、語り及び／又は問い合わせの形のユーザ要求を受け入れることが可能である。通常、ユーザ要求は、仮想アシスタントによる情報応答又はタスクの実行のどちらか一方を求める。ユーザ要求に対する満足できる応答は、要求された情報応答の提供又は要求されたタスクの実行のいずれか一方、あるいはそれら２つの組み合わせを含むことができる。例えば、ユーザは、「ｗｈｅｒｅ  ａｍ  Ｉ  ｒｉｇｈｔ  ｎｏｗ？（ここはどこですか）」のような質問を仮想アシスタントにすることができる。ユーザの現在位置に基づいて、仮想アシスタントは「Ｙｏｕ  ａｒｅ  ｉｎ  Ｃｅｎｔｒａｌ  Ｐａｒｋ（セントラルパークにいます）」と答えることができる。ユーザは、タスクの実行、例えば「Ｐｌｅａｓｅ  ｒｅｍｉｎｄ  ｍｅ  ｔｏ  ｃａｌｌ  Ｍｏｍ  ａｔ  ４  ＰＭ  ｔｏｄａｙ（今日午後４時にお母さんに電話することを気付かせてください）」と要求することもできる。これに応答して、仮想アシスタントは要求を確認し、ユーザの電子スケジュールに適切な注意事項を作成することもできる。要求されたタスクの実行中、仮想アシスタントは、相当に長い時間にわたり何度も情報を交換することを含めて、連続する会話の中でユーザと対話する場合がある。情報又は種々のタスクの実行を要求するために仮想アシスタントと対話する方法は他にも数多くある。口頭による応答の提供及びプログラムに従ったアクションの実行に加えて、仮想アシスタントは、他の目に見える形又は聴き取れる形で（例えば、テキスト、警報、音楽、映像、アニメーションなどとして）応答を提供でき、可能であれば複数のデバイスを使用して提供できる（例えば、電話の送受話器を介してテキストを音声として出力し且つテキストをテレビに表示する）。
【００１０】
仮想アシスタントの一例は、本明細書に参考として全開示内容が取り入れられている２０１１年１月１０日出願、名称「Ｉｎｔｅｌｌｉｇｅｎｔ  Ａｕｔｏｍａｔｅｄ  Ａｓｓｉｓｔａｎｔ」の米国実用新案出願第１２／９８７，９８２号公報で説明されている。
【００１１】
図１に示されるように、いくつかの実施形態において、仮想アシスタントはクライアント−サーバモデルに従って実現可能である。仮想アシスタントは、ユーザデバイス１０２で実行されるクライアント側部分とサーバシステム１１０で実行されるサーバ側部分とを含むことができる。ユーザデバイス１０２は、移動電話、タブレットコンピュータ、ポータブルメディアプレイヤー、デスクトップコンピュータ、ラップトップコンピュータ、ＰＤＡ、テレビ、テレビのセットトップボックス、ウェアラブル電子デバイスなどの何らかの電子デバイスを含むことができ、インターネット、イントラネット、あるいは他の何らかの有線又は無線のパブリックネットワーク又はプライベートネットワークを含む１つ以上のネットワーク１０８を介してサーバシステム１１０と通信可能である。ユーザデバイス１０２で実行されるクライアント側部分は、ユーザ向け入出力処理及びサーバシステム１１０との通信などのクライアント側機能性を実行可能である。サーバシステム１１０は、各々のユーザデバイス１０２に常駐する任意の数のクライアントに対してサーバ側機能性を実行可能である。
【００１２】
サーバシステム１１０は１つ以上の仮想アシスタントサーバ１１４を含むことができ、仮想アシスタントサーバ１１４は、クライアント向けＩ／Ｏインタフェース１２２、１つ以上の処理モジュール１１８、データ及びモデル記憶装置１２０、及び外部サービスへのＩ／Ｏインタフェース１１６を含むことができる。クライアント向けＩ／Ｏインタフェース１２２は、仮想アシスタントサーバ１１４のクライアント向け入出力処理を容易にすることができる。１つ以上の処理モジュール１１８は、自然言語入力に基づいてユーザの意図を判定し且つ推測されたユーザの意図に基づいてタスクを実行するためにデータ及びモデル記憶装置１２０を利用可能である。いくつかの実施形態において、仮想アシスタントサーバ１１４は、タスク完了又は情報収集のために、電話サービス、カレンダーサービス、情報サービス、メッセージ送信サービス、ナビゲーションサービスなどの外部サービス１２４とネットワーク１０８を介して通信可能である。外部サービスへのＩ／Ｏインタフェース１１６は、そのような通信を容易にすることができる。
【００１３】
サーバシステム１１０は、１つ以上の独立型データ処理デバイス又はコンピュータの分散ネットワークで実現可能である。いくつかの実施形態において、サーバシステム１１０は、サーバシステム１１０の下位の計算資源及び／又はインフラ構造資源を提供するために、種々の仮想デバイス及び／又は第三者サービスプロバイダ（例えば、第三者クラウドサービスプロバイダ）を使用可能である。
【００１４】
図１では、仮想アシスタントの機能性はクライアント側部分及びサーバ側部分の双方を含むように示されているが、いくつかの実施形態において、アシスタントの機能は、ユーザデバイスにインストールされた独立型アプリケーションとして実現可能である。更に、仮想アシスタントのクライアント部分とサーバ部分への機能性の分割は、実施形態によって異なる方法により実現可能である。例えば、いくつかの実施形態において、ユーザデバイス１０２で実行されるクライアントは、ユーザ向け入出力処理機能のみを提供し且つ仮想アシスタントの他のすべての機能性をバックエンドサーバに委託するシンクライアントでありうる。
【００１５】
ユーザデバイス
図２は、種々の実施形態に係るユーザデバイス１０２のブロック図である。図示されるように、ユーザデバイス１０２は、メモリインタフェース２０２、１つ以上のプロセッサ２０４、及び周辺装置インタフェース２０６を含むことができる。ユーザデバイス１０４の種々のコンポーネントは、１つ以上の通信バス又は信号回線により互いに結合できる。ユーザデバイス１０２は、周辺装置インタフェース２０６に結合された種々のセンサ、サブシステム及び周辺装置を更に含むことができる。センサ、サブシステム及び周辺装置は、情報を収集し且つ／又はユーザデバイス１０２の種々の機能を容易にする。
【００１６】
例えば、ユーザデバイス１０２は、向き感知機能、光感知機能及び近接感知機能を容易にするために周辺装置インタフェース２０６に結合されたモーションセンサ２１０、光センサ２１２及び近接センサ２１４を更に含むことができる。測位システム（例えば、ＧＰＳ受信機）、温度センサ、生体測定センサ、ジャイロスコープ、コンパス、加速度計などの１つ以上の他のセンサ２１６も、関連機能を助けるために周辺装置インタフェース２０６に接続される。
【００１７】
いくつかの実施形態において、写真撮影及びビデオクリップの録画などのカメラ機能を助けるために、カメラサブシステム２２０及び光学センサ２２２が利用できる。１つ以上の有線通信サブシステム及び／又は無線通信サブシステム２２４を介して通信機能が容易にされることができ、それらのサブシステム２２４は、種々の通信ポート、無線周波数受信機及び送信機及び／又は光（例えば、赤外線）受信機及び送信機を含むことができる。音声認識、音声複製、デジタル記録及び電話機能などの音声有効化機能を容易にするために、オーディオサブシステム２２６がスピーカ２２８及びマイク２３０に結合できる。
【００１８】
いくつかの実施形態において、ユーザデバイス１０２は、周辺装置インタフェース２０６に結合されたＩ／Ｏサブシステム２４０を更に含むことができる。Ｉ／Ｏサブシステム２４０は、タッチスクリーンコントローラ２４２及び／又は他の入力コントローラ２４４を含むことができる。タッチスクリーンコントローラ２４２はタッチスクリーン２４６に結合できる。タッチスクリーン２４６及びタッチスクリーンコントローラ２４２は、例えば、容量性感知、抵抗性感知、赤外線感知、表面弾性波技術、近接センサアレイなどの複数の接触感知技術のうちいずれかを使用して接触及び動き又はその中断を検出可能である。他の入力コントローラ２４４は、１つ以上のボタン、ロッカースイッチ、サムホィール、赤外線ポート、ＵＳＢポート及び／又はスタイラスなどのポインタデバイスのような他の入力／制御デバイス２４８に結合できる。
【００１９】
いくつかの実施形態において、ユーザデバイス１０２は、メモリ２５０に結合されたメモリインタフェース２０２を更に含むことができる。メモリ２５０は、何らかの電子システム、装置又はデバイス、磁気システム、装置又はデバイス、光学システム、装置又はデバイス、電磁システム、装置又はデバイス、赤外線システム、装置、又はデバイス、あるいは半導体システム、装置又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み取り専用メモリ（ＲＯＭ）（磁気）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷなどのポータブル光ディスク、コンパクトフラッシュカード、セキュアドデジタルカード、ＵＳＢメモリデバイス、メモリスティックなどのフラッシュメモリを含むことができる。いくつかの実施形態において、コンピュータベースシステム、プロセッサを含むシステム、又は命令実行システム、装置又はデバイスから命令を取り出し、それらの命令を実行することができる他のシステムのような命令実行システム、装置又はデバイスにより使用するため、あるいはそのシステム、装置又はデバイスと関連して使用するための命令（例えば、以下に説明される処理３００及び／又は４００を実行するための命令）を記憶するために、メモリ２５０の非一時的コンピュータ可読媒体が使用できる。他の実施形態において、命令（例えば、以下に説明される処理３００及び／又は４００を実行するための命令）は、サーバシステム１１０の非一時的コンピュータ可読記憶媒体に記憶されうるが、メモリ２５０の非一時的コンピュータ可読記憶媒体と、サーバシステム１１０の非一時的コンピュータ可読記憶媒体とに分割されることも可能である。本明細書に関して、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置又はデバイスにより使用するため、あるいはそのシステム、装置又はデバイスと関連して使用するためのプログラムを含むか又は記憶することができる何らかの媒体でありうる。
【００２０】
いくつかの実施形態において、メモリ２５０は、オペレーティングシステム２５２と、通信モジュール２５４と、グラフィカルユーザインタフェースモジュール２５６と、センサ処理モジュール２５８と、電話モジュール２６０と、アプリケーションモジュール２６２とを記憶可能である。オペレーティングシステム２５２は、基本システムサービスを処理し且つハードウェア依存タスクを実行するための命令を含むことができる。通信モジュール２５４は、１つ以上の追加のデバイス、１つ以上のコンピュータ及び／又は１つ以上のサーバとの通信を容易にすることができる。グラフィカルユーザインタフェースモジュール２５６は、グラフィカルユーザインタフェース処理を容易にすることができる。センサ処理モジュール２５８は、センサに関連する処理及び機能を容易にすることができる。電話モジュール２６０は、電話に関連する処理及び機能を容易にすることができる。アプリケーションモジュール２６２は、電子メッセージ送信、ウェブブラウジング、メディア処理、ナビゲーション、撮像及び／又は他の処理及び機能のようなユーザアプリケーションの種々の機能性を容易にすることができる。
【００２１】
本明細書において説明されるように、仮想アシスタントのクライアント側機能性を提供するために、メモリ２５０は、クライアント側仮想アシスタント命令を更に記憶可能であり（例えば、仮想アシスタントクライアントモジュール２６４に）且つ種々のユーザデータ２６６（例えば、特定ユーザの語彙データ、好みデータ及び／又はユーザの電子アドレス帳、トゥドゥリスト、買い物リストなどのような他のデータ）を記憶可能である。
【００２２】
種々の実施形態において、仮想アシスタントクライアントモジュール２６４は、声入力（例えば、音声入力）、テキスト入力、タッチ入力及び／又はジェスチャー入力をユーザデバイス１０４の種々のユーザインタフェース（例えば、Ｉ／Ｏサブシステム２４０、オーディオサブシステム２２６など）を介して受信可能である。仮想アシスタントクライアントモジュール２６４は、更に聴き取れる形（例えば、音声出力）、目に見える形及び／又は触知できる形で出力を提供することが可能である。例えば、出力は、声、音、警報、テキストメッセージ、メニュー、グラフィックス、映像、アニメーション、振動及び／又はそれらのうち２つ以上の組み合わせとして提供できる。動作中、仮想アシスタントクライアントモジュール２６４は、通信サブシステム２２４を使用して仮想アシスタントサーバと通信可能である。更に、仮想アシスタントクライアントモジュール２６４は、ホームオートメーション機器などの他のデバイスと通信可能であり、それにより物理的世界に物理的影響（例えば、ドアの鍵を開ける）を与えることができるか、そのようなデバイスに埋め込むこともできる。
【００２３】
いくつかの実施形態において、仮想アシスタントクライアントモジュール２６４は、ユーザ、現在のユーザとの対話及び／又は現在のユーザ入力と関連付けられた文脈を確定する目的でユーザデバイス１０２の周囲環境から追加情報を収集するために、種々のセンサ、サブシステム及び周辺装置を利用可能である。いくつかの実施形態において、ユーザの意図を推測するのを助けるために、仮想アシスタントクライアントモジュール２６４は、文脈情報又はそのサブセットをユーザ入力と共に仮想アシスタントサーバに提供可能である。仮想アシスタントは、ユーザに対する出力をどのように作成し且つ供給するかを判定するために文脈情報を使用可能である。以下に更に詳細に説明されるように、文脈情報は、ユーザ発話入力が仮想アシスタントに向けられた否かを判定し且つ適切な応答を判定するためにユーザデバイス１０２又はサーバシステム１１０により更に使用できる。
【００２４】
いくつかの実施形態において、ユーザ入力に付随する文脈情報は、照明、周囲の騒音、周囲の温度などのセンサ情報、周囲環境の画像又は映像、別の物体までの距離などを含むことができる。文脈情報は、ユーザデバイス１０２の物理的状態（例えば、デバイスの向き、デバイスの場所、デバイスの温度、電力レベル、速度、加速度、運動パターン、セルラ信号強度など）又はユーザデバイス１０２のソフトウェア状態（例えば、実行中の処理、インストール済プログラム、過去及び現在のネットワーク活動、バックグラウンドサービス、エラー記録、資源利用率、フロントモーストアプリケーションなど）と関連付けられた情報を更に含むことができる。これらの種類の文脈情報はいずれも、ユーザ入力と関連する文脈情報として仮想アシスタントサーバに提供できる。更に、文脈情報は、脈拍、手のひらの温度、音声品質、顔の表情などの生体測定ユーザデータを更に含むことができる。
【００２５】
いくつかの実施形態において、仮想アシスタントクライアントモジュール２６４は、仮想アシスタントサーバからの要求に応答して、ユーザデバイス１０２に記憶されている情報（例えば、ユーザデータ２６６）を選択的に提供可能である。仮想アシスタントクライアントモジュール２６４は、仮想アシスタントサーバ１１４による要求に応じて、自然言語会話インタフェース又は他のユーザインタフェースを介してユーザから追加入力を更に引き出せる。ユーザ要求の中で表現されるユーザの意図の推測及び／又は実現に際して仮想アシスタントサーバ１１４を助けるために、仮想アシスタントクライアントモジュール２６４は、追加入力を仮想アシスタントサーバ１１４へ送信可能である。
【００２６】
種々の実施形態において、メモリ２５０は先に挙げた命令以外の命令又はそれより少ない数の命令を含むことができる。更に、ユーザデバイス１０２の種々の機能は、１つ以上の信号処理回路及び／又は特定アプリケーション向け集積回路を含めて、ハードウェアで及び／又はファームウェアで実現可能である。
【００２７】
仮想アシスタントを動作させるための処理
図３は、種々の実施形態に係る文脈情報を使用してユーザ入力（例えば、ユーザ発話入力）を選択的に処理し且つそれに応答するために実行できる例示的な処理３００を示す。いくつかの実施形態において、処理３００は、図１に示されるシステム１００に類似するシステム又はそれと同一のシステムを使用して実行できる。
【００２８】
ブロック３０２において、ユーザデバイスでオーディオ入力が受信できる。オーディオ入力は、音楽、ユーザの声、背景騒音、それらの組み合わせなどの何らかの検出可能な音を含むことができる。いくつかの実施形態において、ユーザデバイス（例えば、ユーザデバイス１０２）は、ユーザの自然言語音声を含むオーディオ入力をマイク（例えば、マイク２３０）を介して受信可能である。マイクは、音声入力をアナログ表現又はデジタル表現に変換し、音声データを１つ以上のプロセッサ（例えば、プロセッサ２０４）に提供可能である。図には、ブロック３０２は処理３００の他のブロックとは別であるように示されているが、いくつかの実施形態において、処理３００のその他のブロックのうちいくつか又はすべてが実行中である間に、オーディオ入力はブロック３０２で継続的に受信されていることも可能であることを理解すべきである。
【００２９】
ブロック３０４において、ユーザ発話入力を含むか又は含む可能性があるオーディオ入力のセグメントを識別するために、ブロック３０２で受信されたオーディオ入力が監視できる。いくつかの実施形態において、これは、オーディオ入力中のユーザ発話入力の始点及び終点を識別するためにオーディオ入力の１つ以上の特性を監視することを含むことができる。始点及び終点は、ユーザ音声をオーディオ入力中の背景雑音から区別するためにオーディオ入力のエネルギー特徴（例えば、短時間エネルギー及び零交差率）に依存するアルゴリズムのような何らかの周知の始点／終点指定アルゴリズムを使用して識別できる。いくつかの実施形態において、ユーザデバイスのプロセッサは、十分に高いエネルギーを有し且つユーザ音声の零交差率特性を有するオーディオ入力セグメントを識別するために、デバイスのマイクから受信されたオーディオデータのエネルギーを解析可能である。他の実施形態において、ユーザデバイスは、ユーザ発話入力の始点及び終点を判定可能な遠隔サーバ（例えば、仮想アシスタントサーバ１１４）へオーディオデータを送信可能である。
【００３０】
いくつかの実施形態において、ブロック３０４は、検出されたユーザ発話入力に対して音声／テキスト変換動作をデバイスでローカルに実行するか、あるいはそのような動作を実行可能な遠隔サーバへオーディオデータを送信することにより実行することを更に含むことができる。他の実施形態では、ブロック３０４は音声／テキスト変換動作を実行することを含まなくてもよい。その代わりに、音声／テキスト変換動作は、ブロック３０８で仮想アシスタントがユーザ発話入力に応答すると判定された後にブロック３１２で実行できる。
【００３１】
ブロック３０６において、ブロック３０４でオーディオ入力を監視する間にユーザ発話入力が識別されたか否かが判定できる。ユーザ発話入力が識別されなかった場合、処理はブロック３０４に戻ることができる。しかし、ユーザ発話入力が識別された場合、処理はブロック３０８へ進むことができる。
【００３２】
ブロック３０８において、ブロック３０４で識別されたユーザ発話入力が仮想アシスタントに向けられた否か（例えば、ユーザが仮想アシスタントに向けてユーザ発話入力を発し、そのユーザ発話入力に基づいて仮想アシスタントがタスクを実行するか又は応答を提供することを期待しているか否か）を文脈情報に基づいて判定することにより、仮想アシスタントがユーザ発話入力に応答すべきか否かが判定できる。ユーザ発話入力が仮想アシスタントに向けられた否かを判定するためにブロック３０８で使用できる文脈情報の種々の供給源の例は、以下に説明される。ブロック３０８は、ユーザデバイス、遠隔サーバ（例えば、仮想アシスタントサーバ１１４）又はそれらの組み合わせにおいて実行可能である。
【００３３】
いくつかの実施形態において、ユーザがユーザ発話入力を仮想アシスタントに向ける意図した尤度又は信頼スコアを判定することにより、仮想アシスタントがユーザ発話入力に応答すべきか否かを判定するために、確率システムを使用することができる。確率システムは、ニューラルネットワークなどの機械学習システム又は分類器を含むことができる。更に、確率システムは、フィードバックループを使用して学習し、ユーザに適応できる。このような確率システムの実施形態では、尤度又は信頼スコアは、ユーザがユーザ発話入力が仮想アシスタントに向けられた計算上の確率の数値表現又は他の表現を含むことができる。その場合、仮想アシスタントがユーザ発話入力に応答すべきか否かを判定するために、計算上の尤度又は信頼スコアは閾値と比較できる。例えば、計算上の尤度又は信頼スコアが閾値より大きい場合、ユーザ発話入力は仮想アシスタントに向けられたと判定できる。しかし、計算上の尤度又は信頼スコアが閾値以下である場合、ユーザ発話入力は仮想アシスタントに向けられなかったと判定できる。
【００３４】
尤度又は信頼性スコアはいくつかの方法で判定できる。例えば判定は、一般に何らかの数の異なる種類の文脈情報からの正の寄与、負の寄与及び／又は中立の寄与を合計することを含むことができる。例えば尤度又は信頼スコアは、一般公式Ｐ＝Ｃ１＋Ｃ２＋Ｃ３＋．．．．＋ＣＮを使用して計算でき、式中、Ｐは、ユーザ発話入力をユーザデバイスに向ける意図があった尤度又は信頼スコアを表し、Ｃ１．．．ＣＮは、Ｎ個の異なる種類の文脈情報からの尤度又は信頼スコアへの正の寄与、負の寄与又は中立の寄与を表す正の値、負の値又は０の値でありうる。正の寄与は、ユーザ発話入力が仮想アシスタントに向けられたことを示唆する種類の文脈情報を表し、負の寄与は、ユーザ発話入力が仮想アシスタントに向けられなかったことを示唆する種類の文脈情報を表し、中立の寄与は、ユーザ発話入力が仮想アシスタントに向けられた尤度に関して中立である種類の文脈情報を表すことができる。従って大きいＰの値は、ユーザ発話入力が仮想アシスタントに向ける意図した尤度が高くなることを示し、小さい値又は負の値のＰは、ユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示せる。各文脈情報の寄与が尤度又は信頼スコアの判定に付け加える重み又は値は、均一であっても、不均一でもありうる。更に、各寄与が尤度又は信頼スコアの判定に付け加える重み又は値は、特定の文脈情報の種類の値に依存できる。例えば、寄与Ｃ１がユーザの声の音量に従属する場合、符号（例えば、＋／−）及び／又はＣ１の大きさは、ユーザの声の音量の数値表現に依存できる。
【００３５】
確率システムの例を説明したが、説明したシステム及び／又は他のスコア決定規約に対して変更を実施してもよいことを理解すべきである。例えば、先の例とは逆に、正の寄与は、ユーザ発話入力が仮想アシスタントに向けられなかったことを示唆する種類の文脈情報を表し、負の寄与は、ユーザ発話入力が仮想アシスタントに向けられたことを示唆する種類の文脈情報を表すことができる。他の例では、異なる種類の文脈情報からの寄与はすべて正とすることができ、大きな正の値は、ユーザ発話入力が仮想アシスタントに向けられた（あるいは向けられなかった）と文脈情報が示唆することを示す。更に別の例において、異なる種類の文脈情報からの寄与はすべて負とすることができ、大きな負の値は、ユーザ発話入力が仮想アシスタントに向けられた（あるいは向けられなかった）と文脈情報が示唆することを示す。
【００３６】
他の実施形態において、ユーザ発話入力が仮想アシスタントに向けられた否かを判定するために文脈情報に基づく何らかの数の条件付き規則を評価することにより、仮想アシスタントがユーザ発話入力に応答すべきか否かを判定するために規則依存システムが使用できる。いくつかの実施形態において、規則依存システムは決定木の使用を含むことができる。他の実施形態では、規則依存システムにより使用される規則はユーザの挙動に基づいて学習されてもよい。規則依存システムの一例を示すために、第１の規則は、ユーザがデバイスに向かい合っており且つユーザの声の音量が音量の閾値を超える場合、ユーザはユーザ発話入力は仮想アシスタントに向けられたと判定できるという条件を含むことができる。第２の規則は、ユーザのカレンダーに従って、ユーザが会議に出席中である場合、ユーザはユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという条件を含むことができる。ユーザ発話入力が仮想アシスタントに向けられたこと又は向けられなかったことをデバイスに決定させるために、何らかの数の文脈情報によって決まる任意の数の条件を含む他の類似の規則が使用できる。いくつかの実施形態において、複数の規則が真であると評価される場合、ブロック３０８で実行される判定動作の結果としてランクの高い規則の結果を使用できるように、規則がランク付け可能である。更に、いくつかの実施形態において、どの規則も真であると評価されない場合、ユーザ発話入力が仮想アシスタントに向けられた（又はユーザ発話入力が仮想アシスタントに向けられなかった）というデフォルト判定が下される。
【００３７】
ユーザ発話入力が仮想アシスタントに向けられなかったので仮想アシスタントはユーザ発話入力に応答すべきでないとブロック３０８で判定された場合、ブロック３１０において、ユーザ発話入力を求めてオーディオ入力を監視するために、処理はブロック３０４に戻ることができる。いくつかの実施形態において、処理３００は、ユーザ発話入力に対する応答を生成せずに、ブロック３１０からブロック３０４へ進むことができる。例えば、処理３００は、音声／テキスト変換の実行、ユーザの意図の推測、推測されたユーザの意図を実現するように設計されたステップ及びパラメータを有するタスク流れの識別、推測されたユーザの意図からタスク流れへの所定の要件の入力、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによるタスク流れの実行、並びに聴き取れる形及び／又は目に見える形のユーザへの出力応答の生成のうち１つ以上を実行せずに、ブロック３１０からブロック３０４へ進むことができる。逆に、ユーザ発話入力が仮想アシスタントに向けられたので仮想アシスタントはユーザ発話入力に応答するとブロック３０８で判定された場合、処理はブロック３１２へ進むことができる。
【００３８】
ブロック３１２において、ユーザデバイス及び／又は遠隔サーバにより、ユーザ発話入力に対する応答が生成される。いくつかの実施形態において、ユーザ発話入力に対する応答は、音声／テキスト変換の実行、ユーザの意図の推測、推測されたユーザの意図を実現するように設計されたステップ及びパラメータを有するタスク流れの識別、推測されたユーザの意図からタスク流れへの所定の要件の入力、プログラム、方法、サービス、ＡＰＩなどを呼び出すことによるタスク流れの実行、並びに聴き取れる形（例えば、音声）及び／又は目に見える形のユーザへの出力応答の生成のうち１つ以上を含むことができる。例えば、ブロック３１２は、ユーザにより要求された動作（例えば、アプリケーションを開く、メッセージを送信する、連絡先に電話する、検索クエリを実行する、カレンダーで約束を作成するなど）を実行すること、ユーザにより要求された情報を提供すること（例えば、検索クエリの結果を返送する）、物理的環境を変化させるアクションを実行すること（例えば、ドアの鍵を閉めるために家庭用電気製品と通信する）などを含むことができる。それらの動作は、ユーザデバイスでローカルに実行できるが、処理のために遠隔サーバへデータを送信することにより、あるいはそれらの組み合わせにより実行できる。ブロック３１２で適切な応答を提供するためにユーザ発話入力を処理した後、処理はブロック３０４に戻ることができる。
【００３９】
処理３００を使用して、ユーザデバイスにより実現された仮想アシスタントは、仮想アシスタントに話しかける前に物理的ボタン又は仮想ボタンを押すこと、あるいは仮想アシスタントに自然言語で話しかける前に特定のトリガフレーズ（例えば、「Ｈｅｙ  Ｓｉｒｉ」などの所定の語又は一連の語）を発話することなどの方法によりユーザが手動操作で始点識別子を入力する必要なく、ユーザが自然言語で仮想アシスタントに話しかけることが可能になるように、ユーザ発話入力を選択的に無視するか又はユーザ発話入力に応答することができる。いくつかの実施形態において、処理３００は、ユーザデバイス１０２により受信されたすべてのユーザ発話入力を処理するために使用できる。
【００４０】
図３の動作を例示するために、ユーザと仮想アシスタントとの間の対話の一例は、仮想アシスタントに話しかける前に物理的ボタン又は仮想ボタンを押すこと、あるいは特定のトリガフレーズ（例えば、「Ｈｅｙ  Ｓｉｒｉ」などの所定の語又は一連の語）を発話することなどによりユーザが手動操作で始点識別子を入力する必要なく、「ｗｈａｔ  ｔｉｍｅ  ｉｓ  ｉｔ  ｉｎ  Ｎｅｗ  Ｙｏｒｋ？（ニューヨークは何時ですか）」のような質問を口頭ですることにより動作を開始できる。ブロック３０２において、ユーザデバイスは、ユーザの質問を含むオーディオ入力を受信可能である。ブロック３０４において、オーディオ入力はユーザ発話入力を検出するために監視できる。オーディオ入力はユーザの質問を含んでいたので、ブロック３０６において、ユーザ発話入力が識別されたと判定できる。ブロック３０８において、識別されたユーザ発話入力に関連する文脈情報に基づいて、仮想アシスタントがユーザの質問に応答すべきか否かが判定できる。この例では、質問する間にユーザはユーザデバイスを見ており且つユーザの声の音量は音量の閾値を超えていることを文脈情報が示すので、仮想アシスタントはユーザの質問に応答すると判定できる（規則依存システム又は確率システムのいずれかを使用して）。従って、処理はブロック３１０及び３１２へ進み、ユーザの質問に対する応答が生成される。例えば、ブロック３１２において、ユーザの意図を判定し、実行されるタスクを識別し、ユーザの問合せに対する応答の中で「５：０１ｐ．ｍ．（午後５時１分）」という時間を判定し且つ表示するための機能を実行するように、ユーザの質問が処理できる。その後、処理３００はブロック３０４に戻ることができる。
【００４１】
次に、ユーザは、仮想アシスタントに話しかける前に物理的ボタン又は仮想ボタンを押すこと、あるいは特定のトリガフレーズ（例えば、「Ｈｅｙ  Ｓｉｒｉ」のような所定の語又は一連の語）を発話することなどにより、手動操作で始点識別子を入力する必要なく、「ｗｈａｔ  ｉｓ  ｔｈｅ  ｗｅａｔｈｅｒ  ｔｈｅｒｅ？（そちらはどんな天気ですか）」のような別の質問を口頭ですることも可能である。ユーザデバイスにより受信され、ユーザの第２の質問を含むオーディオ入力は、ブロック３０４で監視できる。オーディオ入力はユーザの第２の質問を含んでいたので、ブロック３０６において、ユーザ発話入力が識別されたと判定できる。ブロック３０８において、識別されたユーザ発話入力に関連する文脈情報に基づいて、仮想アシスタントがユーザの質問に応答すべきか否かが判定できる。この例では、ユーザは第１の質問に対する返答を受信してから長さの閾値の時間内に第２の質問をし、これは、第２の質問が同一の会話の一部であったことを示唆するので、仮想アシスタントはユーザの質問に応答すると（規則依存システム又は確率システムを使用して）判定できる。従って、処理はブロック３１０及び３１２へ進むことができ、ユーザの質問に対する応答が生成される。例えば、ブロック３１２において、ユーザの意図を判定し、実行されるタスクを識別し、ユーザの問合せに応答して「ｔｈｅ  ｗｅａｔｈｅｒ  ｉｓ  ｓｕｎｎｙ（晴天です）」と述べるメッセージを判定し且つ表示するための機能を実行するように、ユーザの質問は処理できる。その後、別のユーザ発話入力を求めてオーディオ入力を監視するために、処理３００はブロック３０４に戻ることができる。
【００４２】
他の実施形態において、ユーザデバイス１０２は、処理３００が呼び出される前にユーザが始点識別子を手動操作で入力することを要求することもできる。例えば、ユーザは、初めて仮想アシスタントに話しかける前にトリガフレーズを発話すること、あるいは物理的ボタン又は仮想ボタンを押すことを求められる。手動操作で入力された始点識別子に応答して、処理３００は先に説明したように実行されることができ、その後のユーザ発話入力は、追加の始点識別子を入力することをユーザに要求することなく処理できる。図４は、この変更された対話を実行するための処理の一実施形態を示す。
【００４３】
ブロック４０２において、始点識別子が受信できる。始点識別子は、ユーザにより話しかけられたトリガフレーズ、物理的ボタン又は仮想ボタンの選択、あるいはユーザから受信された他の手動操作入力を含むことができる。ブロック４０４において、先に説明したブロック３０２と同様に又はまったく同じようにオーディオ入力が受信できる。ブロック４０６において、第１のユーザ発話入力の終点を識別することにより、ブロック４０４で受信されたオーディオ入力から第１のユーザ発話入力が識別できる。終点は、先に説明したように、オーディオ入力のエネルギー特徴に基づいて識別できる。ブロック４０８において、先に説明したブロック３１２と同様に又はまったく同じように、第１のユーザ発話入力に対する応答が生成される。しかし、ブロック３１２とは異なり、ブロック４０２において手動操作で入力された始点識別子が受信されているので、ブロック４０８は、ブロック３０８のように仮想アシスタントが第１のユーザ発話入力に応答すべきか否かを判定することなく実行できる。ブロック４０８で第１のユーザ発話入力に対する応答を生成した後、処理はブロック３０４へ進むことができる。いくつかの実施形態において、先にブロック４０４でオーディオ入力が受信されているので、ブロック３０２は省略できる。ブロック３０４、３０６、３０８、３１０及び３１２は、先に図３に関して説明したように繰り返し実行できる。
【００４４】
いくつかの実施形態において、処理４００でブロック３０４が呼び出された後、ブロック３０４、３０６、３０８、３１０及び３１２は、後続のすべてのユーザ発話入力に対して継続して実行できる。他の実施形態において、長さの閾値の時間を超える期間、ユーザ発話入力が受信されない場合（例えば、ブロック３０４及び３０６で）、ブロック３０４、３０６、３０８、３１０及び３１２の実行は停止させられることができ、従って、ユーザは、次のユーザ発話入力を入力する前にブロック４０２で始点識別子を入力しなければならない。
【００４５】
処理４００を使用する場合、ユーザデバイスにより実現される仮想アシスタントは、ユーザに手動操作により始点識別子を一度入力することを求めるだけであり、後続のユーザ発話入力のたびに、それに先立ってユーザが手動操作で始点識別子を繰り返し入力する必要なく、仮想アシスタントは、後続のユーザ発話入力を選択的に無視するか又はそれに応答することができる。
【００４６】
図４の動作を例示するために、ユーザと仮想アシスタントとの間の対話の一例は、仮想アシスタントに話しかける前に物理的ボタン又は仮想ボタンを押すこと、あるいは特定のトリガフレーズ（例えば、「Ｈｅｙ  Ｓｉｒｉ」のような所定の語又は一連の語）を発話することなどにより、ユーザが手動操作で始点識別子を入力することによって開始できる。始点識別子はブロック４０２で受信できる。次に、ユーザは、「ｗｈａｔ  ｔｉｍｅ  ｉｓ  ｉｔ  ｉｎ  Ｎｅｗ  Ｙｏｒｋ？（ニューヨークは何時ですか）」のような質問を口頭ですることも可能である。次に、ユーザデバイスは、ブロック４０４において、ユーザの質問を含むオーディオ入力を受信可能である。ブロック４０６において、ユーザの質問の終点を識別することにより、オーディオ入力からユーザ発話入力が識別できる。ユーザはブロック４０２で入力が仮想アシスタントに向けられていることを手動操作で識別しているので、ブロック４０８において、ブロック３０８に類似する判定ステップを実行することなくユーザの質問に対する応答が生成される。例えば、ブロック４０８において、ユーザの意図を判定し、実行されるタスクを識別し、ユーザの問合せに応答して「５：０１ｐ．ｍ．（午後５時１分）」という時間を判定し且つ表示するための機能を実行するように、ユーザの質問は処理できる。その後、処理４００はブロック３０４に戻ることができる。
【００４７】
次に、ユーザは、仮想アシスタントに話しかける前に物理的ボタン又は仮想ボタンを押すこと、あるいは特定のトリガフレーズ（例えば、「Ｈｅｙ  Ｓｉｒｉ」のような所定の語又は一連の語）を発話することなどにより、手動操作で始点識別子を入力する必要なく、「ｗｈａｔ  ｉｓ  ｔｈｅ  ｗｅａｔｈｅｒ  ｌｉｋｅ  ｔｈｅｒｅ？（そちらはどんな天気ですか）」のような別の質問を口頭ですることも可能である。ユーザデバイスにより受信され、ユーザの第２の質問を含むオーディオ入力は、ブロック３０４及び３０６で繰り返し監視できる。オーディオ入力はユーザの第２の質問を含んでいたので、ブロック３０６において、ユーザ発話入力が識別されたと判定できる。ブロック３０８において、識別されたユーザ発話入力に関連する文脈情報に基づいて、仮想アシスタントがユーザの質問に応答すべきか否かが判定できる。この例では、ユーザが第１の質問に対する返答を受信してから長さの閾値の時間内に第２の質問をしたことを文脈情報が示し、これは、第２の質問が同一の会話の一部であったことを示唆するので、仮想アシスタントはユーザの質問に応答すると判定できる（規則依存システム又は確率システムのいずれかを使用して）。従って、処理はブロック３１０及び３１２へ進むことができ、ユーザの質問に対する応答が生成される。例えば、ブロック３１２において、ユーザの意図を判定し、実行されるタスクを識別し、ユーザの問合せに応答して「ｔｈｅ  ｗｅａｔｈｅｒ  ｉｓ  ｓｕｎｎｙ（晴天です）」と述べるメッセージを判定し且つ表示するための機能を実行するように、ユーザの質問は処理できる。その後、別のユーザ発話入力を求めてオーディオ入力を監視するために、処理３００はブロック３０４に戻ることができる。
【００４８】
いくつかの実施形態において、処理３００又は処理４００のブロック３０４、３０６、３０８、３１０及び３１２が実行されている間、ユーザ発話入力をユーザデバイス１０２に向ける意図があることを示すためにトリガフレーズ又は他の手動入力を使用せずに、ユーザデバイス１０２が自然言語の形のユーザ発話入力を受け入れ可能であることを示すために、ユーザデバイス１０２のディスプレイに視覚標識が表示できる。
【００４９】
更に、処理３００及び４００のブロックは特定の順序で図示され且つ説明されたが、処理３００及び４００のブロックが他の順序で又は同時に実行できることを理解すべきである。例えば、処理３００において、ユーザデバイス１０２は、ブロック３０４、３０６、３０８、３１０及び３１２のうちいくつか又はそれらすべてが実行される間、ブロック３０２でオーディオ入力を継続的に受信していることも可能である。同様に、処理４００において、ユーザデバイス１０２は、ブロック３０４、３０６、３０８、３１０、３１２、４０６及び４０８のうちいくつか又はそれらすべてが実行される間、ブロック４０４でオーディオ入力を継続的に受信していることも可能である。
【００５０】
処理３００及び４００のブロックはユーザデバイス１０２、サーバシステム１１０、又はユーザデバイス１０２とサーバシステム１１０との組み合わせで実行できることを理解すべきである。例えば、いくつかの実施形態において、処理３００又は４００のすべてのブロックはユーザデバイス１０２で実行できる。他の実施形態において、処理３００又は４００のすべてのブロックはサーバシステム１１０で実行できる。更に別の実施形態において、処理３００又は４００のいくつかのブロックはユーザデバイス１０２で実行されることができ、処理３００又は４００の他のブロックはサーバシステム１１０で実行できる。
【００５１】
文脈情報
前述のように、文脈情報は、分類器又は機械学習システムにより使用される特徴を含むことができ、ユーザ発話入力が仮想アシスタントに向けられた否かを判定するために、処理３００又は４００のブロック３０８において、任意の数の種類の文脈情報がプロセッサ２０４及び／又はサーバシステム１１０により使用できる。以下に、文脈情報の種類のいくつかの例と、処理３００のブロック３０８においてユーザ発話入力が仮想アシスタントに向けられた否かを判定するために、それらの種類の文脈情報をどのように使用できるかを説明する。
【００５２】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２のクロック又はタイマからの時間データを含むことができる。時間データは所望の２つ以上のイベントの間の時間の長さを表すことができる。例えば、時間データは、ユーザ発話入力が受信された時間と、ボタンの押下、マウスのクリック、スクリーンへのタッチ、以前のユーザ発話入力などの以前のユーザ入力が受信された時間との間の時間の長さを表すことができる。一般に、いくつかの実施形態において、２つのイベントの間の時間の長さが短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、イベントの間の時間の長さが長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。しかし、他の実施形態では、２つのイベントの間の時間の長さが長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、イベントの間の時間の長さが短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００５３】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、連続するユーザ発話入力の間の時間の長さが持続時間の閾値より短い場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、連続するユーザ発話入力の間の時間の長さが持続時間の閾値以上である場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００５４】
確率システムの一実施形態において、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために、連続するユーザ発話入力の間の時間の長さが使用されることができ、この寄与の値は、時間の長さの値との間に線形関係又は非線形関係を有することができる。例えば、持続時間の閾値未満の時間の長さは、最終的な尤度又は信頼スコアに正の値を寄与することができ、その正の値の大きさは、時間の長さが短くなるほど大きくなりうる。同様に、持続時間の閾値以上の時間の長さは、最終的な尤度又は信頼スコアに０の値又は負の値を寄与することができ、その負の値の大きさは、時間の長さが長くなるほど大きくなりうる。いくつかの実施形態において、連続するユーザ発話入力の間の時間の長さは、確率システムの機械学習システムを訓練するために使用できる。
【００５５】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の中に配置されるか又はユーザデバイス１０２から離れた場所に配置されたメモリ２５０又は他の記憶装置からの会話履歴データを含むことができる。会話履歴テータは、ユーザから受信された何らかの数の以前のユーザ発話入力及び／又はユーザデバイスにより生成され、ユーザに提供された応答を含むことができる。いくつかの実施形態において、現在のユーザ発話入力が以前に受信されたユーザ発話入力と同一であるか否かを判定するために、以前に受信されたユーザ発話入力が現在のユーザ発話入力と比較できる。それらの実施形態にいて、以前のユーザ発話入力と現在のユーザ発話入力との一致（例えば、ユーザが同じことを繰り返して発言していることによって起こる）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示し、以前のユーザ発話入力と現在のユーザ発話入力との不一致は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなるか、又はユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度に関して中立であることを示すことができる。いくつかの実施形態において、ユーザが同じことを繰り返す発言は、確率システムの機械学習システムを訓練するためにフィードバックループで使用できる。
【００５６】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力が以前に受信されたユーザ発話入力と同一であるか又は一致する場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力が以前に受信されたユーザ発話入力と同一ではない場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００５７】
確率システムの一実施形態において、以前に受信されたユーザ発話入力が現在のユーザ発話入力と同一であるか又は一致するという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、以前に受信されたユーザ発話入力と現在のユーザ発話入力との不一致は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００５８】
他の実施形態において、現在のユーザ発話入力及び会話履歴データの一部又はすべてに対して意味的類似性解析が実行できる。いくつかの実施形態において、この解析は、判定されたユーザの意図（例えば、タプル＜コマンド、パラメータ＞の形をとる自然言語解釈段階の結果）の類似性を計算することを含むことができる。他の実施形態において、意味的距離を判定するための意味的類似性解析を実行することは、類似性行列と組み合わされた編集距離を判定することを含むことができる。これらの実施形態において、ブロック３０８においてユーザ発話入力が仮想アシスタントに向けられた尤度又は信頼スコアを判定するために、現在のユーザ発話入力と、以前に受信されたユーザ発話入力又はユーザデバイスにより生成され、ユーザに提供された応答のうち１つ以上との間の意味的距離が判定され、使用できる。これらの実施形態において、現在のユーザ発話入力と、以前に受信されたユーザ発話入力のうち１つ以上（例えば、直前のユーザ発話入力）及び／又はユーザデバイスにより生成され、ユーザに提供された応答のうち１つ以上との間の意味的距離が短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、現在のユーザ発話入力と、以前に受信されたユーザ発話入力のうち１つ以上（例えば、直前のユーザ発話入力）及び／又はユーザデバイスにより生成され、ユーザに提供された応答のうち１つ以上との間の意味的距離が長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。
【００５９】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力と、１つ以上の以前のユーザ発話入力又はユーザデバイスにより生成された応答のとの間の意味的距離が閾値未満の場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力と、１つ以上の以前のユーザ発話入力又はユーザデバイスにより生成された応答との間の意味的距離が閾値以上である場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００６０】
確率システムの一実施形態において、現在のユーザ発話入力と、１つ以上の以前のユーザ発話入力又はユーザデバイスにより生成された応答との間の意味的距離は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、意味的距離との間に線形関係又は非線形関係を有することができる。例えば、閾値未満の意味的距離は、最終的な尤度又は信頼スコアに正の値を寄与することができ、意味的距離が短くなるほど、正の値の大きさは増加しうる。同様に、閾値以上の意味的距離は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができ、意味的距離が長くなるほど、負の値の大きさは増加しうる。
【００６１】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の近接センサ２１４などの距離センサからの距離データを含むことができる。距離データは、ユーザデバイスとユーザとの間の空間的距離（例えば、ユーザデバイスとユーザの顔との間の距離）を表すことができる。一般に、いくつかの実施形態において、ユーザデバイスとユーザとの間の距離が短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、ユーザデバイスとユーザとの間の距離が長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。しかし、他の実施形態では、ユーザデバイスとユーザとの間の距離が長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、ユーザデバイスとユーザとの間の距離が短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。
【００６２】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザデバイスとユーザとの間の距離が距離の閾値未満の場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則と組み合わされて、又は他の規則の中の複数の条件の１つとして）は、ユーザデバイスとユーザとの間の距離が距離の閾値以上である場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００６３】
確率システムの一実施形態において、ユーザデバイスとユーザとの間の距離は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、ユーザデバイスとユーザとの間の距離の値との間に線形関係又は非線形関係を有することができる。例えば、距離の閾値未満の距離は、最終的な尤度又は信頼スコアに正の値を寄与することができ、距離が短くなるほど、正の値の大きさは増加することができる。同様に、距離の閾値以上の距離は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができ、距離が長くなるほど、負の値の大きさを増加することができる。
【００６４】
いくつかの実施形態において、文脈情報は、オーディオサブシステム２２６からのオーディオデータを含むことができる。オーディオデータはユーザ発話入力の音量の表現を含むことができる。一般に、いくつかの実施形態において、ユーザ発話入力の音量が大きいことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、ユーザ発話入力の音量が小さいことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。しかし、他の実施形態において、ユーザ発話入力の音量が小さいことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、ユーザ発話入力の音量が大きいことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。
【００６５】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力の音量が音量の閾値より大きかった場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力の音量が音量の閾値以下であった場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００６６】
確率システムの一実施形態において、ユーザ発話入力の音量は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、ユーザ発話入力の音量の値との間に線形関係又は非線形関係を有することができる。例えば、音量の閾値より大きい音量は、最終的な尤度又は信頼スコアに正の値を寄与することができ、音量が大きいほど、正の値の大きさは増加しうる。同様に、音量の閾値以下の音量は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができ、音量が小さいほど、負の値の大きさは増加しうる。
【００６７】
いくつかの実施形態において、文脈情報は、オーディオサブシステム２２６からのオーディオデータを含むことができる。オーディオデータは、ユーザ発話入力の音量の表現を含むことができる。いくつかの実施形態において、以前のユーザ発話入力が無視されており、現在のユーザ発話入力の音量が以前のユーザ発話入力より大きい場合、これは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなったことを示すことができる。
【００６８】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力の音量が以前のユーザ発話入力の音量より大きい場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力の音量が以前のユーザ発話入力の音量以下である場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００６９】
確率システムの一実施形態において、ユーザ発話入力の音量は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、ユーザ発話入力の音量の値との間に線形関係又は非線形関係を有することができる。例えば、現在のユーザ発話入力の音量が直前のユーザ発話入力の音量より大きい場合、最終的な尤度又は信頼スコアに正の値が加算される。同様に、現在のユーザ発話入力の音量が直前のユーザ発話入力の音量より小さい場合、最終的な尤度又は信頼スコアに０又は負の値が加算される。
【００７０】
他の実施形態において、ユーザデバイスの可聴範囲の付近又はその範囲内の何人かの個別の発話者を判定するために、周知の発話者認識技術を使用して、オーディオデータが解析できる。これらの実施形態において、２人以上の発話者がいるという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなること（及び仮想アシスタントではなく、近くの別の人物に話しかけていること）を示すことができ、発話者はただ１人であるという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができる。
【００７１】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときに２人以上の発話者がいたと判定された場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときに発話者はただ１人であったと判定された場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。
【００７２】
確率システムの一実施形態において、ユーザ発話入力が受信されたときに２人以上の発話者がいたという判定は、最終的な尤度又は信頼スコアに負の値を寄与することができ、ユーザ発話入力が受信されたときに発話者はただ１人であったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００７３】
更に別の実施形態において、ユーザ発話入力が既知のユーザ又はユーザデバイスの正規ユーザ（例えば、デバイスの所有者）から、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されたか否かを判定するために、周知のスピーカ認識技術を使用して、オーディオデータが解析できる。これらの実施形態において、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されたという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が高くなることを示すことができ、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されなかったという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度が低くなることを示すことができる。
【００７４】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されたと判定された場合、ユーザは現在のユーザ発話入力は仮想アシスタントに向けられたと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されなかったと判定された場合、ユーザは現在のユーザ発話入力が仮想アシスタントに向けられなかったと判定できるという規則である。
【００７５】
確率システムの一実施形態において、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されたという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が既知のユーザ又は正規ユーザから、あるいは以前に受信されたユーザ発話入力と同一のスピーカから受信されなかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００７６】
いくつかの実施形態において、文脈情報はユーザデバイス１０２のカメラサブシステム２２０からの画像データを含むことができる。画像データは、カメラサブシステム２２０により取り込まれた画像又は映像を表すことができる。いくつかの実施形態において、画像データは、ユーザデバイスとユーザとの間の距離を推定するために使用できる。例えば、ユーザデバイスとユーザとの間の距離を推定するために、画像中のユーザの大きさが使用できる。ユーザデバイスとユーザとの間の推定距離は、先に説明した近接センサ２１４からの距離と同様に又はまったく同じように規則依存システム又は確率システムで使用できる。
【００７７】
他の実施形態において、画像データは、ユーザ発話入力が受信されたときにユーザがユーザデバイスを見ていたか否か又はユーザデバイスと向かい合っていたか否かを判定するために解析できる（例えば、周知のアイトラッキング技術を使用して）。これらの実施形態において、ユーザ発話入力が受信されたときにユーザがユーザデバイスを見ていたという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザ発話入力が受信されたときにユーザがユーザデバイスを見ていなかったという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すか、あるいはユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度に関して中立である。
【００７８】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにユーザはユーザデバイスを見ていたと判定された場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにユーザはユーザデバイスを見ていなかったと判定された場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００７９】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザはユーザデバイスを見ていたという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザはユーザデバイスを見ていなかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００８０】
更に別の実施形態において、ユーザに対するデバイスの向きを判定するために画像データが解析できる。例えば、ユーザが光学センサ２２２の視野の中に現れるか否かに基づいてユーザがユーザデバイスの前方に位置しているか否かを判定するために、周知の顔認識技術を使用して画像データが解析できる。同様に、ユーザが特定のアクションを実行しているか否か（例えば、ユーザデバイスを指さす、ユーザデバイスで何らかのジェスチャーをするなど）、あるいは事前に定義されたような位置にいるか否か（例えば、テレビの前に座る、リモコンを持つなど）を判定するために、周知の画像認識技術を使用して画像データが解析できる。これらの実施形態において、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいたか、特定なアクションを実行していたか、又は事前に定義されたような位置にいたという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいなかったか、特定のアクションを実行していなかったか、又は事前に定義されたような位置にいなかったという判定は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すか、あるいはユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度に関して中立である。
【００８１】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいたか、特定のアクションを実行していたか、又は事前に定義されたような位置にいたと判定された場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいなかったか、特定のアクションを実行していなかったか、又は事前に定義されたような位置にいなかったと判定された場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００８２】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいたか、特定のアクションを実行していたか、又は事前に定義されたような位置にいたという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザはユーザデバイスの前方にいなかったか、特定のアクションを実行していなかったか、又は事前に定義されたような位置にいなかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００８３】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２のモーションセンサ２１０からの向きデータを含むことができる。モーションセンサ２１０は、ユーザデバイスの自由空間内の向きを表す向きデータを生成可能な傾斜計、コンパス、ジャイロスコープなどの何らかの種類の向きセンサを含むことができる。いくつかの実施形態において、ユーザデバイスの特定の向き（例えば、デバイスの前面が上向きである、デバイスが直立している、ユーザがデバイスのディスプレイを見ることができるような向きにあるなど）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザの他の向き（例えば、デバイスの前面が下向きである、デバイスが逆さである、ユーザがデバイスのディスプレイを見ることができないような向きにあるなど）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００８４】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにデバイスが１組の向き（例えば、デバイスの前面が上向きである、デバイスが直立している、ユーザがデバイスのディスプレイを見ることができるような向きにあるなど）のうち１つの向きにあった場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにデバイスが１組の向きのうち１つの向きになかった場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００８５】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザデバイスが１組の向き（例えば、デバイスの前面が上向きである、デバイスが直立している、ユーザがデバイスのディスプレイを見ることができるような向きにあるなど）のうち１つの向きにあるという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザデバイスが１組の向きのうち１つの向きになかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００８６】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の他のセンサ２１６の中のＧＰＳ受信機からの場所データを含むことができる。場所データは、ユーザデバイスの地理的場所を表すことができる。いくつかの実施形態において、ユーザデバイスが特定の場所（例えば、家庭、オフィスなど）にある間にユーザ発話入力を受信することは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザデバイスが特定の他の場所（例えば、映画館、会議室など）にある間にユーザ発話入力を受信することは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００８７】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにデバイスが１組の場所（例えば、家庭、オフィスなど）のうち１つの場所にあった場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにデバイスが１組の場所のうち１つの場所になかった場合、ユーザはユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００８８】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザデバイスが１組の場所（例えば、家庭、オフィスなど）のうち１つの場所にあったという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザデバイスが１組の場所のうち１つの場所になかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【００８９】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の中に配置されるか又はユーザデバイス１０２から離れた場所に配置されたメモリ２５０又は別の記憶装置からの動作状態データを含むことができる。動作状態データは、ユーザに対してコンテンツが表示又は他の形で提示されているか否か、ユーザに対して提示されているコンテンツの種類又はＩＤ、ユーザデバイスにより実行中のアプリケーション、ユーザに対して近い時点で通知が提示されていたか否か、以前の又は直近の連絡、以前の又は直近のＥメール、以前の又は直近のＳＭＳメッセージ、以前の又は直近の電話の着呼／発呼、カレンダーへの記入、注意事項の記入、ウェブページ検索、ユーザデバイスのディスプレイのオン／オフ状態、ユーザデバイスがユーザ発話入力以外のユーザ入力を受信しているか否か、ユーザデバイスにおける設定、以前の活動などのユーザデバイスの動作状態に関連する何らかの情報を含むことができる。いくつかの実施形態において、ユーザデバイスが特定の動作状態（例えば、ユーザに対してコンテンツ又は他の情報が表示されている、コンテンツ又は他の情報が聴き取れる形でユーザに対して提示されている、ユーザと仮想アシスタントとの間の会話筆記録などの特定のコンテンツがユーザに対して提示されている、ユーザデバイスによりアプリケーションが実行されている、ユーザに対して近い時点で通知が提示されていた、ユーザデバイスのディスプレイがオンである、ユーザデバイスがマウス入力、キーボード入力、タッチ感知ディスプレイ入力などのユーザ発話入力以外のユーザ入力を受信している、近い時点で連絡先又は特定の連絡先との間でＥメールの送受信があった、近い時点で連絡先又は特定の連絡先との間でＳＭＳメッセージの送受信があった、近い時点で連絡先又は特定の連絡先との間で電話の着呼／発呼があった、ユーザデバイスで特定の設定が構成されている、以前の活動が実行されたなど）にある間にユーザ発話入力を受信することは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザデバイスが特定の他の動作状態（例えば、ユーザに対してコンテンツ又は他の情報が表示されていない、コンテンツ又は他の情報が聴き取れる形でユーザに対して提示されていない、ユーザと仮想アシスタントとの間の会話筆記録などの特定のコンテンツがユーザに対して提示されていない、ユーザデバイスによりアプリケーションが実行されていない、ユーザに対して近い時点で通知が提示されていなかった、ユーザデバイスのディスプレイがオフである、ユーザデバイスがマウス入力、キーボード入力、タッチ感知ディスプレイ入力などのユーザ発話入力以外のユーザ入力を受信していない、近い時点で連絡先又は特定の連絡先との間でＥメールの送受信がなかった、近い時点で連絡先又は特定の連絡先との間でＳＭＳメッセージの送受信がなかった、近い時点で連絡先又は特定の連絡先との間で電話の発呼／着呼がなかった、ユーザデバイスで特定の設定が構成されていない、以前の活動が実行されなかったなど）にある間にユーザ発話入力を受信することは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００９０】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときにユーザデバイスのディスプレイがオンであり且つユーザデバイスがユーザに対してオーディオ情報を提示していた場合、ユーザはユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の中の１つとして）は、ユーザ発話入力が受信されたときにユーザデバイスのディスプレイがオフであり且つユーザデバイスがユーザに対してオーディオ情報を提示していなかった場合、ユーザはユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。ユーザ発話入力を仮想アシスタントに向ける意図があった又は意図がなかったことを判定させる規則を生成するために、他の種類の動作状態データが同様に使用できる。
【００９１】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザデバイスのディスプレイがオンであり且つユーザデバイスがユーザに対してオーディオ情報を提示していたという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザデバイスのディスプレイがオフであり且つユーザデバイスがユーザに対してオーディオ情報を提示していなかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。デバイスの状態が所定の１組の状態のうち１つであることを動作状態データが示すか否かに応じて、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を与えるために、他の種類の動作状態データが同様にして使用できることを理解すべきである。
【００９２】
他の実施形態において、現在のユーザ発話入力及び動作状態データの一部又はすべてに対して、意味的類似性解析が実行できる。これらの実施形態において、ユーザ発話入力がユーザデバイスに向けられたか否かをブロック３０８で判定するために、現在のユーザ発話入力と動作状態データの１つ以上のコンポーネントとの間の意味的距離が判定され、使用できる。これらの実施形態において、現在のユーザ発話入力と動作状態データの１つ以上のコンポーネントとの間の意味的距離が短いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、現在のユーザ発話入力と動作状態データの１つ以上のコンポーネントとの間の意味的距離が長いことは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００９３】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力と、動作状態データの１つ以上のコンポーネント（例えば、ユーザデバイスにより実行中であるアプリケーション、ユーザに提示された通知、連絡先リスト中の名前、以前の連絡、以前のＥメール、以前のＳＭＳメッセージ、ユーザに提示されているコンテンツ、ユーザデバイスがマップアプリケーションを実行している間の方向指示を求める要求などのユーザから受信されると予想されるコマンド、ユーザデバイスがアイズフリーモードにある間のコンテンツナビゲーション命令、先に「停止」又は「一時停止」命令を受信した後の「開始」命令など）との間の意味的距離が閾値未満の場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力と動作状態データの１つ以上のコンポーネントとの間の意味的距離が閾値以上である場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００９４】
確率システムの一実施形態において、現在のユーザ発話入力と動作状態データの１つ以上のコンポーネントとの間の意味的距離は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、意味的距離との間に線形関係又は非線形関係を有することができる。例えば、閾値未満の意味的距離は、最終的な尤度又は信頼スコアに正の値を寄与することができ、意味的距離が短いほど、正の値の大きさは増加しうる。同様に、閾値以上である意味的距離は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができ、意味的距離が長いほど、負の値の大きさは増加しうる。
【００９５】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の光センサ２１２からの照明データを含むことができる。照明データは、光センサ２１２により受け取られた周囲光の輝度を表す値を含むことができる。いくつかの実施形態において、ユーザ発話入力が受信されたときに感知された周囲光の輝度が高いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ（例えば、発話が許容される環境にユーザがいることを示す）、ユーザ発話入力が受信されたときに感知された周囲光の輝度が低いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる（例えば、映画館の中のような発話が許容されない環境にユーザがいることを示す）。しかし、他の実施形態において、ユーザ発話入力が受信されたときに感知された周囲光の輝度が低いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザ発話入力が受信されたときに感知された周囲光の輝度が高いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００９６】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときに感知された周囲光の輝度が輝度の閾値より高い場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信されたときに感知された周囲光の輝度が輝度の閾値以下である場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【００９７】
確率システムの一実施形態において、ユーザ発話入力が受信されたときに感知された周囲光の輝度は、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、感知された周囲光の輝度の値との間に線形関係又は非線形関係を有することができる。例えば、輝度の閾値より低い輝度は、最終的な尤度又は信頼スコアに負の値を寄与することができ、輝度の値が低いほど、負の値の大きさは増加しうる。同様に、輝度の閾値以上の輝度は、最終的な尤度又は信頼スコアに０又は正の値を寄与することができ、輝度の値が高いほど、正の値の大きさは増加しうる。
【００９８】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の中に配置されるか又はユーザデバイス１０２から離れた場所に配置された自動音声認識（ＡＳＲ）エンジンからの（例えば、サーバシステム１１０からの）音声認識データを含むことができる。音声認識データは、ＡＳＲエンジンがユーザ発話入力を認識可能であったか否か及び／又はＡＳＲエンジンがユーザ発話入力に応答可能であるか否かを示す指標を含むことができる。いくつかの実施形態において、ＡＳＲエンジンがユーザ発話入力を認識可能であったこと及び／又はＡＳＲエンジンがユーザ発話入力に応答可能であることを示す指標は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ＡＳＲエンジンがユーザ発話入力を認識可能ではなかったこと及び／又はＡＳＲエンジンがユーザ発話入力に応答可能ではないことを示す指標は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【００９９】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ＡＳＲエンジンがユーザ発話入力を認識可能であり且つ／又はユーザ発話入力に応答可能である場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ＡＳＲエンジンがユーザ発話入力を認識可能ではなく且つ／又はユーザ発話入力に応答可能ではない場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【０１００】
確率システムの一実施形態において、ＡＳＲエンジンがユーザ発話入力を認識可能であり且つ／又はユーザ発話入力に応答可能であるという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ＡＳＲエンジンがユーザ発話入力を認識可能ではなく且つ／又はユーザ発話入力に応答可能ではないという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【０１０１】
他の実施形態において、ＡＳＲエンジンからの音声認識データは、ユーザ発話入力の長さ（例えば、語数、発話の持続時刻など）を示す指標を更に含むことができる。一般に、いくつかの実施形態において、ユーザ発話入力の長さが短いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザ発話入力の長さが長いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。しかし、いくつかの実施形態において、ユーザ発話入力の長さが長いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザ発話入力の長さが短いほど、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【０１０２】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力の長さが長さの閾値より短い場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力の長さが閾値長さ以上である場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【０１０３】
確率システムの一実施形態において、ユーザ発話入力の長さは、最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を計算するために使用されることができ、寄与の値は、ユーザ発話入力の長さの値との間に線形関係又は非線形関係を有することができる。例えば、長さの閾値未満の長さは、最終的な尤度又は信頼スコアに正の値を寄与することができ、長さが短くなるほど、正の値の大きさは増加しうる。同様に、長さの閾値以上の長さは、最終的な尤度又は信頼スコアに０又は負の値を寄与することができ、長さが長いほど、負の値の大きさは増加しうる。
【０１０４】
他の実施形態において、ＡＳＲエンジンからの音声認識データは、ユーザ発話入力の中から識別された名詞又は代名詞を更に含むことができる。例えば、音声認識データは、「ハニー」、「彼」、「彼女」、あるいは人物の苗字又は名前などの名詞又は代名詞を含むことができる。一般に、いくつかの実施形態において、それらの名詞又は代名詞のうち１つが存在することは、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができ、それらの名詞又は代名詞のうち１つが存在しないこと（又は「Ｓｉｒｉ」のような人間を指すのではない識別子が存在すること）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができる。
【０１０５】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が１組の名詞又は代名詞のうち１つを含む場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が１組の名詞又は代名詞のうち１つを含まない（又は別の１組の名詞又は代名詞のうち１つを含む）場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。
【０１０６】
確率システムの一実施形態において、ユーザ発話入力が１組の名詞又は代名詞のうち１つを含むという判定は、最終的な尤度又は信頼スコアに負の値を寄与することができ、ユーザ発話入力が１組の名詞又は代名詞のうち１つを含まない（又は別の１組の名詞又は代名詞のうち１つを含む）という判定は、最終的な尤度又は信頼スコアに０又は正の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【０１０７】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の中に配置されるか又はユーザデバイス１０２から離れた場所に配置されたメモリ２５０又は別の記憶装置からのユーザデータを含むことができる。ユーザデータは、連絡先リスト、カレンダー、好み、個人情報、金融情報、家族情報などのユーザと関連する何らかの種類の情報を含むことができる。いくつかの実施形態において、ユーザ発話入力が仮想アシスタントに向けられたか否かの判定を助けるために、ブロック３０８で、ユーザデータは他の種類の文脈情報と比較できる。例えば、ユーザがユーザデバイスの仮想アシスタントと会話した尤度が高くなるようなイベント又は低くなるようなイベントに参加していたか否かを判定するために、ユーザ発話入力が受信された時刻がユーザのカレンダーと比較されることができ、ユーザの連絡先リストにある名前がユーザ発話入力の中で挙げられたか否かを判定するために、ＡＳＲエンジンからの音声認識データがユーザの連絡先リストの中の連絡先と比較されることができ、ユーザ発話入力が仮想アシスタントにより無視されるべき又は無視されるべきではない事前定義済みフレーズに対応するか否かを判定するために、ＡＳＲエンジンからの音声認識データがユーザの好みと比較できるなどである。
【０１０８】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は現在のユーザ発話入力が所定の１組の時刻の中の１つの時刻に受信された（例えば、ユーザが会議に出席していたか又は仮想アシスタントと会話しない活動であるとみなされるような活動に携わっていたことをユーザのカレンダーが示す時）場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、現在のユーザ発話入力が所定の１組の時刻以外の時刻に受信された（例えば、ユーザが会議に出席していなかったか又は仮想アシスタントと会話しない活動であるとみなされるような活動に携わっていなかったことをユーザのカレンダーが示す時）場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。ユーザ発話入力を仮想アシスタントに向ける意図があった又は意図がなかったという判定を実行させる規則を生成するために、他の種類のユーザデータが同様に使用できる。
【０１０９】
確率システムの一実施形態において、ユーザが会議に出席していたか又は仮想アシスタントと会話しない活動であるとみなされるような活動に携わっていたことをユーザのカレンダーが示す時刻に現在のユーザ発話入力が受信されたという判定は、最終的な尤度又は信頼スコアに負又は０の値を寄与することができ、ユーザが会議に出席していなかったか又は仮想アシスタントと会話しない活動であるとみなされるような活動に携わっていなかったことをユーザのカレンダーが示す時刻に現在のユーザ発話入力が受信されたという判定は、最終的な尤度又は信頼スコアに正の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。最終的な尤度又は信頼スコアに対する正の寄与、負の寄与又は中立の寄与を与えるために、他の種類のユーザデータが同様にして使用できることを理解すべきである。
【０１１０】
いくつかの実施形態において、文脈情報は、モーションセンサ２１０又はユーザデバイス１０２の他のセンサ２１６の中の加速度計からの運動データを含むことができる。運動データは、ユーザデバイスの動きを表すことができ、ユーザをデバイスを振動させること、デバイスがユーザに対して接離すること（例えば、ユーザの口に対する接離）、ユーザがデバイスを着用することによる動き（例えば、時計又は他のウェアラブルデバイスとして）などによって起こるデバイスの動きを検出するために使用できる。いくつかの実施形態において、ユーザデバイスが受ける特定の動き（例えば、振動、ユーザがユーザデバイスを着用することと関連する動き、ユーザに接近する動きなど）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は高くなることを示すことができ、ユーザデバイスが受ける他の動き（例えば、ユーザから離れる動き）は、ユーザが現在のユーザ発話入力を仮想アシスタントに向ける意図した尤度は低くなることを示すことができる。
【０１１１】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信される前にユーザデバイスがユーザの口に向かって動かされたことを運動データが示す場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、ユーザ発話入力が受信される前にデバイスがユーザの口に向かって動かされなかったことを運動データが示す場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。ユーザ発話入力を仮想アシスタントに向ける意図があった又は意図がなかったという判定を実行させる規則を生成するために、他の動きが同様に使用できる。
【０１１２】
確率システムの一実施形態において、ユーザデバイスが所定の１組の運動のうち１つで動かされた（例えば、ユーザ発話入力が受信される前にユーザの口に向かって動かされた）という判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザデバイスが所定の１組の運動のうち１つで動かされなかったという判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。最終的な尤度又は信頼スコアに対して正の寄与、負の寄与又は中立の寄与を加算するために他の動きが同様にして使用できることを理解すべきである。
【０１１３】
いくつかの実施形態において、文脈情報は、ユーザデバイス１０２の他のセンサ２１６の中の温度センサからの温度データを含むことができる。温度データは、温度センサにより感知された温度を表すことができ、ユーザによりユーザデバイスが保持されているか否かを判定するために使用できる。例えば、高い温度又は特定の範囲内の温度は、デバイスがユーザの手で保持されていることを示唆してもよく、低い温度又は特定の範囲外の温度は、デバイスがユーザにより保持されていないことを示唆してもよい。
【０１１４】
規則依存システムの一実施形態において、使用できる１つの規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、温度がユーザデバイスがユーザにより保持されていることに対応する特定の温度範囲にある場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図があったと判定できるという規則である。使用できる別の規則（単独で、他の規則との組み合わせで、又は他の規則の中の複数の条件の１つとして）は、温度がユーザデバイスがユーザにより保持されていることに対応する特定の温度範囲内にない場合、ユーザは現在のユーザ発話入力を仮想アシスタントに向ける意図がなかったと判定できるという規則である。
【０１１５】
確率システムの一実施形態において、ユーザ発話入力が受信されたときにユーザデバイスがユーザにより保持されていたという温度データに基づく判定は、最終的な尤度又は信頼スコアに正の値を寄与することができ、ユーザ発話入力が受信されたときにユーザデバイスがユーザにより保持されていなかったという温度データに基づく判定は、最終的な尤度又は信頼スコアに０又は負の値を寄与することができる。正の寄与又は負の寄与の大きさは全体的なシステム設計に基づいて調整できる。
【０１１６】
電子デバイス
いくつかの実施形態に従って、図５は、説明される種々の実施形態の原理に従って構成された電子デバイス５００の機能ブロック図を示す。デバイスの機能ブロックは、説明される種々の実施形態の原理を実行するためにハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせにより実現できる。説明される種々の実施形態の原理を実現するために、図５に示される機能ブロックが組み合わされるか又は複数のサブブロックに分割できることは当業者には理解される。従って、本明細書の説明は、説明される機能ブロックの可能なすべての組み合わせ又は分割又は更なる定義を任意に支援する。
【０１１７】
図５に示されるように、電子デバイス５００は、ユーザインタフェースを表示し且つタッチ入力を受信するように構成されたタッチスクリーンディスプレイユニット５０２と、音声入力を受信するように構成された音声受信ユニット５０４とを含むことができる。いくつかの実施形態において、電子デバイス５００は、音声を発生するように構成されたスピーカユニット５０６を含むことができる。電子デバイス５００は、タッチスクリーンディスプレイユニット５０２及び音声受信ユニット５０４に結合された（任意にスピーカユニット５０６にも結合された）処理ユニット５０８を更に含むことができる。いくつかの実施形態において、処理ユニット５０８は、第１の監視ユニット５１０、音声識別ユニット５１２、応答判定ユニット５１４、応答生成ユニット５１６、第２の監視ユニット５１８及び第３の監視ユニット５２０を含むことができる。
【０１１８】
処理ユニット５０８は、オーディオ入力（例えば、オーディオ受信ユニット５０４からの）を受信するように構成可能である。処理ユニット５０８は、オーディオ入力中の第１のユーザ発話入力を識別するためにオーディオ入力を監視する（例えば、第１の監視ユニット５１０を使用して）ように構成可能である。処理ユニット５０８は、オーディオ入力中の第１のユーザ発話入力を識別した場合、第１のユーザ発話入力に関連する文脈情報に基づいて、第１のユーザ発話入力に対する応答を生成すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。処理ユニット５０８は、応答を生成するとの判定に応答して、第１のユーザ発話入力に対する応答を生成し（例えば、応答生成ユニット５１６を使用して）且つ第２のユーザ発話要求を求めて受信されたオーディオ入力を再び監視する（例えば、第２の監視ユニット５１８を使用して）ように構成可能である。処理ユニット５０８は、応答を生成すべきでないという判定に応答して、第１のユーザ発話入力に対する応答を生成せずに、第２のユーザ発話要求を求めて受信されたオーディオ入力を再び監視する（例えば、第２の監視ユニット５１８を使用して）ように構成可能である。
【０１１９】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力の開始時に１つ以上の所定の語を識別することなく、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。他の実施形態において、処理ユニット５０８は、第１のユーザ発話入力の受信の前に物理的ボタン入力又は仮想ボタン入力を識別することなく、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。
【０１２０】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力に対して音声／テキスト変換を実行し、第１のユーザ発話入力に基づいてユーザの意図を判定し、第１のユーザ発話入力に基づいて実行されるタスクを判定し、第１のユーザ発話入力に基づいて実行されるタスクのパラメータを判定し、実行されるタスクを実行し、第１のユーザ発話入力に応答してテキストを表示するか又は第１のユーザ発話入力に対するオーディオ応答を出力することにより、第１のユーザ発話入力に対する応答を生成する（例えば、応答生成ユニット５１６を使用して）ように構成可能である。
【０１２１】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力に関連する文脈情報に依存する１つ以上の条件付き規則を評価することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。
【０１２２】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力に関連する文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答する尤度スコアを計算し且つ尤度スコアを閾値と比較することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。
【０１２３】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力の受信と以前のユーザ入力との間の経過時間、以前のユーザ発話入力、第１のユーザ発話入力が受信されたときのユーザと電子デバイスとの間の距離、第１のユーザ発話入力が受信されたときの電子デバイスの向き、第１のユーザ発話入力が受信されたときのユーザと電子デバイスとの間の向き、第１のユーザ発話入力が受信されたときのユーザの視線の方向、第１のユーザ発話入力が自動音声認識装置により認識されたか否かを示す指標、第１のユーザ発話入力と以前のユーザ発話入力との意味的関係、第１のユーザ発話入力の長さ、第１のユーザ発話入力の発話者のＩＤ、第１のユーザ発話入力が受信された時刻、第１のユーザ発話入力が受信されたときに電子デバイスがユーザに対して情報を出力していたか否かを示す指標、ユーザからの入力を受信する期待値、第１のユーザ発話入力が受信されたときに電子デバイスが保持されていたか否かを示す指標、第１のユーザ発話入力が受信されたときの電子デバイスの動作状態、電子デバイスにより実行された以前のアクション、第１のユーザ発話入力が受信されたときに電子デバイスによりコンテンツが表示されていたか否かを示す指標、第１のユーザ発話入力と第１のユーザ発話入力が受信されたときに電子デバイスにより表示されていたコンテンツとの意味的関係、第１のユーザ発話入力が受信されたときのユーザの位置、第１のユーザ発話入力が受信されたときにユーザにより実行されていたジェスチャー、電子デバイスの以前の出力、第１のユーザ発話入力が受信されたときの電子デバイスの場所、第１のユーザ発話入力が受信されたときに電子デバイスにより実行されていたアプリケーション、以前の連絡、以前のＥメール、以前のＳＭＳメッセージ、第１のユーザ発話入力が受信されたときの電子デバイスの動き、電子デバイスのユーザ設定、第１のユーザ発話入力が受信されたときに電子デバイスにより感知された光の量及びカレンダーデータを含む、第１のユーザ発話入力に関連する文脈情報に基づいて、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。
【０１２４】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力の受信と以前のユーザ入力との間の経過時間を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、経過時間の値が持続時間の閾値より大きいことに応答して尤度スコアを減少させることと、経過時間の値が持続時間の閾値より小さいことに応答して尤度スコアを増加させることとを含むことができる。いくつかの実施形態において、以前のユーザ入力は、以前に接触感知ディスプレイで受信されたタッチ入力、マウスのクリック、ボタンの押下又はユーザ発話入力を含むことができる。
【０１２５】
いくつかの実施形態において、処理ユニット５０８は、以前のユーザ発話入力を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、以前のユーザ発話入力と第１のユーザ発話入力との一致を検出したことに応答して尤度スコアを増加させることを含むことができる。
【０１２６】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときのユーザと電子デバイスとの間の距離を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、距離が距離の閾値より長いことに応答して尤度スコアを減少させることと、距離が距離の閾値より短いことに応答して尤度スコアを増加させることとを含むことができる。いくつかの実施形態において、距離は、少なくとも一部で第１のユーザ発話入力の音量、近接センサにより測定された距離、イメージセンサにより生成された画像、又は加速度計からの加速度計データに基づいて判定できる。
【０１２７】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときの電子デバイスの向きを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、デバイスの向きが下向き又は逆さであることに応答して尤度スコアを減少させることと、デバイスの向きが上向き又は直立であることに応答して尤度スコアを増加させることとを含むことができる。
【０１２８】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときのユーザと電子デバイスとの間の向きを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、電子デバイスのディスプレイがユーザに向いているような向きであることに応答して尤度スコアを増加させることと、電子デバイスのディスプレイがユーザから外れた向きであることに応答して尤度スコアを減少させることとを含むことができる。
【０１２９】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときのユーザの視線の方向を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、ユーザの視線の方向が電子デバイスを指していることに応答して尤度スコアを増加させることと、ユーザの視線の方向が電子デバイスから外れていることに応答して尤度スコアを減少させることとを含むことができる。
【０１３０】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が自動音声認識装置により認識されたか否かを示す指標を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力が自動音声認識装置により認識されたことを示す指標に応答して尤度スコアを増加させることと、第１のユーザ発話入力が自動音声認識装置により認識されなかったことを示す指標に応答して尤度スコアを減少させることとを含むことができる。
【０１３１】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と以前のユーザ発話入力との間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値がユーザ発話入力の意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値がユーザ発話入力の意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１３２】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力の長さを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力の長さが長さの閾値より短いことに応答して尤度スコアを増加させることと、第１のユーザ発話入力の長さが長さの閾値より長いことに応答して尤度スコアを減少させることとを含むことができる。
【０１３３】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力の発話者のＩＤを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。いくつかの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力の発話者のＩＤが既知の発話者又は正規発話者のリストの中の１つであることに応答して尤度スコアを増加させることと、第１のユーザ発話入力の発話者のＩＤが既知の発話者又は正規発話者のリストの中の１つではないことに応答して尤度スコアを減少させることとを含むことができる。他の実施形態において、尤度スコアを計算することは、第１のユーザ発話入力の発話者のＩＤが以前のユーザ発話入力の発話者のＩＤと同一であることに応答して尤度スコアを増加させることと、第１のユーザ発話入力の発話者のＩＤが以前のユーザ発話入力の発話者のＩＤとは異なることに応答して尤度スコアを減少させることとを含むことができる。
【０１３４】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信された時刻を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度を計算することは、時刻が所定の１組の時刻の中にあることに応答して尤度スコアを増加させることと、時刻が所定の１組の時刻の中にないことに応答して尤度スコアを減少させることとを含むことができる。
【０１３５】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときに電子デバイスがユーザに対して情報を出力していたか否かを示す指標を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力が受信されたときに電子デバイスがユーザに対して情報を出力していたことを示す指標に応答して尤度スコアを増加させることと、第１のユーザ発話入力が受信されたときに電子デバイスがユーザに対して情報を出力していなかったことを示す指標に応答して尤度スコアを減少させることとを含むことができる。
【０１３６】
いくつかの実施形態において、処理ユニット５０８は、ユーザからの入力を受信する期待値を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、ユーザからの入力を受信する期待値がユーザからの入力の受信が期待されていたことを示すことに応答して尤度スコアを増加させることと、ユーザからの入力を受信する期待値がユーザからの入力の受信が期待されていなかったことを示すことに応答して尤度スコアを減少させることとを含むことができる。
【０１３７】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときに電子デバイスが保持されていたか否かを示す指標を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力が受信されたときに電子デバイスが保持されていたことを指標が示すことに応答して尤度スコアを増加させることと、第１のユーザ発話入力が受信されたときに電子デバイスが保持されていなかったことを指標が示すことに応答して尤度スコアを減少させることとを含むことができる。
【０１３８】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときの電子デバイスの動作状態を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、電子デバイスの動作状態が１組の所定の動作状態のうち１つであったことに応答して尤度スコアを増加させることと、電子デバイスの動作状態が１組の所定の動作状態のうち１つではなかったことに応答して尤度スコアを減少させることとを含むことができる。
【０１３９】
いくつかの実施形態において、処理ユニット５０８は、電子デバイスにより実行された以前のアクションを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、電子デバイスにより実行された以前のアクションが１組の所定のアクションのうち１つであることに応答して尤度スコアを増加させることと、電子デバイスにより実行された以前のアクションが１組の所定のアクションのうち１つではないことに応答して尤度スコアを減少させることとを含むことができる。
【０１４０】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときに電子デバイスによりコンテンツが表示されていたか否かを示す指標を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力が受信されたときに電子デバイスによりコンテンツが表示されていたことを示す指標に応答して尤度スコアを増加させることを含むことができる。
【０１４１】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と、第１のユーザ発話入力が受信されたときに電子デバイスにより表示されていたコンテンツとの間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値がコンテンツの意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値がコンテンツの意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１４２】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときのユーザの位置を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、ユーザの位置が所定の１組の位置のうち１つであることに応答して尤度スコアを増加させることと、ユーザの位置が所定の１組の位置の１つではないことに応答して尤度スコアを減少させることとを含むことができる。
【０１４３】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときにユーザにより実行されていたジェスチャーを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、ジェスチャーが所定の１組のジェスチャーのうち１つであることに応答して尤度スコアを増加させることと、ジェスチャーが所定の１組のジェスチャーのうち１つではないことに応答して尤度スコアを減少させることとを含むことができる。
【０１４４】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と電子デバイスの以前の出力との間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値が以前の出力の意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値が以前の出力の意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１４５】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力が受信されたときの電子デバイスの場所を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、場所が所定の１組の場所のうち１つであることに応答して尤度スコアを減少させることと、場所が所定の１組の場所のうち１つではないことに応答して尤度スコアを増加させることとを含むことができる。
【０１４６】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と、第１のユーザ発話入力が受信されたときに電子デバイスにより実行されていたアプリケーションとの間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値がアプリケーションの意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値がアプリケーションの意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１４７】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と以前の連絡との間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値が以前の連絡の意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値が以前の連絡の意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１４８】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と以前のＥメールとの間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値が以前のＥメールの意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値が以前のＥメールの意味の閾値より小さいことに応答して尤度スコアを減少させることとを含むことができる。
【０１４９】
いくつかの実施形態において、処理ユニット５０８は、第１のユーザ発話入力と以前のＳＭＳメッセージとの間の意味的関係を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、意味的関係の値が以前のＳＭＳメッセージの意味の閾値より大きいことに応答して尤度スコアを増加させることと、意味的関係の値が以前のＳＭＳメッセージの意味の閾値より小さいことに応答して尤度スコアを幻想させることとを含むことができる。
【０１５０】
いくつかの実施形態において、処理ユニット５０８は、電子デバイスの動きを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、動きが所定の１組の動きのうち１つであることに応答して尤度スコアを増加させることと、動きが所定の１組の動きのうち１つではないことに応答して尤度スコアを減少させることとを含むことができる。
【０１５１】
いくつかの実施形態において、処理ユニット５０８は、ユーザ設定を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、ユーザ設定が所定の１組のユーザ設定のうち１つであることに応答して尤度スコアを増加させることと、ユーザ設定が所定の１組のユーザ設定のうち１つではないことに応答して尤度スコアを減少させることとを含むことができる。
【０１５２】
いくつかの実施形態において、処理ユニット５０８は、電子デバイスにより感知された光の量を含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、光の量が光の閾値量より多いことに応答して尤度スコアを増加させることと、光の量が光の閾値量より少ないことに応答して尤度スコアを減少させることとを含むことができる。
【０１５３】
いくつかの実施形態において、処理ユニット５０８は、カレンダーデータを含む文脈情報に基づいて、仮想アシスタントが第１のユーザ発話入力に応答すべき尤度スコアを計算することにより、第１のユーザ発話入力に応答すべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。これらの実施形態において、尤度スコアを計算することは、第１のユーザ発話入力が受信された時刻にユーザが仕事中であったことを示すカレンダーデータに応答して尤度スコアを減少させることを含むことができる。
【０１５４】
処理ユニット５０８は、オーディオ入力中の第２のユーザ発話入力を識別するためにオーディオ入力を監視する（例えば、第２の監視ユニット５１８を使用して）ように更に構成可能である。処理ユニット５０８は、オーディオ入力中の第２のユーザ発話入力を識別した場合、第２のユーザ発話入力に関連する文脈情報に基づいて、第２のユーザ発話入力に対する応答が生成されるべきか否かを判定する（例えば、応答判定ユニット５１４を使用して）ように構成可能である。処理ユニット５０８は、応答が生成されるとの判定に応答して、第２のユーザ発話入力に対する応答を生成し（例えば、応答生成ユニット５１６を使用して）且つ第３のユーザ発話要求を求めて受信されたオーディオ入力を再び監視する（例えば、第３の監視ユニット５２０を使用して）ように構成可能である。処理ユニット５０８は、応答が生成されるべきではないと言う判定に基づいて、第２のユーザ発話入力に対する応答を生成せずに、第３のユーザ発話入力を求めて受信されたオーディオ入力を再び監視する（例えば、第３の監視ユニット５２０を使用して）ように構成可能である。
【０１５５】
以上説明したように、本発明の１つの態様は、ユーザの関心を引くと思われる魅力あるコンテンツ又は他の何らかのコンテンツのユーザへの配信を改善するために種々のデータ源から利用可能なデータを収集すること及び利用することである。本発明は、収集されるデータは、特定の個人を一意に識別するか、あるいは特定の個人と連絡するか又は居場所を特定するために使用可能である個人情報データを含む場合もあると考える。そのような個人情報データは、デモグラフィックデータ、場所依存データ、電話番号、Ｅメールアドレス、自宅の住所又は他の何らかの識別情報を含む可能性がある。
【０１５６】
本発明は、本発明の技術によれば、そのような個人情報をユーザの利益になるように使用できると認識する。例えば、ユーザがより興味を引かれるように絞り込んだコンテンツを配信するために個人情報データを利用できる。従って、個人情報データの利用によって、計画的に配信コンテンツを制御することが可能になる。更に、ユーザの利益になる他の個人情報データの利用方法も本発明により意図されている。
【０１５７】
本発明は、そのような個人情報データの収集、解析、開示、転送、記憶又は他の方法による利用の責任を負うエンティティが確立したプライバシーポリシー及び／又はプライバシー慣行に従うことを更に意図する。詳細には、そのようなエンティティは、個人情報データのプライバシー及び秘密を保護するための産業要件又は政府要件に適合するか又はそれを超えると一般に認識されているプライバシーポリシー及びプライバシー慣行を実現し且つ矛盾なく使用すべきである。例えば、ユーザからの個人情報は、エンティティが合法的且つ正当に利用するために収集されるべきであり、合法的利用の範囲外で共有又は販売されるべきではない。更に、データの収集は、ユーザのインフォームドコンセントを受け取った後に初めて実行されるべきである。また、エンティティは、そのような個人情報データの安全を保護し且つ個人情報データに対するアクセスを安全に保護すると共に、個人情報データにアクセスする他者がエンティティのプライバシーポリシー及びプライバシー手順を確実に厳守するように保証するために必要とされるあらゆる措置を講じるだろう。更に、広く受け入れられているプライバシーポリシー及びプライバシー慣行をエンティティが厳守していることを証明するために、エンティティは第三者による評価を受けることができる。
【０１５８】
以上の説明に関わらず、本発明は、ユーザが個人情報データの利用又はアクセスを選択的に阻止する実施例を更に意図する。すなわち、本発明は、個人情報データへのアクセスを防止又は阻止するためのハードウェア要素及び／又はソフトウェア要素を提供できると考える。例えば、広告配信サービスの場合、本発明は、サービスへの登録中に個人情報データの収集への参加にユーザが「オプトイン」すること又は「オプトアウト」することを選択できるように構成可能である。別の例では、ターゲットを絞り込んだコンテンツ配信サービスの場合、ユーザは場所情報を提供しないことを選択できる。更に別の例では、ユーザは厳密な場所情報を提供しないが、場所ゾーン情報の転送は許可することを選択できる。
【０１５９】
従って、本発明は、１つ以上の種々の開示された実施形態を実現するために広い範囲で個人情報データの利用に対応できるが、そのような個人情報データをアクセスする必要なく種々の実施形態が実現できると考える。すなわち、本発明の種々の実施形態は、個人情報データのすべて又は一部が欠落していても動作不能にはならない。例えば、ユーザに関連するデバイスにより要求されているコンテンツ、コンテンツ配信サービスで利用可能な他の非個人情報データ又は公開で利用可能な情報など、非個人情報データに基づいて又はごく最小限の量の個人情報に基づいて好みを推測することにより、コンテンツが選択され、ユーザに配信可能である。
【０１６０】
添付の図面を参照して実施形態を十分に説明したが、種々の変形及び変更は当業者には明らかだろうということに注意すべきである。そのような変形及び変更は、添付の特許請求の範囲により定義される種々の実施形態の範囲内に含まれると理解されるべきである。
【図１】
2018136568.tif 000003
【図２】
2018136568.tif 000004
【図３】
2018136568.tif 000005
【図４】
2018136568.tif 000006
【図５】
2018136568.tif 000007
【手続補正書】
【提出日】平成30年5月7日(2018.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子デバイスにおいて仮想アシスタントを動作させる方法であって、
前記電子デバイスでオーディオ入力を受信することと、
第１のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記オーディオ入力中の前記第１のユーザ発話入力を識別することと、
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することであって、前記文脈情報は、前記第１のユーザ発話入力が受信されたときのユーザの注視の方向を含む、ことと、
前記第１のユーザ発話入力に応答するとの判定に応じて、
前記第１のユーザ発話入力に対する応答を生成することと、
第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記第１のユーザ発話入力に応答しないという判定に応じて、前記第１のユーザ発話入力に対する応答を生成せずに、前記第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと
を備えることを特徴とする方法。
【請求項２】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、前記第１のユーザ発話入力の開始時の１つ以上の所定の語を識別せずに行われることを特徴とする請求項１記載の方法。
【請求項３】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、前記第１のユーザ発話入力を受信する前に受信された物理的ボタン入力又は仮想ボタン入力を識別せずに行われることを特徴とする請求項１記載の方法。
【請求項４】
前記第１のユーザ発話入力に対する前記応答を生成することは、
前記第１のユーザ発話入力に対して音声からテキストへの変換を実行することと、
前記第１のユーザ発話入力に基づいてユーザの意図を判定することと、
前記第１のユーザ発話入力に基づいて実行されるタスクを判定することと、
前記第１のユーザ発話入力に基づいて実行される前記タスクのパラメータを判定することと、
前記実行されるタスクを実行することと、
前記第１のユーザ発話入力に対するテキスト応答を表示することと、
前記第１のユーザ発話入力に対するオーディオ応答を出力することと
のうち１つ以上を含むことを特徴とする請求項１乃至３の何れか１項に記載の方法。
【請求項５】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、
前記第１のユーザ発話入力に関連する前記文脈情報に依存する１つ以上の条件付き規則を評価すること
を含むことを特徴とする請求項１乃至３の何れか１項に記載の方法。
【請求項６】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、
前記仮想アシスタントが前記第１のユーザ発話入力に関連する前記文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである尤度スコアを計算することと、
前記尤度スコアを閾値と比較することと
を含むことを特徴とする請求項１乃至３の何れか１項に記載の方法。
【請求項７】
前記文脈情報は、前記第１のユーザ発話入力の受信と以前のユーザ入力との間の経過時間を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである尤度スコアを計算することは、
前記経過時間の値が持続時間の閾値より大きいことに応じて前記尤度スコアを減少させることと、
前記経過時間の値が前記持続時間の閾値より小さいことに応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項８】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときのユーザと前記電子デバイスとの間の距離を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記距離が距離の閾値より長いことに応じて前記尤度スコアを減少させることと、
前記距離が前記距離の閾値より短いことに応じて前記尤度スコアを増加させることと
を含むことを特徴とする請求項６記載の方法。
【請求項９】
前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ユーザの注視の方向が前記電子デバイスを指していることに応じて前記尤度スコアを増加させることと、
前記ユーザの注視の方向が前記電子デバイスからそれていることに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１０】
前記文脈情報は、前記第１のユーザ発話入力が自動音声認識装置により認識されたか否かを示す指標を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力が前記自動音声認識装置により認識されたことを示す指標に応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力が前記自動音声認識装置により認識されなかったことを示す指標に応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１１】
前記文脈情報は、前記第１のユーザ発話入力と以前のユーザ発話入力との意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを判定することは、
前記意味的関係の値がユーザ発話入力の意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記ユーザ発話入力の意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１２】
前記文脈情報は前記第１のユーザ発話入力の長さを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記第１のユーザ発話入力の前記長さが長さの閾値より短いことに応じて前記尤度スコアを増加させることと、
前記第１のユーザ発話入力の前記長さが前記長さの閾値より長いことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１３】
前記文脈情報は、前記第１のユーザ発話入力の発話者のＩＤを含むことを特徴とする請求項６記載の方法。
【請求項１４】
前記文脈情報は、前記第１のユーザ発話入力が受信された時刻を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記時刻が所定の１組の時刻の中に含まれることに応じて前記尤度スコアを増加させることと、
前記時刻が前記所定の１組の時刻の中に含まれないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１５】
前記文脈情報は、前記第１のユーザ発話入力と、前記第１のユーザ発話入力が受信されたときに前記電子デバイスにより表示されていたコンテンツとの間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値がコンテンツ意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の前記値が前記コンテンツ意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１６】
前記文脈情報は、前記第１のユーザ発話入力が受信されたときに前記ユーザにより実行されていたジェスチャーを含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記ジェスチャーが所定の１組のジェスチャーのうち１つのジェスチャーであることに応じて前記尤度スコアを増加させることと、
前記ジェスチャーが前記所定の１組のジェスチャーのうち１つのジェスチャーではないことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１７】
前記文脈情報は、前記第１のユーザ発話入力と前記電子デバイスの以前の出力との間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前の出力の意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前の出力の意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１８】
前記文脈情報は、前記第１のユーザ発話入力と以前のＥメールとの間の意味的関係を含み、前記仮想アシスタントが文脈情報に基づいて前記第１のユーザ発話入力に応答すべきである前記尤度スコアを計算することは、
前記意味的関係の値が以前のＥメールの意味の閾値より大きいことに応じて前記尤度スコアを増加させることと、
前記意味的関係の値が前記以前のＥメールの意味の閾値より小さいことに応じて前記尤度スコアを減少させることと
を含むことを特徴とする請求項６記載の方法。
【請求項１９】
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することは、前記第１のユーザ発話入力が受信されたときの前記ユーザの注視の方向を判定することを含む、請求項１記載の方法。
【請求項２０】
１つ以上のプロセッサによる実行のためのプログラムであって、
オーディオ入力を受信することと、
第１のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記オーディオ入力中の前記第１のユーザ発話入力を識別することと、
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することであって、前記文脈情報は、前記第１のユーザ発話入力が受信されたときのユーザの注視の方向を含む、ことと、
前記第１のユーザ発話入力に応答するとの判定に応じて、
前記第１のユーザ発話入力に対する応答を生成することと、
第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記第１のユーザ発話入力に応答しないという判定に応じて、前記第１のユーザ発話入力に対する応答を生成せずに、前記第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと
のための命令を含むことを特徴とするプログラム。
【請求項２１】
仮想アシスタントを動作させるシステムであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと
を備え、前記１つ以上のプログラムは、前記メモリに格納され、前記１つ以上のプロセッサによって実行されるように構成され、前記１つ以上のプログラムは、
オーディオ入力を受信することと、
第１のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記オーディオ入力中の前記第１のユーザ発話入力を識別することと、
前記第１のユーザ発話入力に関連する文脈情報に基づいて前記第１のユーザ発話入力に応答するか否かを判定することであって、前記文脈情報は、前記第１のユーザ発話入力が受信されたときのユーザの注視の方向を含む、ことと、
前記第１のユーザ発話入力に応答するとの判定に応じて、
前記第１のユーザ発話入力に対する応答を生成することと、
第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと、
前記第１のユーザ発話入力に応答しないという判定に応じて、前記第１のユーザ発話入力に対する応答を生成せずに、前記第２のユーザ発話入力を識別するために前記オーディオ入力を監視することと
のための命令を含むことを特徴とするシステム。
【外国語明細書】
2018136568000001.pdf