(57)【特許請求の範囲】
【請求項１】
コンピュータプログラムコードを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムコードは、実行されると、
ソースから生じる第１の機器とのインタラクションを要求するユーザアクションを検出することと、
前記第１の機器の現在位置に対して、前記ソースが存在する方向を決定することと、
前記第１の機器の現在の状態に基づいて、前記ユーザアクションへの応答を決定することと、
パラボラ反射鏡を使用して、ほぼ前記ソースが存在する前記決定された方向に方向操作可能音波ビームとして前記決定された応答を出力することと
を含む操作を行う、非一時的コンピュータ可読媒体。
【請求項２】
前記応答は、可聴応答を含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項３】
前記操作は、
前記第１の機器の１つまたは複数のセンサ装置の操作によって、ユーザの凝視が前記第１の機器の前記方向にほぼ向けられていることを検出することをさらに含み、
前記ユーザの凝視が前記第１の機器の前記方向にほぼ向けられていることを検出することは、
前記ソースを含む１つまたは複数の画像を撮影することと、
前記撮影された１つまたは複数の画像を分析して、前記１つまたは複数の画像の内の１つの中の顔を識別することと、
前記１つまたは複数の画像内の前記識別された顔に基づいて、前記ユーザの凝視が前記第１の機器の前記方向にほぼ向けられているか否かを決定することと
を含む、請求項２に記載の非一時的コンピュータ可読媒体。
【請求項４】
前記応答は、１つまたは複数のフレームを含み、ほぼ前記ソースが存在する前記決定された方向に前記決定された応答を出力することは、
前記ソースの見える範囲内の物理的表面を決定することと、
前記第１の機器のプロジェクタ装置を使用して、前記物理的表面上に前記１つまたは複数のフレームを投射することと
をさらに含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項５】
前記ユーザアクションは、音声コマンドを含み、前記操作は、
前記音声コマンドを分析して、前記音声コマンドに対応するユーザ要求を決定することと、
前記ユーザ要求を処理して結果を生成することと
をさらに含み、
前記決定された応答は、前記生成された結果を少なくとも示すものを提供する、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項６】
前記ユーザ要求を処理して前記結果を生成することは、前記ユーザ要求に基づいて、実行可能なクエリを生成することをさらに含み、前記ユーザ要求を処理して前記結果を生成することは、前記実行可能なクエリを実行してクエリ結果を生成することをさらに含み、前記ユーザアクションへの前記応答を決定することは、前記クエリ結果の少なくとも一部に関連付けられたテキストに基づいて、テキスト音声シンセサイザを使用して行われる、請求項５に記載の非一時的コンピュータ可読媒体。
【請求項７】
コンピュータプログラムコードを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムコードは、実行されると、
トリガイベントを検出することであって、前記トリガイベントを検出することは、
音声トリガを検出することと、
第１の機器の方向へのユーザの凝視を検出することと
のうちの少なくとも１つを含む、ことと、
前記第１の機器の現在位置に対する、前記トリガイベントのソースの方向を決定することと、
パラボラ反射鏡を使用して、ほぼ前記トリガイベントの前記ソースが存在する前記決定された方向に方向操作可能音波ビームとして可聴応答を出力することによって、インタラクティブな音声対話を開始することと
を含む操作を行う、非一時的コンピュータ可読媒体。
【請求項８】
前記操作は、
前記第１の機器の１つまたは複数のセンサの操作によって、前記ユーザの凝視が前記第１の機器の前記方向に向けられていることを検出することをさらに含む、請求項７に記載の非一時的コンピュータ可読媒体。
【請求項９】
前記操作は、
前記音声トリガを分析して、前記音声トリガに対応するユーザ要求を決定することと、
前記ユーザ要求を処理して結果を生成することと
をさらに含み、
前記決定された可聴応答は、前記生成された結果を少なくとも示すものを提供する、請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１０】
前記ユーザ要求を処理して前記結果を生成することは、前記ユーザ要求に基づいて、実行可能なクエリを生成することをさらに含み、前記ユーザ要求を処理して前記結果を生成することは、前記実行可能なクエリを実行してクエリ結果を生成することをさらに含み、前記トリガイベントへの可聴応答を決定することは、前記クエリ結果の少なくとも一部に関連付けられたテキストに基づいて、テキスト音声シンセサイザを使用して行われる、請求項９に記載の非一時的コンピュータ可読媒体。
【請求項１１】
前記操作は、
前記第１の機器の１つまたは複数のセンサ装置を使用して、前記トリガイベントの前記ソースを表すものを含む１つまたは複数の画像を撮影することと、
前記撮影された１つまたは複数の画像の少なくとも一部を所定の画像と比較することに基づいて、前記トリガイベントの前記ソースを認証することと
をさらに含む、請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記操作は、
前記音声トリガと所定の音声録音との比較に基づいて、前記トリガイベントの前記ソースを認証することをさらに含む、請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１３】
コンピュータプロセッサと、
プログラムを含むメモリと
を備える装置であって、前記プログラムは、前記コンピュータプロセッサによって実行されると、
ソースから生じるユーザアクションを検出することと、
前記装置の現在位置に対して、前記ソースが存在する方向を決定することと、
前記ユーザアクションに対する応答を決定することと、
パラボラ反射鏡を使用して、ほぼ前記ソースが存在する前記決定された方向に方向操作可能音波ビームとして前記決定された応答を出力することと
を含む操作を行う、装置。
【請求項１４】
前記決定された応答は、ビーム形成スピーカアレイを介して出力される、請求項１３に記載の装置。
【請求項１５】
前記決定された応答は、１つまたは複数の作動した指向性スピーカ介して出力される、請求項１３に記載の装置。
【請求項１６】
前記操作は、
前記ユーザアクションの前記ソースに関連付けられた体に装着された音声出力装置との接続が利用可能であることを検出すると、前記体に装着された音声出力装置を使用して再生するために、前記接続を介して前記決定された応答を出力することをさらに含む、請求項１３に記載の装置。
【請求項１７】
前記装置の現在位置に対して、前記ソースが存在する前記方向を決定することは、
前記装置の１つまたは複数のセンサ装置を使用して、１つまたは複数の画像を撮影することと、
前記１つまたは複数の画像を処理して、前記１つまたは複数の画像のうちの前記１つまたは複数のセンサ装置の第１のセンサ装置を使用して撮影された第１の画像内の前記ソースを識別することと、
前記第１の画像内の前記ソースの前記位置と、前記装置上の第１のセンサ装置の既知の位置とに基づいて、前記ソースが存在する前記方向を決定することと
をさらに含む、請求項１３に記載の装置。
【請求項１８】
前記操作は、
前記ソースを含む１つまたは複数の画像を、前記第１の機器の１つまたは複数のセンサ装置を用いて撮影することと、
前記撮影された１つまたは複数の画像の少なくとも一部と、所定の画像の比較に基づいて、前記ソースを認証することと
をさらに含む、請求項１７に記載の装置。
【請求項１９】
前記撮影された１つまたは複数の画像の少なくとも一部と、前記ソースの所定の画像の比較に基づいて、前記ソースを認証することは、
前記撮影された１つまたは複数の画像の前記少なくとも一部と、前記ソースの前記所定の画像とに基づいて、前記ソースの顔認識分析を行うことをさらに含む、請求項１８に記載の装置。
【請求項２０】
前記撮影された１つまたは複数の画像の少なくとも一部と、前記ソースの所定の画像との比較に基づいて、前記ソースを認証することは、
前記撮影された１つまたは複数の画像の少なくとも一部と、前記ソースの前記所定の画像とに基づいて、前記ソースの網膜スキャン分析を行うことをさらに含む、請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１４年６月３日出願の米国特許出願第１４／２９４，３２８号の優先権を主張し、この関連出願の主題を参照により本明細書に組み込むものとする。
【０００２】
実施形態は、一般的に、機器のインタフェースに関し、より詳細には、機器のハンズフリー操作を可能にする指向性インタフェースを提供する技術に関する。
【背景技術】
【０００３】
今日、相互に接続された機器が、以前に増して普及しており、このような機器の人気は、急速に増し続けている。例えば、１人が、モバイル機器（例えば、スマートフォン）、テレビ、タブレットコンピュータデバイス、メディアプレーヤ、及び、車両ナビゲーションシステムを所持することもめずらしくない。他の機器と通信する能力及び論理を有する機器がより多く作られるにつれて、完全に統合された体験をユーザに提供する新しい可能性が開かれる。
【０００４】
従来、ユーザは、多くの入力機構を用いて、このような機器とインタラクトできる。これらの入力機構の実施例は、機器のボタン、キーボード、タッチスクリーンインタフェース、リモートコントロール等を含む。最近になって、例えば、ユーザが音声コマンドを発話して、そのコマンドを機器が実行する等、音声認識を通してユーザが機器と音声でコミュニケーションできる機器が作られた。このような機器は、機器に向かって発話するだけで、長いデータ列を入力する能力等、多くの便利さをユーザにもたらす。しかしながら、多くのこのような機器は、音声認識モードをトリガする従来の入力機構に依然、頼っている。例えば、機器を音声認識モードにするために、機器は、ユーザに機器の一定のボタンを押すことを要求する場合がある。従って、これらの機器は、真のハンズフリー体験を提供していない。  
【発明の概要】
【課題を解決するための手段】
【０００５】
一実施形態は、実行されて操作を行うコンピュータプログラムコードを含む非一時的コンピュータ可読媒体を提供する。操作は、ソース位置から生じる第１の機器とのインタラクションを要求するユーザアクションを検出することを含む。さらに、操作は、第１の機器の現在位置に対する、ソース位置の存在する方向を決定することを含む。操作は、また、第１の機器の現在の状態に基づいて、ユーザアクションへの応答を決定することを含む。さらに、操作は、ソース位置がある、ほぼ決定方向に決定された応答を出力することを含む。
【０００６】
別の実施形態は、実行されて操作を行うコンピュータプログラムコードを含む非一時的コンピュータ可読媒体を提供する。操作は、（ｉ）音声トリガの検出、（ｉｉ）第１の機器の方向のユーザの凝視の検出、の少なくとも１つを含むトリガイベントを検出することを含む。さらに、操作は、第１の機器の現在位置に対する、トリガイベントのソースの方向を決定することを含む。操作は、トリガイベントのソースが存在する、ほぼ決定方向に方向操作可能音波ビームとして可聴応答を出力することによって、インタラクティブな音声対話を開始することを、さらに含む。
【０００７】
さらに別の実施形態は、コンピュータプロセッサと、コンピュータプロセッサによって実行されて操作を行うプログラムを含むメモリとを含む装置を提供する。操作は、ソース位置から生じるユーザアクションを検出することを含む。さらに、操作は、装置の現在位置に対する、ソース位置が存在する方向を決定することを含む。操作は、ユーザアクションへの応答を決定することをさらに含む。操作は、ソース位置が存在する、ほぼ決定方向に決定した応答を出力することも含む。
本明細書は、例えば、以下の項目も提供する。
（項目１）
コンピュータプログラムコードを含む非一時的コンピュータ可読媒体であって、前記コンピュータプログラムコードは、実行されると、
ソースから生じる第１の機器とのインタラクションを要求するユーザアクションを検出することと、
前記第１の機器の現在位置に対して、前記ソースが存在する方向を決定することと、
前記第１の機器の現在の状態に基づいて、前記ユーザアクションへの応答を決定することと、
前記ソースが存在する、ほぼ前記決定方向に前記決定された応答を出力することと、
を含む操作を行う、
前記非一時的コンピュータ可読媒体。
（項目２）
前記応答は、可聴応答を含み、前記応答は、前記ソース位置が存在する前記決定方向に向けられた方向操作可能音波ビームとして出力される、項目１に記載の非一時的コンピュータ可読媒体。
（項目３）
前記操作は、
前記第１の機器の１つまたは複数のセンサ装置の操作によって、ユーザの凝視が、前記第１の機器の前記方向にほぼ向けられていることを、検出することをさらに含み、当該検出は、
前記ソースを含む１つまたは複数の画像を撮影することと、
前記撮影された１つまたは複数の画像を分析して、前記１つまたは複数の画像の内の１つの中の顔を識別することと、
前記１つまたは複数の画像内の前記識別された顔に基づいて、前記ユーザの凝視が前記第１の機器の前記方向にほぼ向けられているか否かを決定することと、
を含む、項目２に記載の非一時的コンピュータ可読媒体。
（項目４）
前記応答は、１つまたは複数のフレームを含み、前記ソースが存在する、ほぼ前記決定方向に前記決定された応答を出力することは、
前記ソースの見える範囲内の物理的表面を決定することと、
前記第１の機器のプロジェクタ装置を用いて、前記物理的表面上に前記１つまたは複数のフレームを投射することと、
をさらに含む、項目１に記載の非一時的コンピュータ可読媒体。
（項目５）
前記ユーザアクションは、音声コマンドを含み、前記操作は、
前記音声コマンドを分析して、前記音声コマンドに対応するユーザ要求を決定することと、
前記ユーザ要求を処理して結果を生成することと、をさらに含み、
前記決定された応答は、前記生成された結果を少なくとも示すものを提供する、
項目１に記載の非一時的コンピュータ可読媒体。
（項目６）
前記ユーザ要求を処理して前記結果を生成することは、前記ユーザ要求に基づいて、実行可能なクエリを生成することをさらに含み、前記ユーザ要求を処理して前記結果を生成することは、前記実行可能なクエリを実行してクエリ結果を生成することをさらに含み、前記ユーザアクションへの前記応答を決定することは、前記クエリ結果の少なくとも一部に関連付けられたテキストに基づいて、テキスト音声シンセサイザを用いて行われる、項目５に記載の非一時的コンピュータ可読媒体。
（項目７）
コンピュータプログラムコードを含む非一時的コンピュータ可読媒体であって、前記プログラムコードは、実行されると、
トリガイベントを検出することであって、
音声トリガを検出することと、
前記第１の機器の方向へのユーザの凝視を検出することと、
の少なくとも１つを含む前記トリガイベントを検出することと、
前記第１の機器の現在位置に対する、前記トリガイベントのソースの方向を決定することと、
前記トリガイベントの前記ソースが存在するほぼ前記決定方向に方向操作可能音波ビームとして可聴応答を出力することによって、インタラクティブな音声対話を開始することと、
を含む、操作を行う、前記非一時的コンピュータ可読媒体。
（項目８）
前記操作は、
前記第１の機器の１つまたは複数のセンサの操作によって、前記ユーザの凝視が、前記第１の機器の前記方向に向けられていることを検出することを、
さらに含む、項目７に記載の非一時的コンピュータ可読媒体。
（項目９）
前記操作は、
前記音声トリガを分析して、前記音声トリガに対応するユーザ要求を決定することと、
前記ユーザ要求を処理して結果を生成することと、
をさらに含み、
前記決定された可聴応答は、前記生成された結果を少なくとも示すものを提供する、
項目７に記載の非一時的コンピュータ可読媒体。
（項目１０）
前記ユーザ要求を処理して前記結果を生成することは、前記ユーザ要求に基づいて実行可能なクエリを生成することをさらに含み、前記ユーザ要求を処理して前記結果を生成することは、前記実行可能なクエリを実行してクエリ結果を生成することをさらに含み、前記ユーザアクションへの可聴応答を決定することは、前記クエリ結果の少なくとも一部に関連付けられたテキストに基づいて、テキスト音声シンセサイザを使用して行われる、項目９に記載の非一時的コンピュータ可読媒体。
（項目１１）
前記操作は、
前記第１の機器の１つまたは複数のセンサ装置を用いて、前記トリガイベントの前記ソースを表すものを含む１つまたは複数の画像を撮影することと、
前記撮影された１つまたは複数の画像の少なくとも一部を所定の画像と比較することに基づいて、前記トリガイベントの前記ソースを認証することと、
をさらに含む、項目７に記載の非一時的コンピュータ可読媒体。
（項目１２）
前記操作は、前記音声トリガと所定の音声録音との比較に基づいて、前記トリガイベントの前記ソースを認証することをさらに含む、
項目７に記載の非一時的コンピュータ可読媒体。
（項目１３）
コンピュータプロセッサと、
プログラムを含むメモリと、
を備える装置であって、前記プログラムは、前記コンピュータプロセッサによって実行されると、
ソースから生じるユーザアクションを検出することと、
前記装置の現在位置に対して、前記ソースが存在する方向を決定することと、
前記ユーザアクションに対する応答を決定することと、
前記ソースが存在するほぼ前記決定方向に前記決定された応答を出力することと、を含む操作を行う、
前記装置。
（項目１４）
前記１つまたは複数のスピーカは、ビーム形成スピーカアレイを含む、項目１３に記載の装置。
（項目１５）
前記１つまたは複数のスピーカは、１つまたは複数の作動した指向性スピーカを含む、項目１３に記載の装置。
（項目１６）
前記操作は、
前記トリガイベントの前記ソースに関連付けられた体に装着された音声出力装置との接続が利用可能であることを検出すると、前記接続を介した、前記体に装着された音声出力装置を用いて再生するために、前記決定された応答を出力することを
さらに含む、項目１３に記載の装置。
（項目１７）
前記装置の現在位置に対して、前記ソースが存在する前記方向を決定することは、
前記装置の１つまたは複数のセンサ装置を用いて、１つまたは複数の画像を撮影することと、
前記１つまたは複数の画像を処理して、前記１つまたは複数の画像のうちの前記１つまたは複数のセンサ装置の第１のセンサ装置を用いて撮影された第１の画像内の前記ソースを識別することと、
前記第１の画像内の前記ソースの前記位置と、前記装置上の第１のセンサ装置の既知の位置とに基づいて、前記ソースが存在する方向を決定することと、
をさらに含む、項目１３に記載の装置。
（項目１８）
前記操作は、
前記ソースを含む１つまたは複数の画像を、前記第１の機器の１つまたは複数のセンサ装置を用いて撮影することと、
前記撮影された１つまたは複数の画像の少なくとも１部と、所定の画像の比較に基づいて、前記ソースを認証することと、
をさらに含む、項目１７に記載の装置。
（項目１９）
前記撮影された１つまたは複数の画像の少なくとも一部と、前記第１のユーザの所定の画像の比較に基づいて、前記ソースを認証することは、
前記撮影された１つまたは複数の画像の前記少なくとも一部と、前記第１のユーザの前記所定の画像とに基づいて、前記第１のユーザの顔認識分析を行うことを、
さらに含む、項目１８に記載の装置。
（項目２０）
前記撮影された１つまたは複数の画像の少なくとも一部と、前記第１のユーザの所定の画像との比較に基づいて、前記第１のユーザを認証することは、前記撮影された１つまたは複数の画像の少なくとも一部と、前記第１のユーザの前記所定の画像とに基づいて、前記第１のユーザの網膜スキャン分析を行うことを
さらに含む、項目１８に記載の装置。
【図面の簡単な説明】
【０００８】
【図１】本明細書に記載の一実施形態に係る、指向性インタラクションコンポーネントを備えて構成されたハンズフリー機器を含むシステムを示すブロック図である。
【図２】本明細書に記載の一実施形態に係る、ユーザがハンズフリー機器とインタラクトしている物理的環境を示す。
【図３】本明細書に記載の一実施形態に係る、ハンズフリー機器で音声命令を処理する方法を示すフロー図である。
【図４】本明細書に記載の一実施形態に係る、クエリ処理コンポーネントにクエリを提出することによって、ハンズフリー機器で音声命令を処理する方法を示すフロー図である。
【図５】本明細書に記載の一実施形態に係る、指向性インタラクションコンポーネントを備えて構成されたハンズフリー機器を示すブロック図である。
【発明を実施するための形態】
【０００９】
今日、多くの機器が、音声認識技術を用いてユーザがコマンド及び他のデータを入力することを可能にしているが、これらの機器は、依然、別の入力機構によって機器を音声認識モードにする必要がある。例えば、モバイル機器は、ショートメッセージサービス（ＳＭＳ）によるメッセージの送信に使用するテキスト文字列をユーザが発話することを可能にし得るが、モバイル機器を音声認識モードにするために、ユーザは、まず、所定の時間、モバイル機器の特定のボタンをホールドする必要がある。別の実施例として、車両は、住所情報を明瞭に発話することによって、ユーザが住所情報を車両のナビゲーションシステムに入力できるようにする論理を含んでよい。しかしながら、ユーザは、まず、入力のために住所情報を発話する前に、車両のハンドル上のボタンを押して、メニューシステムをナビゲートする必要がある。従って、これらの従来の機器は、依然、ユーザが手動入力機構（例えば、機器のボタン）を使用して、機器を音声認識モードにする必要があるので、真のハンズフリー体験をユーザに提供していない。
【００１０】
従って、実施形態は、完全なハンズフリー体験を機器のユーザに与える技術を提供する。例えば、実施形態は、第１のユーザが行った第１の機器とのインタラクションを要求するユーザアクションを検出できる。一実施形態によると、ユーザアクションは、ユーザが発話した可聴コマンドであってよい。別の実施形態においては、ユーザアクションは、ユーザが機器を直視することであってよい。実施形態は、次に、機器の現在位置に対する、第１のユーザが存在する方向を決定してよい。従って、ユーザアクションが、ユーザが機器に対して可聴コマンドを発話することを含む場合、機器の論理は、可聴コマンドが生じた方向を決定するために、機器上の複数のマイクロホンの各々からの音声データを処理してよい。別の実施例として、ユーザアクションが、ユーザが機器を直視していることを表す場合、機器の論理は、機器の１つまたは複数のカメラから集められた画像を分析し、分析した画像と機器の様々なカメラの位置を特定する所定のデータとに基づいて、機器に対するユーザが存在する方向を決定してよい。
【００１１】
実施形態は、次に、第１の機器の現在の状態に基づいて、ユーザアクションに対する可聴応答を決定できる。例えば、機器の論理は、機器が現在、スリープ状態であることを決定し、ユーザが現在、機器の方向を見ていることを検出すると、論理は、適切な可聴応答が、「今日のご用件は？」とユーザに尋ねることであると決定してよい。決定した可聴応答は、ユーザアクションで特定された内容に基づいて決定することもできる。従って、例えば、ユーザアクションが、ユーザが発話した可聴コマンドを表す場合、機器の論理は、可聴コマンドを分析し、ユーザが、特定の情報を要求していると決定してよい。論理は、次に、特定の情報を読み出すように構成されたクエリを生成し、実行のためにクエリを送信し、対応するクエリ結果を受信し、受信したクエリ結果に基づいて可聴応答を生成してよい。例えば、論理が、ユーザアクションは２０１４年の感謝祭の日を要求していると決定すると、論理は、この情報を読み出して、「今年の感謝祭は１１月２７日です」と言う可聴応答を生成してよい。
【００１２】
実施形態は、次に、第１のユーザが存在する決定方向に方向操作可能音波ビームとして決定した可聴応答を出力できる。例えば、機器は、特定の方向に向けられた音波を送信するように構成できるビーム形成スピーカアレイまたは作動した（ａｃｔｕａｔｅｄ）指向性スピーカを備えて構成してよく、機器の論理は、ユーザアクションを受信した方向（すなわち、機器に対する、ユーザが存在する方向）に可聴応答を送信するように、これら音声出力機器を構成してよい。そうすることによって、ユーザまたはすぐ近くにいる他のユーザにのみ可聴応答が実質的に聞こえるようにできる。
【００１３】
図１は、本明細書の一実施形態に係る、指向性インタラクションコンポーネントを備えて構成されるハンズフリー機器を含むシステムを示すブロック図である。図に示すように、システム１００は、指向性インタラクションコンポーネント１２０を備えて構成されるハンズフリー機器１１０と、クエリ処理コンポーネント１４０を含むクラウドコンピューティング環境１３０とを含み、ハンズフリー機器１１０とクラウドコンピューティング環境１３０は、ネットワーク１２５を介して相互に接続されている。一般に、指向性インタラクションコンポーネント１２０は、（ａ）指向性インタラクションコンポーネント１２０が搭載されている機器に対して、一定の方向から生じるユーザアクションを検出し、次に、（ｂ）その方向に向けてユーザアクションに対する可聴応答を提供するように構成される。例えば、ユーザアクションの実施例は、（例えば、ハンズフリー機器１１０のマイクロホン装置（単数または複数）を用いて録音された音声データを分析することによって検出された）ユーザが発話した音声命令、及び、（例えば、ハンズフリー機器１１０のカメラ機器（単数または複数）を用いて撮影された画像を分析することによって検出された）ユーザがハンズフリー機器１１０の方向を見ていること、を含むが、それらに限定されない。
【００１４】
指向性インタラクションコンポーネント１２０が提供する可聴応答は、ユーザ要求に応じて異なり得る。例えば、ユーザが、音声命令で特定の質問（例えば、「２０１４年の感謝祭はいつ？」）をすると、指向性インタラクションコンポーネント１２０は、１つまたは複数のマイクロホン装置を用いてユーザの音声命令を検出してよく、これらのマイクロホン装置から集めたデータを（例えば、音声認識技術を用いて）分析して、ユーザの質問を決定してよい。指向性インタラクションコンポーネント１２０は、次に、その特定の質問に対する答えの決定を試みてよく、指向性インタラクションコンポーネント１２０は、この答えを応答として提示してよい。例えば、指向性インタラクションコンポーネント１２０は、音声命令が指定した特定の質問に対する答えを返すよう構成されたクエリを生成してよい。指向性インタラクションコンポーネント１２０は、生成したクエリをクエリ処理コンポーネント１４０に提出してよく、クエリ処理コンポーネント１４０は、クエリを実行して、クエリ結果を指向性インタラクションコンポーネント１２０に返してよい。
【００１５】
クエリ結果を受信すると、指向性インタラクションコンポーネント１２０は、可聴応答を生成してよく、この応答をユーザに提示してよい。例えば、指向性インタラクションコンポーネント１２０は、ユーザの音声命令への可聴応答（例えば、「２０１４年の感謝祭は１１月２７日です。」）を生成するために、テキストから音声への変換アルゴリズムをクエリ結果の一部に適用してよい。指向性インタラクションコンポーネント１２０は、次に、ハンズフリー機器の１つまたは複数の音声出力装置を用いて可聴応答を出力できる。
【００１６】
一実施形態においては、指向性インタラクションコンポーネント１２０は、例えば、超指向性スピーカ（単数または複数）を用いて、ハンズフリー機器１１０の位置に対するユーザの方向に向けられた方向操作可能音波ビームとして、可聴応答を出力するように構成される。例えば、指向性インタラクションコンポーネント１２０は、１つまたは複数のカメラ機器を用いてユーザの画像を撮影することによって、ユーザが存在する方向を決定してよく、（例えば、顔認識技術を用いて）撮影画像内のユーザを識別してよい。指向性インタラクションコンポーネント１２０は、次に、撮影された画像内のユーザの位置と、対応するカメラ機器の位置を特定する情報とに基づいて、ユーザが存在する方向を決定してよい。指向性インタラクションコンポーネント１２０は、次に、ユーザとユーザのすぐ近くにいる人のみが可聴応答が聞こえるように、ビーム形成スピーカアレイを用いて決定方向に可聴応答を出力してよい。指向性インタラクションコンポーネント１２０は、ハンズフリー機器１１０の位置に対して、ユーザが現在、存在する方向を連続的に追跡するように構成でき、その結果、ハンズフリー機器から投射される音波ビームが連続的にユーザの方向に投射される。
【００１７】
一実施形態においては、指向性インタラクションコンポーネント１２０は、様々なマイクロホン装置から集められた音声データを連続的にモニタすることによって、ユーザからの音声コマンドを連続的に聞くように構成される。特定の実施形態においては、指向性インタラクションコンポーネント１２０は、ユーザがハンズフリー機器１１０の方向を凝視していることを指向性インタラクションコンポーネント１２０が検出するまで、スリープ状態を維持するように構成される。例えば、指向性インタラクションコンポーネント１２０は、ハンズフリー機器１１０の１つまたは複数のカメラ機器によって撮影される画像をモニタしてよく、撮影された画像に対して顔認識分析を行って、ユーザがハンズフリー機器１１０を直視している時を決定してよい。ユーザが機器１１０を見ていることを検出すると、指向性インタラクションコンポーネント１２０は、次に、スリープ状態を出てよく、ユーザからの音声コマンドを積極的に聞き始めてよい。特定の実施形態においては、指向性インタラクションコンポーネント１２０は、特定の音声トリガ（例えば、特定のユーザの声で発話された単語または句）を求めて聞くように構成され、指向性インタラクションコンポーネント１２０は、その音声トリガが検出されるまで、スリープ状態を維持するように構成される。
【００１８】
さらに、指向性インタラクションコンポーネント１２０は、ユーザからの要求に応答する前に、ユーザの認証操作及び承認操作を行うように構成されてよい。例えば、指向性インタラクションコンポーネント１２０は、ハンズフリー機器１１０のマイクロホンから集められたデータの声紋分析を行って、その声が既知の十分に承認されたユーザと一致することを確認してよい。別の実施例として、指向性インタラクションコンポーネント１２０は、（例えば、ハンズフリー機器１１０の１つまたは複数のカメラ機器を使用して、網膜パターン等のユーザの顔特徴を少し離れて認識するセンサを使用して）、顔特徴認識分析を行って、ハンズフリー機器に対して発話しているユーザが既知の十分に承認されたユーザであることを確認してよい。
【００１９】
図２を参照して実施例を記載する。図２は、本明細書に記載の一実施形態に係る、ユーザがハンズフリー機器とインタラクトしている物理的環境を示す。図に示すように、環境２００は、第１のユーザ２１０及び第２のユーザ２４０を含み、第１のユーザ２１０は、指向性インタラクションコンポーネント１２０を備えて構成されたハンズフリー機器２２０とインタラクトしていることを示す。この実施例では、ハンズフリー機器２２０は、ユーザ２１０が機器２２０の方向を見るまで、スリープ状態（すなわち、機器２２０は、音声命令を積極的に聞こうとしておらず、処理していない）にあるように構成されると仮定する。
【００２０】
この実施例において、指向性インタラクションコンポーネント１２０は、ハンズフリー機器２２０のカメラ機器（単数または複数）を用いて、ユーザ２１０の画像（単数または複数）を連続的に撮影してよい。指向性インタラクションコンポーネント１２０は、次に、撮影された画像の顔認識分析を行って、画像内のユーザ２１０の顔を識別してよく、指向性インタラクションコンポーネント１２０は、次に、ユーザの目２５０が現在、ハンズフリー機器２２０の方向を見ているか否かを決定してよい。ユーザがハンズフリー機器２２０の方向を見ていることを指向性インタラクションコンポーネント１２０が検出するまで、このプロセスを繰り返してよく、検出した時点で、指向性インタラクションコンポーネント１２０を搭載したハンズフリー機器２２０は、スリープ状態を出てよい。一実施形態においては、指向性インタラクションコンポーネント１２０は、スリープ状態が中断されたことの確認を提供してよい（例えば、ハンズフリー機器２２０が目覚めて、音声コマンドを聞いていることを確認する可聴音を出力する）。
【００２１】
この実施例においては、ユーザの目２５０がハンズフリー機器２２０を（または、ハンズフリー機器２２０の方向を実質上）直視していることを指向性インタラクションコンポーネント１２０が検出し、スリープ状態を出たと仮定する。機器２２０がスリープ状態を出ると、ユーザ２１０は、音波２６０によって表される、ハンズフリー機器によって実行されるべき音声コマンドを発話する。別の実施例としては、指向性インタラクションコンポーネント１２０は、ユーザの視線がハンズフリー機器に当てられていることを検出するために、網膜反射を検出するように構成されてよい。さらに別の実施例としては、指向性インタラクションコンポーネント１２０は、ユーザと、ユーザがハンズフリー機器に視線を当てていることを検出するために、ハンズフリー機器上の１つまたは複数の熱センサを使用するように構成されてもよい。より一般的には、本明細書に記載の機能と矛盾しない、ユーザがハンズフリー機器の方向を見ている時を決定するのに適切な任意の技術を使用できる。
【００２２】
上記のように、指向性インタラクションコンポーネント１２０は、１つまたは複数のマイクロホン装置を用いて、音声コマンド２６０を検出でき、マイクロホン装置によって録音された音声データを処理して、ユーザが何を要求しているかを識別できる。指向性インタラクションコンポーネント１２０は、次に、ユーザ要求に対する応答を決定してよく、ハンズフリー機器２２０の位置に対するユーザ２１０の方向に決定した応答を出力してよい。
【００２３】
例えば、指向性インタラクションコンポーネント１２０は、ユーザの音声命令２６０は今週のこれからの天気予報情報を読み出す要求であると、決定してよい。指向性インタラクションコンポーネント１２０は、次に、天気予報情報を要求するクエリを生成してよく、このクエリをクエリ処理コンポーネント１４０に送信してよい。指向性インタラクションコンポーネント１２０は、クエリ結果を受信してよく、（例えば、クエリ結果の少なくとも一部を使用してテキストから音声への変換を行うことによって）音声命令への可聴応答を決定してよい。
【００２４】
さらに、指向性インタラクションコンポーネント１２０は、機器２２０の位置に対するユーザ２１０が存在する方向を決定してよい。一般に、本明細書に記載の機能と矛盾しない、機器２２０の位置に対するユーザ２１０の位置の決定に使用するのに適した任意の技術を使用できる。例えば、指向性インタラクションコンポーネント１２０は、複数のマイクロホン装置を使用して、ユーザ２１０の音声命令を録音してよく、マイクロホン装置のハンズフリー機器上の位置を特定する情報と共に、各録音において音声コマンドの音量に基づいて、機器２２０の位置に対する、ユーザ２１０の位置を推定してよい。
【００２５】
指向性インタラクションコンポーネント１２０は、ユーザが存在する方向を決定すると、音波２３０で示すように、超指向性スピーカを用いて決定方向に決定した可聴応答を出力できる。有利なことに、超指向性スピーカの使用によって、指向性インタラクションコンポーネント１２０は、方向操作可能音波ビームとして可聴応答を出力できるので、ユーザ２１０と、ユーザ２１０のすぐ近くにいる人のみが可聴応答を聞くことができる。従って、この実施例において、ユーザ２１０及びユーザ２４０が同じ部屋に座っていても、可聴応答２３０は、ユーザ２４０に聞こえなくてよい。そうすることによって、ハンズフリー機器２２０からの可聴応答の再生がユーザ２４０の邪魔をするのを避け、部屋全体に聞こえるような可聴応答を出力しないことによって、ユーザ２１０のプライバシーも守られる。
【００２６】
図３は、本明細書の一実施形態に係る、ハンズフリー機器で音声命令を処理する方法を示すフロー図である。図に示すように、方法３００は、ブロック３１０で開始する。ブロック３１０で、第１のハンズフリー機器の指向性インタラクションコンポーネント１２０が、ユーザからの音声命令を受信する。例えば、指向性インタラクションコンポーネント１２０は、ハンズフリー機器のマイクロホン装置が録音したデータを分析することによって、音声コマンドを検出できる。音声コマンドが、ハンズフリー機器の複数の異なるマイクロホン装置によって録音される場合には、指向性インタラクションコンポーネント１２０は、音声命令を検出するために、マイクロホン装置の１つが録音したデータを分析のために選択してよい。一実施形態においては、指向性インタラクションコンポーネント１２０は、音声命令検出に、各マイクロホン装置からのデータを分析するように構成される。
【００２７】
音声命令を受信すると、指向性インタラクションコンポーネント１２０は、第１の機器の現在位置に対して、ユーザが存在する方向を決定する（ブロック３１５）。例えば、指向性インタラクションコンポーネント１２０は、音声命令を受信した方向を決定してよく、ユーザが同じ方向にいると決定してよい。実施例として、指向性インタラクションコンポーネント１２０は、ハンズフリー機器の複数のマイクロホンの各々からのデータを分析してよく、ハンズフリー機器上の各マイクロホン装置の位置に関する情報と共に、このデータを使用して、音声命令の出所の方向を決定してよい。例えば、各マイクロホン装置に録音されたデータに関して、指向性インタラクションコンポーネント１２０は、対応する音声データの音声コマンドの音量が相対的に大きい場合、ユーザはそのマイクロホンが向けられている方向にいる可能性が高いと決定してよく、対応する音声データの音声コマンドの音が相対的に静かな場合、ユーザはそのマイクロホンが向けられている方向にいる可能性が低いと決定してよい。指向性インタラクションコンポーネント１２０は、第１の機器に対するユーザの位置を推定するために、各マイクロホン装置から取得された音声データを用いて、このプロセスを繰り返してよい。特に、このような実施形態は、全ての方向に大体、同じ感度を有する無指向性マイクロホンではなく、特定の方向に既知の感度を有する１つまたは複数のマイクロホンを用いて構成されてよい。そうすることによって、指向性インタラクションコンポーネント１２０が、マイクロホン装置の既知の感度を用いて、音声コマンドが生じた方向を決定するのを可能にする。
【００２８】
別の実施例として、指向性インタラクションコンポーネント１２０は、マイクロホンアレイに基づいて、音源位置特定技術を用いて、音声コマンドが生じた方向を決定してよい。このような実施形態においては、マイクロホンアレイは、マイクロホンアレイ内の個々のマイクロホンからの信号を処理することによって、受信音声コマンドの方向を感知してよい。しかしながら、より一般的には、本明細書に記載の機能と矛盾しない、音声コマンドが生じた方向を決定する任意の技術を使用できる。
【００２９】
さらに、指向性インタラクションコンポーネント１２０は、音声命令を処理して、音声命令によって特定されたユーザ要求を決定する（ブロック３２０）。例えば、指向性インタラクションコンポーネント１２０は、録音した音声命令の音声認識分析を行ってよく、音声認識分析に基づいてテキスト文字列を生成してよい。指向性インタラクションコンポーネント１２０は、次に、テキスト文字列を構文解析して、ユーザ要求を決定してよい。一般に、ユーザ要求は、ユーザがハンズフリー機器に与えることができる任意のコマンド、質問、または、他の指示文を表す。このようなユーザ要求の実施例は、特定のアクションを行うようにという明示の命令（例えば、特定のプレイリストの再生を開始する命令）及び特定の情報を要求する質問（例えば、明日の天気はどうですかという要求、ジョンは明日午後２時に空いているかどうかという質問等）を含むが、それらに限定されない。
【００３０】
指向性インタラクションコンポーネント１２０は、次に、音声命令に対する可聴応答を決定する（ブロック３２５）。一般的に、指向性インタラクションコンポーネント１２０が音声命令に対する適切な応答をどのように決定するかは、音声命令の内容に左右される。例えば、音声命令が、特定のプレイリストからの音楽の再生開始を指定した場合、指向性インタラクションコンポーネント１２０は、適切な可聴応答が要求の簡単な確認で、それに、要求された音楽の再生が続くことを決定してよい。別の実施例として、音声命令が、明日の天気予報はどうか決定することを指定した場合、指向性インタラクションコンポーネント１２０は、明日の天気予報を詳しく述べるクエリ結果を読み出すように構成されたクエリを生成してよく、クエリ結果の受信後、テキストから音声への変換をクエリ結果の少なくとも一部に適用することによって、可聴応答を生成してよい。
【００３１】
指向性インタラクションコンポーネント１２０は、次に、決定方向に可聴応答を出力し（ブロック３３０）、方法３００は終了する。例えば、指向性インタラクションコンポーネント１２０は、ハンズフリー機器に対してユーザが存在する方向に向けられた方向操作可能音波ビームとして、可聴応答を出力してよい。これを達成するために、指向性インタラクションコンポーネント１２０は、発せられた音波をユーザの方向に合わせるために、ハンズフリー機器上のビーム形成スピーカアレイ及び／または１つまたは複数の作動した指向性スピーカを用いてよい。すなわち、ハンズフリー機器上の指向性インタラクションコンポーネント１２０は、パラボラ反射鏡を使用して、ラウドスピーカからの音波をより指向性にしてよく、それによって、発せられた音波を（例えば、音声コマンドが生じた方向にむけて）方向操作可能音波ビームに集中させる。そうすることによって、指向性インタラクションコンポーネント１２０は、実質的にユーザとユーザのすぐ近くにいる人だけが可聴応答を聞くことができるように可聴応答を出力でき、ユーザが他人の邪魔をせずに、ハンズフリー機器をより容易及びより快適に使うことを可能にする。
【００３２】
図４は、本明細書の一実施形態に係る、クエリをクエリ処理コンポーネントに提出することによって、ハンズフリー機器で音声命令を処理する方法を示すフロー図である。図に示すように、方法４００は、ブロック４１０で開始する。ブロック４１０で、ユーザは、ハンズフリー機器で行われるアクションを要求する音声命令を発話する。指向性インタラクションコンポーネント１２０は、発話された音声命令を検出し（ブロック４１５）、決定のためにその音声命令を処理する（ブロック４２０）。例えば、指向性インタラクションコンポーネント１２０は、ハンズフリー機器上の複数のマイクロホン装置を用いて、発話された音声命令を検出してよく、指向性インタラクションコンポーネント１２０は、次に、マイクロホン装置によって録音された音声データを処理して、音声命令を解釈してよい。実施例として、指向性インタラクションコンポーネント１２０は、テキスト文字列を生成するために、録音された音声データの音声認識分析を行ってよく、指向性インタラクションコンポーネント１２０は、次に、発話された音声命令が何を要求しているかを決定するために、そのテキスト文字列を分析してよい。
【００３３】
この実施例において、ユーザが、明日の天気予報はどうかをハンズフリー機器に尋ねたと仮定する。音声命令を処理して、ユーザが明日の天気を尋ねたと決定すると、指向性インタラクションコンポーネント１２０は、音声命令に基づいてクエリを生成し、そのクエリを実行のために提出する（ブロック４２５）。この実施形態において、クエリは、クエリ処理コンポーネントによって受信され、クエリ処理コンポーネントは、クエリを処理して、クエリ結果を生成し（ブロック４３０）、次に、クエリ結果をハンズフリー機器（ブロック４３５）に返す。例えば、クエリ処理コンポーネントは、クエリを受信、処理できるクラウドコンピューティング環境で実行するウェブアプリケーションを表してよい。
【００３４】
一実施形態においては、クエリ処理コンポーネントは、ハンズフリー機器自体で実行する論理を表す。例えば、このような実施形態において、クエリ処理コンポーネントは、クエリ結果を生成するために、インターネット検索エンジンを用いて検索を実行し、次に、その検索結果（例えば、検索エンジンによって返された１つまたは複数のウェブページ）を処理することによってクエリを処理してよい。例えば、クエリ処理コンポーネントは、検索エンジンによって返されたウェブページ（単数または複数）から関連する天気情報を抽出するように構成されてよく、その天気情報をクエリ結果として返してよい。
【００３５】
指向性インタラクションコンポーネント１２０は、次に、クエリ結果を受信し、クエリ結果に基づいた応答を決定する（ブロック４４０）。例えば、この実施例において、指向性インタラクションコンポーネント１２０は、明日の天気予報の概要をユーザに提供する可聴応答を決定してよい。指向性インタラクションコンポーネント１２０は、また、ハンズフリー機器の現在位置に対して、ユーザが存在する方向を決定する（ブロック４４５）。例えば、指向性インタラクションコンポーネント１２０は、ユーザが音声命令を発話すると、ハンズフリー機器のマイクロホン装置に録音された音声データに基づいて、ユーザの位置を決定してよく、各マイクロホンの音声命令の音量と、各マイクロホンのハンズフリー機器上の位置を特定する情報とに基づいて、機器に対するユーザが存在する方向を推定してよい。別の実施例として、指向性インタラクションコンポーネント１２０は、ハンズフリー機器上の様々なカメラ機器を用いて画像を撮影してよく、指向性インタラクションコンポーネント１２０は、撮影された画像の少なくとも１つの中のユーザの顔を識別してよい。指向性インタラクションコンポーネント１２０は、次に、画像（単数または複数）内のユーザの顔の位置と、様々なカメラ機器の各位置を特定する情報とに基づいて、ユーザの方向を決定してよい。もちろん、このような実施例は、例示のためのみであり、制限のためではない。より一般的には、本明細書に記載の機能に矛盾しない、ハンズフリー機器の位置に対するユーザが存在する方向を決定する任意の技術を使用できる。
【００３６】
方向が決定されると、指向性インタラクションコンポーネント１２０は、決定方向に投射される応答を出力し（ブロック４５０）、方法４００に示した繰り返しを終える。もちろん、方法４００の任意の数の繰り返しは実行されてよく、または、例えば、指向性インタラクションコンポーネント１２０がユーザからさらなる音声命令を検出すると、プロセスは継続してよいことを理解できるであろう。
【００３７】
上記のように、指向性インタラクションコンポーネント１２０は、決定方向に向けられた方向操作可能音波ビームとして応答を出力するために、ハンズフリー機器の１つまたは複数の音声出力装置を使用してよい。このような音声出力装置の実施例は、ハンズフリー機器内の、ビーム形成スピーカアレイと、１つまたは複数の作動した指向性スピーカを含む。さらに、指向性インタラクションコンポーネント１２０は、ハンズフリー機器とは別個のハードウェアコンポーネントに搭載された、及び／または、ユーザの体に装着された指向性スピーカ（例えば、装着式指向性スピーカ（単数または複数））を用いて、決定された応答を出力できることを企図している。
【００３８】
さらに、決定方向に可聴応答を投射する以外に、指向性インタラクションコンポーネント１２０は、可聴応答に加えて、または、可聴応答の代わりに、他の指向性出力を提供するように構成できる。例えば、指向性インタラクションコンポーネント１２０は、例えば、視覚コンテンツ（例えば、テキスト、画像、動画等）の投射に用い得る方向操作可能なマイクロプロジェクタを用いてユーザに見えるように、ユーザの要求に対する視覚応答を提供するように構成してよい。ここで、指向性インタラクションコンポーネント１２０は、ハンズフリー機器に対してユーザが存在する決定方向に基づいて、投射を方向付ける。一実施形態においては、指向性インタラクションコンポーネント１２０は、ユーザが存在する方向に基づいて、さらに、近接する物理的環境の利用可能な複数の表面に基づいて、視覚コンテンツを投射する位置を決定するように構成される。ここで、指向性インタラクションコンポーネント１２０は、投射に適し、かつ、ユーザの視野内にあると決定された複数の表面の１つを選択するように構成される。
【００３９】
一実施形態においては、指向性インタラクションコンポーネント１２０は、ユーザが、小型イヤホン、ヘッドセット、ヘッドホン、インイヤモニタ、インイヤ補聴器、インイヤオーディオエンハンサ等のインイヤまたはオンイヤの音声装置を装着していることを検出できる。このような実施形態においては、方向操作可能な音波としてユーザの方向に応答を投射するのではなく、指向性インタラクションコンポーネント１２０は、ユーザのヘッドセットに応答音声を送信してよい。そうすることによって、指向性インタラクションコンポーネント１２０は、ユーザが投射された音声応答を確実に聞くことを支援し、また、ユーザの近くにいる他の人が可聴応答を聞く可能性を低減する。従って、指向性インタラクションコンポーネント１２０は、システムのセキュリティを向上させながら（例えば、ユーザが他の人に可聴応答を聞かれたくない場合）、決定された応答の出力でユーザの近くにいる他の人々の邪魔をするのを避けることができる  
【００４０】
図５は、本明細書に記載の一実施形態に係る、指向性インタラクションコンポーネントを備えて構成されたハンズフリー機器を示すブロック図である。この実施例において、ハンズフリー機器５００は、プロセッサ５０５、メモリ５１０、Ｉ／Ｏ装置５２０、ネットワークインタフェース５２５、及び、タッチセンサディスプレイ装置５３０を備えるが、それらに限定されない。一般的に、プロセッサ５０５は、メモリ５１０に記憶されたプログラミング命令を読み出し、実行する。プロセッサ５０５は、１つのＣＰＵ、複数のＣＰＵ、複数の処理コアを有する１つのＣＰＵ、複数の実行パスを有するＧＰＵ等を代表して含まれている。メモリ５１０は、一般に、ランダムアクセスメモリを代表して含まれている。ネットワークインタフェース５２５によって、ハンズフリー機器５００は、データ通信ネットワーク（例えば、有線Ｅｔｈｅｒｎｅｔ（登録商標）接続または８０２．１１無線ネットワーク）に接続できる。機器５００は、他の機器との通信に使用されるＢｌｕｅｔｏｏｔｈ（登録商標）送受信モジュールをさらに備えてよい。さらに、図示の実施形態は、ハンズフリー機器５００のコンポーネントを示すが、実施形態は様々な異なるハードウェアアーキテクチャを使用してよいことを、当業者は認識されよう。さらに、実施形態は本明細書に記載の機能を行うことができる任意の機器またはコンピュータシステムを用いて実施されてよいことを、明確に企図している。
【００４１】
メモリ５１０は、必要なプログラム及びデータ構造を保持するのに十分な大きさの任意のメモリを表す。メモリ５１０は、ランダムアクセスメモリ、不揮発性またはバックアップメモリ（例えば、プログラマブルまたはフラッシュメモリ、リードオンリメモリ等）を含む１つのメモリ装置またはメモリ装置の組み合わせであってよい。さらに、メモリ５１０は、物理的に他の場所、例えば、ハンズフリー機器５００に通信可能に接続された別のコンピュータまたは機器上、にあるメモリを含むと考えてよい。例として、メモリ５１０は、オペレーティングシステム５１５と指向性インタラクションコンポーネント１２０を備える。オペレーティングシステム５１５は、一般に、機器５００上のアプリケーションプログラムの実行を制御する。オペレーティングシステム５１５の実施例は、ＵＮＩＸ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムのバージョン、Ｌｉｎｕｘ（登録商標）オペレーティングシステム・ディストリビューションを含む。オペレーティングシステム５１５の追加の実施例は、任天堂ＤＳ（登録商標）やソニーＰＳＰ（登録商標）等のシステムのカスタムオペレーティングシステムを含むゲームコンソールのカスタムオペレーティングシステム、及び、アップルｉＯＳ（登録商標）等のモバイル機器用に構成されたオペレーティングシステムを含む。
【００４２】
Ｉ／Ｏ装置５２０は、ディスプレイ、キーボード、タッチスクリーン等を含む、広範な入力及び出力装置を表す。例えば、Ｉ／Ｏ装置５２０は、機器５００を制御するためのボタン、スイッチ、または、他の物理的装置機構のセットを備えてよい。例えば、Ｉ／Ｏ装置５２０は、機器５００を用いてプレイされているビデオゲームの局面の制御に使用される方向ボタンのセットを備えてよい。本開示の文脈では、Ｉ／Ｏ装置５２０は、方向操作可能な音波を投射するように構成された少なくとも１つの音声出力装置を含み得る。このようなＩ／Ｏ装置５２０の実施例は、ビーム形成スピーカアレイと、作動した指向性スピーカとを含む。しかしながら、より一般的には、指向性音波を投射できる、本開示に矛盾しない任意の装置を使用できる。さらに、上記のように、いくつかの実施形態は、音声投射に加えて、または、音声投射の代わりに、視覚コンテンツを投射してよい。例えば、このような実施形態は、視覚コンテンツを物理的環境に投射できる方向操作可能なマイクロプロジェクタを備えて構成されてよい。しかしながら、より一般的には、視覚コンテンツを投射できる任意の装置を使用できる。さらに、Ｉ／Ｏ装置５２０は、ユーザアクションの検出に使用でき、かつ、機器５００に対するユーザが存在する方向を決定するカメラ機器（単数または複数）及びマイクロホン（単数または複数）を含み得る。タッチセンサディスプレイ５３０は、機器５００のグラフィカルユーザインタフェース（例えば、オペレーティングシステム５１５が生成したインタフェース）を出力するために使用でき、機器５００のユーザが行ったジェスチャの検出にも使用できる。
【００４３】
上記のように、指向性インタラクションコンポーネント１２０は、第１のユーザによって行われたアクションを検出するように構成できる。このようなアクションの実施例は、例えば、ユーザが発話した可聴句と、機器５００の方向をユーザが凝視することを含み得る。指向性インタラクションコンポーネント１２０は、機器の現在位置に対する第１のユーザが存在する方向を決定してよい。例えば、指向性インタラクションコンポーネント１２０は、Ｉ／Ｏ装置５２０（例えば、カメラ、マイクロホン等）を、このようなＩ／Ｏ装置５２０のハンズフリー機器上の物理的位置を特定する情報と組み合わせて使用し、ユーザアクションが受信された方向を決定してよい。指向性インタラクションコンポーネント１２０は、ユーザアクションへの可聴応答も決定できる。例えば、指向性インタラクションコンポーネント１２０は、ユーザが発話した可聴句が明日の天気はどうかを尋ねる要求であることを決定してよく、指向性インタラクションコンポーネント１２０は、明日の日付に関連付けられた天気情報を読み出すクエリを発行してよく、（例えば、テキスト音声シンセサイザを用いて）可聴応答を生成して、この天気情報をユーザに提示してよい。指向性インタラクションコンポーネント１２０は、次に、第１のユーザが存在する決定方向に方向操作可能音波ビームとして、Ｉ／Ｏ装置５２０を用いて決定した可聴応答を出力してよい。そうすることによって、機器５００のユーザに真のハンズフリー体験を提供する。
【００４４】
上記では、発明の実施形態に言及した。しかしながら、本開示は、具体的な記載の実施形態に限定されないことは理解されたい。代わりに、異なる実施形態に関連してもしなくても、上記特徴及び要素の任意の組み合わせは、発明を実施及び実践すると考えられる。さらに、発明の実施形態は、他の可能な解決法を超える、及び／または、先行技術を超える、利点を達成し得るが、所与の実施形態が特定の利点を達成するか否かは、本開示を限定するものではない。従って、上記態様、特徴、実施形態、及び、利点は、単に例示的なものであり、請求項に明示的に記載されない限り、添付の請求項の要素とも制限ともみなされない。同様に、「発明」への言及は、本明細書に開示された発明の主題のいずれをも一般化するものとして解釈してはならず、請求項に明示的に記載されない限り、添付の請求項の要素または制限とはみなされない。
【００４５】
当業者は理解されるように、本明細書に記載の態様は、システム、方法、または、コンピュータプログラム製品として具体化されてよい。従って、本明細書に記載の態様は、全てハードウェアの実施形態、全てソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、または、ここでは、全てを一般的に、「回路」、「モジュール」、または、「システム」と称してもよいソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとってよい。さらに、本明細書に記載の態様は、その上に具体化されたコンピュータ可読プログラムコードを有する１つまたは複数のコンピュータ可読媒体で具体化されたコンピュータプログラム製品の形をとってよい。
【００４６】
１つまたは複数のコンピュータ可読媒体の任意の組み合わせを利用してよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは、半導体のシステム、機器、もしくは、装置、または、前述のものの任意の適切な組み合わせであってよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な実施例（包括的でないリスト）は、１つまたは複数の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、または、前述のもの任意の適切な組み合わせを含む。本明細書の文脈では、コンピュータ可読記憶媒体は、命令を実行するシステム、機器、または、装置によって使用される、または、命令を実行するシステム、機器、または、装置に関連したプログラムを含む、または、記憶することができる任意の有形媒体であってよい。
【００４７】
コンピュータ可読信号媒体は、例えば、ベースバンドで、または、搬送波の一部として、具体化されたコンピュータ可読プログラムコードを有する伝播されたデータ信号を含んでよい。このような伝播信号は、電磁気、光学、または、それらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形のいずれかをとってよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令を実行するシステム、機器、または、装置によって使用される、または、命令を実行するシステム、機器、または、装置に関連したプログラムを通信、伝播、または、送信できる任意のコンピュータ可読媒体であってよい。
【００４８】
コンピュータ可読媒体上で具体化されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、または、前述のものの任意の適切な組み合わせを含むが、それらに限らない、任意の適切な媒体を用いて送信されてよい。
【００４９】
本発明の態様の操作を行うコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語、及び、「Ｃ」プログラミング言語もしくは類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書かれてよい。プログラムコードは、ユーザのコンピュータで全て、ユーザのコンピュータで一部、スタンドアロンソフトウェアパッケージとして、実行してよく、ユーザのコンピュータで一部とリモートコンピュータで一部実行してもよく、または、リモートコンピュータもしくはサーバで全て実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通して、ユーザのコンピュータに接続されてよく、または、（例えば、インターネットサービスプロバイダを用いてインターネットを通して）外部のコンピュータに接続されてよい。
【００５０】
本発明の態様は、発明の実施形態に係る、方法、装置（システム）、及び、コンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して上述した。フローチャート図及び／またはブロック図の各ブロック、及び、フローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることは理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特定用途コンピュータ、または、他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータもしくは他のプログラマブルデータ処理装置のプロセッサを介して命令を実行すると、フローチャート及び／またはブロック図のブロック（単数または複数）で特定された機能／行為を実施する手段を作成するように、マシンを生成してよい。
【００５１】
コンピュータ、他のプログラマブルデータ処理装置、または、他の装置に特定の方法で機能するように指示するこれらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶されてもよく、コンピュータ可読媒体に記憶された命令は、フローチャート、及び／または、ブロック図のブロック（単数または複数）に特定された機能／行為を実施する命令を含む製造品を生成する。
【００５２】
コンピュータプログラム命令は、また、コンピュータ、他のプログラマブルデータ処理装置、もしくは、他の機器にロードされて、一連の操作のステップを、コンピュータ、他のプログラマブル装置、もしくは、他の機器で実行させて、コンピュータ実施プロセスを生成し、コンピュータもしくは他のプログラマブル装置上で実行する命令が、フローチャート及び／またはブロック図のブロック（単数または複数）で特定された機能／行為を実施するプロセスを提供する。
【００５３】
発明の実施形態は、クラウドコンピューティングインフラストラクチャを通して、エンドユーザに提供されてよい。クラウドコンピューティングは、一般的に、ネットワークを介したサービスとしてスケーラブルなコンピューティングリソースの供給を指す。より正式には、クラウドコンピューティングは、コンピューティングリソースと、その根底にある技術的アーキテクチャ（例えば、サーバ、記憶装置、ネットワーク）との間の抽象化を提供するコンピューティング能力として定義されてよく、構成可能なコンピューティングリソースの共有のプールへの便利な、オンデマンドネットワークアクセスを可能にし、当該リソースの共有のプールは、最小限の管理努力またはサービスプロバイダのインタラクションで素早く供給でき、リリースできる。従って、クラウドコンピューティングによって、ユーザは、コンピューティングリソースの提供に使用されている根底にある物理的システム（または、これらのシステムの位置）を考慮せずに、「クラウド」内の仮想コンピューティングリソースに（例えば、記憶装置、データ、アプリケーション、及び、完全な仮想コンピューティングシステムにさえ）アクセスできる。
【００５４】
典型的に、クラウドコンピューティングリソースは、ペイパーユースベースでユーザに提供され、ユーザは、実際に使用したコンピューティングリソース（例えば、ユーザが消費した記憶スペースの量、または、ユーザがインスタンスを作成した仮想システムの数）に対してのみ課金される。ユーザは、クラウドにある任意のリソースに、インターネットを介して、いつでも、どこからでもアクセスできる。本発明の文脈では、指向性インタラクションコンポーネント１２０は、ユーザが発話した音声コマンドに基づいてクエリを生成してよく、クラウドコンピューティング環境で実行しているクエリ処理コンポーネントに生成したクエリを提出してよい。指向性インタラクションコンポーネント１２０は、次に、クエリ処理コンポーネントからクエリ結果を受信してよく、クエリ結果の少なくとも一部に基づいて、ユーザに出力する可聴応答を生成してよい。そうすることによって、ユーザは、真にハンズフリーに、クラウド（例えば、インターネット）に接続されたネットワークにつながれた任意のコンピュータ装置からクエリを提出できる。
【００５５】
図面のフローチャート及びブロック図は、本発明の様々な実施形態に係る、システム、方法、及び、コンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、及び、操作を示す。この点で、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または、コードの一部を表してよく、それらは、特定の論理機能（単数または複数）を実施する１つまたは複数の実行可能命令を含む。代替実施態様においては、ブロックで記された機能は、図に記された順番とは異なる場合もあることにも留意されたい。例えば、続けて示された２つのブロックは、実際は、ほぼ同時に実行されてよく、または、ブロックは、関連する機能に応じて、時には、逆の順で、もしくは順不同で実行されてよい。ブロック図及び／またはフローチャート図の各ブロック、及び、ブロック図及び／またはフローチャート図の各ブロックの組み合わせは、特定の機能もしくは行為を行う特定用途のハードウェアベースのシステム、または、特定用途のハードウェア及びコンピュータ命令の組み合わせによって、実施されてよいことにも留意されたい。
【００５６】
上記記載は、本発明の実施形態に関するが、発明の他の及びさらなる実施形態は、発明の基本的な範囲を逸脱せずに考案されてよく、発明の範囲は、続く請求項によって規定される。
【図１】
0006585081.tif 000002
【図２】
0006585081.tif 000003
【図３】
0006585081.tif 000004
【図４】
0006585081.tif 000005
【図５】
0006585081.tif 000006