(57)【要約】      （修正有）【課題】ユーザが第１のイベントの意図を確認するために、ユーザからの第１のイベントに対応するコマンドを実行する前に、第２のイベントを提供するヒューマン・マシン・インタフェースの曖昧さを解消する方法および装置を提供する【解決手段】装置は、装置を含む複数のデバイスに関連してユーザによって実行される第１のイベントを検出する検出部Ｓ３０１と、検出部によって検出された第１のイベントに従って第２のイベントを生成する制御部Ｓ３０２と、第２のイベントをユーザに再生する出力部Ｓ３０３と、を含む。制御部はその検出部によって検出された第２のイベントに対するユーザの応答の相関的要素として、装置上で第１のイベントを実行するためのコマンドを生成するＳ３０４。【選択図】図３
2016009495.tif 000002
【特許請求の範囲】
【請求項１】
装置（１）であって、
前記装置を含む複数のデバイスに関連してユーザによって実行される第１のイベントを検出する検出部（２０１）と、
前記検出部（２０１）によって検出された前記第１のイベントに従って第２のイベントを生成する制御部（２０２）と、
前記第２のイベントを前記ユーザに再生する出力部（２０３）と、
を備え、
前記制御部（２０２）は、前記検出部（２０１）によって検出された前記第２のイベントに対する前記ユーザの応答の相関的要素として、前記装置上で前記第１のイベントを実行するためのコマンドを生成する、前記装置。
【請求項２】
前記検出部（２０１）は、ジェスチャおよび／または音声の形態の前記第１のイベントを検出する、請求項１に記載の装置（１）。
【請求項３】
前記第１のイベントは、前記装置と前記ユーザとの間のインタラクティブなセッションを開始するためのトリガ・イベントである、請求項１に記載の装置（１）。
【請求項４】
前記第２のイベントは、前記ユーザがインタラクティブなセッションを開始する意図を確認するための確認イベントである、請求項３に記載の装置（１）。
【請求項５】
前記確認イベントは、ユーザが口頭で繰り返して言うためのテキスト・メッセージを含む、請求項４に記載の装置（１）。
【請求項６】
前記確認イベントは、前記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む、請求項４に記載の装置（１）。
【請求項７】
前記制御部（２０２）は、第１のイベントを実行するのに必要なコンポーネントおよび関連するデバイスにコマンドを送信する、請求項１に記載の装置（１）。
【請求項８】
前記出力部（２０３）は、前記第２のイベントの形態によって決定される手法で前記ユーザに対して前記第２のイベントを再生する、請求項１に記載の装置（１）。
【請求項９】
ユーザによって装置を制御する方法であって、
前記装置のレベルで、
前記装置を含む複数のデバイスに関連して前記ユーザによって実行される第１のイベントを受信するステップ（Ｓ３０１）と、
前記トリガ・イベントの相関的要素として、第２のイベントを生成するステップ（Ｓ３０２）と、
前記第２のイベントを前記ユーザに再生するステップ（Ｓ３０３）と、
前記第２のイベントに対する前記ユーザの応答の相関的要素として、前記複数のデバイスのうち、他のデバイスの代わりに、前記装置上で前記第１のイベントに対応するコマンドを実行するステップ（Ｓ３０４）と、
を含む、前記方法。
【請求項１０】
前記第１のイベントは、ジェスチャおよび／または音声の形態である、請求項９に記載の方法。
【請求項１１】
前記第２のイベントは、前記ユーザが口頭で繰り返して言うためのテキスト・メッセージを含む、請求項９に記載の方法。
【請求項１２】
前記第２のイベントは、前記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む、請求項９に記載の方法。
【請求項１３】
請求項９〜１２の少なくともいずれか１項に記載の方法のステップを実施するためのプロセッサによって実行されるプログラム・コード・インストラクションを含む、コンピュータ・プログラム。
【請求項１４】
請求項９〜１２の少なくともいずれか１項に記載の方法のステップを実施するためのプロセッサによって実行されるプログラム・コード・インストラクションを含む、非一時的なコンピュータ読み取り可能な媒体に記憶されたコンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、一般的には、ヒューマン・マシン・インタフェース（ＨＭＩ）に関する。特に、本開示内容は、装置およびユーザによってこの装置を制御する方法に関する。
【背景技術】
【０００２】
この項は、読者に対し、以下に説明し、および／または、請求項に記載する本開示内容の様々な態様に関連すると考えられる様々な技術態様を読者に紹介することを意図している。この説明が本開示内容の様々な態様をより良好に理解しやすいようにするための背景情報を読者に提供するのに役立つものと確信する。したがって、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。
【０００３】
ヒューマン・マシン・インタフェース（ＨＭＩ）の分野においては、近年、ジェスチャ認識処理および／または音声認識処理に基づくシステムは、家庭用コンソールを用いたビデオ・ゲーム用途、スマート・フォン上でのナビゲーション・サービスのそれぞれで何らかの良好な使用ができることが示されている。例えば、新しいＭｉｃｒｏｓｏｆｔ（登録商標）社のコンソールであるＸＢＯＸＯｎｅ（登録商標）は、完全に電源がオフになることは決してなく、（「Ｘｂｏｘ（登録商標）オン」のセンテンスによる）単なる口頭の電源オン・コマンドを通じて行われる起動を待機する。
【０００４】
上述したトレンドに引き続いて、人々は、近い将来に、同一の場所（住居、公共の交通機関など）にある多くのデバイスが音声センサまたは撮像センサを通じてスピーチまたはジェスチャからのコマンドを受け取れるようになることを容易に想像できるであろう。例えば、住居では、同じタイプの製品を複数所有して、このような製品の機能を近い場所で動作させることが日常的となる場合がある。ここで再びＸＢＯＸ  Ｏｎｅを例にとってみると、選択肢として、２つの同様のコンソールを近い場所に設置することが考えられる。
【０００５】
部屋にいるユーザと（例えば、同一の部屋にある）ユーザのデバイスのうちの１つとの間の通常の音声／映像のインタラクティブなシーケンスの場合では、以下の機能またはシナリオが必要となることがある、または考慮されることがある。
【０００６】
（１）ユーザは、音声またはジェスチャによって近くにあるデバイスのうちの１つとのインタラクションを望む。
【０００７】
（２）ユーザは、（例えば、デバイスのセットアップ・メニュー呼び出し、メディア選択などの）インタラクションを開始するように期待したデバイスに対するコマンド（スピーチまたはジェスチャ）を実行する。
【０００８】
（３）ユーザからのトリガ・コマンドによって、曖昧さ解消動作を行うことなく、複数のデバイスとのインタラクションが開始して、コンフリクトおよび所望しない状況が発生することがある（例えば、同一のスピーチ・コマンドを捉えることによって、近い場所にある２つのＸＢＯＸ  Ｏｎｅの電源がオンになることがある）。
【０００９】
インタラクションのためのトリガ・イベント、すなわち、特定のジェスチャまたは特定の音声のコマンドの検出が、意図せず、デバイスの使用状況から外れて行われることがある。しかしながら、このようなインタラクティブなセッションは、所望されていなければ、現実に開始されるようなことがないようにすべきである。ここで、何らかの二重チェック処理を行うことが期待される。
【００１０】
要約すると、ジェスチャ認識および／または音声認識に基づくヒューマン・マシン・インタラクションにおいては、時折、限られたエリアで制御される複数のデバイスが存在することがある。どのデバイスが制御対象となるかを判定することが難しいことがあるため、曖昧さの問題が存在する（同時に複数のデバイスがコマンドに応答する可能性がある）。
【００１１】
したがって、住居内などの近い場所にある複数のスピーチ／ジェスチャによって制御されるデバイスを動作させることを可能とする曖昧さ解消システムに対する需要がある。
【００１２】
近い場所にあることから生ずる上述した曖昧さの問題は、既に、１つまたは複数の近い場所にあるコンソールを有する無線ゲーム・コントローラを使用した状況について、家庭用エンターテインメント・システムにおいて、認識され、論じられている。公知の解決法は、この問題を、初期の（ワンショット）ペアリング処理によって解決しようとする。このペアリング処理は、最終的なユーザによって明示的に行われるインタラクティブなペアリング処理を通じて各コントローラと選択されたコンソールとの間のバインディングを定義する（ＰＳ３（登録商標）およびＷｉｉ（登録商標）コンソールは、このような手法を使用していると考えられる）。しかしながら、これらの解決法は、たびたび行われることは期待されておらず、通常ユーザが、ペアリング処理に関連するデバイスとの実際のインタラクションを行うことが必要となり、したがって、最終的には、日常のスピーチ／ジェスチャのマルチデバイス制御の使用に簡単に拡張できるものではない。さらに、場合によっては、ユーザが制御対象のデバイスから或る程度の距離だけ離れていることがあり、そのようなときは、旧来のボタンベースのインタフェースを制御に適用することができない。
【００１３】
結果として、依然として、少なくともジェスチャ認識および／または音声認識に基づくシステムのためのヒューマン・マシン・インタフェースの曖昧さ解消システムを改良する必要がある。
【発明の概要】
【００１４】
本開示内容は、装置およびユーザによってこの装置を制御する方法を記載するものである。提案されている方法および装置は、ユーザが第１のイベントの意図を確認するために、ユーザからの第１のイベントに対応するコマンドを実行する前に、第２のイベントを提供するのに適している。本発明の実施形態は、ジェスチャ認識および／または音声認識に基づくＨＭＩを用いたシステムにおいて実施される。本発明の開示内容の実施形態は、ジェスチャ認識および／または音声認識に基づくシステムのためのヒューマン・マシン・インタフェースの曖昧さ解消システムを改良するものである。
【００１５】
本開示内容の第１の態様によれば、装置が提案される。この装置は、上記装置を含む複数のデバイスに関連してユーザによって実行される第１のイベントを検出する検出部と、上記検出部によって検出された上記第１のイベントに従って第２のイベントを生成する制御部と、上記第２のイベントを上記ユーザに再生する出力部と、を含み、上記制御部は、上記検出部によって検出された上記第２のイベントに対するユーザの応答の相関的要素として、上記装置上で上記第１のイベントを実行するためのコマンドを生成する。
【００１６】
一実施形態においては、上記検出部は、ジェスチャおよび／または音声の形態の上記第１のイベントを検出する。
【００１７】
一実施形態においては、上記第１のイベントは、上記装置と上記ユーザとの間のインタラクティブなセッションを開始するためのトリガ・イベントである。
【００１８】
一実施形態においては、上記第２のイベントは、上記ユーザに対して上記インタラクティブなセッションを開始する意図を確認するための確認イベントである。
【００１９】
一実施形態においては、上記確認イベントは、ユーザが口頭で繰り返して言うテキスト・メッセージを含む。
【００２０】
一実施形態においては、上記確認イベントは、上記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む。
【００２１】
一実施形態においては、上記制御部は、上記第１のイベントを実行するのに必要なコンポーネントおよび関連するデバイスにコマンドを送信する。
【００２２】
一実施形態においては、上記出力部は、上記第２のイベントの形態によって決定される方法で上記ユーザに対して上記第２のイベントを再生する。
【００２３】
本開示内容の第２の態様によれば、ユーザによって装置を制御する方法が提案される。この方法は、上記装置のレベルで、上記装置を含む複数のデバイスに関連して上記ユーザによって実行される第１のイベントを受信するステップと、トリガ・イベントの相関的要素として第２のイベントを生成するステップと、上記第２のイベントを上記ユーザに再生するステップと、上記第２のイベントに対する上記ユーザの応答の相関的要素として上記複数のデバイスのうちの他のデバイスの代わりに上記装置上で上記第１のイベントに対応するコマンドを実行するステップと、を含む。
【００２４】
一実施形態においては、上記第１のイベントは、ジェスチャおよび／または音声の形態である。
【００２５】
一実施形態においては、上記第２のイベントは、上記ユーザが口頭で繰り返して言うテキスト・メッセージを含む。
【００２６】
一実施形態においては、上記第２のイベントは、上記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む。
【００２７】
本開示内容の第３の態様によれば、通信ネットワークからダウンロード可能な、および／または、コンピュータによって読み取り可能な媒体上に記録された、および／または、プロセッサによって実行可能なコンピュータ・プログラム製品が提案される。コンピュータ・プログラムは、本開示内容の第２の態様に従った方法のステップを実施するためのプログラム・コード・インストラクションを含む。
【００２８】
本開示内容の第４の態様によれば、プロセッサによって実行可能なコンピュータ・プログラム製品が記録された非一時的なコンピュータ読み取り可能な媒体が提案される。非一時的なコンピュータ読み取り可能な媒体は、本開示内容の第２の態様に従った方法のステップを実施するためのプロセッサによって実行されるプログラム・コード・インストラクションを含む。
【００２９】
本発明のさらなる態様および利点は、本発明の以下の詳細な説明に存在することが理解できよう。
【００３０】
添付図面は、実施形態の原理を説明する記載と併せて、本発明の実施形態の理解を深めるために提供されているものである。本発明は、実施形態に限定されるものではない。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る本開示内容を実施可能である例示的なシステムを示す図である。
【図２】本発明の実施形態に係る図１のシステムにおける装置の構成を示すブロック図である。
【図３】本発明の実施形態に係るユーザによって装置を制御する方法を示すフローチャートである。
【図４】音声コマンドを通じて制御されるメディア・デバイスとの関連で実施される本発明の実施形態に係る例示的な方法の例を示す図である。
【発明を実施するための形態】
【００３２】
ここで、図面を参照して本発明の実施形態を詳細に説明する。以下の説明において、説明を簡潔にするために、公知の機能および構成については幾らかの詳細な説明を省略することがある。
【００３３】
図１は、本開示内容を実施可能である例示的なシステム１００を示す図である。システム１００は、Ｍｉｃｒｏｓｏｆｔ社のコンソールＸＢＯＸ  Ｏｎｅ、ＰＳ３、およびＮｉｎｔｅｎｄｏ  Ｗｉｉコンソールなど、ジェスチャ認識および／または音声認識処理に基づく如何なる種類のＨＭＩシステムであってもよい。図１に示されているように、ユーザは音声またはジェスチャによって装置１、２、…、およびｎのうちの１つとのインタラクションを行うことができる。システムに対してさらなる詳細な内容は提供されないであろう。
【００３４】
図２は、本発明の実施形態に係るシステム１００における装置１の構成を示すブロック図である。
【００３５】
図２に示されているように、装置１はこの装置１に関連してユーザによって実行される第１のイベントを検出する検出部２０１を含む。第１のイベントはユーザが装置１とのインタラクションを行うことができる様々な形態のジェスチャおよび／または音声とすることができる。一例においては、第１のイベントをトリガ・イベントとすることができ、このトリガ・イベントは、ユーザと装置１との間のインタラクティブなセッションを開始するための特定のジェスチャおよび／またはスピーチのイベントとして規定することができる。検出部２０１のために、様々なセンサおよび検出技術を使用することができる。これについては、当業者にとって良く知られており、本開示内容の範囲外となるため、さらなる詳細な内容は提供しない。
【００３６】
装置１は、検出部２０１によって検出される第１のイベントに従って第２のイベントを生成する制御部２０２をさらに含む。ユーザからの第１のイベントを検出した図１に示されているシステム１００における各装置は、ユーザによって開始されたインタラクティビティの意図を装置が確認することを意図した方法で、個々の第２のイベントを生成することができる。例えば、第１のイベントがインタラクティブなセッションを開始するためのトリガ・イベントである場合には、第２のイベントは、ユーザがインタラクティブなセッションを開始しようとする自己の意図を確認するための確認イベントとすることができる。
【００３７】
第２のイベントは、以下の形態とすることができる。
１）ユーザが口頭で繰り返して言うための、ユニークなワードや番号コードなどのテキスト・メッセージ、および
２）ジェスチャなどのアクティビティを行うことをユーザに要求する、テキスト、画像、音声、または映像の形態のエラボレート・クエリ。
【００３８】
上記形態１）については、例えば、ユーザが口頭で繰り返して言うための単純なユニークな番号とすることができる。
【００３９】
上記形態２）については、
ユーザがジェスチャなどの動作を行うようにするために、例えば、「貴方の手で円を描いて下さい」などのテキスト・クエリとすることができる。ユーザが動作を行うようにするために「現在表示されている番号を繰り返し言ってください」などの、音声のクエリとすることもできる。クエリは、表示される画像／映像の形態とすることもできる。例えば、ジェスチャの短時間の映像／アニメーションは、ユーザが真似をするための短時間のものとすることができる。
【００４０】
第２のイベントに対して他の適切な形態を適用することもできることが理解できよう。さらなる詳細な内容については説明を行わない。
【００４１】
装置１は、第２のイベントをユーザに対して再生する出力部２０３をさらに含む。なお、第２のイベントを第２のイベントの形態に従った適切な方法で再生できることが理解できよう。例えば、第２のイベントがテキスト・メッセージである場合には、フロント・パネルＬＣＤを第２のイベントを再生するために使用することができる。エラボレート・クエリの形態の第２のイベントを連動してアクティブとなっているＴＶセット上でユーザに対して再生することもできる。第２のイベントが音声クエリである場合には、スピーカが必要となることがある。この場合、第２のイベントは、好ましくは、システム１００内に他の装置が存在する場合には、その装置との重複を避けるために、ランダムな遅延を有して再生される。
【００４２】
第２のイベントを出力再生するデバイスは、装置１の部分であってもよいし、装置１から独立したデバイスであってもよい。
【００４３】
一例においては、出力部２０３は、第２のイベントを再生するデバイスに関するプリファレンスをユーザが設定できるようにする。例えば、再生を行うために、ＬＣＤフロント・ディスプレイおよびスピーカ出力部が存在する場合には、出力部２０３は、プリファレンスとして、いずれか一方をユーザによって設定可能にすることができる。
【００４４】
ユーザは、第２のイベントの要求に従って、このユーザが制御することを本当に意図している装置から再生された第２のイベントに正しく応答する。
【００４５】
第２のイベントがユーザに読み上げることを要求するフロント・パネルＬＣＤに表示されるテキスト・メッセージである場合には、ユーザは表示されたテキストのワードまたはコードを読み上げることによって応答することができる。例えば、第２のイベントを「現在表示されている番号：００１１を繰り返して下さい」というテキスト・メッセージにすることができる。そこで、ユーザは数字「００１１」を読み上げることによって正確な応答を行うことができる。
【００４６】
第２のイベントがユーザに追加のジェスチャを行うことを要求するエラボレート・クエリである場合には、ユーザは、エラボレート・クエリによって示されるその追加のジェスチャを実行することによって応答することができる。例えば、第２のイベントを「貴方の手で円を描いて下さい」というテキスト・クエリにすることができる。そこで、ユーザは、第２のイベントによって要求されたジェスチャを実行することによって正確な応答を行うことができる。
【００４７】
第２のイベントが音声の形態のユーザに対する質問である場合、ユーザは、音声クエリに対して回答を与えることによって応答することができる。
【００４８】
一例において、出力部２０３は、デバイス・インタラクション機能に依存して行われる応答のタイプに関し、ユーザがデバイス毎にプリファレンスを設定できるようにする。例えば、ユーザは、或る場合において音声応答が好ましく、他の場合においてジェスチャ応答が好ましい、と設定することができる。
【００４９】
検出部２０１はユーザからの応答を検出する。第２のイベントに対する正確な応答を検出すると、制御部２０２は第１のイベントを実行するコマンドを生成し、そのコマンドをシステム１００における必要なコンポーネントまたはデバイスに送信する。一例において、第１のイベントは、ユーザと装置１との間のインタラクティブなセッションを開始するためのトリガ・イベントである。この場合、第２のイベントに対する正確な応答が検出部２０１によって受信されると、制御部２０２はユーザとのインタラクティブなセッションを開始するために装置１の必要なコンポーネントの電源をオンにする。インタラクティブなセッションのために必要なシステム１００における他の装置もまた電源がオンにされ動作されることが理解できよう。
【００５０】
それぞれの第２のイベントに対する遅延の後、正確な応答を検出しなかった、または、無効な応答を検出した他の装置、例えば、図１に示された装置２〜ｎは、ユーザとのインタラクティブなセッションを開始しない。
【００５１】
図３は、本発明の実施形態に係るユーザによって装置を制御する方法を示すフローチャートである。
【００５２】
図３に示されているように、この方法は、装置によって、ユーザからの第１のイベントを受信するステップＳ３０１を含む。
【００５３】
ステップＳ３０２において、この装置は、第２のイベントをトリガ・イベントの相関的要素として生成する。
【００５４】
ステップＳ３０３において、この装置は、第２のイベントをユーザに再生する。
【００５５】
ステップＳ３０４において、この装置は、第２のイベントに対するユーザの正確な応答を受信すると、第１のイベントに対応するコマンドを実行する。
【００５６】
例
次に、図４を参照して音声コマンドを通じて制御されるメディア・デバイスとの関連で、本発明の実施形態に係る方法の例を説明する。
【００５７】
この例において、メディア・デバイス４０１は、マイクロフォン、例えばエンハンスドＢｌｕＲａｙ（登録商標）リーダなどと、ＬＣＤパネル・ディスプレイ４０２を有し、図４において図示しない外部ディスプレイ（例えば、ＴＶセット）に接続されている。この意味において、メディア・デバイス４０１は音声制御されている。
【００５８】
図４のステップ１において、ユーザは、メディア・デバイス４０１とのインタラクティブなセッションを開始するトリガ・イベントを実行する。トリガ・イベントは、特定のワードまたはジェスチャとすることができ、これは、ＢｌｕＲａｙデバイスによってアクティベーション・イベントと考えられるものである。例えば、トリガ・イベントは挿入されたディスクを読み取ることを目的とするものである。
【００５９】
メディア・デバイス４０１は、トリガ・イベントを受信すると、曖昧さ解消処理を開始してユーザがインタラクティブなセッションを確立することを本当に望んでいるかどうかをチェックする。
【００６０】
曖昧さ解消処理は、第１に、受信したトリガ・イベントに従って特定のチャレンジ・クエリを生成することを含み、これは図４においてステップ２として示されている。この例において、チャレンジ・クエリは任意のテキスト・コードである。
【００６１】
次に、その任意のテキスト・コードは好ましい方法でユーザに対して再生される。具体的には、ＴＶセットがまだアクティブでない場合に、任意のテキスト・コードは、ＬＣＤパネル・ディスプレイ４０２上に表示されることもあり、そうでない場合には、ＴＶセットに表示されることもり、あるいは、両方に、デバイス情報（デバイス・ニックネーム、モデルなど）と共に表示されることもある。図４に示されているように、以下の任意のテキスト・コードが表示される。
【００６２】
ＤＶＤプレイヤ  ＴｅｃｈｎｉＣ
セッション開始確認
以下のコードを繰り返して下さい：
１４５６
【００６３】
以下に説明するように、その任意のテキスト・コードはインタラクティブなセッションの開始をユーザが望んでいるデバイスをユーザが確認するのに役立つ。
【００６４】
この例において、チャレンジ・クエリに対する応答として、図４に示されているステップ３のように、ユーザはこのメディア・デバイス４０１とのインタラクティブなセッションを開始する意図を確認するために表示されたコード・テキストを繰り返して言う。
【００６５】
その応答を受信すると、図４のステップ４において、メディア・デバイス４０１は、トリガ・イベントに対応するコマンドを実行する。すなわち、メディア・デバイス４０１はインタラクティブなセッションを開始する。この目的のためには、メディア・デバイス４０１の幾つかのコンポーネントまたはこのシステムにおける複数のデバイスが関与する必要がある。例えば、恐らくは、ＬＣＤパネル・ディスプレイ４０２のみを使用する曖昧さ解消処理の間にＴＶセットがスリープ・モードにあった場合には、ＴＶセットはＢｌｕＲａｙリーダによって起動される必要がある。
【００６６】
本発明の実施形態は、上述した方法のステップを実施するためのプログラム・コード・インストラクションを含む、通信ネットワークからダウンロード可能な、および／または、コンピュータによって読み取り可能な媒体上に記録された、および／または、プロセッサによって実行可能なコンピュータ・プログラム製品を提供する。
【００６７】
本発明の一実施形態は、上述した方法のステップを実施するためのプログラム・コード・インストラクションを含む、プロセッサによって実行可能なコンピュータ・プログラム製品が記憶された非一時的なコンピュータ読み取り可能な媒体を提供する。
【００６８】
本発明は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実施可能であることが理解できよう。さらに、ソフトウェアは、好ましくは、プログラム・ストレージ・デバイス上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含む。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよく、オペレーション・システムを通じて実行される。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
【００６９】
さらに、添付図面に描かれたシステムの構成要素および方法ステップのうちの幾つかは、好ましくは、ソフトウェアの形態で実施されるため、システムの構成要素間の実際の接続（または処理ステップ）は、本発明がプログラムされる方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術に関して通常の技術を有するものであれば、本発明の類似する実施態様または構成を予測できるであろう。
【図１】
2016009495.tif 000003
【図２】
2016009495.tif 000004
【図３】
2016009495.tif 000005
【図４】
2016009495.tif 000006
【手続補正書】
【提出日】平成27年9月16日(2015.9.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装置であって、
前記装置を含む複数のデバイスに関連してユーザによって実行される第１のイベントを検出する検出部と、
前記検出部によって検出された前記第１のイベントに従って第２のイベントを生成する制御部と、
前記第２のイベントを前記ユーザに再生する出力部と、
を備え、
前記制御部は、前記検出部によって検出された前記第２のイベントに対する前記ユーザの応答に応じて前記装置上で前記第１のイベントを実行するためのコマンドを生成する、前記装置。
【請求項２】
前記検出部は、ジェスチャおよび／または音声の形態の前記第１のイベントを検出する、請求項１に記載の装置。
【請求項３】
前記第１のイベントは、前記装置と前記ユーザとの間のインタラクティブなセッションを開始するためのトリガ・イベントである、請求項１に記載の装置。
【請求項４】
前記第２のイベントは、前記ユーザがインタラクティブなセッションを開始する意図を確認するための確認イベントである、請求項３に記載の装置。
【請求項５】
前記確認イベントは、ユーザが口頭で繰り返して言うためのテキスト・メッセージを含む、請求項４に記載の装置。
【請求項６】
前記確認イベントは、前記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む、請求項４に記載の装置。
【請求項７】
前記制御部は、第１のイベントを実行するのに必要なコンポーネントおよび関連するデバイスにコマンドを送信する、請求項１に記載の装置。
【請求項８】
前記出力部は、前記第２のイベントの形態によって決定される手法で前記ユーザに対して前記第２のイベントを再生する、請求項１に記載の装置。
【請求項９】
ユーザによって装置を制御する方法であって、
前記装置のレベルで、
前記装置を含む複数のデバイスに関連して前記ユーザによって実行される第１のイベントを受信するステップと、
前記第１のイベントに応じて第２のイベントを生成するステップと、
前記第２のイベントを前記ユーザに再生するステップと、
前記第２のイベントに対する前記ユーザの応答に応じて前記複数のデバイスのうち、他のデバイスの代わりに、前記装置上で前記第１のイベントに対応するコマンドを実行するステップと、
を含む、前記方法。
【請求項１０】
前記第１のイベントは、ジェスチャおよび／または音声の形態である、請求項９に記載の方法。
【請求項１１】
前記第２のイベントは、前記ユーザが口頭で繰り返して言うためのテキスト・メッセージを含む、請求項９に記載の方法。
【請求項１２】
前記第２のイベントは、前記ユーザに対して動作を行うことを要求するテキスト、画像、音声、または、映像の形態のクエリを含む、請求項９に記載の方法。
【請求項１３】
請求項９〜１２の少なくともいずれか１項に記載の方法のステップを実施するためのプロセッサによって実行されるプログラム・コード・インストラクションを含む、コンピュータ・プログラム。
【外国語明細書】
2016009495000001.pdf