(57)【要約】  本願で開示する実施例は、オーディオベースのウェアラブル装置にオンデマンドで拡張機能を提供することに関する。一実施例が提供するウェアラブル計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、プログラムを実行し、無線通信プロトコルにより外部装置と接続し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、前記外部装置の画面による提示のため、画像データを前記外部装置に提供させる、記憶サブシステムとを有する。
2018505463.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブル計算装置であって、
音声入力を受け取るように構成された音響レシーバと、
オーディオ出力を提供するように構成されたスピーカと、
外部装置に接続するように構成された通信サブシステムと、
命令を実行するように構成されたロジックサブシステムと、
前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、
プログラムを実行し、
無線通信プロトコルにより外部装置と接続し、
前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、
前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、
前記外部装置の画面による提示のため、画像データを前記外部装置に提供させる、記憶サブシステムとを有する、
ウェアラブル計算装置。
【請求項２】
前記無線通信プロトコルは第１の無線通信プロトコルであり、前記命令は前記ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、第２の無線通信プロトコルを介しても前記外部装置に接続させる、
請求項１に記載のウェアラブル計算装置。
【請求項３】
前記命令は、前記ロジックサブシステムにより実行可能であり、前記ロジックサブシステムに、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信させる、請求項２に記載のウェアラブル計算装置。
【請求項４】
前記命令は、前記ロジックサブシステムによって実行可能であり、前記外部装置によって発せられたビーコン信号を検出することによって前記外部装置に接続させる、
請求項１に記載のウェアラブル計算装置。
【請求項５】
前記命令は、ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、一以上の追加の外部装置に接続させる、
請求項１に記載のウェアラブル計算装置。
【請求項６】
前記命令は、前記ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信させる、
請求項１に記載のウェアラブル計算装置。
【請求項７】
前記命令は、ロジックサブシステムによって実行可能であり、前記ロジックサブシステムに、外部装置を介して作成されたプログラムのユーザ入力を受け取らせる、
請求項１に記載のウェアラブル計算装置。
【請求項８】
前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含む、
請求項７に記載のウェアラブル計算装置。
【請求項９】
音響レシーバ及びスピーカを備えるウェアラブル計算装置における方法であって、
プログラムを実行するステップと、
無線通信プロトコルを介して外部装置と接続するステップと、
前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行うステップと、              
前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知するステップと、
前記外部装置の画面の向きに関する向き情報を前記外部装置から受信するステップと、
前記外部装置の画面を介して提示するため、前記向き情報に基づいて前記外部装置に画像データを提供するステップと、
前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信するステップと、を含む方法。
【請求項１０】
前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続するステップをさらに含む、
請求項９に記載の方法。
【請求項１１】
さらに、
前記第１の無線通信プロトコル及び第２の無線通信プロトコルのそれぞれについて一以上の性能特性を監視するステップと、
前記一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して前記外部装置と通信するステップを含む、
請求項１０に記載の方法。
【請求項１２】
前記ユーザ入力情報は前記外部装置へのタッチ入力に対応する位置信号を含む、
請求項９に記載の方法。
【請求項１３】
さらに、コンピュータネットワークを介してリモートサービスを接続するステップを備え、前記外部装置からユーザ入力情報を受信するステップは、前記リモートサービスを介して前記ユーザ入力情報を受信するステップを含む、
請求項９に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
ユーザは、様々な異なるユーザインターフェース機構を使用して電子装置と対話（ｉｎｔｅｒａｃｔ）することができる。多くの計算装置は、自然で直感的な人間の対話（ｉｎｔｅｒａｃｔｉｏｎｓ）を入力として受け入れるように構成されたユーザインターフェースを利用している。例えば、そのようなユーザインターフェースの中には、視覚的及び触覚的な対話のためにディスプレイとその上に配置されたタッチセンサを利用するものもあれば、音声／音響対話のためにスピーカ及びマイクロフォンを利用するものもある。
【発明の概要】
【０００２】
本明細書に開示する実施例は、音声ベースの計算装置に拡張機能を提供することに関する。一実施例として提供される計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記命令は、プログラムを実行し、無線通信プロトコルにより外部装置と接続し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知し、前記外部装置の画面による提示のため、画像データを前記外部装置に提供する、命令である記憶サブシステムとを有する。
【０００３】
本欄では、発明の詳細な説明で詳しく説明するコンセプトの一部を選んで、簡単に説明する。本欄は、特許を請求する主題の重要な特徴や本質的な特徴を特定するものではなく、特許を請求する主題の範囲を限定するものでもない。さらに、請求項に係る主題は、本開示の任意の部分に記載された任意の又はすべての欠点を解消する実施に限定されない。
【図面の簡単な説明】
【０００４】
【図１】例示的な音声ベースの計算装置を示すブロック図である。
【０００５】
【図２】例示的な音声ベースの計算装置及び例示的な拡張ディスプレイ装置を示す図である。
【０００６】
【図３】音声ベースの計算装置を有する例示的システムを示すブロック図である。
【０００７】
【図４】拡張ディスプレイ装置に関する情報更新の一例を示す流れ図である。
【０００８】
【図５】音声ベースの計算装置のディスプレイベースの対話を提供する例示的な方法を示す図である。
【０００９】
【図６】例示的計算システムを示すブロック図である。
【発明を実施するための形態】
【００１０】
計算装置は、主要なユーザインターフェース体験として音響対話（例えば、音声入力及び音響出力）を利用するように構成されてもよい。そのような音声ベースの計算装置により、ユーザは、他のものに視覚的注意を維持しながら、及び／又は他のタスクを実行しながら、計算装置と対話することができる。さらに、そのような装置により、タッチセンシティブディスプレイを利用する装置と比較して、はるかに小さいディスプレイの使用、又はディスプレイの省略さえ可能になる。これにより、装置は、ディスプレイベースの装置よりも小さいフォームファクタを有し、（例えば、耳の中の）ユーザには見えない場所に装着でき、また、装置の電力消費を低減するのを助けることができる。
【００１１】
しかし、計算装置との対話中にユーザがアクセスするデータの中には、音響提示にあまり適さないものもある。例えば、地図データは、音響的よりも視覚的に豊富なデータで提示され得る。別の例として、音響的対話によって実行される検索が、オーディオビジュアルデータを含む検索結果を生成する場合、ユーザは、オーディオ部分のみではなく、オーディオ部分と共にデータのビデオ部分を提示したい場合がある。さらに、ユーザは、プライバシーを守るために非音声対話を実行することを望む場合もある。
【００１２】
したがって、本明細書に開示される実施例は、音声ベースの計算装置の外部にある装置を使用して、視覚情報を提示し、視覚的な対話（ｉｎｔｅｒａｃｔｉｏｎｓ）を行うことに関する。図１は、例示的な音声ベースの計算装置１００を示すブロック図である。音声ベースの計算装置１００は、イヤホン１０２と、ユーザに装着されるように構成され得る任意的なホスト１０４とを備える。例えば、ホスト１０４は、ユーザの身体及び／又は衣類にクリップされ、ポケットに入れられ、或いは他の適切な方法で装着されてもよい。言うまでもなく、音声ベースの計算装置１００は、いくつかの例では、別個のホスト装置のない単一の着用可能な計算装置として実装されてもよい。
【００１３】
イヤホン１０２は、ユーザ入力を受け取る一以上のセンサを含む。そのようなセンサは、動きセンサ１０３、タッチセンサ１０５、機械的入力機構１０６、及びマイクロフォン１０８を含むことができるが、これらに限定されない。任意の適切な動きセンサを使用することができ、ジャイロスコープ、加速度計、磁力計、及び／又は一以上の軸における動きを検出する他のセンサのうち一以上を含むが、これに限定されない。同様に、容量性、抵抗性及び光学的タッチセンサを含むが、これに限定されない、任意の適切なタッチセンサを使用することができる。適切な機械的入力機構１０６の例には、スクロールホイール、ボタン、ダイヤル、及び／又は他の適切な機械的入力機構が含まれ得るが、これらに限定されない。イヤホン１０２はまた、一以上のスピーカ１１０などのユーザに情報を提示するための一以上の出力と、可能性としては、触覚的出力（例えば、振動出力システム）などの他の出力機構１１２とを含む。
【００１４】
イヤホン１０２は、ホスト１０４又は他のパーソナルアシスタント計算装置コンポーネントとの通信を可能にするように構成されたホスト通信システム１１４をさらに含む。ホスト通信システム１１４は、任意の適切な有線又は無線通信プロトコルを介してホスト１０４と通信することができる。
【００１５】
また、ホスト１０４は、ユーザ入力を受け取る一以上の入力機構を含む。例えば、ホストは、イヤホン１０２について上述したような、一以上の動きセンサ１２４、タッチセンサ１２６、及び機械的入力機構１２８を含むことができる。ホスト１０４は、イヤホン１０２と通信するイヤホン通信システム１３０と、外部装置と通信する外部ネットワーク通信システム１３２とを含む。例えば、ホスト１０４は、ネットワーク（例えば、コンピュータネットワーク、携帯電話ネットワーク、及び／又は他の適切な外部ネットワーク）を介して、及び直接接続（例えば、Ｂｌｕｅｔｏｏｔｈ(登録商標)又はＷｉＦｉダイレクトなどの直接無線プロトコルを用いる）直接接続を介して、外部装置と通信するように構成されていてもよい。
【００１６】
上述したように、音声ベースの計算装置を使用している間に遭遇するかもしれないいくつかの計算装置対話には、ユーザが体験したいと思う視覚的コンポーネントを含むことがある。１つの非限定的な例として、ユーザは、音声ベースの計算装置を使用して、タクシーサービスに連絡し、タクシーを呼び、次いで予約したタクシーの位置を地図により追跡することを望むことがある。
【００１７】
したがって、ここに開示する実施例は、ビジュアルコンテンツの提示を可能にし、オンデマンドベースで、それとユーザとの対話を可能にする、拡張装置（例えば、ディスプレイを有する近くの外部計算装置）に接続することによって、音声ベースの計算装置に拡張されたビジュアル機能を提供することに関する。このような装置に接続して通信することにより、音声ベースの計算システムは、上述したような音声ベースの対話の利点を維持しながら、必要に応じて、視覚的コンテンツ（例えば、グラフィカルユーザーインターフェイス、ビデオデータ、地図データなど）の提示を可能にする。
【００１８】
図２は、音声ベースの計算装置１００を示す概略図であり、音声ベースの計算装置１００、すなわちモバイル装置２０６及びタブレット計算装置２０８の拡張装置（ｅｘｔｅｎｄｅｒ  ｄｅｖｉｃｅ）として使用され得る様々な外部装置を示す。音声ベースの計算装置１００を装着しているユーザの位置に応じて、他の外部装置を拡張装置として使用することができる。例えば、家庭環境は、音声ベースの計算装置１００が画面ベースの対話のために接続することができるテレビ及び／又はビデオゲームシステムを含むことができる。同様に、車環境は、オンボード・計算・システム用のダッシュボード（ｉｎ−ｄａｓｈ）ディスプレイを含むことができる。言うまでもなく、音声ベースの計算装置１００は、任意の適切なタイプ及び数の外部装置に接続するように構成されてもよい。
【００１９】
図３は、音声ベースの計算装置１００の例示的なシステム環境３００を示す。音声ベースの計算装置１００は、アプリケーション１  ３０４及びアプリケーションＮ  ３０７として示される一以上のアプリケーション３０２を実行するように構成され得る。一以上のアプリケーションは、音声ベースの対話コンポーネント３０６に加えて、視覚的対話コンポーネント３０５を含んでいてもよい。音声ベースの計算装置１００は、さらに、接続１  ３１２から接続Ｎ  ３１４として示される、一以上の無線プロトコルを介して拡張装置３１０に接続し、ディスプレイ３１６を介して表示するための画像コンテンツを提供するように構成された拡張モジュール３０８を備える。無線通信プロトコルの例には、Ｂｌｕｅｔｏｏｔｈプロトコル及びＷｉ−Ｆｉプロトコルが含まれる。音声ベースの計算装置１００は、拡張装置３１０に直接的に、又は他のネットワークコンポーネントを介して、接続することができる。
【００２０】
拡張装置３１０は、同様に、音声ベースの計算装置１００の拡張モジュール３０８と通信するように構成された拡張アプリケーション３１８を含む。図示された拡張アプリケーション３１８は、ディスプレイ３１６に提示するため、音声ベースのコンピュータ装置１００から画像データを受信し、受信した画像データを処理する画像提示モジュール３２０を含む。拡張装置３１０は、さらに、ユーザが音声ベースの計算装置１００からの表示されたコンテンツと対話することができる一以上のユーザ入力装置３２３を含む。例示的な入力装置には、タッチセンサ（例えば、タッチセンシティブディスプレイ）、機械的ボタン、及び動きセンサが含まれるが、これらに限定されない。拡張アプリケーション３１８は、さらに、ユーザ入力装置３２３を介して受信したユーザ入力を音声ベースの計算装置１００にリダイレクトする入力リダイレクトモジュール３２２を備えていてもよい。
【００２１】
いくつかの例では、音声ベースの計算装置１００及び拡張装置３１０は、スマートマルチトランスポートスイッチングを利用してもよく、接続性能、帯域幅需要、パワー考察などの要因に応じて通信を接続ごとに切り替えることができる。いくつかの例では、通信は、時間的に重複する態様で複数のチャネルにわたって行われてもよく、他の実施形態では、一度に単一のチャネルを介してデータが送信されてもよい。いずれの場合でも、マルチトランスポートスイッチングを使用することにより、音声ベースの計算装置１００は、ネットワークトラフィック負荷を動的にバランスさせることができる。
【００２２】
非限定的な例として、接続１  ３１２はブルートゥース（登録商標）接続を表し、接続Ｎ  ３１４はＷｉ−Ｆｉ接続を表す。音声ベースの計算装置１００は、再送信レートなどのネットワーク性能特性について各接続を監視し、性能特性の変化及び／又は装置間で転送されるデータの特性に基づいて、接続を動的に切り替えることができる。別の例では、音声ベースの計算装置１００は、利用可能な場合にはデフォルトで１つの接続（例えばＷｉＦｉ）を介して拡張装置３１０に接続し、Ｗｉ−Ｆｉが利用できない場合には別の接続（例えばブルートゥース）を介して接続するように構成される。ブルートゥースを介して接続されると、音声ベースの計算装置１００は依然としてＷｉ−Ｆｉの利用可用性を監視し、検出されると自動的にＷｉ−Ｆｉに切り替えることができる。さらに別の例では、音声ベースの計算装置１００は、ユーザによって選択された接続を介して、及び／又はユーザの好みに基づいて、拡張装置３１０に接続するように構成されてもよい。
【００２３】
音声ベースの計算装置１００は、任意の適切な方法で一以上の拡張装置に接続するように構成することができる。例えば、音声ベースの計算装置１００は、一以上の拡張装置のそれぞれによって発せられたビーコン信号を検出することによって、一以上の拡張装置を発見するように構成されてもよい。さらに、二以上の拡張装置が利用可能であると判定された場合、音声ベースの計算装置１００は、拡張の機能（例えば、計算リソース、通信リソース、表示特性など）に基づいて、及び／又は任意の他の適切なファクタに基づいて、例えばユーザによって指定された、デフォルト拡張装置に優先的に接続するように構成されてもよい。
【００２４】
同様に、音声ベースの計算装置１００は、任意の適切なトリガリングイベント又は状況に基づいて、一以上の拡張装置に接続するように構成することができる。例えば、音声ベースの計算装置１００は、ユーザ入力によって指示されたとき、及び／又は音声ベースの計算装置１００で実行されているアプリケーションにディスプレイベースのインタラクションが生じたときに、装置を検出すると、拡張装置３１０に自動的に接続してもよい。拡張装置３１０に接続されると、音声ベースの計算装置１００は、画面ベースのインタラクションが音声ベースの計算装置１００上で実行されているとき、拡張装置３１０に、表示する画像データを提供して表示してもよい。
【００２５】
いくつかの例では、音声ベースの計算装置１００によって拡張装置３１０に提供される画像データは、拡張装置３１０に表示されるように適切にレンダリングされるように、拡張装置３１０のディスプレイ３１６に関する情報に基づくものであってもよい。そのような情報の例には、拡張装置ディスプレイ３１６のフレームレート及び解像度が含まれるが、これに限定されない。
【００２６】
音声ベースの計算装置１００は、さらに、拡張装置ディスプレイ３１６の現在の向きに基づく画像データを生成し提供するように構成されてもよい。ディスプレイ３１６の表示の向きは、拡張装置３１０が、現在、ユーザによって置かれ、又は保持される位置に依存してもよく、画面ベースの対話の間に変更されてもよい。このように、ディスプレイ３１６の向きに関する情報は、以下でより詳細に説明するように、使用セッション中に更新されてもよい。
【００２７】
いくつかの実施形態では、音声ベースの計算装置１００は、リモートサービス３２６を利用して、ネットワーク３２４を介して拡張装置３１０に画像データを送信することができる。例えば、音声ベースの計算装置１００上で実行されるアプリケーション３０２は、リモートサービスによって実行されてもよい。音声ベースの計算装置１００は、画面対話に到達すると、拡張装置３１０に、リモートサービス３２６のネットワークアドレスを通知し、拡張装置３１０は、リモートサービス３２６と対話して、表示用の画像データを取得する。リモートサービス３２６を介して画像データをレンダリング及び圧縮することは、音声ベースの計算装置１００での画像データのレンダリング及び圧縮と比べて、音声ベースの計算装置１００による電力消費を低減するのに役立つ。さらに、入力リダイレクトモジュール３２２は、音声ベースの計算装置１００に直接戻すのではなく、拡張装置３１０のユーザ入力に関する情報をリモートサービス３２６にリダイレクトするように構成されていてもよい。他の例では、ユーザ入力は、音声ベースの計算装置１００に向けられ、その後、リモートサービス３２６に転送される。このようにして、リモートサービス３２６及び音声ベースの計算装置１００上で動作するアプリケーションの状態を同期させることができる。
【００２８】
図４は、拡張装置３１０のディスプレイの向きに関する、音声ベースの計算１００における情報の更新を示す流れ図である。４０２において、拡張装置３１０は、（例えば、入力リダイレクトモジュールを介して）拡張装置ディスプレイの第１の向き（例えば、ポートレート向き）に対応する向き信号を、音声ベースの計算装置に送信する。４０４において、音声ベースの計算装置１００は、向き信号を受信し、４０６において、第１の向きの画像データをレンダリングし、４０８において、拡張装置３１０に画像データを提供する。拡張装置３１０は、４１０において、画像データをディスプレイに提示する。４１２において、拡張装置３１０は、第１の向きから第２の向き、例えば、横向きに変更し、４１４において、第２の向きの向き信号を送信する。音声ベースの計算装置１００は、４１６において、更新された向き信号を受信する。次いで、音声ベースの計算装置１００は、４１８において、第２の向きの画像データをレンダリングし、４２２において拡張装置３１０に提示するために、４２０において、更新された画像データを提供することができる。言うまでもなく、拡張装置３１０上で実行される拡張アプリケーションは、信号が変化を示すかどうかにかかわらず、周期的に向き信号を送信するように構成されてもよく、又は向き信号を分析し、向きの変化が検出されたら、向き情報を送信してもよい。
【００２９】
図５は、音声ベースの計算装置のディスプレイベースの対話を提供する例示的な方法５００を示す流れ図である。方法５００は、５０２において、音声ベースの計算装置上で動作するように構成されたアプリケーションなどのプログラムを実行することを含む。方法５００は、さらに、５０４において、５０６及び５０８にそれぞれ示される、音声入力を受け取り、及び／又は音声出力を提供することによって、プログラムの音響ベースの対話を行うことを含む。
【００３０】
方法５００はさらに、５１０において、及び５１２において、表示画面を有する外部装置に接続する、プログラムの画面ベースの対話を検出することを含む。外部装置への接続は、画面ベースの対話の検出によってトリガされてもよいし、対話が検出される前に実行されてもよい。上述したように、音声ベースの計算装置は、５１４に示すように、一以上の無線通信プロトコルを介して外部装置に接続してもよく、いくつかの例では、複数の接続を介して接続して、音声ベースの計算装置と拡張装置との間のトラフィックの動的付加バランシングを可能にしてもよい。さらに、外部装置に接続しているとき、音声ベースの計算装置は、外部装置の向き、解像度、及び／又はフレームレートなど、拡張装置の態様に関する情報を受信してもよい。
【００３１】
さらに、いくつかの例では、方法５００は、５１６において、外部装置に表示する画像データを提供するリモートサービスに接続することを含んでもよい。これは、音声ベースの計算装置上で画像データをレンダリング及び圧縮することと比較して、計算リソースを節約し、音声ベースの計算装置における電力消費を低減する役にたつ。そのようなリモートサービスは、音声ベースの計算装置上でも実行されているアプリケーションを実行して、画面ベースの対話に対応する画像データを生成するように構成することができる。状態情報は、音声ベースの計算装置上のアプリケーションと、リモートサービス上のアプリケーションとの間で、任意の適切な方法で交換することができる。
【００３２】
方法５００はさらに、５２０において、画面ベースの対話をユーザに通知することと、５２２において、拡張装置に提示する画像データを提供することとを含む。画像データは、音声ベースの計算装置から直接提供されてもよいし、５２４に示すように、リモート装置に接続してリモート装置から画像データを取得するように外部装置に命令を送ることによって提供されてもよい。
【００３３】
音声ベースの計算装置及び拡張装置が複数の接続を介して接続される場合、方法５００はさらに、５２６において、無線通信接続のそれぞれについて一以上の性能特性を監視することと、５２８において、一以上の性能特性に基づいて、無線通信接続を選択することとを含んでもよい。選択された無線接続は、動的に変更され、装置間のデータ送信を容易にしてもよい。
【００３４】
さらに、拡張装置が動きセンサ及び／又は向きセンサを含む場合、方法５００はさらに、５３０において、更新された向き情報を受信し、向き情報に基づいて画像データを提供する。これにより、音声ベースの計算装置及び／又はリモートサービスでレンダリングされる画像データを、拡張装置の現在の向きに基づいてレンダリングすることができる。
【００３５】
上述したように、拡張装置で受信されたユーザ入力は、拡張装置上で実行されるプログラムとの対話として、拡張装置によって音声ベースの計算装置にリダイレクトされてもよい。このように、方法５００は、５３２において、外部装置からユーザ入力情報を受信する。リモートサービスが画像データのレンダリングに用いられる場合、５３４に示すように入力はリモートサービスから受信されてもよく、又は拡張装置から直接受信され、リモートサービスに転送されてもよい。入力は、５３６に示すように、外部装置のタッチセンサ上のタッチ入力に対応する位置信号の形式を取ることができ、及び／又は任意の他の適切な形式を取ることができる。
【００３６】
ディスプレイ対話がもはや必要でない場合、音声ベースの計算装置は、拡張装置から自動的に切断するか、又は接続をより持続的に維持するように構成することができる。各画面ベースの対話後に切断すると、消費電力を削減するのに役立つが、どのくらい速く接続を確立できるかに応じて、画面ベースの体験に遅れが生じることもある。
【００３７】
幾つかの実施形態では、ここに説明する方法とプロセスは、一以上の計算装置の計算システムに結びついていてもよい。具体的に、このような方法とプロセスはコンピュータアプリケーションプログラム又はサービス、アプリケーション・プログラミングインターフェース（ＡＰＩ）、ライブラリ、及び／又は他のコンピュータ・プログラム製品として実施され得る。
【００３８】
図６は、上述の方法及びプロセスのうちの一以上を実施することができる計算システム６００の非限定的な実施形態を示す概略図である。計算装置６００は簡略化した形式で示した。計算システム６００は、一以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワーク計算装置、ゲーム装置、モバイル計算装置、モバイル通信装置（例えば、スマートフォン）、及び／又はその他の計算装置であって、本明細書で開示される音声ベースの計算装置及び／又は拡張計算装置を含むがこれらに限定されない計算装置の形式を取ってもよい。
【００３９】
計算システム６００は、ロジックサブシステム６０２及び記憶サブシステム６０４を含む。計算システム６００は任意的に、ディスプレイサブシステム６０６、入力サブシステム６０８、通信サブシステム６１０、及び／又は図６には示されていない他のコンポーネントを含んでいてもよい。
【００４０】
ロジックサブシステム６０２は、命令を実行するように構成された一以上の物理装置を含む。例えば、ロジック機械は、アプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又はその他のロジック構成のうちの一以上の一部である命令を実行するように構成し得る。かかる命令を実施して、タスクを実行し、データタイプを実装し、一以上のコンポーネントの状態を変換し、技術的効果を達成し、又は所望の結果に到達し得る。
【００４１】
ロジックサブシステム６０２は、ソフトウェア命令を実行するように構成された一以上のプロセッサを含み得る。追加的又は代替的に、ロジックサブシステム６０２は、ハードウェア又はファームウェア命令を実行するように構成された一以上のハードウェア又はファームウェアロジック機械を含み得る。ロジック機械のプロセッサはシングルコア又はマルチコアであり、それらの上で実行される命令は順次的、並列的、及び／又は分散的に処理されるよう構成され得る。ロジック機械の個々のコンポーネントは、任意的に、２つ以上の別個の装置に分散されてもよく、これらの装置は、リモート地に配置されていても、及び／又は協調的に処理するよう構成されていてもよい。ロジック機械の態様は、クラウド計算構成のリモートアクセス可能なネットワークされた計算装置により仮想化され実行され得る。
【００４２】
記憶サブシステム６０４は、ロジック機械によって実行可能な命令を保持し、本明細書に記載の方法及びプロセスを実現するように構成された一以上の物理装置を含む。このような方法とプロセスが実施されると、記憶サブシステム６０４の状態は、例えば異なるデータを保持するように、変換され得る。
【００４３】
記憶サブシステム６０４は、リムーバブル装置及び／又はビルトイン装置を含み得る。記憶サブシステム６０４は、なかんずく、光学メモリ（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリ（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、及び／又は磁気メモリ（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、ＭＲＡＭなど）を含み得る。記憶サブシステム６０４は、揮発性、不揮発正、ダイナミック、スタティック、リード／ライト、リードオンリー、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレサブル、ファイルアドレサブル、及びコンテントアドレサブル装置を含んでも良い。
【００４４】
言うまでもなく、記憶サブシステム６０４は、一以上の物理装置を含む。しかしながら、本明細書に記載された命令の態様は、代替的に、有限の持続時間の間、物理的装置によって保持されない通信媒体（例えば、電磁気的信号、光信号など）によって伝搬されてもよい。
【００４５】
ロジックサブシステム６０２及び記憶サブシステム６０４の態様は、一以上のハードウェアロジックコンポーネントに統合されてもよい。そのようなハードウェアロジックコンポーネントには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラム及びアプリケーション集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラム及びアプリケーション標準製品（ＰＳＳＰ／ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、及び複雑なプログラマブルロジック装置（ＣＰＬＤ）などが含まれても良い。
【００４６】
「モジュール」及び「プログラム」という用語は、ある機能を実行するように実装された計算システム６００の態様を記載するために使用されてもよい。幾つかの場合には、モジュール又はプログラムは、記憶サブシステム６０４により保持された命令を実行するロジックサブシステム６０２を介してインスタンス化されてもよい。言うまでもなく、異なるモジュール及び／又はプログラムは、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化してもよい。同様に、同じモジュール及び／又はプログラムは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数によりインスタンス化（ｉｎｓｔａｎｔｉａｔｅｄ）し得る。「モジュール」及び「プログラム」との用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどを含み得る。
【００４７】
言うまでもなく、本明細書で用いる「サービス」は、複数のユーザセッションにわたり実行可能なアプリケーションプログラムである。サービスは、一以上のシステムコンポーネント、プログラム及び／又はその他のサービスに利用可能であってもよい。いくつかの実施形態では、サービスは、一以上のサーバ計算装置上で動作することができる。
【００４８】
ディスプレイサブシステム６０６は、含まれていれば、記憶サブシステム６０４により保持されたデータのビジュアル表現を提示するために用いられ得る。このビジュアル表現は、グラフィカルユーザインターフェース（ＧＵＩ）の形式をとり得る。ここに説明した方法とプロセスは、記憶機械により保持されたデータを変更し、よって記憶機械の状態を変換するので、ディスプレイサブシステム６０６の状態は、その土台のデータにおける変化をビジュアルに表現するように同様に変換され得る。ディスプレイサブシステム６０６は、任意のタイプの技術を用いた一以上のディスプレイ装置を含み得る。かかるディスプレイ装置は、共通の筐体中に、ロジックサブシステム６０２及び／又は記憶サブシステム６０４と組み合わせてもよいし、又は周辺ディスプレイ装置であってもよい。
【００４９】
入力サブシステム６０８は、含まれていれば、キーボード、マウス、タッチ画面、又はゲームコントローラなどの一以上のユーザ入力装置を備えるか、又はそれとインターフェースすることができる。いくつかの実施形態では、入力サブシステムは、選択された自然ユーザ入力（ＮＵＩ）構成部品を含むか、又はこれとインターフェースすることができる。そのような構成部品は、一体化されていても周辺化されていてもよく、入力動作の変換及び／又は処理はオンボード又はオフボードで処理されてもよい。例示的なＮＵＩ構成部品は、音声及び／又はボイス認識のためのマイクロフォンと、機械ビジョン及び／又はジェスチャ認識のための赤外線、カラー、立体視及び／又は奥行きカメラと、動き検出及び／又は意図認識（ｉｎｔｅｎｔ  ｒｅｃｏｇｎｉｔｉｏｎ）のためのヘッドトラッカー、アイトラッカー、加速度計、及び／又はジャイロスコープと、脳活動を評価するための電界感知構成部品とを含み得る。
【００５０】
通信サブシステム６１０は、含まれていれば、計算システム６００を一以上の他の計算装置と通信可能に結合するように構成されてもよい。計算サブシステム６１０は、異なる一以上の通信プロトコルと互換性を有する有線及び／又は無線の通信装置を含む。非限定的な例として、通信サブシステムは、無線電話ネットワークを介した通信のために、又は有線又は無線ローカル又はワイドエリアネットワークを介した通信のために、構成されてもよい。幾つかの実施形態では、通信サブシステムにより、計算システム６００は、インターネットなどのネットワークを介して、他の装置との間でメッセージを送受信できる。
【００５１】
言うまでもなく、ここに説明した構成及び／又はアプローチは、実際は例示であり、多くのバリエーションが可能であるから、これらの具体的な実施形態又は例は限定と考えてはならない。ここに説明した具体的なルーチンや方法は、任意数の処理ストラテジのうちの一以上を表し得る。このように、図示及び／又は記載した様々な動作は、図示及び／又は説明した順序で、他の順序で、並列に行われてもよく、又は省略されてもよい。同様に、上記のプロセスの順序は変更し得る。
【００５２】
本開示の主題は、ここに開示した様々なプロセス、システム及び構成、もしくはその他のフィーチャ、機能、動作、及び／又は特性の新規かつ非自明なすべてのコンビネーション及びサブコンビネーションを含み、これらの任意の及びすべての等価物も含む。
【００５３】
別の例は、ウェアラブル計算装置を提供し、該ウェアラブル計算装置は、音声入力を受信するように構成された音響レシーバと、オーディオ出力を提示するように構成されたスピーカと、外部装置に接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、ロジックサブシステムによって実行可能な命令を含む記憶サブシステムであって、命令は、プログラムを実行し、無線通信プロトコルを介して外部装置に接続し、音響レシーバで受信された音声入力及びスピーカによって提供される音声出力を介してプログラムのオーディオベースの対話を行い、プログラムの画面ベースの対話に達したときに、外部装置と対話するようスピーカを介してユーザに通知し、外部装置の画面を介して提示のために外部装置に画像データを提供する命令である記憶サブシステムとを含む。命令は、追加的に又は代替的にロジックサブシステムにより実行可能であり、前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続する。命令は、追加的に又は代替的に、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信するように実行可能である。命令は、前記外部装置によって発せられたビーコン信号を検出することによって前記外部装置に接続するように実行可能である。命令は、追加的又は代替的に、一以上の追加の外部装置に接続するように実行可能であってもよい。  前記命令は、追加的に又は代替的に、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信するように実行可能であってもよい。命令は、追加的に又は代替的に、外部装置を介してなされたプログラムに対するユーザ入力を受信するように実行可能であってもよいし、外部装置上のタッチ入力に対応する位置信号を含んでもよい。
【００５４】
他の一実施例として提供されるウェアラブル計算装置は、音声入力を受け取るように構成された音響レシーバと、オーディオ出力を提供するように構成されたスピーカと、外部装置とリモートサービスに接続するように構成された通信サブシステムと、命令を実行するように構成されたロジックサブシステムと、前記ロジックサブシステムにより実行可能な命令を有する記憶サブシステムであって、前記ロジックサブシステムに、コンピュータネットワークを介して前記リモートサービスに接続させ、前記外部装置に接続し、前記ウェアラブル計算装置上でローカルにプログラムを実行し、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行い、前記プログラムの画面ベースの対話に到達したとき、ユーザに、前記外部装置と対話するように通知し、画面ベースの対話のために、前記リモートサービスから前記画像データを取得するよう、前記外部装置に命令し、前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信する。命令は、追加的に又は代替的に、第１の無線通信プロトコル及び第２の無線通信プロトコルを介して外部装置に接続して、第１の無線通信プロトコル及び第２の無線通信プロトコルのそれぞれについて一以上の性能特性を監視し、前記一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して前記外部装置と通信するように実行可能であってもよい。命令は、追加的に又は代替的に、リモートサービスを介して外部装置からユーザ入力情報を受信するように実行可能であってもよい。命令は、付加的又は代替的に、外部装置から直接的にユーザ入力情報を受信し、外部装置から直接受信したユーザ入力情報をリモートサービスに転送するように実行可能であってもよい。  前記命令は、追加的に又は代替的に、前記ロジックサブシステムに、前記外部装置から、前記外部装置の前記画面の向き、フレームレート、及び解像度のうちの一以上に関する情報を受信するように実行可能であってもよい。追加的に又は代替的に、前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含んでもよい。
【００５５】
他の一実施例により提供される、音響レシーバとスピーカとを有するウェアラブル計算装置における方法は、プログラムを実行するステップと、無線通信プロトコルを介して外部装置と接続するステップと、前記音響レシーバが受け取った音声入力と、前記スピーカにより提供されるオーディオ出力とにより、前記プログラムのオーディオベースの対話を行うステップと、前記プログラムの画面ベースの対話に到達したとき、前記スピーカにより、ユーザに、前記外部装置と対話するように通知するステップと、前記外部装置の画面の向きに関する向き情報を前記外部装置から受信するステップと、前記外部装置の画面を介して提示するため、前記向き情報に基づいて前記外部装置に画像データを提供するステップと、前記画面ベースの対話中に前記外部装置からユーザ入力情報を受信するステップとを含む。本方法は、追加的に又は代替的に、前記無線通信プロトコルは第１の無線通信プロトコルであり、第２の無線通信プロトコルを介しても前記外部装置に接続する。本方法は、追加的に又は代替的に、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのそれぞれについての一以上の性能特性を監視し、一以上の性能特性に基づいて、前記第１の無線通信プロトコル及び前記第２の無線通信プロトコルのうちの１つを介して、前記外部装置と通信する。本方法は、追加的に又は代替的に、前記ユーザ入力は前記外部装置へのタッチ入力に対応する位置信号を含む。本方法は、追加的に又は代替的に、コンピュータネットワークを介してリモートサービスを接続するステップを備え、前記外部装置からユーザ入力情報を受信するステップは、前記リモートサービスを介して前記ユーザ入力情報を受信するステップを含む。上記の例のいずれか又はすべては、様々な実装において任意の適切な方法で組み合わせることができる。
【図１】
2018505463.tif 000003
【図２】
2018505463.tif 000004
【図３】
2018505463.tif 000005
【図４】
2018505463.tif 000006
【図５】
2018505463.tif 000007
【図６】
2018505463.tif 000008
【国際調査報告】
2018505463.tif 000009
2018505463.tif 000010