(57)【特許請求の範囲】
【請求項１】
マイクロディスプレイ、ユーザ入力デバイス、第１のプロセッサおよび２つ以上の他の周辺回路を含むヘッドマウントディスプレイ（ＨＭＤ）システムを制御する方法であって、
前記第１のプロセッサおよびユーザ入力デバイスのみを作動させることにより、第１の状態に入る工程と、
ユーザ入力を検出する工程と、
前記第１のプロセッサを使用して、口頭でのコマンドまたはジェスチャコマンドとして前記ユーザ入力を解釈する工程と、
第２の状態に入る工程であって、前記口頭でのコマンドまたはジェスチャコマンドに基づいて、前記２つ以上の他の周辺機器のうちの選択された周辺機器を作動するコマンドを前記第１のプロセッサが発行することによって、かつ、選択されていない周辺機器を作動しないようにするコマンドを前記第１のプロセッサが発行することによって、前記第２の状態に入る工程と
を含み、
前記２つ以上の他の周辺機器は第２のプロセッサを含み、前記第２のプロセッサは、前記第１のプロセッサよりも多くの電力を消費する、方法。
【請求項２】
前記２つ以上の他の周辺機器は、ワイドエリアネットワークインターフェース、前記第２のプロセッサ、ディスプレイ、カメラおよび頭部運動追跡器からなる一群から選択される、請求項１に記載の方法。
【請求項３】
前記ユーザ入力は前記口頭でのコマンドであり、この口頭のコマンドは、文書にアクセスするためのものであり、前記第２の状態では、前記第２のプロセッサおよびマイクロディスプレイに電力が印加され、次いで、前記文書が表示される、請求項１に記載の方法。
【請求項４】
前記ユーザ入力は前記口頭でのコマンドであり、この口頭のコマンドは、ウェブページにアクセスするためのものであり、前記第２の状態は、さらに、ワイヤレスインターフェースをネットワークに接続して、前記ウェブページをフェッチすることを可能にする、請求項３に記載の方法。
【請求項５】
前記周辺機器はカメラを含み、前記第２のプロセッサは前記第１の状態でさらに作動され、前記ユーザ入力は手のジェスチャであり、前記第２のプロセッサは、前記第２の状態に入る前に前記手のジェスチャを解釈する、請求項１に記載の方法。
【請求項６】
前記周辺機器は、ワイヤレスインターフェースを含み、前記第２の状態は、前記ワイヤレスインターフェースで前記ユーザ入力をホストに送信する、請求項１に記載の方法。
【請求項７】
前記ユーザ入力は、前記ディスプレイのアスペクトを操作するための要求であり、前記第２の状態は、前記ディスプレイ上の情報表示を変更する、請求項５に記載の方法。
【請求項８】
視覚情報を表示するマイクロディスプレイと、
ユーザ入力を提供するユーザ入力デバイスと、
センサ入力を示す１つまたは複数の周辺機器入力信号、または、ユーザからのユーザの動きおよび／もしくはユーザからの音声入力の少なくとも１つを示す１つまたは複数の周辺機器入力信号を提供する、２つ以上の周辺デバイスであって、第１の状態において作動しないようにされる２つ以上の周辺デバイスと、
前記ユーザ入力を１つまたは複数の検出コマンドに変換する第１のプロセッサであって、前記第１の状態においては当該第１のプロセッサおよび前記ユーザ入力デバイスのみが作動されている、第１のプロセッサと、
前記１つまたは複数の検出コマンドに基づいて、前記マイクロディスプレイおよび前記１つまたは複数の周辺機器を、選択的に作動および非作動にさせるか、または選択的に作動させるかもしくは選択的に非作動にさせるプロセッサコントローラと
を備え、
前記２つ以上の周辺機器は第２のプロセッサを含み、前記第２のプロセッサは、前記第１のプロセッサよりも多くの電力を消費する、ヘッドセット携帯装置。
【請求項９】
前記１つまたは複数の周辺デバイスが、
前記ユーザから音声信号を受信する１つまたは複数のマイクロホンを備え、
前記第１のプロセッサは、さらに、
音声コマンドを検出するように音声信号を処理する音声認識装置を備える、請求項８に記載の装置。
【請求項１０】
前記１つまたは複数の周辺デバイスは、動き検出器であり、前記動き検出器は、前記ユーザの動きを示す２つ以上の動き入力を提供し、当該ユーザの動きは２つ以上の軸に沿っている、請求項８に記載の装置。
【請求項１１】
前記動き検出器は、前記ユーザの手および／または身体のジェスチャ動作を検出するカメラである、請求項１０に記載の装置。
【請求項１２】
前記動き検出器は、前記ユーザの頭部動作を検出する頭部動作追跡デバイスである、請求項１０に記載の装置。
【請求項１３】
前記周辺機器は、当該ヘッドセット携帯装置と別のデータ処理デバイスとの間で、１つまたは複数のワイヤレスリンクを提供する通信インターフェースをさらに備える、請求項８に記載の装置。
【請求項１４】
前記第１のプロセッサは、前記検出コマンドを処理して、前記マイクロディスプレイ上の視覚情報表示のアスペクトを制御する、請求項８に記載の装置。
【請求項１５】
前記検出コマンドは、視野を制御する、請求項１４に記載の装置。
【請求項１６】
前記検出コマンドは、ズーム、パンまたはスケールファクタを制御する、請求項１５に記載の装置。
【請求項１７】
前記検出コマンドは、ウェブページ表示のハイパーリンクアイテムを選択する、請求項１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１０年９月２０日に出願された米国仮特許出願第６１／３８４，４１９号および２０１０年９月２０日に出願された米国仮特許出願第６１／３８４，５４３号の利益を主張する。上記出願の全教示は、参照により本明細書に組み込まれる。
【０００２】
本開示は、他のシステムコンポーネントの起動を制御するワイヤレスフロントエンドを有するヘッドマウントディスプレイ（ＨＭＤ）システムまたは他の眼鏡型映像表示装置に関する。
【背景技術】
【０００３】
最近開発されたマイクロディスプレイは、大きいフォーマット、高解像度カラー写真およびストリーミング映像を極小フォームファクタで提供することができる。そのようなディスプレイの一使用例は、眼鏡またはヘッドホンと同様にユーザの顔または頭に着用するヘッドマウントディスプレイ（ＨＭＤ）装置におけるものである。そのようなデバイスに組み入れられる電子機器は、極めて高度なものとなり、現在では統合データプロセッサ、ワイヤレスインターフェースおよび他の入力デバイス、例えば、頭部追跡用加速度計、カメラ、音声認識回路およびソフトウェアならびに他のコンポーネントなどを含むことができる。
【発明の概要】
【０００４】
好ましい環境では、ヘッドマウントディスプレイ（ＨＭＤ）システムは、高解像度マイクロディスプレイと、マイクロホンと、スピーカと、ワイヤレスインターフェース、ワイヤレスネットワークインターフェース、カメラ（可視光、赤外線など）、音声デバイス、キーパッド、ゲームコントローラデバイスおよび他の周辺機器などの補助インターフェースとを含む。
【０００５】
ブルートゥース（登録商標）、ＷｉＦｉ、セルラなどのワイヤレスインターフェースは、他のシステムコンポーネントを起動する際のシステムおよびコントロールのフロントエンドとなる。ＨＭＤシステムのスイッチを最初に入れると、ブルートゥース（登録商標）ヘッドセットと同様に、最小限の機能性で作動し、スピーカおよびマイクロホン機能のみを提供することができる。ブルートゥース（登録商標）対応の携帯電話（すなわち、Ａｐｐｌｅ  ｉＰｈｏｎｅまたはＧｏｏｇｌｅ  Ａｎｄｒｏｉｄスマートフォン）などの対をなすデバイスを使用して、ハンドフリーモードで音声会話を伝送し合うことができる。このモードでは、ＨＭＤシステムの他の機能は、他のシステムコンポーネントおよび機能性を起動させる言葉によるコマンドがヘッドセットによって認識されるまで、ハイバネーションモードのまま維持される。
【０００６】
例えば、ブルートゥース（登録商標）のフロントエンドが、ある音声コンポーネントを有する受信データストリームを検出すると、音声コンポーネントは、回路またはソフトウェアとして具現化される音声認識機能に渡される。音声コンポーネントは映像出力を必要とするシステムへの言葉によるコマンドであると音声認識機能が判断すると、フロントエンドは、組み込みデータプロセッサに映像ディスプレイなどの他の任意の周辺デバイスをオンにさせる。映像ディスプレイがもはや必要とされなくなると、プロセッサおよび映像ドライバ回路は、スリープモードに戻る。
【０００７】
別の例では、ユーザは、搭載プロセッサのより高度な機能性が必要とされるコマンドを話すことができる。例えば、ユーザは、今日の「やるべき」タスクのリストを読むように要求することができる。リストは、ホストコンピュータ上で実行しているＭｉｃｒｏｓｏｆｔ  Ｏｕｔｌｏｏｋなどのアプリケーションプログラムによって生成することができる。このコマンドの実行には、組み込みプロセッサを起動し、ローカルの大容量記憶装置にアクセスして、やるべきことのリスト情報をフェッチするばかりでなく、話し言葉に対応する音声信号を生成するテキスト音声変換回路も必要とされる。
【０００８】
別の例では、ユーザは、Ｍｉｃｒｏｓｏｆｔ  Ｗｏｒｄ文書としてウェブメールメッセージに添付された議題文書を表示するように要求することができる。これには、組み込みプロセッサを起動し、ローカルのマイクロディスプレイを起動し、ブルートゥース（登録商標）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）回路および／またはセルラモデム回路などを通じて外部のネットワークと接続することが必要とされるかもしれない。それらの回路は、したがって、その時点でのみ通電することになる。次いで、組み込みプロセッサは、パーソナルコンピュータなどのホストマシンと連絡し、ウェブ情報を回収して表示する。
【０００９】
この機能性をサポートするため、ワイヤレスフロントエンドには、音声テキスト変換機能の実行またはジェスチャからテキストへの変換ばかりでなく、その後、これらの音声またはジェスチャコマンドの解釈や、口頭でのまたはジェスチャコマンドの実行のために通電が必要とされるコンポーネントのリストの参照も可能にするテーブルまたは他の論理がその中に含められている。
【００１０】
前述は、異なる図面を通して同様の参照符号は同じ部分を示す添付の図面に示されるとおり、本発明の例示的な実施形態の以下のより具体的な説明から明らかになるであろう。図面は必ずしも原寸に比例するとは限らず、その代わり、本発明の実施形態の例示に重点を置く。
【図面の簡単な説明】
【００１１】
【図１】マイクロディスプレイおよび他の周辺インターフェースを含むヘッドマウントディスプレイ（ＨＭＤ）システムの図である。
【図２】ユーザの頭に着用された、カメラ周辺機器が設置されたＨＭＤシステムを示す別の斜視図である。
【図３】ＨＭＤと、パーソナルコンピュータなどのホストプロセッサ用のコントローラとしてのその使用とを示す高レベルの機能図である。
【図４】ＨＭＤアセンブリの内部のコンポーネントの高レベルのブロック図である。
【図５】特定の一実施形態で使用される電子コンポーネントを示す、より詳細な図である。
【図６】さまざまな他のＨＭＤシステムコンポーネントがアクティブ状態となった際に、どのようにブルートゥース（登録商標）フロントエンドがシステムコントローラとして作動して制御するかについての一例を示す高レベルのフローチャートである。
【図７】口頭でのコマンド、ジェスチャコマンドまたは頭部運動コマンドと、サブシステムのそれらの起動部分のリストである。
【発明を実施するための形態】
【００１２】
例示的な実施形態の説明を以下に示す。
【００１３】
図１は、一般に、フレーム１０００、ストラップ１００２、後部１００４、スピーカ１００６、カンチレバまたはアーム１００８およびマイクロディスプレイサブアセンブリ１０１０を含むヘッドマウントディスプレイ（ＨＭＤ）システム１００を示す。
【００１４】
ＨＭＤ  １００は、マサチューセッツ州タウントン（Ｔａｕｎｔｏｎ）に所在するＫｏｐｉｎ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＧｏｌｄｅｎ−ｉ（商標）ハンドフリー通信および制御デバイスに基づいてもよい。デバイスの片側、具体的には、マイクロディスプレイサブアセンブリ１０１０の反対側は、「ホットシュー」周辺ポート１０２０を含んでもよく、以下でさらに説明されるように、「ホットシュー」周辺ポート１０２０は、対応する接続をアクセサリに提供することができ、その結果、ユーザは、ＨＭＤ  １００に取り付けられたさまざまなコンポーネントを取り外すことができる。
【００１５】
図２は、ユーザの頭に着用されたＨＭＤ  １００の図であり、カメラアクセサリ１０６０がポート１０２０に設置されている。カメラ１０６０は、音声および映像の検知および記録機能の両方を含むことができ、例えば、「弾丸カム」と同様の小フォームファクタでもよい。以下でさらに説明されるように、頭部運動または音声コマンドでもよいユーザコマンドはユーザによって提供され、それにより、ディスプレイ１０１０、カメラ１０６０の設定が制御され、他の機能が実行される。
【００１６】
ＨＭＤシステムは、スタンドアロンパーソナルコンピュータもしくは「スマートフォン」デバイスのいずれかとして、および／または、ホストパーソナルコンピュータのリモートコントロール、または、他のデバイスとして主に機能してもよい。このために、ハウジングにはさまざまな電子回路が含まれ、理解されるように、マイクロコンピュータ、１つまたは複数のワイヤレスインターフェース、関連メモリまたは他の記憶装置、位置、運動および／またはジェスチャセンサが含まれる。カメラ位置、運動および／またはジェスチャセンサは、ユーザの頭または手の位置、運動および／またはジェスチャの追跡に使用され、マイクロホンは、音声入力コマンドを受信する。
【００１７】
ワイヤレスインターフェースは、スマートフォン自体として、または、ホストコンピューティングデバイス２００（図３）用のリモートコントロールとしてのＨＭＤシステム１００の使用を可能にする。例えば、ホスト２００は、リモートコントロールＨＭＤシステム１００自体と同様のまたはそれ以上の演算複雑性、および、同様のまたはそれ以上のネットワーク接続性を有するラップトップ、携帯電話、ＲＩＭ（登録商標）Ｂｌａｃｋｂｅｒｒｙ（登録商標）、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ（登録商標）、Ｇｏｏｇｌｅ（登録商標）Ａｎｄｒｏｉｄ（登録商標）または他のスマートフォンデバイスであってもよい。ホスト２００は、インターネットへのワイドエリアネットワーク（ＷＡＮ）接続２１０を通じてなど、他のネットワークにさらに接続することができる。ＨＭＤシステム１００とホスト２００は、ブルートゥース（登録商標）リンクまたはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）１５０によって提供されるような適切なワイヤレス接続を通じて互いに接続される。
【００１８】
図３に示されるように、ＨＭＤシステム１００は、マイクロホンを介しての音声入力、カメラもしくは他の光センサを介しての手の動作、および／または、加速度計もしくは他の頭部運動追跡回路を介しての頭部動作入力など、ユーザから入力を受信する。これらは、システム１００内のソフトウェアによって（および／またはホスト２００内のソフトウェアと協働して）、デバイス１００および／またはホスト２００システムが認識可能なコマンドに変換される。これらがＨＭＤシステム１００用のコマンドであれば、ＨＭＤシステム１００がこれらのコマンドを保持し、それらがホスト２００用のコマンドであれば、それらのコマンドはブルートゥース（登録商標）および／またはＷｉＦｉインターフェース１５０上でホスト２００に送信される。次いで、ホスト２００は、それ自体のオペレーティングシステム／アプリケーションソフトウェアに従って、これら変換されたコマンドを解釈し、さまざまな機能を実行する。
【００１９】
これらのコマンドの中には、文書をフェッチして表示するコマンドがあってもよい。
これらのコマンドの中には、通話に応答するコマンドがあってもよい。
他のコマンドの中には、Ｅメールまたはウェブページなど、インターネットからの情報を取得してそれを表示するコマンドがあってもよい。
【００２０】
他のコマンドの中には、仮想ディスプレイ内で視野を選択し、次いで、その選択画面をリモートデバイスへ返信するコマンドがあってもよい。また、極大フォーマットである仮想ディスプレイエリアは、ホスト２００上で実行しているオペレーティングシステム上または同オペレーティングシステム内で実行しているアプリケーションソフトウェアに関連付けられてもよく、視野内の、その大きな仮想ディスプレイエリアの一部のみが、ＨＭＤ  １００上のディスプレイ１０１０に供給されたさまざまな音声コマンドおよび／または頭部動作によって選択されることも理解されたい。
【００２１】
音声入力、運動および／またはジェスチャの検出に応じて、ＨＭＤ  １００によって実行することができる機能に関するさらなる情報については、２０１０年５月５日に出願された「Ｒｅｍｏｔｅ  Ｃｏｎｔｒｏｌ  ｏｆ  Ｈｏｓｔ  Ａｐｐｌｉｃａｔｉｏｎ  Ｕｓｉｎｇ  Ｍｏｔｉｏｎ  ａｎｄ  Ｖｏｉｃｅ  Ｃｏｍｍａｎｄｓ」と称する同時係属中の米国特許出願第１２／７７４，１７９号（代理人整理番号０７１７．２０９８−００１）および２０１１年２月１日に出願された「Ｗｉｒｅｌｅｓｓ  Ｈａｎｄｓ−Ｆｒｅｅ  Ｃｏｍｐｕｔｉｎｇ  Ｈｅａｄｓｅｔ  ｗｉｔｈ  Ｄｅｔａｃｈａｂｌｅ  Ａｃｃｅｓｓｏｒｉｅｓ  Ｃｏｎｔｒｏｌｌｅｄ  ｂｙ  Ｍｏｔｉｏｎ，Ｂｏｄｙ  Ｇｅｓｔｕｒｅ，ｏｒ  Ｖｏｃａｌ  Ｃｏｍｍａｎｄｓ」と称する米国特許出願第１３／０１８，９９９号（代理人整理番号０７１７．２１０２−００１）に説明されており、それぞれの全内容は、参照により本明細書に組み込まれる。
【００２２】
ＨＭＤシステム１００は、追加のスピーカ、追加のカメラ、光源、および、ホットシュー１０２０に嵌め込むことも、バッテリ内蔵式の他の任意の電子コンポーネントなどのカメラに勝る他のアクセサリに対する他の機能を提供することもできる。
【００２３】
図４は、ＨＭＤシステム１００の非限定的で例示的な実施形態の簡略化された高レベルのブロック図である。図１に示されたように、これらのコンポーネントは、ＨＭＤハウジングのさまざまな場所に統合される。ＨＭＤシステム１００は、アイポッド（登録商標）アセンブリ４０００を含んでもよく、アイポッド（登録商標）アセンブリ４０００は、前述のマイクロディスプレイ４０１０と、１つまたは複数のマイクロホン４０２０とを含む。１つまたは複数のスピーカ４０３０は、ユーザの耳の近くのハウジングイヤホン内に配置される（図１のアイテム１００６を参照）。システムの電子機器は、フレーム上またはフレーム内の適切な位置（後部１００４など）に設置することができ、Ｏｐｅｎ  Ｍｅｄｉａ  Ａｐｐｌｉｃａｔｉｏｎ  Ｐｌａｔｆｏｒｍ（ＯＭＡＰ）プロセッサ４１００、出力／音声コンパニオンチップ４１０２、ディスプレイドライバ４１０４、頭部追跡回路基板４１０６およびワイヤレスＬＡＮ／ブルートゥース（登録商標）インターフェース４１０８を含む。また、ハウジング内には、リチウムイオン電池４２００などの電源も位置する。
【００２４】
頭部追跡回路４１０６は、ホール効果センサ、ＭＩＭダイオード、加速度計、ジャイロおよび／またはトランスデューサを使用して、Ｘ、ＹおよびＺ軸に沿った横方向の動作およびＸ、ＹおよびＺ軸の周りの回転ジェスチャなどの頭部動作およびジェスチャを検出する回路を含んでもよい。
【００２５】
また、ＨＭＤシステム１００は、ブルートゥース（登録商標）インターフェース４１０８を通じて無線接続できるワイヤレスマウス、トラックボールまたはキーボードなどの外部の入力デバイスからの入力を受信することができる。ＷＬＡＮ／ＢＴフロントエンド４１０８、ＯＭＡＰ  ４１００および／またはホスト内のソフトウェアを使用して、カメラによって検出された手のジェスチャを解釈することができる。カメラ基板４０６０が付随的に映像入力を提供してもよい。
【００２６】
ＯＭＡＰプロセッサは、中央演算処理装置と、不揮発性メモリを含むことができるランダムアクセスメモリ（ＲＡＭ）および／または読み取り専用メモリ（ＲＯＭ）などのオンチップメモリとを含んでもよい。ＯＭＡＰは、Ｔｅｘａｓ  ＩｎｓｔｒｕｍｅｎｔｓモデルのＯＭＡＰ３５３０プロセッサまたはＴｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ，Ｉｎｃ．が販売するマルチメディアプロセッサを使用したより新しいバージョンであってもよい。一般に、ＯＭＡＰは、ＷＬＡＮ／ＢＴインターフェース４１０８より強力で、より多くの電力を消費するプロセッサである。
【００２７】
この例では、ＴＰＳ６５９５０出力／音声コンパニオンチップもまた、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓから入手可能であり、音声、ＵＳＢ、キーパッド制御およびバッテリ充電機能をシステムに提供する。
【００２８】
ＷＬＡＮ／ＢＴインターフェース４１０８は、モデルＬＢＥＥ  １Ｗ８  ＮＥＣインターフェース回路、または、同様のもしくはそれ以上の能力を有するより新しい無線モジュールであってもよい。
【００２９】
ディスプレイドライバは、マサチューセッツ州ウエストボロー（Ｗｅｓｔｂｏｒｏｕｇｈ）に所在するＫｏｐｉｎ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能なモデルＫＣＤ−Ａ９１０ディスプレイドライバであってもよい。
【００３０】
マイクロディスプレイ４０１０もまた、Ｋｏｐｉｎから入手可能であり、モデル１１３ＬＶ、１５２ＬＶ、２３０ＬＶ、ＷＱＶＧＡ、または、他の製造業者が容認可能なマイクロディスプレイを含んでもよい。
【００３１】
ＮＣＳモジュール４４００は、受信したマイクロホン信号を処理して音声認識機能を提供し、音声コンパニオンチップ４１０２に音声信号を生成する。
【００３２】
図５は、図４のさまざまなコンポーネント間の接続性を示すより詳細なブロック図である。
【００３３】
この図面からより容易に理解できるように、ＷＬＡＮ／ＢＴフロントエンド４１０８は、ＵＡＲＴインターフェースを使用することができる。このＷＬＡＮ／ＢＴフロントエンド４１０８は、ＯＭＡＰプロセッサ４１００およびそれに応じて音声および出力コンパニオンチップ４１０２の電源オンまたは電源オフ状態、ならびに、カメラ、ディスプレイ、ＷＬＡＮモデムなどの他の周辺機能に印加される電力を制御するようにプログラムされる。
【００３４】
図６は、いくつかの例示的な機能を示すフローチャートである。ここで、ＷＬＡＮ／ブルートゥース（登録商標）フロントエンド４１０８は、他のシステムコンポーネントへの電力の印加を制御することができる。図７は、いつさまざまなデバイスの電源をオン／電源をオフにするかを判断するためにフロントエンド４１０８によって維持することができる例示的なテーブルであり、以下の図６の論考で参照されたい。
【００３５】
第１の例では、状態６０００において、システムコンポーネントは、最初はハイバネーションモード（休止状態）にあってもよく、ブルートゥース（登録商標）ヘッドセット機能（例えば、マイクロホン４０２０およびスピーカ４０３０）のみが有効である。この状態６０００には、ＨＭＤシステム１００のスイッチを最初に入れた際に入ることができる。したがって、例えば、状態６１００では、通話が着信される場合、音声入出力機能は、状態６１１０においてアクティブ状態のまま維持される（例えば、マイクロホン４０２０はオン状態のまま維持され、スピーカ４０３０機能が有効となる）。しかし、状態６１２０では、ＯＭＡＰ  ４１００、ディスプレイ４０１０、カメラ４０６０および他のコンポーネントは、ハイバネーションモードのまま維持される。通話が終了すると、処理は状態６０００に戻る。
【００３６】
別の例では、ハイバネーション状態６０００から、音声回路は、「やるべきことのリストを読む」などの特定のユーザ音声コマンドを検出することができる。この状態６２００から、状態６２１０では、ＯＭＡＰの機能が有効となる。次いで、状態６２２０では、ＯＭＡＰは、ＳＤＲＡＭメモリなどのローカルストレージエリアにアクセスし、ユーザのローカルタスクリストに関連するファイルにアクセスし、今日のやるべきタスクの項目別リストを入手することができる。状態６２４０では、やるべきことのリストデータは、ＯＭＡＰ  ４１００から音声インターフェースに返信され、やるべきことのリストテキストは、音声に変換され、次いで、ヘッドセット１００のスピーカ上で聞かれる。この機能が完了した時点で、状態６５００に入り、次いで、システムはハイバネーション状態６０００に戻り、次いで、システムは再びブルートゥース（登録商標）ヘッドセットとしてのみ機能し、別のユーザコマンドを待つことになる。
【００３７】
さらなる例では、状態６３００において、ユーザは、ｗｗｗ．ＮＹＴｉｍｅｓ．ｃｏｍでＮｅｗ  Ｙｏｒｋ  Ｔｉｍｅｓのホームページの閲覧を希望することを示すコマンドを話す。このコマンドを受信すると、状態６３１０において、ＯＭＡＰの機能が有効となる。図３に関連して説明されたように、ＷＬＡＮインターフェースが起動され、ＯＭＡＰによるホストプロセッサへのコマンドの発行が可能になり、Ｎｅｗ  Ｙｏｒｋ  ＴｉｍｅｓのホームページのＨＴＭＬコンテンツを入手することができる。状態６３３０に入った時点で、マイクロディスプレイ１０１０の機能も有効となり、それにより、ユーザがウェブページの表示を希望することを予想する。Ｎｅｗ  Ｙｏｒｋ  Ｔｉｍｅｓ．ｃｏｍのＨＴＭＬウェブページは、例えば、ヘッドセット自体が、搭載ブルートゥース（登録商標）、ＷＬＡＮ回路（Ｗｉ  Ｆｉ）を通じて、または、補助セルラモデムを通じて、インターネットにアクセスする能力を有する場合など、別の方法でもフェッチすることができる。とにかく、コンテンツを入手した時点で、状態６３５０においてそのコンテンツはフォーマット化され、マイクロディスプレイ上に表示される。ある時点では、ユーザは、ディスプレイ機能を無効にする別のコマンドを発行することができ（またはコマンドがタイムアウトとなり得る）、その時点では、再びハイバネーション機能６０００に入る。
【００３８】
したがって、ブルートゥース（登録商標）および／またはＷｉＦｉフロントエンドがユーザ音声コマンドで着信音声ストリームを検出すると、ブルートゥース（登録商標）および／またはＷｉＦｉ回路は、ＯＭＡＰおよび他の周辺デバイスを自動的に起動するが、コマンドの実行に実際に必要とされるもののみを起動する。ブルートゥース（登録商標）および／またはＷｉＦｉフロントエンドは、こうして、テーブルまたはデータベースエントリの形でなど、多くの異なるユーザコマンドのそれぞれの実行にどの周辺デバイスおよび／またはＯＭＡＰを通電させる必要があるか（もしあれば）を示す情報を保持する。
【００３９】
さらに別の例では（図７を参照）、ユーザの手のジェスチャをカメラで検出し、入力を提供して、システム１００の特定のコンポーネントへの電力の印加を制御することができる。この状態では、音声コンポーネント機能が最初に有効となるが、口頭でのコマンドを検出し、少なくともカメラ４０６０およびＯＭＡＰ  ４１００を起動することによって手のジェスチャを読み取り解釈する。
【００４０】
別の例では、ユーザは、入力として頭部動作を使用することができる。このモードでは、例えば、ユーザが頭部動作を使用して、大きいフォーマットの仮想ディスプレイエリアをパン（移動）、ズームまたは別の方法でナビゲートする場合など、頭部運動追跡部４１０６およびディスプレイのみが、有効にすることができる関連コンポーネントであってもよい。
【００４１】
このように、ＨＭＤシステムの機能は、適切な口頭でのコマンド、ジェスチャコマンドまたはホストコンピュータからのコマンドを介して制御され、ブルートゥース（登録商標）および／またはＷｉＦｉインターフェースによって解釈され、サブシステム電子機器のその部分のみを必要に応じて起動する。アクティビティが終了すると、別の口頭でのコマンドまたはタイムアウトは、ＨＭＤシステムをスリープモードに戻すことができる。この時点で、ブルートゥース（登録商標）および／またはＷｉＦｉ回路は、ハイバネーション状態に戻り、通話、別の音声コマンドまたはＷＬＡＮを介したコンピュータインターフェースコマンドなどの外部の接点信号を待つことになる。
【００４２】
すべての特許、公開出願および本明細書で引用される参考文献の教示は、それらの全体が参照により組み込まれる。
【００４３】
本発明を、その例示的な実施形態を参照して、具体的に示し、説明してきたが、当業者であれば、添付の特許請求の範囲によって包含される本発明の範囲から逸脱することなく、その中で形態および詳細のさまざまな変更を行えることが理解されよう。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様１〕
マイクロディスプレイ、ユーザ入力デバイス、第１のプロセッサおよび２つ以上の他の周辺回路を含むヘッドマウントディスプレイ（ＨＭＤ）システムを制御する方法であって、
第１の状態では、前記第１のプロセッサおよびユーザ入力デバイスのみを作動させる工程と、
ユーザ入力を検出する工程と、
前記プロセッサを使用して、口頭でのコマンドまたはジェスチャコマンドとして前記ユーザ入力を解釈する工程と、
第２の状態に入る工程であって、前記口頭でのコマンドまたはジェスチャコマンドに応じて、前記２つ以上の他の周辺機器のうちの選択された周辺機器は作動され、選択されていない周辺機器は作動されないようにする、工程と
を含む方法。
〔態様２〕
前記２つ以上の他の周辺機器は、第２のプロセッサを含む、態様１に記載の方法。
〔態様３〕
前記第２のプロセッサは、前記第１のプロセッサよりも多くの電力を消費する、態様２に記載の方法。
〔態様４〕
前記２つ以上の他の周辺機器は、ワイドエリアネットワークインターフェース、第２のプロセッサ、ディスプレイ、カメラおよび頭部運動追跡器からなる一群から選択される、態様１に記載の方法。
〔態様５〕
前記ユーザ入力は、文書にアクセスするための口頭でのコマンドであり、前記第２の状態では、前記第２のプロセッサおよびマイクロディスプレイに電力が印加され、次いで、前記文書が表示される、態様２に記載の方法。
〔態様６〕
前記ユーザ入力は、ウェブページにアクセスするための口頭でのコマンドであり、前記第２の状態は、さらに、ワイヤレスインターフェースをネットワークに接続して、前記ウェブページをフェッチすることを可能にする、態様５に記載の方法。
〔態様７〕
前記周辺機器は、カメラ、および前記第１の状態で作動された第２のプロセッサを含み、前記ユーザ入力は手のジェスチャであり、前記第２のプロセッサは、前記第２の状態に入る前に前記手のジェスチャを解釈する、態様２に記載の方法。
〔態様８〕
前記周辺機器は、ワイヤレスインターフェースを含み、前記第２の状態は、前記ワイヤレスインターフェースで前記ユーザコマンドをホストに送信する、態様２に記載の方法。
〔態様９〕
前記ユーザコマンドは、前記ディスプレイのアスペクトを操作するための要求であり、前記第２の状態は、前記ディスプレイ上の情報表示を変更する、態様７に記載の方法。
〔態様１０〕
視覚情報を表示するマイクロディスプレイと、
センサ入力を示す１つまたは複数の周辺機器入力信号、または、ユーザの動きおよび／もしくは音声入力の少なくとも１つを示す１つまたは複数の周辺機器入力信号を提供する、２つ以上の周辺デバイスと、
前記周辺機器入力信号を１つまたは複数の検出コマンドに変換する第１のプロセッサと、
前記１つまたは複数の検出コマンドに応じて、前記マイクロディスプレイおよび前記１つまたは複数の周辺機器を選択的に作動させるプロセッサコントローラと
を備えたヘッドセット携帯装置。
〔態様１１〕
前記１つまたは複数の周辺デバイスが、
前記ユーザから音声信号を受信する１つまたは複数のマイクロホンを備え、
前記第１のプロセッサは、さらに、
音声コマンドを検出するように音声信号を処理する音声認識装置を備える、態様１０に記載の装置。
〔態様１２〕
前記１つまたは複数の周辺デバイスは、動き検出器であり、前記動き検出器は、２つ以上の軸に沿ったユーザの動きを示す、２つ以上の動き入力を提供する、態様１０に記載の装置。
〔態様１３〕
前記動き検出器は、前記ユーザの手および／または身体のジェスチャ動作を検出するカメラである、態様１２に記載の装置。
〔態様１４〕
前記動き検出器は、前記ユーザの頭部動作を検出する頭部動作追跡デバイスである、態様１２に記載の装置。
〔態様１５〕
前記周辺機器は、当該ヘッドセット携帯装置と別のデータ処理デバイスとの間で、１つまたは複数のワイヤレスリンクを提供する通信インターフェースをさらに備える、態様１０に記載の装置。
〔態様１６〕
前記ユーザコマンドは、前記第１のプロセッサによって処理されて、前記マイクロディスプレイ上の視覚情報表示のアスペクトが制御される、態様１０に記載の装置。
〔態様１７〕
前記ユーザコマンドは、視野を制御する、態様１６に記載の装置。
〔態様１８〕
前記ユーザコマンドは、ズーム、パンまたはスケールファクタを制御する、態様１７に記載の装置。
〔態様１９〕
前記ユーザコマンドは、ウェブページ表示のハイパーリンクアイテムを選択する、態様１６に記載の装置。
【図１】
0005974008.tif 000002
【図２】
0005974008.tif 000003
【図３】
0005974008.tif 000004
【図４】
0005974008.tif 000005
【図５】
0005974008.tif 000006
【図６】
0005974008.tif 000007
【図７】
0005974008.tif 000008