(57)【特許請求の範囲】
【請求項１】
入力デバイスとして構成されたアイウェア、及び別の入力デバイスを備えるシステムであって、
前記アイウェアは、前記アイウェアとのユーザ対話を感知し、前記ユーザ対話を表す信号を出力するように構成された１つまたは複数のマルチタッチセンサを備えるマルチタッチセンサセットを含み、
前記マルチタッチセンサセットは、少なくとも１つの内側に向いているセンサを含み、前記アイウェアのユーザのプロファイルを認識し、
前記マルチタッチセンサセットは、前記信号に対応する入力データをプログラムに提供するためのセンサ処理ロジックに結合され、前記プログラムとの対話のために、前記認識されたプロファイルに対応するプリファレンスを適用し、前記プログラムは、異なるデバイスと対話するためにそれぞれが使用される複数のプログラムを含み、前記入力データが提供されるプログラムは、少なくとも前記別の入力デバイスからの入力に基づいて、前記複数のプログラム間で切り替えられる、システム。
【請求項２】
前記マルチタッチセンサセットは、スワイプジェスチャを検出するように構成された少なくとも１つのセンサ、または複数の異なる圧力を検出するように構成された少なくとも１つのセンサ、またはスワイプジェスチャを検出するように構成された少なくとも１つのセンサと複数の異なる圧力を検出するように構成された少なくとも１つのセンサとを共に備える、請求項１に記載のシステム。
【請求項３】
前記アイウェアは、拡張現実メガネ、ニアアイディスプレイ、矯正レンズを有する眼鏡、立体メガネ、保護メガネ、サングラス、老眼鏡、アクティブシャッタを有するメガネ、またはゴーグルを含む、請求項１に記載のシステム。
【請求項４】
前記マルチタッチセンサセットは、容量センサ、抵抗センサ、圧電ベースのセンサ、光学センサ、光ベースのセンサ、または反射型センサのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項５】
前記マルチタッチセンサセットの少なくとも一部分は、前記アイウェアのレンズ、前記アイウェアのレンズの上方のフレーム、前記アイウェアのレンズの下方のフレーム上、前記アイウェアのステム、または、前記アイウェアのレンズ、前記アイウェアのレンズの上方のフレーム、前記アイウェアのレンズの下方のフレーム上、前記アイウェアのステムの任意の組み合わせに配置される、請求項１に記載のシステム。
【請求項６】
前記アイウェアがユーザによって現在装着されているかどうかを決定するために使用される信号を提供するように構成された、または前記アイウェアが現在、ユーザによって移動されているか、それとも前記ユーザによって入力デバイスとして使用されているかを区別するために使用される信号を提供するように構成された、少なくとも１つのセンサをさらに備える、請求項１に記載のシステム。
【請求項７】
前記プログラムが、前記マルチタッチセンサセットで開始される入力、および前記別の入力デバイスで開始される入力に基づいて動作する、請求項１に記載のシステム。
【請求項８】
１つまたは複数のセンサを備えるマルチタッチアイウェアセンサセットとのユーザ対話を感知する工程と、
対話型プログラムとのユーザ対話を実現するために、前記対話を表す信号を出力する工程であって、前記対話型プログラムは、異なるデバイスと対話するためにそれぞれが使用される複数のプログラムを含み、前記信号が出力される対話型プログラムは、別の入力デバイスからの入力に少なくとも基づいて、前記複数のプログラム間で切り替えられる、工程と、
前記マルチタッチアイウェアセンサセットの少なくとも１つの内側に向いているセンサを用いて、ユーザのプロファイルを認識する工程と、
前記対話型プログラムとのユーザ対話のために、前記認識されたプロファイルに対応するプリファレンスを適用する工程とを含む方法。
【請求項９】
前記ユーザ対話を感知する工程は、タップ、押圧、ピンチ、プレスアンドホールド、またはスワイプジェスチャのうちの少なくとも１つを感知する工程を含む、請求項８に記載の方法。
【請求項１０】
コンピュータ実行可能命令を有する１つまたは複数のコンピュータ可読記録媒体であって、前記コンピュータ実行可能命令は、実行されたときに、
アイウェアセンサセットを介して感知されたユーザ入力アクティビティに対応する情報を受け取る工程と、
前記アイウェアセンサセットの少なくとも１つの内側に向いているセンサを用いて、ユーザのプロファイルを認識する工程と、
前記ユーザの前記認識されたプロファイルに基づいて前記情報を処理して少なくとも１つの入力イベントにする工程と、
別の入力デバイスからの入力に少なくとも基づいて、前記少なくとも１つの入力イベントに対応するデータを、プログラムにそれぞれが関連付けられた異なるバッファにバッファリングする工程であって、各プログラムは、異なるデバイスと対話するために使用される、工程とを含む工程を実施する、１つまたは複数のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  コンピュータおよびビデオ技術が進歩するに伴って、ユーザが好都合な方法でコンピュータとインターフェースをとる必要がある。１つの方法では、頭部装着型拡張現実メガネを用いて、ユーザがメガネ上にレンダリングされた表示コンテンツを見る。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
[0002]  しかしながら、頭部装着型拡張現実メガネを用いるシナリオ（継続使用シナリオ）では、入力デバイスをユーザの手で継続的に使用可能にすることができないので、対話性が制約される。そうした状況では手のジェスチャまたは音声コマンドを使用することができるが、これは、カメラおよび／またはマイクを必要とし、音声や無音のジェスチャであっても他の人々の気を散らすおそれがあるので図書館など多くの状況において適切でない。
【課題を解決するための手段】
【０００３】
[0003]  この概要は、以下の発明を実施するための形態でさらに説明される代表的概念から選択したものを簡略化した形式で紹介するために提供されている。この発明の概要は、特許請求される主題の主要な特徴または本質的特徴を特定するものではなく、特許請求される主題の範囲を限定する手段として使用するものでもない。
【０００４】
[0004]  簡潔に述べると、本明細書に記載の主題の種々の態様は、アイウェアを入力デバイスとして使用することを対象とし、アイウェアは、アイウェアとのユーザ対話を感知し、ユーザ対話を表す信号を出力するように構成された１つまたは複数のマルチタッチセンサを備えるマルチタッチセンサセットを含む。マルチタッチセンサセットは、信号に対応する入力データをプログラムに提供するためのセンサ処理ロジックに結合することができる。
【０００５】
[0005]  一態様では、マルチタッチアイウェアセンサセットとのユーザ対話が感知される。対話型プログラムとのユーザ対話を実現するために、対話を表す信号が出力される。感知され得る例示的ユーザ対話は、センサで検出されるタップもしくはプレスアンドホールド（press-and-hold）、１つまたは複数のセンサを介して検出されるスワイプジェスチャ、および／またはセンサで検出されるピンチ（pinch）を含む。
【０００６】
[0006]  一態様では、アイウェアセンサセットを介して感知されたユーザ入力アクティビティに対応する情報が受け取られる。情報は処理されて少なくとも１つの入力イベントにされ、その入力イベントに対応するデータがバッファリングされ、たとえば、プログラムまたはデバイスの現在の状態を変化させる意義を決定するためにプログラムによって消費される。
【０００７】
[0007]  他の利点は、図面と併せて説明される以下の発明を実施するための形態により明らかにすることができる。
【０００８】
[0008]  本発明は例示として示され、添付の図面に限定されない。図面では、同様の参照番号は同様の要素を示す。
【図面の簡単な説明】
【０００９】
【図１】[0009]一例示的実施形態による、アイウェアに感知された対話を信号としてコンピューティングデバイスに送信するように構成されたコンポーネントを含むブロック図である。
【図２Ａ】[0010]一例示的実施形態による、センサがアイウェアに配置され得る位置を表す図である。
【図２Ｂ】一例示的実施形態による、センサがアイウェアに配置され得る位置を表す図である。
【図３Ａ】[0011]一例示的実施形態による、アイウェアをベースとするセンサを表す図である。
【図３Ｂ】一例示的実施形態による、アイウェアをベースとするセンサ、およびセンサとの可能な対話のタイプを表す図である。
【図４Ａ】[0012]一例示的実施形態による、片手使用のためのアイウェアをベースとするセンサを表す図である。
【図４Ｂ】一例示的実施形態による、両手使用のためのアイウェアをベースとするセンサを表す図である。
【図５Ａ】[0013]一例示的実施形態による、センサがアイウェアステムに配置され得る位置を表す図である。
【図５Ｂ】一例示的実施形態による、センサがアイウェアステムに配置され得る位置、およびセンサとの可能な対話を表す図である。
【図６Ａ】[0014]一例示的実施形態による、センサとの対話がより複雑になり得る場合の、センサがアイウェアステムに配置され得る位置を表す図である。
【図６Ｂ】一例示的実施形態による、センサとの対話がより複雑になり得る場合の、センサがアイウェアステムに配置され得る位置を表す図である。
【図７Ａ】[0015]一例示的実施形態による、タッチ感知可能センサおよび／または生体計測センサであり得るセンサがアイウェアに配置され得る位置を表す図である。
【図７Ｂ】一例示的実施形態による、タッチ感知可能センサおよび／または生体計測センサであり得るセンサがアイウェアに配置され得る位置を表す図である。
【図８】[0016]一例示的実施形態による、所望の入力機能にマッピングされるアイウェアをベースとするセンサを表す図である。
【図９】[0017]一例示的実施形態による、入力デバイスとしてアイウェアを使用するために行われ得る例示的工程を示すフロー図である。
【図１０】[0018]本明細書に記載の主題の態様を組み込むことができる例示的コンピューティング環境を示すブロック図である。
【発明を実施するための形態】
【００１０】
[0019]  本明細書に記載の技術の種々の態様は、一般に、メガネまたは類似のアイウェアデバイスのフレームまたは他の領域を、コンピュータシステムとインターフェースをとる際に使用するためにタッチ感知可能にすることを対象とする。フレームの表面および／またはグラス面の任意の部分または全部が、たとえば、フレームで直接成形されたまたはフレームに取り付けられた容量および／または抵抗タッチセンサを組み合わせることなどにより、タッチ対話のためにタッチ感知可能とされてよい。さらに、耳の後の位置のようなアイウェア上の専用領域、またはレンズの間のフレーム上の箇所が、追加の機能（たとえば、ユーザがメガネを現在装着しているかどうかの検出）のために使用されてもよい。生体計測センサが、様々な使用状態を感知するためにフレームに組み込まれてもよい。
【００１１】
[0020]  また、多数のタイプの可能な対話を実現する種々の対話技法も説明される。これらの技法の１つまたは複数を、ワイヤレスリモコン、３次元（３Ｄ）ポインタ、および携帯電話などのような他の入力デバイスからの入力と組み合わせることにより、さらなるまたは修正された対話を実現することができる。アイウェアを介して受け取った入力は、アイトラッキングおよび／またはヘッドトラッキングを介して得られるような他の入力データと一緒に使用されおよび／または組み合わされることにより、追加的入力情報を修正および／または提供することができる。
【００１２】
[0021]  本明細書の例のいずれも非限定的であることを理解されたい。たとえば、メガネが例として使用されているが、他の任意のタイプのアイウェアが本明細書に記載の技術から利益を得る可能性があり、アイウェアは、矯正レンズを有する眼鏡、３Ｄ（立体）メガネ、保護メガネ、サングラス、老眼鏡、アクティブシャッタを有するメガネ、およびゴーグルなどを含むがこれらに限定されない、任意のタイプのものであってよい。したがって、アイウェアは、対話型コンテンツを表示する拡張現実メガネ（ニアアイディスプレイ）であってよいが、必ずしもそうでなくてよく、代わりに、アイウェアは、ユーザが対話しようとする任意のタイプのコンテンツを、どのように表示されるかを問わずユーザが閲覧することができるレンズを含む、任意のタイプのメガネまたはゴーグルであってもよい。したがって、本発明は、本明細書に記載の特定の実施形態、態様、概念、構造、機能、または例のいずれにも限定されない。むしろ、本明細書に記載の実施形態、態様、概念、構造、機能、または例のいずれも非限定的であり、本発明は、一般にコンピュータおよび顔検出において利益および利点を提供する種々の方法で使用され得る。
【００１３】
[0022]  図１は、本明細書では説明のために「メガネ」として例示されるアイウェアが、コンピューティングデバイス１０４に結合する１つまたは複数のマルチタッチセンサ１０２１〜１０２ｎのセットをどのように含むかについての例示的実装形態を示す、ブロック図である。本明細書で使用される場合、「マルチタッチ」は、２つ以上のセンサのオン／オフ状態を示すセンサを指す。すなわち、マルチタッチセンサセットは、２つ以上の個々のセンサの状態に関する情報、および／または、複数の可能なトリガ位置のうちの単一のセンサ（もしくは複数のセンサ）がトリガされた場所を示す、たとえば１つまたは複数の座標と同じ粒度であり得る、位置データを提供することができる。
【００１４】
[0023]  コンピュータシステム１０４は、パーソナルコンピュータ、スマートフォン、スレート／タブレット、ヘッドアップディスプレイ、電化製品（たとえばテレビ）、身体に組み込まれる頭蓋内／接眼および／または他のデバイスであってよい。本質的に、ユーザが制御可能に対話したい任意のデバイスが、本明細書に記載の技術と共に使用するのに適する。
【００１５】
[0024]  センサ１０２１〜１０２ｎは、指または他の適切なポインティング機構の接触および／または近接（proximity）（たとえばホバー）を検出する、容量センサ、抵抗（ポテンショメータ）センサ、圧電ベース、光学、光ベース（たとえば赤外線）、反射（エミッタ／ディテクタ）ベース、および／または他のタイプのセンサとすることができる。フレームおよび／またはレンズの全表面あるいは全表面より小さい何らかの部分が、タッチ感知可能とされ得る。センサは、フレームおよび／またはレンズ材料あるいはそれに塗布されるコーティングに埋め込まれてよい。アプリケーションが、適切なセンサタイプ、たとえば、防水センサ、比較的長い距離で対話を検出するセンサ（たとえば、ユーザの腕の長さ近くで反射する）などを決定してもよい。
【００１６】
[0025]  それらのセンサは、個別のセンサおよび／またはアレイとして構成されて、たとえば、タップ、押圧、スワイプなどを感知して互いに区別できるようにされ得る。センサのいくつかが内側に向いていてもよく、たとえば、３Ｄメガネのセットを装着しているユーザを１つのプロファイルとして認識することが可能であり、それにより、ユーザの閲覧および音声のプリファレンスが、ユーザの娘が同じメガネを装着したときに適用されるプリファレンスに代えて適用され得る。
【００１７】
[0026]  センサは、強いタップ、強いスクイズ（squeeze）、弱いタップ、および弱いスクイズが対話型のボキャブラリでそれぞれ異なる意義を有することができるように、圧力感知可能であってよい。タッチ感知可能ディスプレイ画面などの従来のセンサと異なり、たとえば、センサ圧力に対向するようにフレームの反対側を使用してユーザが親指と他の指の間でセンサをつまむことができるので、スクイズが可能であることに留意されたい。
【００１８】
[0027]  センサにより検出された入力、または入力に対応するデータが、センサ処理ロジック１０６によって処理される。センサ処理ロジック１０６によって処理される信号に関して、センサから任意のタイプの通信が、たとえば、有線またはワイヤレス通信を介して実行可能である。電源は、メガネに組み込まれてもよく、または通信線が使用可能でないセンサに結合されてもよい。センサ処理ロジック１０６によって受け取られおよび／または処理された信号は、センサ処理ロジック１０６の外部にあり得るまたはその一部とみなされ得る増幅器、アナログデジタル変換器、変調器、および復調器など、ゼロ以上の任意の数の仲介物を介して、伝達することができる。
【００１９】
[0028]  一般に、センサ処理ロジックは、ユーザ入力をイベント（たとえばポインタイベント）になるように処理し、アクティブプログラム１１０により消費するためにバッファ１０８に入れる。バッファは、他のタイプのポインティングデバイスなどを介して入力されたイベントに対応するクリックイベント、座標、およびタイムスタンプなどを含むことができる。前述のように、異なるタイミングの考慮、たとえばプレスアンドホールドがタップと異なることがあるように、圧力が異なると異なる入力を与えてよい。このように、メガネに関連付けられたセンサ１０２１〜１０２ｎで感知された人間のアクティビティを介して、ユーザがアクティブプログラムと対話することができることは容易に理解できよう。
【００２０】
[0029]  図２Ａ〜図８は、メガネフレームおよび／またはレンズの表面に配置されたマルチタッチ感知可能センサとのいくつかの対話がどのように行われ得るかを表す図である（図２Ｂ）。理解されるように、図２Ａ〜図８のメガネおよび図示のセンサは、説明のための例を意図しているに過ぎず、図示のセンサの実際の位置、形状、および／またはサイズは、何ら特定の実装形態を表すものではなく、何ら限定をするものでもない。
【００２１】
[0030]  図２Ａでは、レンズを保持するフレーム部分２２３〜２２６上、およびつるステム２２２および２２７上を含む、センサに対応する種々の可能な感知点２２２〜２２７が示されている。図２Ｂでは、透明にできるセンサ２２９が１つのレンズ上に示されている。レンズ領域全体がマルチタッチ感知可能であってもよく、両方のレンズが１つまたは複数のセンサを含んでもよい。レンズそれ自体にタッチすることは、閲覧領域に生じる汚れのため、ユーザが覗く眼鏡のタイプによっては理想的なことではないが、特定のシナリオおよびアプリケーション、ならびに接触感知ではなく近接感知の使用において、レンズそれ自体を介する感知から利益を得られる場合があることに留意されたい。
【００２２】
[0031]  図３Ａは、１つの眼鏡のレンズの上部および下部に位置付けられた複数のセンサ３３２〜３３５を示す。こうしたセンサ３３２〜３３５は、別個の単一タッチセンサであり得る。どのセンサが作動されるかによって異なる対話の意義を有することができることは容易に理解できよう。
【００２３】
[0032]  図３Ｂは、接触／近接または１次元スワイプを介する作動を感知するように構成されたセンサ３３８を示す。単一のスワイプ方向は、対話のために許可されたスワイプ方向のみとしてよく、または、２つのスワイプ方向が許可されて、それぞれがユーザの意図と同じ意義または独立した意義を有してもよい。たとえば、ビデオコンテンツを閲覧するユーザが、巻き戻しのためにセンサ３３８上を右から左にスワイプする、早送りのために左から右にスワイプする、または再生のためにセンサ３３８をタップすることができる（タップは物理的接触を必ずしも必要としないことに留意されたい。たとえば、近接タイプセンサに一時的に近接近してから離れる指が、物理的接触をまったくすることなく「タップ」としてセンサを作動させることができる）。別の例として、カメラタイプアプリケーションによるズームインまたはズームアウトを、スワイプ対話を介して制御することができる。
【００２４】
[0033]  図４Ａは、どのように２つのセンサ４４２および４４３が片手の対話と一緒に使用され得るかを表す図である。上部センサ４４２における接触／近接近がある意義を有し、下部センサ４４３における接触／近接近が別の意義を有し、あるいはそれら両方が一緒に作動されることが第３の意義を有してもよい。センサ処理ロジック１０６に実装されるものなどタイミング機構などを使用し、ユーザがセンサを一緒に作動させるのに多少不正確であることを許容することができる。ダブルタップまたはトリプルタップなどが、さらに別のセットの意義を有してもよい。スワイプが、そのような一対のセンサと共に使用されてもよい。
【００２５】
[0034]  図４Ｂは、図４Ａと似ているが、両手の操作などのための左、右、上、および下のセンサ４４４〜４４７を有している。可能な組み合わせの数によってより多くの対話の意義が許容されることは容易に理解できよう。
【００２６】
[0035]  図５Ａおよび図５Ｂは、眼鏡フレームのステム部分のセンサ５５２〜５５４を示す。センサは、（タイミングを通じてスワイプを検出することもできる）単一のオン／オフセンサ５５２および５５３であっても、スワイプを直接検出してもよい（図５Bのセンサ５５４）。明示的に示されていないが、複数のスワイプ対応センサが使用されてよく、また、左と右の両方のアイウェアステムがセンサを含んでもよいことは、容易に理解できよう。図６Ａは、たとえば、両手のハイブリッドモデルを実現する、ステムに配置されたセンサ６６２と１つのレンズの近くに配置されたセンサ６６３および６６４との組み合わせを例示する。任意の数のステムに配置されたセンサおよび／またはレンズの近くのセンサ（および／またはさらにレンズそれ自体に配置されたセンサ）が、任意の数の個別および組み合わせの意義と共に実装され得ることは容易に理解できよう。
【００２７】
[0036]  図６Ｂは、対向するスワイプがさらに別の意義を有し、たとえば回転状の態様を提供する、より複雑なタイプの対話を表す図である。ズームイン対ズームアウトの提供およびフォーカスなどを用いるアプリケーションは、このタイプのジェスチャから利益を得ることがある。
【００２８】
[0037]  図７Ａおよび図７Ｂは、別の例示的態様、すなわち、眼の間のセンサ７７２、および（装着されたときに）耳の後方の先端のセンサ７７４をそれぞれ示す。そのようなセンサは、たとえば、ユーザインターフェースにおけるいくつかの機能にアクセスするための、タッチ感知に使用され得る。しかしながら、例示したセンサ７７２および／または７７４は、そうしたセンサ７７２および／または７７４が必ずしもタッチ感知可能センサではない場合を含む、他の用途で使用されてもよい。たとえば、１つまたは複数のタイプの生体計測および／または他の感知を介して、図７Ａおよび図７Ｂ内のような鼻および耳の周囲のタッチ（すなわち皮膚接触）を感知することにより、フレームは、それらが頭部に装着されているかどうかを自動的に「知る」ことができる。温度感知は、特に他の箇所で測定された周囲温度と比較する場合、アイウェアが装着されているかどうかをおそらく検出する１つの方法である。また、容量感知により、近くの皮膚の変形を検出することもでき、それは、たとえば、眉を上げるまたはしかめるような特定のタイプの表情を検出するために使用できる。アイウェアが現在装着されているかどうかを感知することを用いて、アイウェアが使用されていないときにアイウェアでの表示をオフにし、使用するときにはシステムを自動的に元に戻すことができ、そのような状態変化に基づいて動作するための何らかのロジックまたは回路をアイウェアに組み込むことができることに留意されたい。それらの位置は、タッチ感知可能対話を感知する点として使用されてもよい。
【００２９】
[0038]  さらに、アイウェアに埋め込まれたタッチ／近接／他のセンサは、メガネが現在装着されているかどうかを知る以外の用途のために使用され得る生体計測データを収集するために使用してもよい。たとえば、１つまたは複数のセンサが電気皮膚反応を感知し、心電図（ＥＫＧ）信号を提供し、頭部の異なる側（たとえば着用者の耳の後）の２つ以上の異なるセンサ（たとえば電極）を調べることなどにより、心拍数などを検出する。
【００３０】
[0039]  タッチ感知は、アイウェアにおいて慣性感知などと組み合わせてもよく、たとえば、感知入力の組み合わせを使用して、ユーザがメガネを現在保持して動かしているか、それともアイウェアを介して対話しているかを決定する。たとえば、１つまたは複数の動き（たとえば慣性）センサが、頭部の動きより大きい動きを示す動きの量を検出して、アイウェアが比較的安定していてタッチが対話のために使用されているときと対照的な他のそのようなアクションを識別することができる。このように、「常時オン」インターフェースなどによって、そのような入力を使用して、意図的な対話ジェスチャの認識と、より良好／快適にフィットするようにアイウェアを保持し調整するようなアクションの検出とを区別することができる。
【００３１】
[0040]  図８は、メガネに関連付けられた表示されるユーザインターフェースの例を示し、この例では、センサ８８１〜８８４の領域またはそれらにごく近い領域においてフレームにタッチすることにより、４つのオプションのそれぞれが単純にアクティブにされ得る。たとえば、センサ８８１は、作動されると、「クラム（crumb）」（ＵＩナビゲーション追跡補助）を離れ、センサ８８２は、作動されると、記録を開始または停止することができる。センサ８８３は、検索エンジンまたは他の検索機構を呼び出すために使用することができる。センサ８８４は、スナップ特性によってウィンドウを制御するために使用することができる。他の任意の機能およびコマンドなどが、そうしたセンサに割り当てられてもよく、それらは、たとえば、ユーザカスタマイズされてよく、および／または、ユーザがインターフェースをとる（たとえば、オペレーティングシステムまたはアプリケーションプログラム）に依存してよい。
【００３２】
[0041]  このように、マルチタッチセンサを有するメガネは、他のデバイスに対するリモート入力デバイス、たとえば、携帯電話、コンピュータなどとして使用することができる。メガネは、ワイヤレスリモコン、３Ｄポインタなどの役割をすることができる。
【００３３】
[0042]  別の態様を参照すると、メガネベースの入力と他の入力デバイスの入力との組み合わせにより、種々の有用な対話シナリオが実現される。例として、ヘッドトラッキングまたはアイトラッキングを介してユーザがテレビを見ていることが分かるとする。この例では、メガネ上のセンサは、テレビと対話するために使用され、ボリュームおよびチャネル変更などを制御することなどができる。次いで、ユーザがコンピュータディスプレイ画面を見ると、メガネ上のセンサがコンピュータと対話するために使用され得る。音声、ジェスチャ、およびマウスまたはキーボード入力のようなさらに従来の入力が、メガネベースの入力を介する対話から利益を得ることができる。
【００３４】
[0043]  さらに、タッチ感知可能メガネは、やはりメガネに組み込まれる他のセンサ、たとえば、アイトラッキング、カメラ、慣性センサ、顎トラッキング、温度センサ、心拍数モニタ、電気皮膚反応、ＥＥＧ、ＥＭＧ、およびＥＫＧのためのセンサなどと組み合わされてもよい。そのような追加のセンサは、たとえば、（たとえば、視線モニタリング、慣性センサ、またはカメラと組み合わされたとき、）ヘルスモニタリングにおける常時オンの入出力解、ならびに３Ｄ入力を実現することができる。カメラ／慣性センサ／マイク／視線トラッキング、および／または同様のものと組み合わされたとき、これらのメガネは、たとえば、視線方向視覚検索（gaze-directed visual search）または拡張現実ビデオを可能にするために使用することができる。
【００３５】
[0044]  図９は、対話入力デバイスとしてアイウェアを使用するために実施され得る例示的工程を要約する例示的フロー図であり、マルチタッチセンサセットによってユーザ対話が検出されたときに工程９０２から開始される。工程９０４は、対話に対応する信号を出力することを表す。
【００３６】
[0045]  工程９０６は、生体計測センサによって得られるような他の任意の信号を出力することを表す。この単純化された例では、工程９０６は、いつ対話が感知されても出力をするように示されているが、代わりに、そのような生体計測または他の信号伝達が、１秒毎にサンプリングする、および／または大きな状態変化が検出されたときのみ出力するプロセスなど、別個のプロセスの一部であってもよいことに留意されたい。さらに、たとえば、使用されていないときにアクティブなメガネをオフにし使用されるときにオンにするために、他の信号伝達がメガネの内部にあってもよい。
【００３７】
[0046]  工程９０８以降は、信号（または、信号に対応するデジタル化および／または復調データなど、信号に対応するデータ）の受信側におけるアクションを対象とする。工程９０８および９１０は、信号または対応するデータを受け取り、データを処理して、ユーザが対話するプログラムによって消費するために適切な形態、たとえば、クリックなどのポインタイベントおよび座標などにすることを表す。
【００３８】
[0047]  工程９１２は、プログラムのために入力イベントをバッファリングすることを表す。上述のように、ユーザがテレビを見ているかそれてもコンピュータモニタを見ているかなど、他の状態情報に基づいて、プログラムが切り替わることができ、それにより、プログラムにそれぞれが関連付けられた異なるバッファなど（たとえば、タイムスタンプベースのルーティング）が使用され得ることに留意されたい。ユーザ入力に関連付けられたフィードバックは、ＵＩにおける可視の変化または他の直接的変化（音量の増加など）の形態で提供することができるだけでなく、場合によっては、追加的フィードバックとして、たとえば、入力が受け取られたことをユーザに知らせる振動または他の触覚的フィードバックとして提供することができ、これは、ユーザに容易に見えない場合に特に有用となり得る。
【００３９】
例示的動作環境
[0048]  図１０は、図１〜図９の例を実装することができる適切なコンピューティングおよびネットワーキング環境１０００の例を示している。コンピューティングシステム環境１０００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲に関して何ら限定を示唆するものではない。コンピューティング環境１０００は、例示的動作環境１０００に示されたコンポーネントの任意の１つまたは組み合わせに関連する、いかなる従属性ないし要件も有すると解釈されるべきでない。
【００４０】
[0049]  本発明は、多くの他の汎用または専用のコンピューティングシステム環境または構成で動作する。本発明と共に使用するのに適したものであり得る周知のコンピューティングシステム、環境、および／または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、および上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが挙げられるが、これらに限定されない。
【００４１】
[0050]  本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的文脈で説明することができる。一般に、プログラムモジュールは、特定のタスクを実行しまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などを含む。また、本発明は、通信ネットワークを介してリンクされるリモート処理デバイスによってタスクが実行される分散コンピューティング環境で実践されてもよい。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよび／またはリモートコンピュータ記憶媒体に配置されてよい。
【００４２】
[0051]  図１０を参照すると、本発明の様々な態様を実装するための例示的システムがコンピュータ１０１０の形態で汎用コンピューティングデバイスを含むことができる。コンピュータ１０１０のコンポーネントは、以下に限定されないが、処理ユニット１０２０、システムメモリ１０３０、およびシステムバス１０２１を含むことができ、システムバス１０２１は、システムメモリを含む種々のシステムコンポーネントを処理ユニット１０２０に結合する。システムバス１０２１は、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のいずれかであってよい。限定ではなく例として、そのようなアーキテクチャは、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス規格協会（ＶＥＳＡ）ローカルバス、およびメザニンバスとしても知られる周辺コンポーネント相互接続（ＰＣＩ）バスを含む。
【００４３】
[0052]  コンピュータ１０１０は通常、種々のコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１０１０によりアクセスでき、揮発性および不揮発性の媒体ならびに取外し式および非取外し式の媒体を共に含む、任意の使用可能な媒体とすることができる。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性の媒体ならびに取外し式および非取外し式の媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用でき、かつコンピュータ１０１０によってアクセスできる他の任意の媒体を含むが、これらに限定されない。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを搬送波または他の移送機構などの変調データ信号で具現化し、任意の情報送達媒体を含む。用語「変調データ信号」は、その信号内に情報をコード化するように、その特性の１つまたは複数が設定または変更された信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他のワイヤレス媒体などのワイヤレス媒体を含む。上記の任意の組み合わせも、コンピュータ可読媒体の範囲内に含むことができる。
【００４４】
[0053]  システムメモリ１０３０は、読取り専用メモリ（ＲＯＭ）１０３１およびランダムアクセスメモリ（ＲＡＭ）１０３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動中などにコンピュータ１０１０内の要素間で情報を転送するために役立つ基本ルーチンを含む、基本入出力システム１０３３（ＢＩＯＳ）は、典型的にはＲＯＭ１０３１内に記憶される。ＲＡＭ１０３２は、典型的には、処理ユニット１０２０に即座にアクセス可能、および／または処理ユニット１０２０によって現在操作中である、データおよび／またはプログラムモジュールを含む。限定ではなく例として、図１０は、オペレーティングシステム１０３４、アプリケーションプログラム１０３５、他のプログラムモジュール１０３６、およびプログラムデータ１０３７を示す。
【００４５】
[0054]  コンピュータ１０１０はまた、他の取外し式／非取外し式で揮発性／不揮発性のコンピュータ記憶媒体も含むことができる。単に例として、図１０は、非取外し式な不揮発性磁気媒体の読取りまたは書込みを行うハードディスクドライブ１０４１、取外し式な不揮発性磁気ディスク１０５２の読取りまたは書込みを行う磁気ディスクドライブ１０５１、ならびに、ＣＤ−ＲＯＭまたは他の光媒体のような取外し式な不揮発性光ディスク１０５６の読取りまたは書込みを行う光ディスクドライブ１０５５を示す。例示的動作環境で使用できる、他の取外し式／非取外し式で揮発性／不揮発性のコンピュータ記憶媒体は、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、およびソリッドステートＲＯＭなどを含むが、これらに限定されない。ハードディスクドライブ１０４１は、典型的には、インターフェース１０４０などの非取外し式メモリインターフェースを介してシステムバス１０２１に接続され、磁気ディスクドライブ１０５１および光ディスクドライブ１０５５は、典型的には、インターフェース１０５０などの取外し式メモリインターフェースによってシステムバス１０２１に接続される。
【００４６】
[0055]  上述され図１０に示されたドライブおよびそれらに関連付けられたコンピュータ記憶媒体は、コンピュータ１０１０に関するコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供する。図１０では、たとえば、ハードディスクドライブ１０４１は、オペレーティングシステム１０４４、アプリケーションプログラム１０４５、他のプログラムモジュール１０４６、およびプログラムデータ１０４７を記憶するものとして示される。これらのコンポーネントは、オペレーティングシステム１０３４、アプリケーションプログラム１０３５、他のプログラムモジュール１０３６、およびプログラムデータ１０３７と同じまたは異なることが可能であることに留意されたい。オペレーティングシステム１０４４、アプリケーションプログラム１０４５、他のプログラムモジュール１０４６、およびプログラムデータ１０４７は、少なくともそれらが異なるコピーであることを示すためにここでは異なる番号を与えられる。ユーザは、タブレット、電子デジタイザ１０６４、マイク１０６３、キーボード１０６２、およびマウス、トラックボールもしくはタッチパッドと一般に呼ばれるポインティングデバイス１０６１などの入力デバイスを介して、コマンドおよび情報をコンピュータ１０１０に入力することができる。図１０に図示されない他の入力デバイスは、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、またはスキャナなどを含むことができる。これらおよび他の入力デバイスは、システムバスに結合されるユーザ入力インターフェース１０６０を介して処理ユニット１０２０に接続される場合が多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）など他のインターフェースおよびバス構造によって接続されてもよい。モニタ１０９１または他のタイプの表示デバイスも、ビデオインターフェース１０９０などのインターフェースを介してシステムバス１０２１に接続される。モニタ１０９１は、タッチスクリーンパネルなどと一体化されてもよい。モニタおよび／またはタッチスクリーンパネルは、タブレット型パーソナルコンピュータにおけるように、コンピューティングデバイス１０１０が組み込まれたハウジングに物理的に結合され得ることに留意されたい。加えて、コンピューティングデバイス１０１０などのコンピュータは、出力周辺インターフェース１０９４などを介して接続できるスピーカ１０９５およびプリンタ１０９６など、他の周辺出力デバイスを含んでもよい。
【００４７】
[0056]  コンピュータ１０１０は、リモートコンピュータ１０８０など１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク環境で動作することができる。リモートコンピュータ１０８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の共通ネットワークノードとすることができ、図１０ではメモリ記憶デバイス１０８１のみが示されているが、典型的にはコンピュータ１０１０に関する上述の要素の多くまたはすべてを含む。図１０に示す論理接続は、１つまたは複数のローカルエリアネットワーク（ＬＡＮ）１０７１および１つまたは複数の広域ネットワーク（ＷＡＮ）１０７３を含むが、他のネットワークも含んでよい。そのようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットにおいて一般的なものである。
【００４８】
[0057]  ＬＡＮネットワーキング環境で使用される場合、コンピュータ１０１０は、ネットワークインターフェースまたはアダプタ１０７０を介してＬＡＮ１０７１に接続される。ＷＡＮネットワーキング環境で使用される場合、コンピュータ１０１０は、典型的には、インターネットなどのＷＡＮ１０７３を介して通信を確立するためのモデム１０７２または他の手段を含む。モデム１０７２は、内部または外部にあってよく、ユーザ入力インターフェース１０６０または他の適切な機構を介してシステムバス１０２１に接続することができる。インターフェースおよびアンテナを備えるなどのワイヤレスネットワーキングコンポーネント１０７４は、アクセスポイントまたはピアコンピュータなどの適切なデバイスを介してＷＡＮまたはＬＡＮに結合することができる。ネットワーク化環境において、コンピュータ１０１０またはその一部に関連して示されるプログラムモジュールは、リモートメモリ記憶デバイスに保存されてもよい。限定ではなく例として、図１０では、リモートアプリケーションプログラム１０８５をメモリデバイス１０８１に常駐するものとして示している。図示のネットワーク接続は例示であって、コンピュータ間の通信リンクを確立するために他の手段を使用してもよいことは理解できよう。
【００４９】
[0058]  コンピュータシステムの主な部分が低電力状態であっても、プログラムコンテンツ、システム状態、イベント通知などのデータがユーザに提供可能なように、（たとえばコンテンツの補助表示のための）補助サブシステム１０９９が、ユーザインターフェース１０６０を介して接続されてよい。補助サブシステム１０９９は、主処理ユニット１０２０が低電力状態にあるときに、それらのシステム間の通信を可能にするために、モデム１０７２および／またはネットワークインターフェース１０７０に接続されてもよい。
【００５０】
結論
[0059]  本発明は様々な修正および代替構成を受け入れることができるが、本発明のいくつかの例示的実施形態について図面で示し上記のように詳細に説明している。しかしながら、開示された特定の形態に本発明を限定する意図はなく、逆に本発明の趣旨および範囲に含まれるすべての修正、代替構成、および均等物を包含することを意図していることを理解されたい。
【図１】
0006522510.tif 000002
【図２Ａ】
0006522510.tif 000003
【図２Ｂ】
0006522510.tif 000004
【図３Ａ】
0006522510.tif 000005
【図３Ｂ】
0006522510.tif 000006
【図４Ａ】
0006522510.tif 000007
【図４Ｂ】
0006522510.tif 000008
【図５Ａ】
0006522510.tif 000009
【図５Ｂ】
0006522510.tif 000010
【図６Ａ】
0006522510.tif 000011
【図６Ｂ】
0006522510.tif 000012
【図７Ａ】
0006522510.tif 000013
【図７Ｂ】
0006522510.tif 000014
【図８】
0006522510.tif 000015
【図９】
0006522510.tif 000016
【図１０】
0006522510.tif 000017