(57)【特許請求の範囲】
【請求項１】
拡張ディスプレイ装置であって、
シースルー・ヘッドマウント・ディスプレイと、
前記装置の視野内のビジュアル情報を検出する複数のセンサーと、
前記シースルー・ヘッドマウント・ディスプレイおよび前記センサーと通信する１つまたは複数の処理デバイスと
を備え、前記１つまたは複数の処理デバイスが、自動的に、
前記装置に近接する食品品目を識別し、
前記装置を着用した着用者の、前記食品品目の１つまたは複数の消費を追跡し、
識別された前記食品品目の前記１つまたは複数についての、前記装置の前記着用者に関係するフィードバック情報であって、前記食品品目についての、ソーシャル・ネットワークからの、前記着用者の１人または複数人の友人により提供されたソーシャル・フィードバック情報に基づくフィードバック情報を、前記食品品目の１つまたは複数の消費の前に決定し、
仮想物体として前記フィードバック情報を、前記ソーシャル・フィードバック情報に基づいて消費の前に、前記シースルー・ヘッドマウント・ディスプレイにレンダリングする、
拡張ディスプレイ装置。
【請求項２】
請求項１に記載の装置であって、前記１つまたは複数の処理デバイスは、前記食品品目についての栄養素情報を決定し、前記フィードバック情報は、前記消費に基づく栄養素情報を含む、装置。
【請求項３】
請求項１に記載の装置であって、前記１つまたは複数の処理デバイスは、画像データにアクセスして、該画像データに基づいて食品のタイプとセンサーデータを照合し、前記１つまたは複数の処理デバイスは、識別された食品品目についてのレシピ・データに基づいて、栄養素データを提供する、装置。
【請求項４】
請求項３に記載の装置であって、前記１つまたは複数の処理デバイスは、着用者プロファイル情報にアクセスし、前記１つまたは複数の処理デバイスが、着用者消費履歴に基づいて前記食品品目を識別する、装置。
【請求項５】
請求項１に記載の装置であって、前記１つまたは複数の処理デバイスは、第三者によって提供されたレシピ情報にアクセスし、前記１つまたは複数の処理デバイスは、前記レシピ情報および前記消費に基づいて、前記シースルー・ヘッドマウント・ディスプレイに栄養素フィードバックを提供する、装置。
【請求項６】
請求項１に記載の装置であって、前記１つまたは複数の処理デバイスは、着用者プロファイル情報にアクセスし、前記食品品目の１つまたは複数の前記消費を示すデータは、前記着用者プロファイル情報に記録され、後の消費イベントのためのフィードバック情報に組み込まれる、装置。
【請求項７】
請求項１に記載の装置であって、前記消費は、着用者の消費のジェスチャを検出することによって識別される、装置。
【請求項８】
請求項１に記載の装置であって、前記消費は、着用者の消費のサウンドを検出することによって識別される、装置。
【請求項９】
請求項１に記載の装置であって、フィードバックは、前記着用者の１人または複数人の友人による前記食品品目に関するフィードバックを含む、装置。
【請求項１０】
プロセッサおよびコンピューター可読ストレージを含むシースルー・ヘッドマウント・ディスプレイ・デバイスであって、前記ストレージは、前記プロセッサにある方法を実行させるコンピューター可読命令を含み、前記方法は、
前記シースルー・ヘッドマウント・ディスプレイ・デバイスに装着された複数のセンサーから入力を受けるステップであって、前記センサーは、前記シースルー・ヘッドマウント・ディスプレイ・デバイスの視野内の画像データおよび前記シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者の注視を検出するために装着される、受けるステップと、
前記画像データおよび前記着用者の注視に基づいて、前記シースルー・ヘッドマウント・ディスプレイ・デバイスに近接する食品品目を識別するステップと、
ソーシャル・ネットワークからの１つまたは複数の食品品目のソーシャル・フィードバック情報にアクセスするステップであって、前記ソーシャル・フィードバック情報は、着用者の１人または複数人の友人からの、識別された前記食品品目のうちの１つまたは複数に関するソーシャル・メディア情報に基づく、ステップと、
識別された前記食品品目のうちの１つまたは複数の消費を検出し、識別された前記食品品目のうちの前記１つまたは複数についての消費フィードバック情報を生成するステップと、
前記シースルー・ヘッドマウント・ディスプレイ・デバイスにおける仮想物体としての表示のために、前記食品品目に関する前記ソーシャル・フィードバック情報および前記消費フィードバック情報を提供するステップであって、前記フィードバック情報の各々は、前記食品品目のうちの１つまたは複数と共に識別できる、ステップと
を含む、シースルー・ヘッドマウント・ディスプレイ・デバイス。
【請求項１１】
請求項１０に記載のシースルー・ヘッドマウント・ディスプレイ・デバイスであって、前記フィードバック情報は、
前記１つまたは複数の食品品目の栄養素情報、
前記１つまたは複数の食品品目の着用者健康情報、および
前記１つまたは複数の食品品目に関するソーシャルフレンドの推奨
のうちの１つを含む、シースルー・ヘッドマウント・ディスプレイ・デバイス。
【請求項１２】
請求項１０に記載のシースルー・ヘッドマウント・ディスプレイ・デバイスであって、識別するステップは、
前記ディスプレイ・デバイスのロケーションを決定するステップと、
前記ロケーションに関連する食品品目データにアクセスするステップと、
前記ロケーションおよび前記食品品目データに基づいて食品品目を決定するために、前記画像データを評価するステップと
を含む、シースルー・ヘッドマウント・ディスプレイ・デバイス。
【請求項１３】
請求項１２に記載のシースルー・ヘッドマウント・ディスプレイ・デバイスであって、識別するステップは、前記ロケーションに関連するメニューの品目を解析するために前記画像データおよび前記着用者の注視を評価するステップと、前記ロケーションに関連する前記食品品目データと前記メニューの品目を照合するステップとを含み、フィードバックを提供するステップは、前記食品品目のロケーション特定フィードバックを提供するステップを含む、シースルー・ヘッドマウント・ディスプレイ・デバイス。
【請求項１４】
請求項１０に記載のシースルー・ヘッドマウント・ディスプレイ・デバイスであって、識別するステップは、前記画像データおよび前記着用者の注視を評価するステップと、ロケーションに関連する食品品目データを有するメニューの既知の食品に関連するデータと前記画像データにおける品目を照合するステップとを含み、フィードバックを提供するステップは、前記食品品目のロケーション特定フィードバックを提供するステップを含む、シースルー・ヘッドマウント・ディスプレイ・デバイス。
【請求項１５】
シースルー・ヘッドマウント・ディスプレイ・システムの視野に食品品目のフィードバックを提供するための方法であって、
１つまたは複数の処理デバイスが、前記シースルー・ヘッドマウント・ディスプレイ・システムに近接する食品品目を識別するために、前記シースルー・ヘッドマウント・ディスプレイ・システムからのセンサーデータを評価するステップと、
１つまたは複数の処理デバイスが、識別された前記食品品目のうちの１つまたは複数についての、前記システムの着用者に関係するフィードバック情報であって、前記食品品目についての、ソーシャル・ネットワークからの、前記着用者の１人または複数人の友人により提供されたソーシャル・フィードバック情報に基づくフィードバック情報を、前記食品品目の１つまたは複数の消費の前に決定するステップと、
１つまたは複数の処理デバイスが、前記着用者による前記１つまたは複数の食品品目の少なくとも一部の消費を検出するステップと、
１つまたは複数の処理デバイスが、フィードバックを、前記ソーシャル・フィードバック情報に基づいて消費の前に、前記着用者に、前記シースルー・ヘッドマウント・ディスプレイ・システムにおいて仮想物体として提供するステップと
を含む方法。
【請求項１６】
請求項１５に記載の方法であって、決定するステップは、前記着用者の１人または複数人の友人を決定するユーザープロファイル情報にアクセスするステップを含む、方法。
【請求項１７】
請求項１６に記載の方法であって、評価する前記ステップは、前記視野内の食品品目を識別するために、食品品目データをセンサーデータと照合するステップを含む、方法。
【請求項１８】
請求項１７に記載の方法であって、決定する前記ステップは、前記食品品目の決定に基づいて、推定栄養素データを識別された食品品目と照合するステップを含む、方法。
【請求項１９】
請求項１８に記載の方法であって、１つまたは複数の処理デバイスが、着用者の消費のジェスチャを検出することによって消費を検出するステップをさらに含む方法。
【請求項２０】
請求項１８に記載の方法であって、１つまたは複数の処理デバイスが、着用者の消費のサウンドを検出することによって消費を検出するステップを含む方法。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]人々は、一般に、自分たちが消費する食品品目の栄養素情報を知らない。人々は、提示される、食品品目、カロリー含有量、成分、ならびにその食品の利点および重要性の一般的知識を有することができるが、食事ごとに消費および栄養素情報を追跡することは、面倒である。栄養素情報を提供することは、体重に注目しようとする人々、アレルギー制限がある、または厳しい規定食を必要とする人々にとって有利である。
【０００２】
[0002]複合現実ディスプレイにより、仮想イメージがディスプレイで現実世界の物理環境と複合されることが可能となる。複合現実のシステムは、例えば、着用者の視野内の範囲を検出する、シースルー・ヘッドマウント・ディスプレイまたはカメラ内蔵型のスマートフォンを含むことができる。こうしたシステムは、典型的に、１つまたは複数のアプリケーションの制御下でイメージを提供する処理ユニットを含む。
【発明の概要】
【０００３】
[0003]ウェアラブル食品栄養素フィードバックシステムを提供する技術について説明する。フィードバックシステムは、装置の視野内の情報を検出する複数のセンサーを有するシースルー・ニアアイ・ヘッドマウント・ディスプレイを含む。食品品目が、視野内で検出され、種々のタイプのフィードバックが、デバイスの着用者に提供される。フィードバックは、個人的な着用者のニーズ、一般的栄養素情報、食品消費の追跡および社会的相互作用に基づく警告を含むことができる。このシステムは、ディスプレイおよびセンサーと通信する１つまたは複数の処理デバイスを含み、この処理デバイスは、装置に近接する食品品目を識別し、装置の着用者に関係するフィードバック情報を決定し、ディスプレイにフィードバック情報をレンダリングする。この技術は、食品の調理および買い物に関与する使用向けに拡張され得る。
【０００４】
[0004]この概要は、以下の発明を実施するための形態でさらに説明する簡略的な形態で概念の選択を導入するために提供される。この概要は、特許請求の主題の主な特徴または基本的な特徴を識別するものではなく、特許請求の対象の範囲を決定する際の補助として使用されるものでもない。
【図面の簡単な説明】
【０００５】
【図１Ａ】[0005]デバイスが動作することができるシステム環境での、調節可能なＩＰＤをもつシースルー・ニアアイ・ヘッドマウント・デバイスの一実施形態の例示的なコンポーネントを示すブロック図である。
【図１Ｂ】[0006]調節可能なＩＰＤをもつシースルー・ニアアイ・ヘッドマウント・デバイスの別の実施形態の例示的なコンポーネントを示すブロック図である。
【図２Ａ】[0007]遠位ＩＰＤを位置合せする（ａｌｉｇｎ）ための距離および向きで注視のポイントに延在する注視ベクトルの例を示す上面図である。
【図２Ｂ】[0008]近位ＩＰＤを位置合せするための距離および向きで注視のポイントに延在する注視ベクトルの例を示す上面図である。
【図３Ａ】[0009]ＩＰＤにシースルー・ニアアイ・ヘッドマウント・ディスプレイを位置合せするための方法の実施形態の流れ図である。
【図３Ｂ】[0010]着用者のＩＰＤにデバイスを位置合せさせるために、シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイスを調節するための方法の実施の例の流れ図である。
【図３Ｃ】[0011]少なくとも１つのシースルー・ニアアイ・ヘッドマウント・ディスプレイ調節機構の機械的調節または自動調節の異なる例のオプションを示す流れ図である。
【図４Ａ】[0012]ハードウェアおよびソフトウェアのコンポーネント用の支持部を提供する、シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイスの眼鏡の実施形態の眼鏡テンプルの側面図である。
【図４Ｂ】[0013]ハードウェアおよびソフトウェアのコンポーネント用の支持部、ならびにマイクロディスプレイ・アセンブリの３次元調節を提供する、シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイスの一実施形態の眼鏡テンプルの側面図である。
【図５Ａ】[0014]注視検出素子の配置を含む、シースルー・ニアアイ・ヘッドマウントの可動型ディスプレイ光学システムの一実施形態の上面図である。
【図５Ｂ】[0015]注視検出素子の配置を含む、シースルー・ニアアイ・ヘッドマウントの可動型ディスプレイ光学システムの別の実施形態の上面図である。
【図５Ｃ】[0016]注視検出素子の配置を含む、シースルー・ニアアイ・ヘッドマウントの可動型ディスプレイ光学システムの第３の実施形態の上面図である。
【図５Ｄ】[0017]注視検出素子の配置を含む、シースルー・ニアアイ・ヘッドマウントの可動型ディスプレイ光学システムの第４の実施形態の上面図である。
【図６Ａ】[0018]１つまたは複数の実施形態を用いて使用され得る、シースルー・ニアアイ・ヘッドマウント・ディスプレイユニットのハードウェアおよびソフトウェアのコンポーネントの一実施形態のブロック図である。
【図６Ｂ】[0019]シースルー・ヘッドマウント・ディスプレイ・デバイスに関連する処理ユニットのハードウェアおよびソフトウェアのコンポーネントの一実施形態のブロック図である。
【図７】[0020]本技術による食品フィードバック方法を示す流れ図である。
【図８】[0021]本技術を実施するためのシステムを示すブロック図である。
【図９】[0022]本技術による食品フィードバック方法の第２の流れ図である。
【図１０】[0023]シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイスの着用者にとって利用可能な食品品目を認識するための方法を示す流れ図である。
【図１１】[0024]利用可能な食品品目の栄養素情報を決定するための方法を示す流れ図である。
【図１２】[0025]着用者向けのフィードバックを決定するための方法を示す流れ図である。
【図１３】[0026]食品消費を追跡するための方法を示す流れ図である。
【図１４】[0027]シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図１５】シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図１６】シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図１７】シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図１８】シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図１９】シースルー・ヘッドマウント・ディスプレイ・デバイスの着用者に提供される種々のタイプのフィードバックを示す透視図である。
【図２０】[0028]例示的処理デバイスのブロック図である。
【図２１】[0029]別の例示的処理デバイスのブロック図である。
【発明を実施するための形態】
【０００６】
[0030]本明細書で説明する技術は、着用者の食品の相互作用および消費に関するフィードバックを着用者に提供する、シースルー・ヘッドマウント・ディスプレイ・デバイスを含む。食品品目が、デバイスの視野内で検出され、種々のタイプのフィードバックが、デバイスの着用者に提供される。フィードバックは、個人的な着用者のニーズ、一般的な栄養素情報、食品消費の追跡および社会的相互作用に基づく警告を含むことができる。このシステムは、着用者に近接する食品品目を識別し、装置の着用者に関係するフィードバック情報を決定し、ディスプレイにフィードバック情報をレンダリングする。
【０００７】
[0031]第三者履歴およびユーザー履歴が、着用者向けの正確かつカスタマイズしたフィードバックを提供するために利用される。第三者の食品供給者が、製品の特定の栄養情報をユーザーに提示することができる。ユーザーの健康状態が、消費と食品の相互作用の関心事の両方のために追跡され、問題が起こると警告がユーザーに提供され得る。この技術は、食品の調理および買い物に関与する使用向けに拡張され得る。
【０００８】
[0032]図１〜図６に、このシステムを実施するのに適した例示的なシースルー・ディスプレイ・デバイスを示す。
[0033]図１Ａは、デバイスが動作することができるシステム環境での、シースルー・ディスプレイ・デバイスの一実施形態の例示的なコンポーネントを示すブロック図である。一実施形態では、この技術が、シースルー・ニアアイ・ディスプレイ・デバイスを実施する。他の実施形態では、異なるタイプのシースルー・ディスプレイ・デバイスが使用され得る。システム１０は、ワイヤ６を介して処理ユニット４と通信する、ニアアイ、ヘッドマウント・ディスプレイ・デバイス２としてシースルー・ディスプレイ・デバイスを含む。他の実施形態では、ヘッドマウント・ディスプレイ・デバイス２が、ワイヤレス通信を介して処理ユニット４と通信する。処理ユニット４は、種々の実施形態をとることができる。いくつかの実施形態では、処理ユニット４が、着用者の身体、例えば図示の例の手首、またはポケット内に着用され得るセパレートユニットであり、ニアアイ・ディスプレイ・デバイス２を操作するために使用される多くのコンピューティングパワーを含む。処理ユニット４は、ワイヤレス（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線または他のワイヤレス通信手段）で、１つまたは複数のコンピューティングシステム、ホットスポット、移動体通信データネットワークなどと通信することができる。他の実施形態では、処理ユニット４の機能性が、ディスプレイ・デバイス２のソフトウェアおよびハードウェアのコンポーネントに統合され得る。
【０００９】
[0034]一実施形態では、シースルー・ヘッドマウント・ディスプレイ・デバイス２は、フレーム１１５の眼鏡の形状であり、着用者が、目ごとのディスプレイ光学システム１４としてこの例で実現されるディスプレイを通して見ることができるように、着用者の頭部に着用され、それによって、着用者の正面の空間の実際の直接的な視界を有する。「実際の直接的な視界」という言葉の使用は、物体の作り出した画像表現を見るというより、人間の目で直接現実世界の物体を見ることができるということを意味する。例えば、部屋で眼鏡を通して見ると、着用者が部屋の実際の直接的な視界を有することが可能となるが、テレビで部屋の動画を見ることは、部屋の実際の直接的な視界ではない。ソフトウェア、例えばゲームアプリケーションを実行するという状況に基づいて、システムは、時には仮想画像またはホログラムと呼ばれる仮想物体の画像を、シースルー・ディスプレイ・デバイスを着用する人々によって見ることができるディスプレイに、投影することができるが、その人々は、ディスプレイを通して現実世界の物体も見ている。
【００１０】
[0035]フレーム１１５は、システムの素子を定位置に保持するための支持部、ならびに電気接続用のコンジットを提供する。この実施形態では、フレーム１１５が、以下でさらに検討するシステムの素子用の支持部として好都合な眼鏡フレームを提供する。他の実施形態では、他の支持構造が、使用され得る。こうした構造の一例は、バイザー、帽子、ヘルメットまたはゴーグルである。フレーム１１５は、着用者の耳のそれぞれに載せるためのテンプルまたはサイドアームを含む。テンプル１０２は、右側のテンプルの一実施形態を示し、ディスプレイ・デバイス２用の制御回路１３６を含む。フレームのノーズブリッジ１０４は、サウンドを記録しオーディオデータを処理ユニット４に送信するためのマイクロフォン１１０を含む。
【００１１】
[0036]図１Ｂは、シースルー・ディスプレイ・デバイスの別の実施形態の例示的なコンポーネントを示すブロック図である。いくつかの実施形態では、処理ユニット４が、着用者の身体、例えば手首に着用され得る、またはモバイルデバイス（例えばスマートフォン）のようなセパレートデバイスとし得る、セパレートユニットである。処理ユニット４は、ワイヤードまたはワイヤレス（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＲＦＩＤ伝送、ワイヤレスユニバーサルシリアルバス（ＵＳＢ）、移動体通信、３Ｇ、４Ｇまたは他のワイヤレス通信手段）で、通信ネットワーク５０を通じて１つまたは複数のコンピューティングシステム１２と、近くの位置か遠隔な位置かに拘わらず、通信することができる。他の実施形態では、処理ユニット４の機能性が、ディスプレイ・デバイス２のソフトウェアおよびハードウェアコンのポーネントに統合され得る。
【００１２】
[0037]１つまたは複数のリモート、ネットワークアクセス可能コンピューターシステム１２が、処理パワーおよびリモートデータアクセスのために活用され得る。コンピューティングシステム１２のハードウェアコンポーネントの一例を、図１６に示す。アプリケーションは、シースルー・ディスプレイ・システム１０の１つまたは複数のプロセッサで実行するアプリケーション用の処理とインタラクションする、またはその処理を行うコンピューティングシステム１２で実行することができる。例えば、３Ｄマッピングアプリケーションは、１つまたは複数のコンピューターシステム１２および着用者のディスプレイ・システム１０で実行することができる。
【００１３】
[0038]加えて、いくつかの実施形態では、同一環境で他のシースルー・ヘッドマウント・ディスプレイ・システム１０で実行する、またはそれぞれの他の共有データと通信するアプリケーションが、リアルタイムで、例えば物体の識別、および現実の物体用のオクルージョンボリュームのようなオクルージョンデータを、デバイス間のピアツーピア構成で、または１つもしくは複数のネットワークアクセス可能コンピューティングシステムで実行する物体管理サービスに対して、更新する。
【００１４】
[0039]いくつかの例の共有データは、デバイス２にアクセス可能な１つまたは複数の基準座標系に関して参照され得る。他の例では、１つのヘッドマウント・ディスプレイ（ＨＭＤ）・デバイスが、画像データまたは画像データから派生するデータ、関連の位置を与えるＧＰＳまたはＩＲのデータなどの送信ＨＭＤ用の位置データ、および向きデータを含む、別のＨＭＤデバイスからのデータを受信することができる。ＨＭＤ間で共有するデータの一例は、そのフロントフェーシングカメラ１１３によってキャプチャされた画像データおよび深度データ、物体識別データ、および深度マップでの現実の物体用のオクルージョンボリュームを含む、深度マップデータである。現実の物体は、まだ識別されなくてもよく、またはＨＭＤデバイスまたはサポートするコンピューターシステム例えば１２もしくは別のディスプレイ・システム１０で実行するソフトウェアによって、認識されていてもよい。
【００１５】
[0040]環境の一例は、着用者が位置する現実のロケーションの３６０度の可視部である。着用者は、その視野である自身の環境のサブセットを見ることができる。例えば、部屋が環境である。人が家の中、キッチンにいて冷蔵庫の上段を見ているとすることができる。冷蔵庫の上段は、人のディスプレイの視野内であり、キッチンは、人の環境であるが、壁および天井が人の上階の寝室の視界を遮るので、人の上階の寝室は人の現在の環境の一部ではない。当然人が動くとき、人の環境は変化する。環境のいくつかの他の例は、野球場、道路のロケーション、店の区画、コーヒーショップの顧客区画などとすることができる。ロケーションは、複数の環境を含むことができ、例えば家はロケーションとすることができる。着用者および着用者の友人は、家の至る所で行われるゲームをするために自分たちのディスプレイ・デバイス・システムを着用することができる。それぞれのプレーヤーが家を動き回るとき、プレーヤーの環境が変化する。同様に、いくつかのブロックの周辺地域は、ロケーションとすることができ、異なる交差道路が視界に入るとき、異なる交差点は視界に異なる環境をもたらす。いくつかの例では、ロケーションは、ロケーション追跡センサーまたはデータの精度に応じた環境とすることもできる。
【００１６】
[0041]図２Ａは、遠位瞳孔間距離（ＩＰＤ）を位置合せするための距離および方向で注視のポイントに延在する注視ベクトルの例を示す上面図である。図２Ａは、着用者の目が、例えば１．５２メートル（５フィート）を超える、無限遠に有効にフォーカスを合わせる注視ポイントで交差する注視ベクトルの例、言い換えれば、着用者が、直線的に前方を見ているときの注視ベクトルの例を示す。グルストランド図式眼モデルに基づいて、眼球１６０ｌ、１６０ｒのモデルを目ごとに示す。それぞれの目については、眼球１６０は、回転の中心１６４をもつ球体としてモデル化され、同じく球体としてモデル化され中心１６４を有する角膜１６８を含む。角膜は、眼球と共に回転し、眼球の回転の中心１６６は、定点として扱われる。角膜は、その中心で、虹彩１７０を瞳孔１６２で覆う。この例では、角膜それぞれの表面１７２上に、グリント１７４および１７６がある。
【００１７】
[0042]図２Ａの図示の実施形態では、センサー検出エリア１３９（１３９ｌおよび１３９ｒ）が、眼鏡フレーム１１５内でそれぞれのディスプレイ光学システム１４の光軸に位置合せされる。検出エリアに関連するセンサーは、この例では、フレーム１１５の左側のイルミネーター１５３ａおよび１５３ｂによってそれぞれ生成される、グリント１７４ｌおよび１７６ｌを示す画像データ、およびイルミネーター１５３ｃおよび１５３ｄによってそれぞれ生成される、グリント１７４ｒおよび１７６ｒを示すデータをキャプチャすることができるカメラである。眼鏡フレーム１１５では、ディスプレイ光学システム１４ｌおよび１４ｒを通して、着用者の視野が、現実物体１９０、１９２および１９４と仮想物体１８２、１８４および１８６の両方を含む。
【００１８】
[0043]回転の中心１６６から角膜の中心１６４を通って瞳孔１６２まで形成される軸１７８は、目の光軸である。注視ベクトル１８０は、時には視線と呼ばれ、または瞳孔１６２の中心を通って窩から延在する視軸と呼ばれる。窩は、網膜中に位置する約１．２度の小さいエリアである。コンピューティングされた光軸と視軸との間の角度オフセットは、水平成分および垂直成分を有する。水平成分は、光軸から最大５度までであり、垂直成分は、２度と３度との間である。多くの実施形態では、光軸が、決定され、細かい補正が、注視ベクトルとして選択される視軸を得るために着用者の較正により決定される。
【００１９】
[0044]それぞれの着用者にとって、仮想物体は、別個の水平位置および垂直位置でいくつかの既定の位置のそれぞれでディスプレイ・デバイスによって表示され得る。光軸は、それぞれの位置で物体を表示中に目ごとにコンピューティングされ得、光線がその位置から着用者の目に延在するようにモデル化され得る。光軸が、モデル化された光線と位置合せするためにどのように動かされるべきかに基づいて、水平成分および垂直成分をもつ注視オフセット角度が決定され得る。別々の位置から、水平成分または垂直成分を用いた平均注視オフセット角度が、それぞれコンピューティングされた光軸に適用される細かい補正として選択され得る。いくつかの実施形態では、水平成分が、注視オフセット角度補正のために使用される。
【００２０】
[0045]注視ベクトル１８０ｌおよび１８０ｒは、ベクトルが、記号１８１ｌおよび１８１ｒによって指示される無限遠で有効な注視のポイントで眼球から視野へと延在するように、共に近づくので、完全に平行ではない。それぞれのディスプレイ光学システム１４で、注視ベクトル１８０が、センサー検出エリア１３９の中心となる光軸と交差するように見える。この構成では、光軸が、瞳孔間距離（ＩＰＤ）と位置合せされ得る。着用者が直線的に前方を見ているとき、測定されたＩＰＤは、遠位ＩＰＤとも呼ばれる。
【００２１】
[0046]物体を識別して着用者がＩＰＤを位置合せするためにある距離にフォーカスを合わせるとき、物体は、それぞれのディスプレイ光学システムのそれぞれの光軸に沿った方向で位置合せされ得る。最初は、光軸と着用者の瞳孔との間の位置合せは知られていない。遠位ＩＰＤの場合、方向は、光軸を通って直線的に前方とすることができる。近位ＩＰＤを位置合せするとき、識別された物体は、光軸を通る方向であり得るが、近距離の目の両眼転動に因り、その方向は、ディスプレイ光学システムの光軸間に中心を置くことができるが、直線的に前方ではない。
【００２２】
[0047]図２Ｂは、近位ＩＰＤを位置合せするための距離および方向で注視のポイントに延在する注視ベクトルの例を示す上面図である。この例では、左目の角膜１６８ｌが、右側に、または着用者の鼻に向かって回転し、右目の角膜１６８ｒが、左側に、または着用者の鼻に向かって回転する。両方の瞳孔は、かなり近い距離、例えば着用者の正面０．６１メートル（２フィート）で、現実の物体１９４を注視する。それぞれの目からの注視ベクトル１８０ｌおよび１８０ｒは、現実の物体１９４が位置するパーヌムの融像領域１９５に入る。パーヌムの融像領域は、人間の視覚の目視システムのような両眼の目視システムでの単一視の範囲である。注視ベクトル１８０ｌおよび１８０ｒの交差は、着用者が現実の物体１９４を見ていることを示す。こうした距離で、眼球が、内心に回転するとき、その瞳孔間の距離は、近位ＩＰＤへ短縮する。近位ＩＰＤは、典型的に、遠位ＩＰＤより短く約４ｍｍである。近位ＩＰＤ距離基準、例えば１．２２メートル（４フィート）より短い注視のポイントは、例えば、ディスプレイ光学システム１４のＩＰＤ位置合せを近位ＩＰＤの位置合せに切り替えるまたは調節するために使用され得る。近位ＩＰＤの場合、それぞれのディスプレイ光学システム１４が、着用者の鼻に向かって動かされ、そのため光軸および検出エリア１３９が鼻に向かって、検出エリア１３９ｌｎおよび１３９ｒｎによって示される数ミリメートル動く。
【００２３】
[0048]着用者のＩＰＤを自動的に決定し、着用者の視界を最適にするためにＩＰＤを設定するようにＳＴＨＭＤを自動的に調節するための技術が、「Ｇａｚｅ  Ｄｅｔｅｃｔｉｏｎ  Ｉｎ  Ａ  Ｓｅｅ−Ｔｈｒｏｕｇｈ，Ｎｅａｒ−Ｅｙｅ，Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ  Ｄｉｓｐｌａｙ（シースルー・ニアアイ複合現実ディスプレイの注視検出）」という名称の同時係属中の米国特許出願第１３２２１７３９号、「Ａｄｊｕｓｔｍｅｎｔ  Ｏｆ  Ａ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ  Ｄｉｓｐｌａｙ  Ｆｏｒ  Ｉｎｔｅｒ−Ｐｕｐｉｌｌａｒｙ  Ｄｉｓｔａｎｃｅ  Ａｌｉｇｎｍｅｎｔ（瞳孔間距離位置合せのための複合現実ディスプレイの調節）」という名称の米国特許出願第１３２２１７０７号、および、「Ａｌｉｇｎｉｎｇ  Ｉｎｔｅｒ−Ｐｕｐｉｌｌａｒｙ  Ｄｉｓｔａｎｃｅ  Ｉｎ  Ａ  Ｎｅａｒ−Ｅｙｅ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍ（ニアアイ・ディスプレイ・システムの瞳孔間距離の位置合せ）」という名称の米国特許出願第１３２２１６６２号で検討されており、これらの全ては参照により本明細書に明確に組み込まれる。
【００２４】
[0049]概略的に、図３Ａは、ＩＰＤにシースルー・ニアアイ・ディスプレイを位置合せするための方法の実施形態３００の流れ図である。ステップ３０１では、制御回路１３６の１つまたは複数のプロセッサは、シースルー・ニアアイ・ディスプレイ・デバイスが位置合せ基準に従って着用者のＩＰＤに位置合せされるかどうかを自動的に決定する。位置合せされない場合は、ステップ３０２で、１つまたは複数のプロセッサは、デバイスを着用者のＩＰＤと位置合せさせるために、少なくとも１つのディスプレイ調節機構によってディスプレイ・デバイスを調節させる。シースルー・ニアアイ・ディスプレイ・デバイスが、着用者のＩＰＤと位置合せしていると決定される場合、ステップ３０３で、任意選択で着用者用のＩＰＤデータセットが記憶される。いくつかの実施形態では、いずれかの人がディスプレイ・デバイス２を身につけるたびにＩＰＤ位置合せがあるかどうかを自動的に決定することができる。ただし、ＩＰＤデータは、ヒト頭蓋の制限に因り、一般に成人用に固定され、ＩＰＤデータセットは、典型的に１回決定され、着用者ごとに記憶され得る。記憶されたＩＰＤデータセットは、ＩＰＤ位置合せチェックを開始するディスプレイ・デバイス用の初期設定として少なくとも使用され得る。
【００２５】
[0050]図３Ｂは、着用者のＩＰＤにデバイスを位置合せさせるために、ディスプレイ・デバイスを調節するための方法の実施の例の流れ図である。この方法では、少なくとも１つのディスプレイ調節機構が、位置ずれした少なくとも１つのディスプレイ光学システム１４の位置を調節する。ステップ４０７では、少なくとも１つのディスプレイ光学システム用の位置合せ基準を満たすために、１つまたは複数の調節が、少なくとも１つのディスプレイ調節機構用に自動的に決定される。ステップ４０８では、その少なくとも１つのディスプレイ光学システムが、１つまたは複数の調節値に基づいて調節される。この調節は、以下でさらに検討するように、プロセッサの制御下でまたは機械的に自動的に行われ得る。
【００２６】
[0051]図３Ｃは、ステップ４０８を実施するために使用され得る、少なくとも１つのディスプレイ調節機構による機械的調節または自動調節の異なる例のオプションを示す流れ図である。ディスプレイ・デバイス２のディスプレイ調節機構の構成に応じて、１つまたは複数の調節値が既に決定されたステップ４０７から、ディスプレイ調節機構が、どちらも自動的に、これはプロセッサの制御下を意味するが、ステップ３３４で、１つまたは複数の調節値に従って少なくとも１つのディスプレイ調節機構を調節することができる。代替的に、システムに関連する１つまたは複数のプロセッサが、ステップ３３３のように、少なくとも１つのディスプレイ調節機構に、１つまたは複数の調節値の着用者アプリケーション用の命令を電子的に提供することができる。自動調節および機械的調節の組合せのインスタンスが命令下にあるとすることができる。
【００２７】
[0052]電子的に提供される命令のいくつかの例が、マイクロディスプレイ１２０、処理ユニット４によって表示される命令、またはディスプレイ・デバイス２のスピーカーを通るオーディオ命令である。着用者のプレファレンス（設定）に応じて、または着用者のいくつかの追加の制御を可能にするために自動調節および機械的調節をもつデバイス構成があり得る。
【００２８】
[0053]図４Ａは、注視検出素子を含む可動ディスプレイ光学システムをもつ眼鏡として実現される、シースルー・ニアアイ・ディスプレイ・デバイスの例示的な配置を示す。目ごとのレンズと見られるものは、目ごとのディスプレイ光学システム１４、例えば１４ｒおよび１４ｌを示す。ディスプレイ光学システムは、通常の一対の眼鏡のように、シースルーレンズ、例えば、図５Ａから図５ｂの１１８および１１６を含むが、レンズ１１８、１１６を通して見る実際の直接的な現実世界視界と仮想コンテンツをシームレスに融合するために、光学素子（例えばミラー、フィルター）も含む。ディスプレイ光学システム１４は、一般にシースルーレンズ１１８、１１６の中心にある光軸を有し、光は、一般に、無ひずみの視界を提供するようにコリメートされる。例えば、アイケアの専門家が通常の一対の眼鏡を着用者の顔に合わせるとき、目的は、それぞれの瞳孔がレンズそれぞれの中心または光軸と位置合せされる位置で眼鏡が着用者の鼻に載り、一般に、明瞭なまたは無ひずみの視界にするために、コリメートされた光が着用者の目に届くことである。
【００２９】
[0054]例示的なディスプレイ・デバイス２では、検出エリアの中心が光軸に沿って光をキャプチャするように、少なくとも１つのセンサーの検出エリアが、そのディスプレイ光学システムそれぞれの光軸と位置合せされる。ディスプレイ光学システムが、着用者の瞳孔と位置合せされる場合、それぞれのセンサーのそれぞれの検出エリアが、着用者の瞳孔と位置合せされる。検出エリアの反射光が、１つまたは複数の光学素子を介してカメラの実際の画像センサーに転送され、この例ではフレーム１１５の内部にある破線によって示す。
【００３０】
[0055]一例では、可視光カメラ（通例ＲＧＢカメラとも呼ばれる）は、センサーとすることができる。光学素子または光指向性素子の一例は、部分的に透過性であり部分的に反射する可視光反射鏡である。可視光カメラは、着用者の目の瞳孔の画像データを提供するが、ＩＲ光検出器１５２は、スペクトルのＩＲ部分での反射であるグリントをキャプチャする。可視光カメラが使用される場合、仮想画像の反射が、カメラによってキャプチャされた目のデータ中に現れ得る。所望する場合は、画像フィルタリング技術が、仮想画像反射を取り除くために使用され得る。ＩＲカメラは、目の上の仮想画像反射を検知しない。
【００３１】
[0056]他の例では、少なくとも１つのセンサーが、ＩＲカメラまたは位置検知形検出器（ＰＳＤ）であり、これに対してＩＲ放射が向けられ得る。例えば、熱反射面は、可視光を透過するがＩＲ放射を反射する。目から反射したＩＲ放射は、イルミネーター、他のＩＲイルミネーター（図示せず）の入射放射から、または目から反射した周囲のＩＲ放射からのものとすることができる。いくつかの例では、センサーは、ＲＧＢカメラとＩＲカメラとの組合せとすることができ、光指向性素子が、可視光を反射する素子またはそらす素子、およびＩＲ放射を反射する素子またはそらす素子を含むことができる。いくつかの例では、カメラが、小型、例えば２ミリメートル（ｍｍ）×２ｍｍのものとすることができる。
【００３２】
[0057]種々のタイプの注視検出システムが本システムで使用するのに適している。注視ベクトルを決定する部分として角膜中心を計算するいくつかの実施形態では、２つのグリント、したがって２つのイルミネーターで十分である。ただし、他の実施形態が、瞳孔位置の決定時の追加のグリント、ひいては注視ベクトルを使用することができる。グリントを示す目のデータは、例えば１秒につき３０フレームまたはそれより多く反復してキャプチャされるので、１グリントのデータは、瞼またはまつ毛にさえも遮断されるが、別のイルミネーターによって生成されたグリントによって収集され得る。
【００３３】
[0058]図４Ａは、シースルー・ディスプレイ・デバイスの眼鏡の実施形態のフレーム１１５の眼鏡テンプル１０２の側面図である。フレーム１１５の正面に、動画および静止画をキャプチャすることができる物理環境フェーシングビデオカメラ１１３がある。特にいくつかの実施形態では、物理環境フェーシングカメラ１１３は、深度カメラならびに可視光カメラまたはＲＧＢカメラとすることができる。例えば、深度カメラが、ＩＲイルミネータートランスミッター、および可視画像センサーの正面のホットミラーのような熱反射面を含むことができ、このセンサーは、可視光を通過させ、ある波長範囲内またはイルミネーターによって伝送されたおよそ既定波長の、反射したＩＲ放射をＣＣＤまたは他のタイプの深度センサーに向ける。他のタイプの可視光カメラ（ＲＧＢカメラ）および深度カメラが、使用され得る。深度カメラについてのさらなる情報は、２０１０年６月１１日に出願された米国特許出願第１２／８１３，６７５号に見出すことができ、参照によりその全体が本明細書に組み込まれる。センサーからのデータは、そのデータを処理することができる制御回路１３６のプロセッサ２１０もしくは処理ユニット４またはその両方に送られ得るが、ユニット４は、ネットワークを通じてコンピューターシステムに送り、または処理用の第２のコンピューティングシステムに送ることもできる。この処理は、画像セグメント化およびエッジ検出の技術を通して物体を識別し、着用者の現実世界視野中の物体に対する深度を一致させる。加えて、物理環境フェーシングカメラ１１３が、周囲の光を測定するための照度計を含むこともできる。
【００３４】
[0059]制御回路１３６は、ヘッドマウント・ディスプレイ・デバイス２の他のコンポーネントをサポートする種々のエレクトロニクスを提供する。制御回路１３６のさらなる詳細については、図６Ａおよび図６Ｂに関して以下で提供する。イヤフォン１３０、慣性センサー１３２、ＧＰＳトランシーバー１４４および温度センサー１３８が、テンプル１０２の内部にあるか、テンプル１０２に装着される。一実施形態では、慣性センサー１３２が、３軸磁力計１３２Ａと、３軸ジャイロ１３２Ｂと、３軸加速度計１３２Ｃとを含む（図７Ａ参照）。慣性センサーは、ヘッドマウント・ディスプレイ・デバイス２の位置、向きおよび突然の加速を検知するためのものである。これらの動きから、頭部の位置も決定され得る。
【００３５】
[0060]ディスプレイ・デバイス２は、１つまたは複数の仮想物体を含む１つまたは複数の画像を作り出すことができる画像生成ユニットを提供する。いくつかの実施形態では、マイクロディスプレイが、画像生成ユニットとして使用され得る。マイクロディスプレイ・アセンブリ１７３が、この例では光処理素子と、可変フォーカス調節器１３５とを備える。光処理素子の一例が、マイクロディスプレイ１２０である。他の例には、レンズシステム１２２の１つまたは複数のレンズなどの１つまたは複数の光学素子、および図６Ａおよび図６Ｂの反射素子１２４ａおよび１２４ｂまたは図６Ｃおよび図６Ｄの１２４などの１つまたは複数の反射素子が含まれる。レンズシステム１２２は、単一のレンズまたは複数のレンズを含むことができる。
【００３６】
[0061]テンプル１０２に装着されたまたはテンプル１０２の内部の、マイクロディスプレイ１２０は、画像ソースを含み、仮想物体の画像を生成する。マイクロディスプレイ１２０は、次の図面に示すように、レンズシステム１２２および反射素子１２４、または反射素子１２４ａおよび１２４ｂと光学的に位置合せされる。光学的な位置合せは、１つまたは複数の光軸を含む光路１３３に沿うものとすることができる。マイクロディスプレイ１２０は、レンズシステム１２２を通して仮想物体の画像を投影し、このレンズシステムが、図５Ｃおよび図５Ｄのように、光ガイド光学素子１１２中に光を向ける反射素子１２４上に、または、図５Ａ〜図５Ｄのように、光路１３３に沿った仮想画像視界を光軸１４２に沿った自然のもしくは実際の直接的な視界と組み合わせる、部分的反射素子１２４ｂに仮想画像の光を向ける反射素子１２４ａ（例えばミラーまたは他の面）上に画像の光を向けることができる。この視界の組合せは、着用者の目に向けられる。
【００３７】
[0062]可変フォーカス調節器１３５は、マイクロディスプレイ・アセンブリの光路中の１つまたは複数の光処理素子間の変位、またはマイクロディスプレイ・アセンブリ中の素子の光強度を変化させる。レンズの光強度は、焦点距離の逆数、例えば１／焦点距離と定義され、そのため一方の変化が他方に影響を及ぼす。焦点距離が変化すると、視野の領域、例えば一定の距離の領域が変化することになり、これは、マイクロディスプレイ・アセンブリ１７３によって生成された画像に対してフォーカスが合う状態である。
【００３８】
[0063]変位を変化させるマイクロディスプレイ・アセンブリ１７３の一例では、変位の変化が、この例ではレンズシステム１２２およびマイクロディスプレイ１２０などの、少なくとも１つの光処理素子を支持するアーマチュア１３７内に導かれる。アーマチュア１３７は、選択された変位または光強度を達成するために、素子の物理的運動中に、光路１３３に沿って位置合せすることを補助して安定させる。いくつかの例では、調節器１３５が、アーマチュア１３７内のレンズシステム１２２中のレンズなどの１つまたは複数の光学素子を動かすことができる。他の例では、アーマチュアは、光処理素子の周囲のエリアに溝または空間を有することができ、そのため、光処理素子を動かすことなく、その素子、例えばマイクロディスプレイ１２０全体にわたってスライドする。システム１２２または内部のレンズが、移動アーマチュア１３７を用いてスライドしまたは動くように、レンズシステム１２２などのアーマチュア中の別の素子は、取り付けられる。変位の範囲は、典型的におよそ数ミリメートル（ｍｍ）である。一例では、範囲が１〜２ｍｍである。他の例では、アーマチュア１３７が、変位ではなく他の物理パラメータの調節に関与する焦点調節技術のためにレンズシステム１２２に対する支持部を設けることができる。こうしたパラメータの一例は、偏波である。
【００３９】
[0064]マイクロディスプレイ・アセンブリの焦点距離の調節についてのさらなる情報のために、発明者Ｂａｒ−Ｚｅｅｖらにより２０１０年１１月８日に出願された、出願番号第１２／９４１，８２５「Ａｕｔｏｍａｔｉｃ  Ｖａｒｉａｂｌｅ  Ｖｉｒｔｕａｌ  Ｆｏｃｕｓ  ｆｏｒ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｄｉｓｐｌａｙｓ（拡張現実表示のための自動可変仮想フォーカス）」という名称の、２０１２年５月１０日に公開された米国特許公開第２０１２−０１１３０９２−Ａ１を参照されたく、これは、参照により本明細書に組み込まれる。
【００４０】
[0065]一例では、調節器１３５は、圧電モーターなどのアクチュエータとすることができる。アクチュエータの他の技術が使用されてもよく、こうした技術のいくつかの例は、コイルおよび永久磁石から形成されたボイスコイル、磁歪素子ならびに電歪素子である。
【００４１】
[0066]マイクロディスプレイ１２０を実施するために使用され得る異なる画像生成技術がある。例えば、マイクロディスプレイ１２０は、白色光を用いて背後から照射された光学活性材料によって光源が変調される、透過型プロジェクション技術を使用して実施され得る。これらの技術は、通常、強いバックライトおよび高い光エネルギー密度をもつＬＣＤタイプディスプレイを使用して実施される。マイクロディスプレイ１２０は、外部光が光学活性材料によって反射され変調される、反射技術を使用しても実施され得る。照明は、技術に応じて白色源かＲＧＢ源かのどちらかによって前方へ光をあてる。デジタル光処理（ＤＬＰ）、ＬＣＯＳ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  ｓｉｌｉｃｏｎ）、およびＱｕａｌｃｏｍｍ，Ｉｎｃ．のＭｉｒａｓｏｌ（登録商標）ディスプレイ技術は、全て、反射技術の例であり、これらは、ほとんどのエネルギーが、変調された構造から反射されるときに効率的であり、本明細書で説明するシステムで使用され得る。加えて、マイクロディスプレイ１２０は、光がディスプレイによって生成される発光技術を使用して実施され得る。例えば、Ｍｉｃｒｏｖｉｓｉｏｎ，Ｉｎｃ．のＰｉｃｏＰ（商標）エンジンは、透過性素子として働く小型スクリーンに向けるか、または直接目に発する（例えばレーザー）マイクロミラーを用いてレーザー信号を放射する。
【００４２】
[0067]図４Ｂは、ハードウェアおよびソフトウェアのコンポーネント用の支持部、ならびにマイクロディスプレイ・アセンブリの３次元調節を提供する、ディスプレイ・デバイスの別の実施形態の眼鏡テンプルの側面図である。上記の図５Ａに示す数字のうちのいくつかは、図面の乱雑さを避けるために削除した。ディスプレイ光学システム１４が、任意の３次元中で動く実施形態では、反射素子１２４によって示される光学素子およびマイクロディスプレイ・アセンブリ１７３の他の素子例えば１２０、１２２が、ディスプレイ光学システムへの仮想画像の光の光路１３３を維持するためにも動かされ得る。制御回路１３６のプロセッサ２１０（図６Ａ参照）の制御下で、ディスプレイ調節機構２０３およびシャフト２０５によって示される１つまたは複数のモーターから構成された、この例のＸＹＺトランスポート機構は、マイクロディスプレイ・アセンブリ１７３の素子の動きを制御する。使用され得るモーターの一例が圧電モーターである。図示の例では、１つのモーターが、アーマチュア１３７に取り付けられ、同じく可変フォーカス調節器１３５も動かし、別のディスプレイ調節機構２０３が、反射素子１２４の動きを制御する。
【００４３】
[0068]図５は、注視検出素子の配置を含む、シースルー・ニアアイ・デバイス２の可動型ディスプレイ光学システム１４の一実施形態の上面図である。ニアアイ・ディスプレイ・デバイス２のフレーム１１５の一部が、ディスプレイ光学システム１４を囲み、図に示すようにマイクロディスプレイ１２０およびその付属素子を含むマイクロディスプレイ・アセンブリ１７３の一実施形態の素子のための支持部を設ける。ディスプレイ・システム１４のコンポーネントを示すために、この事例では、右目のシステム用のディスプレイ光学システム１４ｒ、ディスプレイ光学システムを囲むフレーム１１５の上部については図示しない。加えて、ディスプレイ調節機構２０３の動作に着目するために、この図にはブリッジ１０４中のマイクロフォン１１０を示さない。図４Ｃの例では、この実施形態のディスプレイ光学システム１４が、内部フレーム１１７ｒを動かすことによって動かされ、この例では内部フレーム１１７ｒが、マイクロディスプレイ１７３も同じく囲む。ディスプレイ調節機構２０３は、ディスプレイ光学システム１４を移すために、シャフト２０５を内部フレーム１１７ｒに取り付ける３軸モーターとして提供されるこの実施形態で実現され、この実施形態のディスプレイ光学システム１４は、運動の３軸を示す記号１４５で表される３次元のいずれかに、マイクロディスプレイ・アセンブリ１７３を含む。
【００４４】
[0069]この実施形態のディスプレイ光学システム１４は、光軸１４２を有し、着用者が現実世界を実際に直接見ることを可能にするシースルーレンズ１１８を含む。この例では、シースルーレンズ１１８が、眼鏡に使用される標準レンズであり、任意の処方箋（処方箋なしを含む）で作製され得る。別の実施形態では、シースルーレンズ１１８が、変更可能な処方箋レンズによって置き換えられ得る。いくつかの実施形態では、シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイス２が、追加のレンズを含む。
【００４５】
[0070]ディスプレイ光学システム１４が、反射する反射素子１２４ａおよび１２４ｂをさらに備える。この実施形態では、マイクロディスプレイ１２０からの光が、反射素子１２４ａを介して光路１３３に沿って、光軸１４２に沿った自然のまたは実際の直接的な視界に光路１３３に沿って進む仮想物体画像視界を組み合わせるレンズ１１８中にはめ込まれた部分反射素子１２４ｂに向けられ、その結果、組み合わされた視界が、光軸で、最も明瞭な視界のための最もコリメートされた光をもつ位置で、着用者の目この例では右目に向けられる。
【００４６】
[0071]光センサーの検出エリアは、ディスプレイ光学システム１４ｒの一部でもある。光学素子１２５は、光軸１４２に沿って受信した着用者の目から反射した光をキャプチャすることによって検出エリアを実現し、内部フレーム１１７ｒ内のレンズ１１８中に位置するこの例ではキャプチャした光をセンサー１３４ｒに向ける。示すように、この配置により、センサー１３４ｒの検出エリア１３９がディスプレイ光学システム１４の中心に位置合せされる中心を有することが可能になる。例えば、センサー１３４ｒが画像センサーである場合、センサー１３４ｒが、検出エリア１３９をキャプチャし、そのため、画像センサーでキャプチャされた画像は、光軸上に中心が置かれ、これは検出エリア１３９がそうだからである。一例では、センサー１３４ｒが、可視光カメラまたはＲＧＢ／ＩＲカメラの組合せであり、光学素子１２５が、着用者の目から反射される可視光を反射する光学素子、例えば部分反射鏡を含む。
【００４７】
[0072]他の実施形態では、センサー１３４ｒが、ＩＲカメラなどのＩＲ検知デバイスであり、素子１２５が、可視光を通過させる熱反射面を含み、ＩＲ放射をセンサー１３４ｒに反射する。ＩＲカメラが、グリントだけでなく、瞳孔を含む着用者の目の赤外線画像または近赤外線画像もキャプチャすることができる。
【００４８】
[0073]他の実施形態では、ＩＲセンサー１３４ｒが、位置検知デバイス（ＰＳＤ）であるときには光学位置センサーと呼ばれることがある。光指向性素子の図は、この事例では、図５Ａ〜図５Ｄの反射素子１２５、１２４、１２４ａおよび１２４ｂがそれらの機能を示す。これら素子は、任意の数の形態をとることができ、カメラセンサーまたは着用者の目などの、その意図する行き先に光を向けるために１つまたは複数の配置で１つまたは複数の光学的コンポーネントを用いて実施され得る。
【００４９】
[0074]上記の図２Ａおよび図２Ｂおよび以下の図面で検討するように、着用者が直線的に前方を見ているとき、着用者の瞳孔の中心は、着用者の目のキャプチャされた画像の中心に置かれ、検出エリア１３９または画像センサー１３４ｒが、ディスプレイの光軸上に有効に中心を置かれるとき、ディスプレイ光学システム１４ｒは、瞳孔に位置合せされる。両方のディスプレイ光学システム１４が、それらのそれぞれの瞳孔に位置合せされるとき、光学中心間の距離は、着用者の瞳孔間距離と一致するか位置合せされる。図６Ａの例では、瞳孔間距離が、３次元でディスプレイ光学システム１４に位置合せされ得る。
【００５０】
[0075]一実施形態では、センサー１３４によってキャプチャされたデータが、瞳孔が光軸と位置合せされていないことを示す場合、処理ユニット４の１つもしくは複数のプロセッサまたは制御回路１３６センサー、あるいはその両方が、瞳孔の中心が光軸１４２からどのくらい離れているかを決定するために、距離または長さの測定ユニットをピクセルもしくは他の離散ユニットまたは画像のエリアに関係づけるようなマッピング基準を使用する。決定した距離に基づいて、１つまたは複数のプロセッサが、光軸１４２を瞳孔に位置合せするためにディスプレイ光学システム１４ｒが動かされるべき距離および方向の調節を決定する。制御信号は、１つまたは複数のディスプレイ調節機構ドライバー２４５によってコンポーネントのそれぞれ、例えば、１つまたは複数のディスプレイ調節機構２０３を構成する、ディスプレイ調節機構２０３に印加される。この例のモーターの事例では、モーターが、制御信号によって指示される少なくとも１つの方向に内部フレーム１１７ｒを動かすようにそのシャフト２０５を動かす。内部フレーム１１７ｒのテンプル側に、一端部で内部フレーム１１７ｒに取り付けられた、フレーム１１５のフレキシブルセクション２１５ａ、２１５ｂがあり、フレキシブルセクション２１５ａ、２１５ｂは、ディスプレイ光学システム１４が、瞳孔それぞれに対しての幅、高さまたは深度の変化のために３方向のいずれかで動くように、フレーム１１５に内部フレーム１１７を固定するために、テンプルフレーム１１５の内側の溝２１７ａおよび２１７ｂ内でスライドする。
【００５１】
[0076]センサーに加えて、ディスプレイ光学システム１４が、他の注視検出素子を含む。この実施形態では、レンズ１１８側のフレーム１１７ｒに取り付けられた、少なくとも２つの、ただしそれ以上もあり得る赤外線（ＩＲ）イルミネーター１５３があり、この赤外線（ＩＲ）イルミネーターが、角膜それぞれの表面上のグリントそれぞれをそれぞれ生成するように、着用者の目に特定波長範囲内またはおよそ既定波長の狭赤外光ビームを向ける。他の実施形態では、イルミネーターおよび任意のフォトダイオードが、レンズ例えば角膜または端部上にあり得る。この実施形態では、少なくとも２つの赤外線（ＩＲ）イルミネーター１５３に加えて、ＩＲ光検出器１５２がある。それぞれの光検出器１５２が、レンズ１１８を通る対応するＩＲイルミネーター１５３の特定波長範囲内のＩＲ放射を検知でき、グリントそれぞれを検出するように置かれる。図４Ａ〜４Ｃに示すように、イルミネーター１５３からの入射ＩＲ光が、光検出器１５２で受信される反射したＩＲ光に干渉しないように、イルミネーターおよび光検出器が、バリア１５４によって分離される。センサー１３４がＩＲセンサーである事例では、光検出器１５２が、使用されなくてもよく、または追加のグリントデータキャプチャ源とすることができる。可視光カメラを用いて、光検出器１５２が、グリントからの光をキャプチャし、グリント強度値を生成する。
【００５２】
[0077]図５Ａ〜５Ｄでは、注視検出素子の位置、例えば検出エリア１３９およびイルミネーター１５３および光検出器１５２が、ディスプレイ光学システム１４の光軸に対して固定される。これらの素子は、ディスプレイ光学システム１４ｒ、ひいては光軸と共に内部フレーム上で動くことができるが、光軸１４２に対するそれらの空間的関係は変化しない。
【００５３】
[0078]図５Ｂは、注視検出素子の配置を含む、シースルー・ニアアイ・デバイスの可動型ディスプレイ光学システムの別の実施形態の上面図である。この実施形態では、光センサー１３４ｒが、時にはＲＧＢカメラとも呼ばれる可視光カメラとして、または、ＩＲカメラもしくは可視範囲とＩＲ範囲の両方で光を処理することができるカメラ、例えば深度カメラとして実現され得る。この例では、画像センサー１３４ｒが、検出エリア１３９ｒである。カメラの画像センサー１３４が、ディスプレイ光学システムの光軸１４２に垂直に配置される。いくつかの例では、カメラが、シースルーレンズ１１８の上か下かのどちらかの、またはレンズ１１８中にはめ込まれたフレーム１１５に配置され得る。いくつかの実施形態では、イルミネーター１５３が、カメラのための光を供給し、他の実施形態では、カメラが、周囲を照らして、またはそれ自体の光源からの光を用いて画像をキャプチャする。キャプチャした画像データは、光軸への瞳孔の位置合せを決定するために使用され得る。画像データ、グリントデータまたはその両方に基づく注視決定技術は、注視検出素子のジオメトリに基づいて使用され得る。
【００５４】
[0079]この例では、ブリッジ１０４中のディスプレイ調節機構２０３が、方向記号１４５で示すように、着用者の目に対して水平方向にディスプレイ光学システム１４ｒを動かす。システム１４が動くとき、フレキシブルフレーム部分２１５ａおよび２１５ｂは、溝２１７ａおよび溝２１７ｂ内でスライドする。この例では、マイクロディスプレイ・アセンブリ１７３の実施形態の反射素子１２４ａが、固定されている。ＩＰＤが典型的に１度決定され記憶されるとき、マイクロディスプレイ１２０と反射素子１２４ａとの間の焦点距離の行われ得る任意の調節が、マイクロディスプレイ・アセンブリによって、例えばアーマチュア１３７内のマイクロディスプレイ素子の調節を介して、達成され得る。
【００５５】
[0080]図５Ｃは、注視検出素子の配置を含む、シースルー・ニアアイ・デバイスの可動型ディスプレイ光学システムの第３の実施形態の上面図である。ディスプレイ光学システム１４は、ＩＲイルミネーター１５３と、光検出器１５２と、フレーム１１５に位置する光センサー１３４ｒまたは光軸１４２の下または上のレンズ１１８とを含む、注視検出素子の類似の配置を有する。この例では、ディスプレイ光学システム１４が、着用者の目に画像を向けるための反射素子として、光ガイド光学素子１１２を含み、追加のシースルーレンズ１１６とシースルーレンズ１１８との間に置かれる。反射素子１２４が、光ガイド光学素子内にあり、素子１１２と共に動くとき、マイクロディスプレイ・アセンブリ１７３の一実施形態は、この例では、マイクロディスプレイ・アセンブリを動かすために少なくとも１つを含む、シャフト２０５をもつ３軸機構の１セット２０３として実現されるディスプレイ光学システム１４のために、テンプル１０２上でディスプレイ調節機構２０３に取り付けられる。ブリッジ１０４上の１つまたは複数のディスプレイ調節機構２０３は、運動の３軸を提供するディスプレイ調節機構２０３の他のコンポーネントを示す。別の実施形態では、ディスプレイ調節機構は、その取り付けられたシャフト２０５を介して水平方向にデバイスを動かすように操作することができる。また、マイクロディスプレイ・アセンブリ１７３用の機構２０３は、マイクロディスプレイ１２０から届く光と反射素子１２４との間の位置合せを維持するために、マイクロディスプレイ・アセンブリ１７３を水平に動かす。制御回路のプロセッサ２１０（図７Ａ参照）は、それらの動きを調和させる。
【００５６】
[0081]光ガイド光学素子１１２は、マイクロディスプレイ１２０からヘッドマウント・ディスプレイ・デバイス２を着用した着用者の目に光を送信する。また、光ガイド光学素子１１２により、ヘッドマウント・ディスプレイ・デバイス２の正面からの光が、光ガイド光学素子１１２を通して着用者の目に送信されることが可能となり、それによって、着用者がマイクロディスプレイ１２０から仮想画像を受信するのに加えて、ヘッドマウント・ディスプレイ・デバイス２の正面の空間を実際に直接見ることが可能となる。したがって、光ガイド光学素子１１２の壁は、透視性である。光ガイド光学素子１１２は、第１の反射素子１２４（例えばミラーまたは他の表面）を含む。マイクロディスプレイ１２０からの光は、レンズシステム１２２を通過し、反射素子１２４上に入射する。光が、内部反射によって、光ガイド光学素子１１２を備える平面の、基板の内部に閉じ込められるように、反射素子１２４が、マイクロディスプレイ１２０からの入射光を反射する。
【００５７】
[0082]基板の表面から何回か反射した後、閉じ込められた光波が、選択的に反射する表面１２６のアレイに到達する。図の過密を避けるために５つの表面１２６のうちの１つにのみ注目する。反射表面１２６は、基板からこれらの反射表面に入射した光波を着用者の目に結合させる。光ガイド光学素子のさらなる詳細は、２００８年１１月２０に公開された「Ｓｕｂｓｔｒａｔｅ−Ｇｕｉｄｅｄ  Ｏｐｔｉｃａｌ  Ｄｅｖｉｃｅｓ（基板ガイド型光デバイス）」という名称の、米国特許出願公開第２００８／０２８５１４０号、シリアルナンバー１２／２１４，３６６に見出すことができ、参照によりその全体が本明細書に組み込まれる。一実施形態では、それぞれの目が、それ自体の光ガイド光学素子１１２を有する。
【００５８】
[0083]図５Ｄは、注視検出素子の配置を含む、シースルー・ニアアイ・デバイスの可動型ディスプレイ光学システムの第４の実施形態の上面図である。この実施形態は、光ガイド光学素子１１２を含む図５Ｃの実施形態に類似する。ただし、唯一の光検出器が、ＩＲ光検出器１５２であり、そのためこの実施形態は、以下の例で検討するように、注視検出のためにだけグリント検出に依存する。
【００５９】
[0084]図５Ａ〜図５Ｄの実施形態では、注視検出素子、例えば検出エリア１３９およびイルミネーター１５３および光検出器１５２の位置が、互いに対して固定される。これらの例では、上記素子が、ディスプレイ光学システム１４の光軸に関しても固定される。
【００６０】
[0085]上記の実施形態では、示される特定数のレンズは例にすぎない。同一の原理で動作する他の数のレンズおよびレンズの構成が使用され得る。加えて、上記の例では、シースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイス２の右側だけを示す。完全なニアアイ、ディスプレイ・デバイスは、例としてレンズ１１６および１１８の一方または双方の別のセット、図５Ｃおよび図５Ｄの実施形態用の別の光ガイド光学素子１１２、別のマイクロディスプレイ１２０、別のレンズシステム１２２、見込みのある別の環境フェーシングカメラ１１３、図６Ａから図６Ｃの実施形態用の別のアイトラッキングセンサー１３４、イヤフォン１３０および温度センサー１３８を含む。
【００６１】
[0086]図６Ａは、１つまたは複数の実施形態を用いて使用され得る、シースルー・ニアアイ・ディスプレイユニット２のハードウェアおよびソフトウェアのコンポーネントの一実施形態のブロック図である。図７Ｂは、処理ユニット４の種々のコンポーネントを説明するブロック図である。この実施形態では、ニアアイ・ディスプレイ・デバイス２が、処理ユニット４から仮想画像についての命令を受信し、処理ユニット４にセンサー情報を返す。処理ユニット４で実現され得るソフトウェアおよびハードウェアのコンポーネントについては、図６Ｂに示すが、これは、ディスプレイ・デバイス２（図１Ａ参照）から検知情報を受信する。その情報に基づいて、処理ユニット４は、着用者に仮想画像をどこでいつ提供するかを決定し、これに従ってディスプレイ・デバイス２の制御回路１３６に命令を送る。
【００６２】
[0087]図６Ａのコンポーネントのいくつか（例えば、物理環境フェーシングカメラ１１３、目センサー１３４、可変仮想フォーカス調節器１３５、検出エリア１３９、マイクロディスプレイ１２０、イルミネーター１５３、イヤフォン１３０、温度センサー１３８、ディスプレイ調節機構２０３）は、これらのデバイスのそれぞれのうちの少なくとも２つ、ヘッドマウント・ディスプレイ・デバイス２の左側の少なくとも１つおよび右側の少なくとも１つがあることを示すために、影状に示す。図６Ａに、電力管理ユニット２０２と通信する制御回路２００を示す。制御回路２００は、プロセッサ２１０、メモリ２１４（例えばＤ−ＲＡＭ）と通信するメモリコントローラー２１２、カメラインターフェース２１６、カメラバッファー２１８、ディスプレイドライバー２２０、ディスプレイフォーマッター２２２、タイミング発生器２２６、ディスプレイ・アウト２２８およびディスプレイ・イン・インターフェース２３０を含む。一実施形態では、ドライバー２２０の全てのコンポーネントが、１つまたは複数のバスの専用線を介して互いに通信する。別の実施形態では、制御回路２００のコンポーネントのそれぞれは、プロセッサ２１０と通信する。
【００６３】
[0088]カメラインターフェース２１６は、２つの物理環境フェーシングカメラ１１３およびそれぞれの目センサー１３４とのインターフェースを設け、カメラ１１３、カメラバッファー２１８のセンサー１３４から受信した画像をそれぞれ記憶する。ディスプレイドライバー２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイフォーマッター２２２は、拡張現実システム用の処理を行う、１つまたは複数のコンピューターシステムの１つまたは複数のプロセッサ、例えば４、２１０に、マイクロディスプレイ１２０に表示される仮想画像について情報を提供することができる。タイミング発生器２２６は、システム用のタイミングデータを提供するために使用される。ディスプレイ・アウト２２８は、処理ユニット４に、物理環境フェーシングカメラ１１３および目センサー１３４からの画像を提供するためのバッファーである。ディスプレイ・イン２３０は、マイクロディスプレイ１２０に表示される仮想画像などの画像を受信するためのバッファーである。ディスプレイ・アウト２２８およびディスプレイ・イン２３０は、処理ユニット４とのインターフェースであるバンドインターフェース２３２と通信する。
【００６４】
[0089]電力管理ユニット２０２は、電圧レギュレーター２３４、アイトラッキングイルミネーションドライバー２３６、可変調節器ドライバー２３７、光検出器インターフェース２３９、オーディオＤＡＣおよび増幅器２３８、マイクロフォンプリアンプおよびオーディオＡＤＣ２４０、温度センサーインターフェース２４２、ディスプレイ調節機構ドライバー２４５およびクロック発生器２４４を含む。電圧レギュレーター２３４は、バンドインターフェース２３２を介して処理ユニット４から電力を受け取り、その電力をヘッドマウント・ディスプレイ・デバイス２の他のコンポーネントに供給する。イルミネーションドライバー２３６は、およそ既定波長またはある波長範囲内で動作するように、例えば、駆動電流および電圧を介してイルミネーター１５３を制御する。オーディオＤＡＣおよび増幅器２３８は、イヤフォン１３０からオーディオ情報を受信する。マイクロフォンプリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０用のインターフェースを設ける。温度センサーインターフェース２４２は、温度センサー１３８用のインターフェースである。１つまたは複数のディスプレイ調節ドライバー２４５は、１つまたは複数のモーター、または、３方向の少なくとも１つで運動の調節量を示す、それぞれのディスプレイ調節機構２０３を構成する他のデバイスに制御信号を供給する。電力管理ユニット２０２はまた、電力を供給し、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂおよび３軸加速度計１３２Ｃから返るデータを受信する。電力管理ユニット２０２はまた、電力を供給し、ＧＰＳトランシーバー１４４から返るデータを受信し、そこへデータを送る。一実施形態では、例えば心拍センサーを含む、バイオメトリックセンサー１４０が、提供され得る。
【００６５】
[0090]可変調節器ドライバー２３７は、マイクロディスプレイ・アセンブリ１７３の１つまたは複数の素子を動かすために、制御信号、例えば駆動電流または駆動電圧を調節器１３５に供給して、制御回路１３のプロセッサ２１０もしくは処理ユニット４またはその両方で実行するソフトウェアによって計算される焦点領域の変位を達成する。変位の範囲、ひいては焦点領域の範囲を通して掃引する実施形態では、可変調節器ドライバー２３７が、タイミング発生器２２６、または代替で、プログラムされたレートまたは周波数で動作するクロック発生器２４４からタイミング信号を受信する。
【００６６】
[0091]光検出器インターフェース２３９は、それぞれの光検出器からの電圧または電流の読取値のために必要な、任意のアナログ−デジタル変換を行い、その読取値を、メモリコントローラー２１２を介してプロセッサ可読フォーマットでメモリに記憶し、温度および波長の精度などの光検出器１５２の動作パラメータを監視する。
【００６７】
[0092]図６Ｂは、シースルー・ニアアイ・ディスプレイユニットに関連する処理ユニット４のハードウェアおよびソフトウェアのコンポーネントの一実施形態のブロック図である。処理ユニット４は、ハードウェアおよびソフトウェアのコンポーネント、ならびに類似の機能を実行する類似のコンポーネントのこの実施形態を含むことができる。図６Ｂに、電力管理回路３０６と通信する制御回路３０４を示す。制御回路３０４は、中央処理装置（ＣＰＵ）３２０、グラフィック処理装置（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリ３３０（例えばＤ−ＲＡＭ）と通信するメモリ制御３２８、フラッシュメモリ３３５（または他のタイプの不揮発性ストレージ）と通信するフラッシュメモリコントローラー３３２、バンドインターフェース３０２およびバンドインターフェース２３２を介してシースルー・ニアアイ・ヘッドマウント・ディスプレイ・デバイス２と通信するディスプレイ・アウト・バッファー３３６、バンドインターフェース３０２およびバンドインターフェース２３２を介してニアアイ・ディスプレイ・デバイス２と通信するディスプレイ・イン・バッファー３３８、マイクロフォンに接続するための外部マイクロフォンコネクタ３４２と通信するマイクロフォンインターフェース３４０、ワイヤレス通信コンポーネント３４６に接続するためのＰＣＩ  Ｅｘｐｒｅｓｓインターフェース、およびＵＳＢポート３４８を含む。
【００６８】
[0093]一実施形態では、ワイヤレス通信コンポーネント３４６が、Ｗｉ−Ｆｉ対応通信デバイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信デバイス、赤外線通信デバイスなどを含むことができる。ＵＳＢポートは、処理ユニット４にデータまたはソフトウェアをロードし、かつ処理ユニット４を充電するために、処理ユニット４を二次コンピューティングデバイスにドッキングするために使用され得る。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこで、いつ、どのように着用者の視界に画像を挿入するかを決定するための主ワークホースである。
【００６９】
[0094]電力管理回路３０６は、クロック発生器３６０、アナログ−デジタルコンバーター３６２、バッテリー充電器３６４、電圧レギュレーター３６６、シースルー・ニアアイ・ヘッドマウント・ディスプレイ電力インターフェース３７６、および温度センサー３７４（処理ユニット４のリストバンドに位置する）と通信する温度センサーインターフェース３７２を含む。交流−デジタルコンバーター３６２は、ＡＣ電源を受け取り、システム用のＤＣ電源を作り出すために充電用ジャック３７０に接続される。電圧レギュレーター３６６は、システムに電力を供給するためにバッテリー３６８と通信する。バッテリー充電器３６４は、充電用ジャック３７０から電力を受け取ると、バッテリー３６８を（電圧レギュレーター３６６を介して）充電するために使用される。デバイス電力インターフェース３７６は、ディスプレイ・デバイス２に電力を供給する。
【００７０】
[0095]上記で説明したシステムは、着用者が見る現実の画像と仮想画像が混在するように、着用者の視界に仮想画像を追加するために使用され得る。一例では、仮想画像は、それらが元の場面の一部に見えるような方式で追加される。仮想画像を追加する例は、２０１１年５月２０日に出願された、「Ｅｖｅｎｔ  Ａｕｇｍｅｎｔａｔｉｏｎ  Ｗｉｔｈ  Ｒｅａｌ−Ｔｉｍｅ  Ｉｎｆｏｒｍａｔｉｏｎ（リアルタイム情報を用いたイベントの拡張）」という名称の、米国特許出願第１３／１１２，９１９号、また、２０１０年１０月１５日に出願された、出願番号第１２／９０５，９５２号「Ｆｕｓｉｎｇ  Ｖｉｒｔｕａｌ  Ｃｏｎｔｅｎｔ  Ｉｎｔｏ  Ｒｅａｌ  Ｃｏｎｔｅｎｔ（仮想コンテンツの現実コンテンツへの融合）」という名称の、２０１２年４月１９日に公開された米国特許公開第２０１２−００９２３２８−Ａ１で見つけられ、両方の出願は、参照によりその全体が本明細書に組み込まれる。
【００７１】
[0096]上記の説明のデバイス２を使用して、本技術は、デバイス２の着用者に、着用者が利用可能な食品品目に関するフィードバックを消費前、消費中および消費後に提供するためのシステムを実施する。着用者が、食品に関与するいずれかの状況に遭遇した場合に、着用者に、栄養素およびソーシャルの一方または双方のフィードバックが提供され得る。
【００７２】
[0097]本技術について、食品品目の消費に関与する状況で着用者にフィードバックを提供する際の使用に関して以下で説明する。本技術は、食品品目を使用した調理、および食品品目の買い物の際に均等な適用可能性を見つけるということが理解されるべきである。
【００７３】
[0098]図７は、本技術による概括的な方法を示す流れ図である。７０２で、シースルー・ヘッドマウント・ディスプレイ・デバイス２の着用者に対して、どの食品品目が着用者にとって利用可能かについて、着用者が給仕されるより先に決定がなされる。着用者にとって利用可能な食品の決定は、以下に説明する任意の数の手段によって行われ得る。決定は、例えば着用者が在宅し、調理をしようとするときに行われる。この例では、着用者が、処理ユニット４にとって利用可能なリストから、またはデバイスによって追跡された品目から提供される別々のタイプの食品を着用者の家に貯蔵することができる。例えば着用者が、特定のレストランでメニューをもっていることが分かる場合、決定が行われ、メニューの品目の情報にアクセスし、着用者のメニューの注視に基づいて品目を識別することができる。代替的に、デバイス２から利用可能なセンサーデータを通して、食品品目が、既知の食品品目に関連する画像データおよび深度データと外観を照合することによって識別され得る。７０４で、食品が一旦決定されると、フィードバックが、消費する前に着用者に提供され得る。フィードバックは、栄養素情報、着用者の規定食の関心事に基づいた特定の着用者警告、または友人からの社会的情報の形態とすることができる。例えば、着用者の友人が、以前にその特定のロケーションにいたことがある場合、着用者の友人が食べて好ましいと思った食品のタイプを示す推奨品が示され得る。同様に、着用者がナッツの摂食アレルギーを有する場合、システムはナッツを含む恐れのある既知のまたは見込みのあるレシピに基づいて警告を提供することができる。
【００７４】
[0099]７０６で、食品が、着用者に提示され（かつ着用者の近くにあり）、システムは、どの食品品目が現在着用者の前にあるかを決定することができる。メニューを解析中に、着用者は複数の選択をすることができる。一例では、システム２のマイクロフォンからのオーディオ認識を介しての入力に基づいて、着用者がどの品目を選択したかを決定することが可能である。代替的に、料理が着用者の前面に置かれ、食品が、着用者の最も近くにあるとき、７０６で、食品に関わる画像データが、着用者の前に存在する実際の食品を決定するために使用され得る。
【００７５】
[00100]７０８で、フィードバックが、食事を消費する前に直ちに提供され得る。フィードバックは、７０４で提供されたフィードバックに類似にすることができ、または着用者の規定食に関する関心事に基づいて、カロリー情報または警告などのより具体的なものとすることができる。次いで７１０で、本技術は、着用者が着用者に近接する食品を消費するとき、着用者が誰なのか、または何を食べたのかを監視することができる。７１２で、着用者の消費が、食品のタイプおよび着用者の栄養素情報における着用者のフィードバックを提供するために、食事の間、日、月、またはそれより長期間追跡され得る。
【００７６】
[00101]図８に、ローカル処理ユニット４、およびフィードバックサービス８７０を実施する、リモート、ネットワーク接続処理環境８７１を含む処理環境の機能コンポーネントを示す。図８は、シースルー・ヘッドマウント・ディスプレイで、栄養素および食品消費のフィードバックを提供するための、ソフトウェアの観点からのシステムのブロック図である。図８に、処理ユニット４と通信する１つまたは複数のリモートコンピューティングシステム８７０と連動して、パーソナルコンピューティング装置によって実施され得るコンピューティング環境を示す。通信ネットワーク５０を介したネットワーク接続性により、フィードバックサービスを提供するために、リモートシステム８７０の利用可能なコンピューティング・リソースを活用することが可能になる。
【００７７】
[00102]図８の実施形態に示すように、処理ユニット４に常駐のソフトウェアコンポーネントが、オペレーティングシステム８０２、アイトラッキングエンジン８０４、画像およびオーディオ処理エンジン８２０、フィードバックアプリケーション８５０Ａ、および着用者プロファイルデータストア８６８を備える。オペレーティングシステム８０２は、処理ユニット４のハードウェア素子が、図８に示す機能コンポーネントのより高レベルの機能とインタラクションすることを可能にするような根本的な構造を提供する。
【００７８】
[00103]アイトラッキングエンジン８０４は、デバイス２に関係する目の動きに対して着用者の注視を追跡する。アイトラッキングエンジン８０４が、注視方向を識別し、画像およびオーディオ処理エンジン８２０と連動して、目の位置に基づいた着用者の外にある注視のポイント、目の動き、および画像およびオーディオ処理エンジン８２０が認識した物体を、識別することができる。画像およびオーディオ処理エンジン８２０は、デバイス２に設けられた上記の説明の１つまたは複数のセンサーから、動画および画像データ、深度データ、およびオーディオデータを含む、センサー入力データを受信する。画像および深度情報は、外向きフェーシングセンサーからもたらされ、着用者がその頭部および身体を動かすときにキャプチャされ得る。
【００７９】
[00104]画像およびオーディオ処理エンジン８２０は、ジェスチャ認識エンジン８０６、ビジュアルレンダリングエンジン８２８、オーディオエンジン８６２、およびサウンド認識エンジン８６４を含む。ジェスチャ認識エンジン８０６は、着用者指示の制御、コマンド、またはフィードバックアプリケーション８５０Ａなどの実行中アプリケーションに対する他の認識された動きによって行われるアクションを識別する。アクションは、手または指などの着用者の身体の一部によって行われ得るが、連続した瞬目も含むことができる。一実施形態では、ジェスチャ認識エンジン８０６が、ジェスチャフィルターの収集を含み、それぞれが、骨格模型の少なくとも一部によって行われ得るジェスチャに関する情報を含む。ジェスチャ認識エンジン８０６は、骨格模型と、ジェスチャフィルターおよびジェスチャライブラリに追加されたキャプチャ画像から抽出した骨格模型に関連する動きとを比較し、着用者が１つまたは複数のジェスチャを行った時点を識別する。いくつかの例では、認識したジェスチャのために追跡する骨格ではなく、画像データと、例えばジェスチャ中の着用者の手または指の画像モデルを含む食品品目データとの照合が、使用され得る。画像およびオーディオ処理エンジン８２０は、所与のロケーションで利用可能とすることができる１つまたは複数のキャプチャデバイスから受信した画像深度データおよびオーディオデータを処理する。
【００８０】
[00105]画像データから食品品目を識別するためのデータが、シーンマッピングエンジン８０８によって提供され得る。ディスプレイ・デバイス２のディスプレイ視野の３Ｄマッピングは、ディスプレイ視野のキャプチャ画像データおよび深度データに基づいてシーンマッピングエンジン８０８によって決定され得る。深度マップは、キャプチャ画像データおよび深度データを示すことができる。物体間の衝突がどのように着用者に見えるかが、着用者の視野によって決まるので、視界依存座標系は、ディスプレイ視野のマッピングのために使用され得る。視界依存座標系の一例は、Ｘ、Ｙ、Ｚ座標系であり、Ｚ軸または深度軸は、シースルー・ディスプレイ・ディスプレイ２の正面から直交方向に、または垂直に延在する。いくつかの例では、ディスプレイ視野に提示される深度マップの画像データおよび深度データは、ディスプレイ・デバイス２の正面のカメラ１１３から受信される。ディスプレイ視野は、リモートで、または、シーンマッピングエンジン８０８を使用した以前のマッピングに基づいて以前に提供された１セットの環境データを使用して、決定され得る。シーンマッピングエンジンによって識別された品目は、ディスプレイ視野内の食品品目を決定するためにフィードバックアプリケーション８５０ａによって使用され得る。
【００８１】
[00106]ビジュアルレンダリングエンジン８２８は、３次元ホログラフィック仮想物体のインスタンス、２次元画像、色およびディスプレイ・デバイス２のディスプレイ内の他の情報を含むことができる、着用者のディスプレイのディスプレイ素子をレンダリングする。ビジュアルレンダリングエンジン８２８は、ディスプレイの素子をレンダリングするために、アプリケーション８５０ａと連動して働く。オーディオエンジン８６２は、マイクロフォン１１０などのオーディオ入力からの入力を翻訳する。
【００８２】
[00107]フィードバックアプリケーション８５０Ａは、着用者の食品品目とのインタラクションの前、途中およびその後、食品関連フィードバックを着用者に提供する。フィードバックは、規定食、栄養素、個人的なものおよび社会的なもののうちの１以上とすることができる。いくつかの実例では、フィードバックが、着用者のロケーション、第三者情報および個人的情報を考慮することができ、デバイス２の着用者の視野内にフィードバックを提供することができる。アプリケーション８５０Ａは、食品認識エンジン８５２、消費入力決定エンジン８５４、消費追跡エンジン８５６、栄養素データ８５８、およびローカルデータストア８６０を含む。食品認識エンジン８５２は、テキストの処理および解析用のコンポーネントと、食品品目認識コンポーネントの両方を含む。テキスト−解析コンポーネントは、着用者がメニューの１つまたは複数の品目に注視するとき、着用者にとって利用可能な品目を決定するために、例えば、既知のロケーションでレストランのメニューに書かれた品目を見分けるために、デバイス２からの画像入力データを解析することができる。着用者が、特定の品目に注視を留めるとき、一旦デバイスが、着用者が見ている品目を決定すると、フィードバックが提供され得る。食品品目認識コンポーネントは、食品品目が、食品品目の既知のパターンと一致するかどうかを決定するために、画像データを評価する。食品認識エンジン８５２は、画像および深度データなどの入力データと食品の異なるタイプの既知のプロファイルとを照合することもできる。一定のタイプの食品は、他のものより認識し易い。例えば、ハンバーガーは、一般に、単純な鶏の胸肉より確定され易い。ハンバーガーは、特定の品目としてそれらを識別する複数の成分を有する。単純な鶏の胸肉は、多くの方法で調理され得るが、鶏肉のテクスチャは、料理がどのように行われるかについて食品認識エンジンにいくつかの手がかりを提供することができる。一般に理解されるように、食品は、一般に２つ以上の材料から構成される料理を含む。以下に示すように、食品は、いくつかの方法のうちの１つによって識別され得、特定の料理中の材料は、レストランまたは食品製造者などの第三者によって提供されたデータ、着用者自身のレシピデータの個人的ストア、またはフィードバックサービス８７０によって提供された共通のレシピデータのデータストアから、取得され得る。
【００８３】
[00108]アプリケーション８５０Ａは、消費入力エンジン８５４を含む。消費入力エンジンは、着用者がいつ、どれだけの量の食品を消費することができるかを決定する。着用者による食品品目の実際の消費は、消費入力イベントをトリガーするジェスチャ、サウンドまたは他のインジケーターに基づいて決定されてよく、着用者が現在食べている最中であることをシステムに伝え、システムが、食品認識エンジンによって識別される食品を参照することによって、着用者がどの食品を食べているかを識別することを可能にする。入力エンジン８５４は、どのイベントが消費を識別し、いつ着用者が実際に食品を食べるかを決定する。消費追跡エンジン８５６は、消費入力と、認識エンジン８５２によって認識または識別された消費食品との間の関係を計算して、着用者が、特定の期間にわたって、どれくらいの量を消費したかを決定する。この期間は、アプリケーションプロバイダーの目的に従って変更することができ、または着用者によって設定され得る。消費追跡エンジン８５６は、着用者がその期間にわたってどれくらいの量を消費したかを、着用者が決定することを可能にし、デバイスの着用者に有益なフィードバックを提供することができる。栄養素データ８５８は、上記で説明したレシピなどの情報、ならびに、レシピを構成する材料の通常理解されよく知られたデータを含む。栄養素データ８５８は、第三者が特定の栄養価を提供しなくとも、レシピを作り上げ、見込まれる栄養価を決定するために利用され得る。例えば、ハンバーガーが着用者の最も近くにあり、着用者が今ハンバーガーを消費中であると、食品認識エンジンが決定する場合、栄養素データは、ハンバーガーを構成する個々の成分、既知のまたは共通のレシピ、ならびに、ハンバーガーの見込まれる栄養価および成分を計算したもの、に基づいたデータを含むことができる。
【００８４】
[00109]ローカルデータストア８６０は、着用者特定レシピ、第三者栄養素情報、通常レシピおよび材料栄養素情報を含む。ストア８６０で利用可能な情報とは、フィードバックサービス８７０からの利用可能なこうした情報のより大きなセットのうちのサブセットとすることができる。この情報は、上述のように、そのメニューの特定の料理向けに第三者によって提供されるレシピを含むことができる。この情報は、例えば、レシピが製造者の命令に従って作られた場合、栄養価が正確に計算され得るということを着用者が分かるように、製造者によって提供されるレシピも含むことができる。着用者の個人的なレシピについては、着用者が、デバイス２を介して、または、例えば処理環境によって提供される着用者インターフェースもしくは別の処理環境へのフィードバックサービスを通じて、入力することができる。
【００８５】
[00110]ユーザープロファイルデータストア８６８は、着用者消費履歴、医療情報および料理の好き嫌いなどの着用者のプレファレンス（設定）、ならびにフィードバックアプリケーション８５０ａが着用者にデータを提供することを可能にするような他の情報を含む。ユーザープロファイルデータ中の追加情報は、フィードバックサービス８７０を用いて記憶され得るが、ユーザープロファイルストア８６８およびローカルデータストア８６０中のストレージは、フィードバックアプリケーションがより迅速に情報にアクセスし、デバイス２の着用者に有益なフィードバックを提供することを可能にする。
【００８６】
[00111]フィードバックサービス８７０は、管理者の制御下で複数の処理デバイス８７１に提供され得る。サービス８７０は、１つまたは複数のデバイス２がネットワーク５０を介してサービスに接続することを可能にするユーザー通信および共有コンポーネント８７４を含むことができる。第三者プロバイダー４４およびディスプレイ・デバイス２の他のユーザー４４８は、フィードバックサービスにデータを提供することができる。着用者プロファイルストア８７６は、ユーザープロファイルデータストア８６８に記憶されたものなどの着用者プロファイルデータ、ならびに他の着用者４４８用のプロファイルを含む。種々の着用者がソーシャル共有コンポーネントの情報を共有することを可能にすることが、共有により、ユーザー共有コンポーネント８７４を介してできるようになり得る。ユーザー履歴８７２は、他の着用者と共有され得る、個々のユーザー向けの着用者履歴を含むことができる。例えば、着用者が特定のレストランを訪れ、ソーシャルフレンドもそのレストランを訪れたことがある場合、着用者は、そのレストランでのそのソーシャルフレンドの以前の経験にアクセスすることができるので、同じ食事を楽しむこと、または特定の好ましくない料理を避けることが可能となる。共有データ８８２は、他のユーザー４４８によって提供された特定共有情報を含むことができる。これは、着用者共有コンポーネント８７４を介して類似のデバイスの他の着用者と共有され得る、コメント、ハイライト、およびレビューを含むことができる。共有コンポーネントにより、着用者が他の着用者と共有する典型的なソーシャルネットワークを作ることが可能となり、このことには、フィードバックサービス８７０の他の着用者にとって利用可能な情報の公的または私的なストアを作ることが含まれる。サービスベースのフィードバックアプリケーション８５０Ａは、アプリケーション８５０Ａ中に示すコンポーネントを含むが、コンピューティングサービス８７０の一部として実行され得る。
【００８７】
[00112]共通のレシピデータ８６９および第三者プロバイダーのレシピデータ８７３も、フィードバックサービス８７０中に示す。共通のレシピデータは、種々のタイプの料理の栄養価を含むことができる。例えば、着用者が仔牛のカツレツパルミジャーナの料理の正面に着席中だがその特定の料理に利用可能なレシピデータがない、と食品認識エンジン８５２が決定する場合、共通のレシピデータは、着用者に近接する「典型的な」料理向けの栄養素情報の範囲で、仔牛のカツレツパルミジャーナの典型的レシピ向けにリスト化したサンプルを提供することができる。
【００８８】
[00113]第３のプロバイダーのレシピデータ８７３は、製造者、レストランおよびロケーションのうちの１以上に特有のデータである。例えばレストランチェーンが、フィードバックサービス８７０にその第三者レシピデータを提出することを希望するならば、いずれかのレストランを訪れる着用者が、そのチェーンの情報にアクセスできる。同様に、個々のレストランが、ロケーションによって識別されてよく、フィードバックサービス８７０に特定の第三者レシピデータを提供することができる。
【００８９】
[00114]図９は、本技術を実施するための方法のより詳細な方法を表す流れ図である。着用者がレストランを訪れ、かつ／または食品消費エクスペリエンスを開始しようとするときなど、着用者が食品を消費しようとするときに、図９の方法が行われる。ステップ９０２で、着用者プロファイルが取得される。一実施形態では、着用者のプロファイルは使用されず、情報は、着用者特定情報の知識なしに着用者に提示される。図９の実施形態では、着用者のプロファイルは、着用者消費履歴、栄養素関心事、および着用者のプレファレンス（設定）を含むことができる。プレファレンス（設定）は、着用者が消費する料理のタイプの典型的な着用者の好き嫌い、着用者がデバイスに受信を希望するフィードバックのタイプの指示、ソーシャルフレンド、およびデバイス２の着用者向けにフィードバックエクスペリエンスをカスタマイズする他の情報を含むことができる。
【００９０】
[00115]ステップ９０４で、着用者のロケーション、向きおよび注視が、９０６で決定される。ロケーションは、食品品目の識別および食品情報の提供の両方のために使用され得る、着用者データおよび第三者データ用のリファレンスを提供する。向きおよび注視は、着用者が興味を示し、フィードバックを望む可能性がある食品品目は何であるかを決定するために使用され得る。ロケーション、向きおよび注視の決定は、着用者が、レストラン、家、または、システムが着用者データまたは第三者データからレシピを識別することができるいくつかの他のロケーションにいる可能性あるかどうかの指示をシステムに提供する。
【００９１】
[00116]ステップ９０６および９１０は、着用者にとって利用可能な食品品目を決定するための機構を提供する。ステップ９０６および９０８は、逆の順序で、または単独でつまりそれぞれが他を使用することなく、図９のシーケンス中に提供され得る。
【００９２】
[00117]９０６で、着用者が消費しようとする食品のタイプの手動入力を着用者が希望するかどうかを決定するようにプロンプトを着用者に表示することができる。着用者が食品のタイプを入力することを希望する場合、着用者は、９０７で着用者入力を提供することができる。着用者入力は、デバイス２で着用者に提示される着用者インターフェースによって起動された事前配布の選択のメニューから選択することによって提供され得る。着用者インターフェースが、着用者のロケーション、または食品認識エンジンによって（例えば、以下のステップ９０８に関して図１０で説明する技術を使用して）認識された食品品目によって起動されたメニューに基づいて、第三者情報から導き出され得る。
【００９３】
[00118]一旦、着用者が食品を入力すると、または着用者が手動の着用者入力を提供することを希望しない場合、ステップ９０８で、どのタイプの食品が、着用者にとって利用可能であり近接するかに関して決定がなされる。ステップ９０８は、以下でさらに詳細に述べられるが、ロケーションに基づいて、第三者データまたは着用者特定データが利用可能であるかどうかの第１の決定するステップを含むことができる。例えば、着用者が家にいる場合、着用者レシピデータは、利用可能な食品のタイプを決定する際に役立つ見込みがある。着用者がレストランにいる場合、システムは、レストランで利用可能なメニューを解析することができる。ステップ９０８の追加の情報については、図１０に関して以下で検討する。
【００９４】
[00119]９０８で、一旦食品品目が認識されると、９１０で、栄養素情報が、識別された利用可能な食品品目と照合される。
[00120]９１２で、一旦利用可能な食品品目の栄養素情報が決定されると、着用者がどのタイプのフィードバックを見たいかを確認するために、着用者にプロンプトを表示することができる。フィードバックのタイプが、図９のように選択できないかもしれないということが理解されるべきである。すなわち、着用者入力なしに、またアプリケーション８５０Ａの開発者によって決定されたように単独で、着用者に、ソーシャルフィードバックおよび栄養素フィードバックを提供することができる。
【００９５】
[00121]９１２で、着用者に、そのソーシャルフィードバックまたは履歴フィードバックを希望するかどうかに関してプロンプトを表示することができる。ソーシャルフィードバックは、デバイスの着用者のソーシャルメディアフレンドである他の着用者から推奨の形態で提供され得る。９１２で、着用者がソーシャルフィードバックを受信することを希望する場合は、９１４で、図１４〜図１９で提示された例に従って、ソーシャルフィードバックが提供され得る。９１５で、着用者は、栄養素フィードバックの受信を希望するかしないかを決めることができる。もし希望するならば、９１６で、検出した食品品目の栄養素フィードバックが着用者に提示され得る。着用者に提示されるフィードバックの例を図１４〜図１９に示す。
【００９６】
[00122]同様に、９１８で消費の監視を要望する場合は、９２０で着用者の消費の監視が行われ、９２２でフィードバックが提供される。着用者が現在までに消費した食事の数、または着用者が、１日、１週間、もしくは１か月などの特定の期間に摂取した栄養素の総量を示す、消費履歴のフィードバックが提供され得る。ステップ９２４で、任意選択で、後に着用者にその消費についてのフィードバックを提供する際に使用するために、着用者消費履歴が記憶され得る。
【００９７】
[00123]図１０は、着用者にとって利用可能な食品品目を認識する図９のステップ９０８を実行するための例示的な一方法を示す。ステップ１００２で、ロケーションデータが、取得される。上述のように、ロケーションデータは、ユーザーが既知のロケーションにいるとき、ユーザーにとってどの品目が利用可能となり得るかを決定する際に役立つ。一代替形態では、ロケーションデータが利用されず、第三者データが、ＱＲコード（登録商標）または他のスキャンタグなどの異なる方式で食品品目に関連付けられ得る。ステップ１００４で、着用者が既知のロケーションにいる（または、データが他の手段によって関連付けられ得る）場合、ステップ１００６で、メニューおよび栄養素データなどの、ロケーションまたは識別イベントに関連する既知の食品品目のデータにアクセスする。そのロケーションが、既知でない場合、または既知のデータにアクセスした後、デバイス２からのセンサーデータが、１００８でアクセスされる。１０１０で、ユーザーにとって利用可能な食品品目が確認され得るかどうかを決定するために、センサー認識が行われる。これは、着用者の視野内の品目を識別するために、１つもしくは全ての画像、テキストまたは他のタイプのデータの認識を行うステップを含む。既知の食品タイプのデータつまり材料、レシピおよびプレゼンテーションは、ローカルストレージ８６０に記憶され、ステップ１０１２でセンサーデータと照合されて、着用者の視野内の品目が認識されるかどうかを決定することができる。品目が認識される場合は、食品および調理のタイプが、１０２０で栄養素情報用に使用され得る。食品が一致しない場合は、ステップ１０１４で最適な推測がなされ得る。例えば、不完全一致が生じた場合に、ハンバーガーのように見える品目が、チキンサンドイッチ、ターキーバーガーまたはベジタブルバーガーのようにも見える可能性がある。ステップ１０１４で、開発者の判断レベルが、１０１２の照合で不確定である場合、１つまたは複数の代替形態が、１０１４で提供され得る。着用者が未知のロケーションにいて、システムが、ハンバーガーに類似しているように見える品目が着用者の視野内にあり着用者に近接すると判定する場合、システムは、品目が「ハンバーガー」であると思われるが、チキンサンドイッチ、ベジタブルバーガーまたはターキーバーガーのうちの１つかもしれない、という指示を用いて着用者にプロンプトを表示することができる。
【００９８】
[00124]照合で不確定レベルが低い場合、１０１６でユーザーに食品品目を識別する機会を提供することができる。着用者が品目を選択することを選ぶ場合、着用者は１０１８で手動入力を提供する。着用者が食品を識別しない場合、１０２０で最適な推測が利用される。
【００９９】
[00125]図１１は、着用者の視野内で利用可能な食品品目の栄養素情報を決定する図９のステップ９１０を行うための方法である。再びステップ１１０２で、着用者がレストランまたは家などの既知のロケーションにいるかどうかに関して、最初の決定がなされる。再び栄養素情報の決定にデータを関連付ける他の方法が利用され得る。この事例では、ロケーションまたはデータの関連が、食品品目自体を識別するのではなく識別された食品の栄養素情報についてのデータにアクセスするために使用される。
【０１００】
[00126]着用者が、既知のロケーションにいる（または別の形で情報がイベントに関連付けられ得る）場合、１１０４で、既知の着用者レシピ、共有レシピまたは第三者レシピが、取得される。１１０６で、食品の一致があった場合（例えばステップ１０１２で）、１１１０で、検出した食品用の１つまたは複数の第３の提供レシピまたは着用者提供レシピが、食品品目と照合され、１１２５でそのデータが栄養素フィードバック用に提供される。１１０６で食品が一致せず、ただし、１１０８で着用者が食品を識別する（例えばステップ１０１８によって）場合、方法は、再びステップ１１１０に進む。着用者が食品を識別せず、１１０６で食品が一致し得ない場合、１１１２で最適な推測データが栄養素データ用に使用される。着用者が既知のロケーションにいない（または追加データが利用可能でない）場合、その時１１１４で食品が一致し得る場合、方法は、１１２０で、その一致に基づいて検出した食品の、または、認識した材料に基づくコンピューティングされた利用可能な最も見込みのある栄養素成分に基づいて検出した食品の見込みのある１つまたは複数のレシピを取得し、１１２５で、このデータを返す。食品が一致し得ない場合、１１１６で着用者に食品を識別するための機会を提供し、着用者が食品の識別を希望する場合、１１１８で、調理した食事、および、着用者が可視的に確認できる知覚した材料の一方または双方のためにプロンプトが着用者に表示され得る。１１１８で、一旦着用者がこの情報を提供すると、システムが、１１２０で、検出した食品に適した１つまたは複数のレシピにアクセスすることができる。着用者が、食品を識別することを希望せず、食品が一致し得ない場合、システムは、図１０の食品認識プロセスに基づいて最適な推測データを取得し、１１２０で、検出した食品に適した１つまたは複数のレシピにアクセスする。
【０１０１】
[00127]図９または図１０のどちらでも、最適な推測データが利用可能ではない場合、方法は、食品品目が識別され得ないことをユーザーに簡単に示すことができる。
[00128]図１２は、図９のステップ９１６を行う一方法となり得る、何を食べるべきかについての着用者フィードバックを提供するための方法を示す流れ図である。ステップ１２０２で、着用者が食事を開始したとき、つまりユーザーが食事のために着席しまたはメニューを見るときに、方法が、食事イベントを開始する。ユーザーが食事中かどうかは、着用者によってなされるジェスチャ、サウンドおよびデバイス２の視野内の他のアクションによって決定され得る。一旦着用者が食事イベントを開始すると、１２０４で、着用者がメニューを見ているかどうかに関して決定がなされる。着用者がメニューを見ている場合、１２０６で着用者がメニュー上で注視する品目ごとに、１２０８で特定の着用者フィードバックまたは他の関連する栄養素情報が提供され得る。一旦着用者がメニューを見るのを終えると、システムは、１２１０で着用者に最も近づく食品を待つ。この開示の文脈では、着用者に近接する食品品目とは、着用者の手の届く、または視野の範囲内にある食品品目である。例えば、着用者が、その正面の食品に注視を留める場合、ステップ１２１２で、品目が着用者の食事中の位置に近接すると決定され、１２１４で、特定フィードバックまたは他の関連の栄養素情報が、着用者の注視が留まるまたは止まる品目に関して提供され得る。１２１６で、一旦着用者が食品を消費し始めると、ランダムまたは既定のフィードバックポイント１２１８において、１２２０でフィードバックが着用者に提供され得る。フィードバックポイントが、時間、着用者の消費の速度、着用者がいる環境のタイプ（家またはレストラン）、またはアプリケーションプロバイダーによって具体的に決定される他のデータによって決定され得る。
【０１０２】
[00129]図１３は、図９のステップ９１０で着用者の食品の消費を監視するための方法を示す流れ図である。ステップ１３０２で、消費イベントが決定される。消費イベントは、例えば着用者の口に食品を運ぶとき着用者を認識するジェスチャ、着用者が食品を噛んでいることの検出、または、着用者が実際に食品を消費中であることをシステムに示す他のサウンドもしくはジェスチャとすることができる。１３０４で、消費を示すデータがあるかどうかを決定するために、視野が調査される。例えば、着用者に近接するハンバーガーを一口噛んで取り除いた場合、着用者が、実際に食品を消費中であるという決定がなされ、それによって、９０２で消費イベントを確認することができる。９０６で消費が実際にあった場合、９０８で着用者に近接するエリアがスキャンされ得る。９１０で、消費イベントが終了したかどうかに関して決定がなされる。一旦消費イベントが終了すると、９１２でフィードバックが出力され得る。フィードバックは消費イベントの終了より先に任意の種々の回数で出力され得ることが理解されるべきである。
【０１０３】
[00130]図１４〜図１９は、着用者に提供され得る上記で説明したフィードバックの種々のタイプを示す。図１４〜図１９は、例えばレンズ１１８、１１６を通してディスプレイ・デバイス２に着用者の視界の片側を示す。ディスプレイの片側だけを示すが、ディスプレイは、両方のレンズで均等であることを理解されたい。
【０１０４】
[00131]図１４では、着用者の視界に、メニュー品目１４８２をもつメニュー１４１１を示す。図１４に示す例では、特別な品目１４８２がデバイス２によって認識される。これは、認識されたメニュー品目に既知のレストランデータを照合することによって行われ得る。警告スクリーン１４２０に、「仔牛肉スペシャル」がナッツを含むことが既知であるので、着用者は仔牛肉スペシャルを消費するべきではない、という着用者への指示が示される。レストランの所有者は、「仔牛肉スペシャル」の調理についての情報を第三者データで提供することができるが、ナッツについてのユーザーの関心事は、ユーザープロファイルデータで認識され得る。
【０１０５】
[00132]図１５は、提供され得るソーシャルデータ用のフィードバックを示す着用者からの透視図を示す類似の視界である。同じメニュー１４１１を見るデバイス２の着用者に、着用者の友人「マーシャ」が先週仔牛肉スペシャルを消費してそれを気に入ったということを示すソーシャルフィードバック１４２５が提供される。ロケーションまたは他のタグ付けした関連付けは、着用者の友人「マーシャ」からのソーシャル共有情報をトリガーすることができる。
【０１０６】
[00133]図１６は、着用者自身の履歴データに基づいて、着用者に提供されるフィードバックを示す類似の視界である。図１６では、フィードバック１５１０は、着用者が前回この特定のレストランで食べた仔牛肉スペシャルを好まなかったことを示す。
【０１０７】
[00134]図１７は、どのように消費フィードバックが着用者に提供され得るかということの一例である。図１７では、着用者が、ハンバーガーを見ており、システムは、着用者が本日既に１回ご馳走を消費したという事実を追跡したので、追加のご馳走を消費したいかどうかを考えるように着用者にプロンプトを表示し、警告１５２０を介して、「これはあなたの本日２回目のご馳走です。本当にこれを食べたいですか」と着用者に示す。
【０１０８】
[00135]図１８は、システムが、着用者の視野内で利用可能な食品１８１８のタイプを決定することができないとき、着用者に提供され得るフィードバックを示す類似の透視図である。プロンプト１８２４は、システムが食品のタイプを決定することができないことを示し、着用者がそれを識別したいかどうかを着用者に尋ねる。図１８に示すように、着用者に選択メニューが提供されて、システムが、その品目の見込みがありそうだと判定した食品の種々のタイプのうちの１つを着用者に選択することを求める。
【０１０９】
[00136]図１９は、システムが、着用者に提示する食品品目のタイプまたはレシピに確信がもてない場合の栄養素フィードバックの一例を示す。この事例では、着用者に、システムの「最適な推測」１８３０、および栄養素データに対して有するかもしれないそのタイプの「典型的」品目を示す１セットの情報が提示される。本明細書に示す種々の例は、例示のためだけのものであり、様々な詳細、色、サウンドおよび他の情報である、いくつかの異なるタイプのフィードバックが、着用者に提供され得ることが理解されるべきである。
【０１１０】
[00137]上述のように、本技術について、食品品目の消費に関与する状況で、着用者にフィードバックを提供する際の使用に関して説明してきた。本技術は、食事の調理の際に使用され得ることが理解されるべきである。ユーザーが食品品目を調理中である場合、材料データが認識され、栄養素情報が調理プロセス中に着用者に提供され得る。同様に、着用者が食品を買う場合、食品および特定品目の栄養素情報を選ぶ上で、情報が着用者に提供され得る。
【０１１１】
[00138]加えて、社会的情報が、食品の調理に関与する状況に拡張され得る。例えば、人が、ソーシャルフレンドのために食事を調理中であり、その友人のための共有情報が食品のアレルギーまたは関心事を示す場合、このフィードバックは、食事調理プロセス中にフィードバックアプリケーションによって提供され得る。
【０１１２】
[00139]図２０は、本明細書で説明する本技術の実施形態で動作することができる例示的なモバイルデバイス（例えば処理ユニット４）のブロック図である。典型的なモバイルフォンの例示的な電子回路を示す。デバイス２０００は、１つまたは複数のマイクロプロセッサ２０１２、および、メモリ２０１０（例えば、ＲＯＭなどの不揮発性メモリおよびＲＡＭなどの揮発瀬メモリ）を含み、このメモリは、本明細書で説明する機能を実施するための制御プロセッサ２０１２である１つまたは複数のプロセッサによって実行されるプロセッサ可読コードを記憶する。
【０１１３】
[00140]モバイルデバイス２０００は、例えば、プロセッサ２０１２、アプリケーションおよび不揮発性ストレージを含むメモリ２０５０を含むことができる。プロセッサ２０１２は、通信、ならびに本明細書で検討するインタラクションアプリケーションを含む任意の個数のアプリケーションを実施することができる。メモリ２０５０は、不揮発性および揮発性のメモリを含む、任意の様々なメモリストレージメディア（媒体）タイプとすることができる。デバイスオペレーティングシステムは、モバイルデバイス２０００の別個のオペレーションに対処し、電話をかけることおよび受けること、テキストメッセージを送信すること、ボイスメールをチェックすることなどの、オペレーションのための着用者インターフェースを含むことができる。アプリケーション２０３０は、写真および動画の一方または双方のためのカメラアプリケーション、アドレスブック、カレンダーアプリケーション、メディアプレーヤー、インターネットブラウザー、ゲーム、他のマルチメディアアプリケーション、アラームアプリケーション、他の第三者アプリケーション、本明細書で検討するインタラクションアプリケーションなどの、プログラムの任意のアソートメントとすることができる。メモリ２０１０の不揮発性ストレージコンポーネント２０４０は、ウェブキャッシュ、音楽、写真、連絡データ、スケジュールデータおよび他のファイルなどのデータを含む。
【０１１４】
[00141]プロセッサ２０１２は、アンテナ２００２と結合するＲＦ送信／受信回路２００６と、赤外線送信／受信器２００８と、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の追加の通信チャネル２０６０、と、加速度計などの運動／向きセンサー２０１４とも通信する。加速度計は、モバイルデバイスに組み込まれて、ジェスチャを通してコマンドを着用者に入力させるインテリジェント着用者インターフェース、ＧＰＳ衛星との接続が切断された後デバイスの運動および向きを計算するインドアＧＰＳ機能のようなアプリケーションを可能にし、また、デバイスの向きを検出し、電話が回転するとき縦から横にディスプレイを自動的に変化させる。加速度計は、例えば、半導体チップ上に組み立てられた極小のメカニカルデバイス（マイクロメートルの寸法）である、マイクロエレクトロメカニカルシステム（ＭＥＭＳ）によって提供され得る。加速度の向き、ならびに向き、震動および衝撃が検知され得る。プロセッサ２０１２は、着信音発生器／バイブレータ２０１６、着用者インターフェースキーパッド／スクリーン、バイオメトリックセンサーシステム２０１８、スピーカー２０２０、マイクロフォン２０２２、カメラ２０２４、光センサー２０２６および温度センサー２０２８とさらに通信する。
【０１１５】
[00142]プロセッサ２０１２は、ワイヤレス信号の送信および受信を制御する。送信モード中、プロセッサ２０１２は、マイクロフォン２０２２からの音声信号、または他のデータ信号をＲＦ送信／受信回路２００６に供給する。ＲＦ送信／受信回路２００６は、アンテナ２００２を通して通信するために、その信号をリモートステーション（例えば固定ステーション、オペレーター、他の携帯電話など）に送信する。着信音発生器／バイブレータ２０１６は、着信呼び出し、テキストメッセージ、カレンダーリマインダー、アラーム時計リマインダー、または着信者への他の通知を知らせるために使用される。受信モード中、送信／受信回路２００６は、アンテナ２００２を通してリモートステーションから音声または他のデータ信号を受信する。受信した音声信号は、スピーカー２０２０に供給されるが、他の受信データ信号も適切に処理される。
【０１１６】
[00143]加えて、物理コネクタ２０８８は、ＡＣアダプターまたは電力ドッキングステーションなどの外部電源に、モバイルデバイス２０００を接続するために使用され得る。物理コネクタ２０８８は、コンピューティングデバイスへのデータ接続部としても使用され得る。データ接続部により、別のデバイスのコンピューティングデータとモバイルデバイスデータを同期させるなどのオペレーションが可能になる。
【０１１７】
[00144]着用者アプリケーションの位置を中継するために衛星ベース無線ナビゲーションを利用するＧＰＳトランシーバー２０６５は、こうしたサービスのために有効となる。
[00145]図２１は、コンピューティングシステムまたはコンパニオン処理モジュールにアクセス可能なネットワークを実施するために使用され得るコンピューティングシステムの一実施形態のブロック図である。図２１は、コンピューティングシステム８７１にアクセス可能な１つもしくは複数のネットワーク、または、図８に示すコンピューティング環境のソフトウェアコンポーネントの少なくともいくつかをホスティングすることができる処理ユニット４を実施するために使用され得る、コンピューティングシステムの一実施形態のブロック図である。図２１に関して、例示的システムが、コンピューティングデバイス２１００などのコンピューティングデバイスを含む。その最も基本的な構成では、コンピューティングデバイス２１００が、典型的に、１つまたは複数の中央処理装置（ＣＰＵ）および１つまたは複数のグラフィック処理装置（ＧＰＵ）を含む１つまたは複数の処理ユニット２１０２を含む。コンピューティングデバイス２１００は、メモリ２１０４も含む。構成の厳密さおよびコンピューティングデバイスのタイプに応じて、メモリ２１０４は、揮発性メモリ２１０５（ＲＡＭなど）、不揮発性メモリ２１０７（ＲＯＭ、フラッシュメモリなど）またはその２つのいくつかの組合せを含むことができる。この最も基本的な構成を、図２１に破線２１０６で示す。加えて、デバイス２１００は、追加の特徴／機能も有することができる。例えば、デバイス２１００は、限定しないが磁気的もしくは光学的なディスクまたはテープを含む追加のストレージ（リムーバブルおよびノンリムーバブルの一方または双方）も含むことができる。こうした追加のストレージについては、リムーバブルストレージ２１０８およびノンリムーバブルストレージ２１１０として図１６に示す。
【０１１８】
[00146]デバイス２１００は、デバイスが他のデバイスと通信することを可能にする、１つまたは複数のネットワークインターフェースおよびトランシーバーなどの通信接続部２１１２も含むことができる。デバイス２１００は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなどの入力デバイス２１１４も含むことができる。ディスプレイ、スピーカー、プリンターなどの出力デバイス２１１６も含まれ得る。これら全てのデバイスは、当技術分野ではよく知られており、ここでは詳しく検討しない。
【０１１９】
[00147]図面に示す例示的なコンピューターシステムは、コンピューター可読ストレージデバイスの例を含む。コンピューター可読ストレージデバイスは、プロセッサ可読ストレージデバイスでもある。こうしたデバイスは、コンピューター可読命令、データ構造、プログラムモジュールまたは他のデータなどの、情報の記憶のための任意の方法または技術で実施される、揮発性および不揮発性、リムーバブルおよびノンリムーバブルのメモリデバイスを含むことができる。プロセッサまたはコンピューター可読ストレージデバイスのいくつかの例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、キャッシュ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）もしくは他の光ディスクストレージ、メモリスティックもしくはカード、磁気カセット、磁気テープ、メディアドライブ、ハードディスク、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、所望の情報を記憶するために使用され得る、コンピューターによってアクセスされ得る、任意の他のデバイスである。
【０１２０】
[00148]対象について、構造的な特徴および方法論的な作用の一方または双方に対して特定の文言で説明してきたが、添付の特許請求の範囲で定義される対象は、上記で説明した特定の特徴または作用に必ずしも限定されるものではない。正しくは、上記の特定の特徴および作用は、特許請求の範囲を実施する例示的形態として開示される。
【図１Ａ】
0006328133.tif 000002
【図１Ｂ】
0006328133.tif 000003
【図２Ａ】
0006328133.tif 000004
【図２Ｂ】
0006328133.tif 000005
【図３Ａ】
0006328133.tif 000006
【図３Ｂ】
0006328133.tif 000007
【図３Ｃ】
0006328133.tif 000008
【図４Ａ】
0006328133.tif 000009
【図４Ｂ】
0006328133.tif 000010
【図５Ａ】
0006328133.tif 000011
【図５Ｂ】
0006328133.tif 000012
【図５Ｃ】
0006328133.tif 000013
【図５Ｄ】
0006328133.tif 000014
【図６Ａ】
0006328133.tif 000015
【図６Ｂ】
0006328133.tif 000016
【図７】
0006328133.tif 000017
【図８】
0006328133.tif 000018
【図９】
0006328133.tif 000019
【図１０】
0006328133.tif 000020
【図１１】
0006328133.tif 000021
【図１２】
0006328133.tif 000022
【図１３】
0006328133.tif 000023
【図１４】
0006328133.tif 000024
【図１５】
0006328133.tif 000025
【図１６】
0006328133.tif 000026
【図１７】
0006328133.tif 000027
【図１８】
0006328133.tif 000028
【図１９】
0006328133.tif 000029
【図２０】
0006328133.tif 000030
【図２１】
0006328133.tif 000031