(57)【要約】  着用者に虚像を提示するためのディスプレイエンジンが組み込まれたコンピューター駆動ウェアラブルディスプレイ装置は、前記ウェアラブルディスプレイ装置の着用者に実像を提示するためのディスプレイ画面が組み込まれたコンピューター駆動ポータブルディスプレイ装置と相互接続される。ポータブルディスプレイ装置に在る、外部マネージャ・アプリケーションを含むアプリケーション管理及び通信システムが、ポータブルディスプレイ装置のユーザーインタフェースを介して、ウェアラブルディスプレイ装置に在るアプリケーションの管理及び起動を行なう。
2016507970.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブルディスプレイのためのコンピューターシステムであって、
虚像を着用者に提示するためのディスプレイエンジンと、コンピュータープロセッサーを含む通信及びビデオ処理エンジンとが、コンピューターメモリに在るアプリケーションを実行するためのオペレーティングシステム、及びコンピュータープロセッサーを外部装置と繋ぐための通信装置と共に組み込まれた、コンピューター駆動ウェアラブルディスプレイ装置と、
実像を前記ウェアラブルディスプレイ装置の着用者に提示するためのディスプレイ画面と、常駐アプリケーションの実行及び外部装置との通信のためのコンピューター機能と、前記常駐アプリケーションとやり取りするためのユーザーインタフェースとが組み込まれた、コンピューター駆動ポータブルディスプレイ装置と、
前記ウェアラブルディスプレイ装置に在るアプリケーションを、前記ポータブルディスプレイ装置の前記ユーザーインタフェースを介して管理及び起動するために、前記ポータブルディスプレイ装置に在る外部管理アプリケーションを含む、アプリケーション管理及び通信システムと、を備えたこと。
【請求項２】
請求項１のシステムにおいて、前記アプリケーション管理及び通信システムが、前記ウェアラブルディスプレイ装置及び前記ポータブルディスプレイ装置の両方で動いているアプリケーションを同期させるようになっていること。
【請求項３】
請求項１のシステムにおいて、前記アプリケーション管理及び通信システムが、前記ウェアラブルディスプレイ装置及び前記ポータブルディスプレイ装置の両方に共通の内容を表示するようになっていること。
【請求項４】
請求項３のシステムにおいて、
前記外部管理アプリケーションが、前記ウェアラブルディスプレイ装置の前記虚像及び前記ポータブルディスプレイ装置の前記実像の両方に現れるアイコンの列を提示し、かつ前記アイコンが、前記ポータブルディスプレイ装置と前記ウェアラブルディスプレイ装置どうし間で機能を分け合うためのアプリケーションを起動するようになっていること。
【請求項５】
請求項１のシステムにおいて、前記外部管理アプリケーションが、リモートのデスクトップによって、前記ポータブルディスプレイ装置の前記ユーザーインタフェースを介して、前記ウェアラブルディスプレイ装置に在る前記アプリケーションに入力を提供すること。
【請求項６】
請求項１のシステムにおいて、前記ポータブルディスプレイ装置に在る前記外部管理アプリケーションが、入力を、前記ウェアラブルディスプレイ装置で動くアプリケーションへ送るようになっていること。
【請求項７】
請求項６のシステムにおいて、前記ウェアラブルディスプレイ装置が、前記ウェアラブルディスプレイ装置に在る１以上の前記アプリケーションで操作される１以上の入出力デバイスを含み、前記外部管理アプリケーションが、前記ポータブルディスプレイ装置の前記ユーザーインタフェースを介して前記入出力デバイスを少なくとも部分的に制御すること。
【請求項８】
請求項１のシステムにおいて、前記ポータブルディスプレイ装置は、前記ウェアラブルディスプレイ装置がコンピューターネットワークと情報交換するための通信経路を備えた前記コンピューターネットワークと更に連繋していること。
【請求項９】
請求項８のシステムにおいて、前記ポータブルディスプレイ装置が、スマートフォン、タブレット、及びＰＣのうちの１つであること。
【請求項１０】
請求項１のシステムにおいて、前記ウェアラブルディスプレイ装置が、前記ウェアラブルディスプレイ装置に在る１以上の前記アプリケーションによって動かされる１以上のセンサーを含み、前記ポータブルディスプレイ装置に在る前記外部管理アプリケーションが、前記ウェアラブルディスプレイ装置の前記センサーから得た情報を前記ポータブルディスプレイ装置上で動くアプリケーションに入力するようになっていること。
【請求項１１】
請求項１０のシステムにおいて、前記１以上のセンサーが、カメラ及び頭部追跡手段のうち少なくとも１つを含むこと。
【請求項１２】
請求項１のシステムにおいて、アプリケーション管理及び通信システムが、前記ウェアラブルディスプレイ装置に在るアプリケーションを管理及び起動するために前記ウェアラブルディスプレイ装置に在るローカル管理アプリケーションを含むこと。
【請求項１３】
請求項１２のシステムにおいて、前記ウェアラブルディスプレイ装置が、前記ウェアラブルディスプレイ装置で動くアプリケーションとやり取りするためのユーザーインタフェースを含むこと。
【請求項１４】
請求項１３のシステムにおいて、前記ポータブルディスプレイ装置が、前記ポータブルディスプレイ装置に在る１以上の前記アプリケーションで操作される１以上の入出力デバイスを含み、前記ローカル管理アプリケーションが、前記ポータブルディスプレイ装置に在る前記入出力デバイスを、前記ウェアラブルディスプレイ装置の前記前記ユーザーインタフェースを介して、前記ユーザーインタフェースを介して少なくとも部分的に制御すること。
【請求項１５】
着用者に虚像を提示するためのディスプレイエンジンが組み込まれているコンピューター駆動ウェアラブルディスプレイ装置と、前記ウェアラブルディスプレイ装置の着用者に実像を提示するためのディスプレイ画面が組み込まれているコンピューター駆動ポータブルディスプレイ装置とを相互接続する方法であって、
前記ウェアラブルディスプレイ装置に在るアプリケーションと、前記ポータブルディスプレイ装置に在るアプリケーションとを、前記ポータブルディスプレイ装置に在る外部管理アプリケーションを介してリンクさせる工程と、
前記ポータブルディスプレイ装置に在るユーザーインタフェースを介して、前記ウェアラブルディスプレイ装置に在る１以上の前記アプリケーションへ入力を送る工程を含む。
【請求項１６】
請求項１５の方法であって、前記ウェアラブルディスプレイ装置に在る１以上の前記アプリケーションと、前記ポータブルディスプレイ装置に在る１以上の前記アプリケーションとを同期させる工程を含むこと。
【請求項１７】
請求項１５の方法であって、前記ウェアラブルディスプレイ装置と前記ポータブルディスプレイ装置の両方に共通の内容を表示する工程を含むこと。
【請求項１８】
請求項１７の方法であって、前記ウェアラブルディスプレイ装置の前記虚像及び前記ポータブルディスプレイ装置の前記実像の両方に現れるアイコンの列を提示する工程を含み、前記アイコンが、前記ポータブルディスプレイ装置と前記ウェアラブルディスプレイ装置どうし間で機能を分け合うためのアプリケーションを起動するようになっていること。
【請求項１９】
請求項１５の方法において、前記入力を送る工程が、リモートのデスクトップを用いて、前記ポータブルディスプレイ装置の前記ユーザーインタフェースを介して、前記ウェアラブルディスプレイ装置に在る１以上の前記アプリケーションに入力を提供すること。
【請求項２０】
請求項１５の方法において、前記入力を送る工程が、前記ウェアラブルディスプレイ装置の入出力デバイスを、前記ポータブルディスプレイ装置の前記ユーザーインタフェースを介して、少なくとも部分的に制御することを含むこと
【請求項２１】
請求項１５の方法において、前記ウェアラブルディスプレイ装置のセンサーを介して得られた情報を前記ポータブルディスプレイ装置に在る１以上の前記アプリケーションへ送る工程を含むこと。
【請求項２２】
請求項１５の方法において、前記ポータブルディスプレイ装置を介したコンピューターネットワークへの通信経路を前記ウェアラブルディスプレイ装置に提供する工程を含むこと。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばスマートフォン等のコンピューター機能を有して好ましくはインターネットや無線通信システム等のネットワーク通信する他の装置と結合又は接続するウェアラブル（wearable）ディスプレイに関する。
【背景技術及び発明の概要】
【０００２】
ここ数十年間、ウェアラブルディスプレイは、とりわけそれに使われているマイクロディスプレイや旧来の屈折及び又は反射式の光学系に起因する巨大なサイズや特異な外観のために、HMD（ヘッドマウント式ディスプレイ）と称されていた。これらHMDは、大型で重くファッションとして目に着けるのがほとんど不可能である。
【０００３】
ウェアラブルコンピュータ技術は、近年のデスクトップ・コンピュータと同様に処理能力を増してきており、今や、眼鏡のフレームに嵌め込めるほど十分小型になった。加えて、ウェアラブルディスプレイ用の光学及び表示システムは、高精細（ハイデフ）ディスプレイや所要の光学系を標準的な眼鏡型レームに設置可能なところまで小型かつ高機能になってきた。このような技術進歩によって、完全オペレーティングシステムをウェアラブルディスプレイシステムに組み込み、コンピューター機能を付加した携帯電話が現在一般に「スマートフォン」と称されるようになったのと同様に、「スマートグラス（smart glasses）」と称される新製品カテゴリーを構築することが可能になった。
【０００４】
スマートグラスのコンパクトなコンピューター機能は、アプリケーションをスマートグラスに入れて、かつスマートグラスの常駐アプリケーションを実行する可能性を支えている。加えて、そのようなスマートグラスは、例えばスマートフォンがユーザーインタフェースの働きをして、それ自身のアプリケーションをスマートグラスと同期して実行することで、完全につながったクラウドとなり得るウェアラブルコンピューティングを支援するために、スマートフォンやコンピュータに接続可能である。この仕事をするには、ウェアラブルディスプレイを例えばスマートフォン等のウェアラブルコンピューターに接続して、それから双方の装置で互いに協力して動くように設計されたアプリケーションを管理する必要がある。
【０００５】
スマートグラスは、単独で、又はスマートフォン等の対となる（関係のある）コンピュータ装置で動くアプリケーションと協力して、アプリケーションを実行するように構成可能である。望ましくは、スマートフォン及び関係コンピューターで動作するアプリケーションは、同期するか、或いは一緒に作動するように構成されている。
【０００６】
本発明の一形態は、ウェアラブルディスプレイのためのコンピューターシステムを特徴とする。コンピューター駆動ウェアラブルディスプレイ装置には、虚像を着用者に提示するためのディスプレイエンジンと、コンピュータープロセッサーを含む通信及びビデオ処理エンジンが、コンピューターメモリに在るアプリケーションを実行するためのオペレーティングシステムと、コンピュータープロセッサーを外部装置と繋ぐための通信装置と共に、組み込まれている。コンピューター駆動ポータブルディスプレイ装置には、実像をウェアラブルディスプレイ装置の着用者に提示するためのディスプレイ画面と、常駐アプリケーションの実行及び外部装置との通信のためのコンピューター機能と、常駐アプリケーションとやり取りするためのユーザーインタフェースが組み込まれている。アプリケーション管理及び通信システムは、ウェアラブルディスプレイ装置に在るアプリケーションを、ポータブルディスプレイ装置の前記ユーザーインタフェースを介して管理及び起動するためにポータブルディスプレイ装置に在る外部管理アプリケーションを含む。
【０００７】
本発明の他の形態は、着用者に虚像を提示するためのディスプレイエンジンが組み込まれているコンピューター駆動ウェアラブルディスプレイ装置と、ウェアラブルディスプレイ装置の着用者に実像を提示するためのディスプレイ画面が組み込まれているコンピューター駆動ポータブルディスプレイ装置とを相互接続する方法を特徴とする。該方法は、前記ウェアラブルディスプレイ装置に在るアプリケーションと、前記ポータブルディスプレイ装置に在るアプリケーションとを、前記ポータブルディスプレイ装置に在る外部管理アプリケーションを介してリンクさせること、及び前記ポータブルディスプレイ装置に在るユーザーインタフェースを介して、前記ウェアラブルディスプレイ装置に在る１以上のアプリケーションへ入力を送ることを含む。
【図面の簡単な説明】
【０００８】
図１は、スマートグラスと称される単眼のウェアラブルディスプレイ装置の斜視側面図である。
【０００９】
図２は、スマートフォンのようなポータブルディスプレイ装置をも持った着用者によって着用されることを意図された単眼のウェアラブルディスプレイ装置のイメージ図である。
【００１０】
図３は、ウェアラブルディスプレイ装置によって着用者に供される虚像を例示した、着用者の概要描写図である。
【００１１】
図４は、単眼のウェアラブルディスプレイ装置の光学ディスプレイエンジンのイメージ図である。
【００１２】
図５は、スマートグラス用に構成されたプロセッサーのダイアグラム図である。
【００１３】
図６は、図５のプロセッサーをエンジンの中心ハブとするスマートグラスの通信及びビデオ処理エンジンのダイアグラム図である。
【００１４】
図７Ａ及び７Ｂは、前記通信及びビデオ処理エンジン用のプリント回路基板のレイアウト図である。
【００１５】
図８は、スマートグラス用のアプリケーションの一形態をスマートフォンと共に示す表である。
【００１６】
図９は、スマートグラスのディスプレイ画面のレイアウト例の解説図である。
【００１７】
図１０は、図９で図解したようなスマートグラスディスプレイ画面のレイアウト例の画面ショット図である。
【００１８】
図１１は、垂直スクロールの中間における図１０のディスプレイ画面の画面ショット図である。
【００１９】
図１２Ａ及び図１２Ｂは、一般的な２本の弓形フレーム付き双眼スマートグラスの正面側及び背面側からの斜視図である。
【００２０】
図１３は、スマートグラスの着用者が前記グラスによる仮想情報を実際の世界に重ねて見られるようにした双方向型虚像ディスプレイを表わした図である。
【００２１】
図１４は、一対をなすスマートグラスとスマートフォンを表わす図である。
【００２２】
図１５は、スマートフォンへの管理アプリケーションのインストールを表わす図である。
【００２３】
図１６は、スマートグラスとスマートフォン等の外部装置間のアプリを、スマートフォン及びスマートグラスの両方に在る陰影アイコンと共に示す構造図である。
【００２４】
図１７は、スマートグラスとの無線リンクでキーボード／マウスを走らせる外部スマートフォンによるスマートグラスへの着用者入力を表わす図である。
【００２５】
図１８Ａ〜Ｅは、スマートグラスのスマートフォンとの協力機能を表わす図である。
【発明の詳細な説明】
【００２６】
スマートグラスと称される耳に被せるタイプの単眼ウェアラブルディスプレイ装置１０の一例を、図１においてそれ単独で示し、図２において着用者３６が身に着けた状態で示す。
【００２７】
図１に示すように、単眼スマートグラス１０は、選択「ソフトキー」１２と、電動ボタン（オン／オフ／スリープ）１４と、２つのＬＥＤランプ（青色及び白色）１６と、充電ソケット１８と、２つのナビゲーション「ソフトキー」（ボリュームアップ／ダウン）２０と、マイク２２と、コンパクトディスプレイエンジン２４と、カメラ２６、マイクロＳＤスロット２８と、耳フック３０と、耳パッド３２を含むように構成されている。コンパクトディスプレイエンジン２４は、好ましくは、長さ可変ブーム３４に支持されており、着用者の目に対してディスプレイを位置決めするためにブームの端部で傾斜を制御できる。
【００２８】
コンパクトディスプレイエンジン２４は、好ましくは、屋内及び屋外の両方での使用に適応可能な高コントラスト及び明るさになる。着用者３６が見ようとしている視野内の情報を検知するカメラ２６と、スマートグラス１０をスマートフォン４０に無線接続する処理エンジンとが、ディスプレイ２４と協働する。スマートグラス１０内の処理部と、スマートフォン４０内の処理部は、スマートグラス１０が広範囲にわたる機能を達成可能かつ広範囲にわたるアプリケーションを実行可能なアンドロイドＯＳ（オペレーティングシステム）を使って動かされる。
【００２９】
図２に示すように、スマートグラス１０は、スマートフォン４０、又はインターネット接続可能なタブレット若しくはＰＣ等の他のスマートデバイスによってワイヤレスで動くように設計されている。このように、スマートグラス１０の着用者３６は、スマートフォン４０のユーザーでもある。スマートグラス１０には、仮想情報を実体世界と融合できる双方向環境を提供するためのセンサー技術が組み込まれている。たとえば、スマートグラス１０は、一体をなすカメラ及び頭部追跡（head-tracking）手段によって、着用者３６が見ているものを記録及び送信しながら、着用者の感覚知覚を、その周囲及び実体世界位置の認知によって拡張できる。内蔵カメラ２６は、拡張現実（ＡＲ）の実現のために、周辺環境、対象物、人間の認知及び追跡を考慮する。ダウンロード可能なアプリケーションとしては、電子メールからウェブへのアプリケーション、場所関連データ、第１人物拡張及び混合現実アプリケーション、並びに個人録画及び視覚ナビゲーション（ゲームだけでなく）がサポートされており、別々にアクセスして提供される。
【００３０】
図３において模式的に示すように、着用者の目３８に提示される虚像は、スマートフォンディスプレイ画面を模した像になるように構成されている。たとえば、スマートグラスディスプレイ２４は、着用者３６から約１４インチ離されて保持された４インチのディスプレイ画面４２の寸法に相当するサイズを持った虚像を着用者36に提示するように構成されている。
【００３１】
好ましくは図４に示すように、光学ディスプレイ装置エンジン２４は、対角線視野角１４度の高解像度ワイドＱＶＧＡカラーディスプレイ４４を備えており、左又は右の目を使うことができる。たとえば、ディスプレイエンジン２４は、応答時間６０ヘルツで４４０×３２０のピクセル列を持っている。コントラストは、２４ビット・カラーで少なくとも２２５：１であることが好ましい。明るさは、１０００ニットより大きいことが好ましく、２０００ニットより大きいことが一層好ましい。光学系は、望ましくは高さ約６ミリメートル、幅約８ミリメートルのアイボックス（eyebox）に虚像を投影するマイクロプリズム４６を含むことが好ましい。
【００３２】
スマートグラス１０で使用されるように構成されたＯＭＡＰ４ ８８４０プロセッサー５０のダイアグラムを、図５に示す。ホストデバイスソフトウェアは、ｉＯＳ／アンドロイド、ウィンドウズ、又はマックであり、例えば、完全に最適化されたアンドロイド４．０．３（アイスクリームサンドウィッチ）を使用でき、電話、タブレット、及びテレビ等の広範囲にわたる装置で動作するように設計されている。記憶装置は、１ＧＢのＲＡＭ付きの１ＧＨｚで動くＯＭＡＰ４４３０プロセッサーか、又は４ＧＢのフラッシュメモリを有して８００ＭＨｚで動くＯＭＡＰ４ ８８４０プロセッサーに組み入れられている。
【００３３】
図６に示す通信及びビデオ処理エンジン５２は、中心ハブとしてプロセッサー５０があり、これに充電ソケット１０ひいては電源５４と、高解像度ワイドＱＶＧＡカラーディスプレイ４４と、通信デバイス５６と、外部メモリ入力５８と、頭部追跡手段６０と、イベントカメラ２６と、コントロールボタン１２，１６と、スピーカー６６及びマイク２２とのインターフェースが接続されている。電源及び通信のための接続オプションは、ｕＵＳＢ：コントロール／パワー／アップグレード、Ｗｉ−Ｆｉ８０２．１１ｂ／ｇ／ｎとブルートゥースＢＴ３．０又は４．を含む。内蔵カメラ２６は、アスペクト比１６：９、ブルートゥースＨ．２６４圧縮、ビデオ録画可能、かつ１６ＧＢまで使えるマイクロＣＦスロット付きのＨＤ７２０ｐカメラである。一体をなす頭部追跡手段６０は、３軸加速度計と、３軸ジャイロと、ブルートゥースインターフェースと一体のコンパスを含み、自由度３〜６次元の測定を行うことが好ましい。イヤースピーカー６６は、好ましくは、ハンズフリー機能付き雑音抑制スピーカーであり、マイク２２は、好ましくはノイズキャンセリングマイクである。一体をなすボタンコントロールは、電動コントロールボタン１４と、ボリュームアップ及びボリュームダウンボタン２０を含む。外部メモリ入力５８は、マイクロフラッシュ等の外部フラッシュスロットを通して使用できる。搭載電源として一体をなすバッテリーによって、望ましくは少なくとも２時間のディスプレイ操作と、１時間のディスプレイ及びカメラ操作を含む通常使用で５〜８時間を賄うことが好ましい。耳フック３０のような耳に被せるものに加えて、被せる付属品として、頭の上及び頭の後に被せるものが含まれている。
【００３４】
通信及びビデオ処理エンジン５６用のプリント回路基板の配置例を、図７Ａ及び７Ｂに示す。
【００３５】
携帯電話用の無線「ハンズフリー」の基本機能が構築されたスマートグラス１０は、内蔵ワイドＱＶＧＡディスプレイ４４と、１６：９カメラ２６と、アンドロイドＩＣＳ ＯＳ又は他のオペレーティングシステムを実行するＯＭＡＰ４プロセッサー５０によって高機能を付与されている。これらの特徴によって、スマートグラス１０が、スマートフォン４０に応答できるだけでなく、ウェブを閲覧したり、特別イベント録画を観たり、ゲームから仕事に至る何千ものアプリケーションを付加できる。
【００３６】
スマートグラス１０は、Ｗｉ−Ｆｉ及びブルートゥースラジオを通信に利用することで、スマートフォン４０への標準的な「ハンズフリー」（ＢＴラジオ経由）デバイス５６として作動し、かつスマートグラス１０は、（Ｗｉ−Ｆｉラジオによる）クラウド接続コンピューターデバイスとして作動する。スマートグラス１０上で動くアンドロイドＩＣＳ ＯＳによるスマートフォン４０用のソフトウェア・アプリは、標準的なアンドロイドデバイス用のものと同じような書き方で開発できる。アプリケーションは、スマートグラス１０内で独立して作動することも、スマートフォン４０と協力して作動することもできる。
【００３７】
スマートグラス１０に充電するために、例えばｕＵＳＢ接続１８を介して、充電チェッカーを設けてもよい。また、スマートグラス１０のｕＵＳＢポートは、ＰＣ又はマックへのファームウェアアップデートリンクとしても使用可能である。
【００３８】
スマートグラス１０は、グーグルマップのようなアプリケーションによる統合ナビゲーションに沿った高機能のハンドフリー機能を実行する「常識外」の性能を使用可能なことが好ましい。内部フラッシュ又はＨＤマイクロフラッシュサポートへの内蔵録画機能を設けてもよい。
【００３９】
スマートグラス１０向けアプリケーション例をスマートフォン４０と共に図８の表に示す。アプリケーション管理及び通信システムは、以下のように構成できる：
●すべてのアプリケーション（アプリ）が２つの装置（例えば、スマートグラス１０とスマートフォン４０）どうしの間で同期していることの確認；
●複数のインターネットベースのアプリ店からアプリを購入可能、かつ潜在的には２つの装置１０，４０どうしの間で複数のアプリを管理；
●２つの装置１０，４０から、及びそれらを介して、クラウド通信及び同期可能；
●サポートされる必要がある種々のモードでアプリを実行及び制御する結合性ユーザーインタフェースの作成
【００４０】
種々の異なる動作モードの範囲内において、コンピューター機能は、下表で例示するように、スマートグラス及びスマートフォンどうし間で様々に分配可能である。
【表１】
2016507970.tif 000003
【００４１】
一般に高解像度タッチディスプレイを含むスマートフォンには、多数のアプリケーション及びスマートグラスで使えるようにした多くのアプリケーションをダウンロードして実行するための高度に開発されたグラフィックインタフェースが搭載済みである。たとえば、スマートフォン画面に表示されるものは何でも、スマートグラス１０でも表示できたであおう。しかし、スマートフォン自体がコンピューター機能と高解像度スクリーンを備えているために、例えばスマートフォン４０のようなスマートフォンで動く様々なアプリケーションは、スマートフォン上で独立して動作するようになっているか、又はスマートグラス１０で動くアプリケーションと連携してスマートフォン上で動くようになっている。例えばスマートグラス１０の目的視野の中の情報を検知又は表示するか、着用者の目３８の動きを検知するために、カメラと追跡技術を取り入れることによって、グラフィカルユーザーインタフェースをスマートフォン４０に取り込むこともできる。
【００４２】
スマートグラス１０のデバイスエコシステムは、スマートグラス１０とスマートフォン４０のどちら一方又は両方で動くアプリケーションを含むことが好ましい。たとえば、アンドロイド又はｉＯＳ電話又はタブレットで動くように構成された外部管理アプリケーションは、スマートグラス１０で動くアプリケーションを管理及び起動するように構成されていてもよい。外部管理アプリケーションは、電話４０又はタブレットに表示されたアイコンから起動することができ、以下に列記する特定のアプリケーションを起動するようになっているアイコン列を提示する。
●ホーム〜着用者をホーム画面へ戻す
●キーボード〜スマートグラス用にキーボード入力可能な内蔵アプリを始動
●トラックパッド〜スマートグラスにトラックパッド機能を許容する内蔵アプリを始動
●ミラー〜管理アプリケーションが外部及びスマートグラスディスプレイを映すのを許可
●カメラ〜映像及び写真をスマートグラスで撮ることのできる内蔵アプリを始動
●ソーシャルメディアインターフェース〜（ツイッター、フェイスブック、ＹｏｕＴｕｂｅ共有）供給源に接続
●買物袋〜スマートグラスが自動的にバーコード化して、より良い価格を調査する内蔵アプリを始動
●ストリーミングメディア〜ストリーミング音楽及び映像を内蔵アプリで始動
●セットアップ〜常駐管理アプリケーション及びスマートグラスのためのセットアップ機能
●アプリストア〜指定されたアプリストアに行く機能
【００４３】
スマートグラス１０に或るアンドロイド又はｉＯＳオペレーティングシステムで動くことのできるローカルの管理アプリケーションから類似のインターフェースがスマートグラス１０に提供される。スマートグラス１０のメイン画面には、ローカルの管理アプリケーション又は外部管理アプリケーションの一方又は両方によって起動可能なアプリケーションのアイコンを表示できる。例えば、以下に列記するような状態表示器を備えたスマートグラスの視聴画面にアイコンを表示できる。
●ブルートゥースオン；ブルートゥースデバイスが接続
●実行中のＧＰＳ；ＧＰＳから位置データ受信
●実行中のＷｉＦｉ
●時間
●バッテリー
○バッテリー充電中
○バッテリーは一部消費
○バッテリーは低い
○バッテリーは非常に低い
●電話
○電話中
○受話漏れ
○保留
●マイクオン、消音
●サウンドオフ、消音
●マイクロＳＤカード非搭載
●カメラオン；録音
●ＵＳＢケーブル経由接続
●新規メッセージ（テキスト又はマルチメディアメッセージ）
●データアップロード；データダウンロード；完全ダウンロード
●データ同期
【００４４】
図９は、スマートグラス１０の仮想表示画面７２のレイアウト例を示したものである。レイアウトには、例えば（画面の上部から）、ＯＳによって制御される２５ピクセルステータスバーと、横スクロール用の表示器で領域をスクロールしている１３５ピクセルのアプリ（アイコン７４として表示されるアプリはアプリストアカテゴリー又は着用者によって自動分類できる）と、例えば、最も使われそうな最大５つのアプリ７４を実行する最低８０ピクセルの固定領域とを設けることができる。着用者がアプリのカテゴリーによってどこを見ているかに関係なく、この一番下の領域は、常にこれらのアプリが示されるようにできる。アプリの配置領域は、８０ピクセル×８０ピクセルにでき、４８ピクセル×４８ピクセルのアイコンとそのアプリのタイトルが中心におかれる。
【００４５】
スマートグラスの仮想表示画面７２のレイアウト例のスクリーンショットを図１０に示す。図１１は、垂直スクロールの中間における仮想表示画面７２の別のショットを複製したものである。
【００４６】
着用者３６は、アプリ７４の１つから他の１つへ横断するスマートグラス１０上のボタン（例えば１６）を使うことができる。ミラーモードでは、着用者３６は、スマートグラス１０で動くアプリケーションを動かすか、又は制御できる。更なる統合のために、スマートグラス１０には、スマートフォン４０等の外部装置で動くアプリケーションと同期する姉妹アプリケーションを設けることができる。
【００４７】
スマートグラス１０上で実行可能な幾つかの基本機能としては、デバイスの充電、電源オン／電源オフ、外部装置とのブルートゥースペアリング、ＷｉＦｉ接続、スマートグラスのＯＳ更新、アプリケーションを制御するアンドロイドＳＧの実行、オーディオストリーミング、写真撮影、ビデオ撮影、ジェスチャーエンジンの実行が含まれている。
【００４８】
スマートグラス１０が外部電源に接続されていて機能を完全に発揮できる場合、外部電源から内蔵バッテリー５４に充電するようにしてもよい。着用者３６は、スマートグラス１０を、マイクロＵＳＢポート１８を介して、携帯ＵＳＢバッテリーパック、壁掛けチャージャ、又はコンピュータのＵＳＢポートに接続することで、スマートグラス１０のバッテリーを充電できる。
【００４９】
好ましくは、着用者３６は、外部電源への接続の有無にかかわらずデバイス１０の電源を入れることができる。電源ボタン１４を所定時間、例えば１秒間押すことによって、スマートグラス１０が電源投入シーケンス動作を開始する。スマートグラス１０が電源投入／起動している間、既定のロゴがスマートグラスのディスプレイに表示されるようにできる。バッテリーが低いときは、低バッテリー指標が現れるようにできる。スマートグラス10が前もってペアになっているときは、ブルートゥース等の通信リンク５６をアクティブにできる。
【００５０】
好ましくは、着用者３６は、外部電源への接続の有無にかかわらずスマートグラス１０の電源を切ることができる。電源ボタン１４を所定時間、例えば１秒間押すことによって、シャットダウン・メニューをスマートグラスのディスプレイに表示できる。次に、メニュー項目の中からソフトキー（例えば、１２）を選択でき、又はスマートグラス１０上の音量ボタン等の他のボタン若しくは入力モードから選択することもできる。
【００５１】
着用者３６は、スマートグラス１０をスマートフォン４０等の外部装置にブルートゥース接続によって接続させることができる。例えば、スマートフォン４０等の外部デバイスとはブルートゥース設定可能であり、着用者３６は、スマートグラス１０を含むデバイスを追加したりサーチしたりスキャンしたりでき、見つかったらそれを選択できる。
【００５２】
スマートグラス１０を、ミニＵＳＢを介して外部コンピューター上のＵＳＢポートに接続することで、アプリケーション７４をスマートグラス１０上にインストールしたりＯＳを更新したりできる。アプリケーション又は更新したＯＳは、無線インターネット接続５６を介してスマートグラス１０に格納できる。ＯＳの最新版を含むアプリケーションの範囲は、スマートグラス１０で表示されるアイコンとして選択可能なアプリストアウェブサイトを通して利用可能であることが好ましい。好ましくは、スマートグラス１０上のすべてのアプリケーション及び個人情報は、新規アプリケーションのアップロード又はＯＳの更新の間、そのまま維持される。
【００５３】
スマートグラス１０のハンズフリーの拡張機能によって、スマートグラス１０と対となる外部電話の着信を受けることができる。例えば、スマートグラス１０が、ベルを鳴らしたり、振動したり、電話待ちの時にお知らせを表示したりできる。外部電話の連絡先情報をディスプレイに表示することもできる。電話に応答するために、着用者３６は、アイコンの選択や「電話にでてください」というような音声式コマンドを使うためのソフトキー（例えば12）を起動できる。通話状態はセッションが切れるまで維持される。着用者３６は、ボリュームを調節するか、又はマイク２２の音を消して、同じように電話を切るかすることができる。スマートグラスのディスプレイをテレビ会議に使うこともできる。
【００５４】
対となるスマートフォン４０によって電話をかける際は、着用者３６は、電話アプリケーションを選択し、ディスプレイ上の連絡先リストをスクロールすることができる。着用者３６は、電話を始めるために、ソフトキー（例えば、１２）を起動するか、「電話をかけてください」とか「（連絡先名）へ電話します」とかのような音声作動式コマンドを使用することができる。発信の表示は、電話が切れるまで、スマートグラスのディスプレイに現れるようにできる。
【００５５】
図１２Ａ及び１２Ｂは、一般的な２本の弓形フレーム８２付きの双眼スマートグラス８０を前方及び後方から矢視したものである。このスマートグラス８０は、一体化されたｑＨＤディスプレイエンジンと極薄導波光学系を含み、洒落たサングラスのようになっている。
【００５６】
コンパクトディスプレイエンジンは、屋内及び屋外の両方の使用に適したハイコントラスト及び明るさにできる。ディスプレイエンジンの出力は、表面に入出力ホログラム構造付きの薄さ１．４ｍｍのシースルーでクリアな樹脂導波レンズ８４を経る。光は、導波管８４の下へ伝播し、二次元的に拡大して着用者の目に入り、実際の像と混ざりかつ重なった像となる。
【００５７】
双眼スマートグラス８０は、携帯電話、タブレット、ＰＣ等のインターネットに接続可能なスマートデバイスで動くように設計されている。双眼スマートグラス８０には、単眼スマートグラス１０に関して既述したのと同様の機能を組み込むことができる。簡潔にするために、ここでは繰り返さない。
【００５８】
加えて、図１３に示すように、好ましくは、スマートグラス８０は、双方向型であり、かつ該グラスによって、仮想情報と実際世界の夜又は真昼の屋内や屋外の像とを合併する。スマートグラス８０は、頭部追跡機能及び複数のカメラ技術のための付加機能を統合することで、着用者が見ているものを記録かつ送信しながら、大きく拡張された光スペクトルの全域で、着用者の感覚知覚を広げることができ、周囲及び実体世界位置を認知できる。周辺環境、対象物、並びにＡＲ拡張用の人の認識及び追跡のために、内蔵カメラによって、例えばデータやデータ関連場所への個人的なアクセスや、第１人物拡張及び混合現実アプリケーションや、並びにアプリケーションの保守及び修理を補助するための対象物及びマーカーのＡＲ認識を実行することができる。
【００５９】
実施例の仕様は以下を含む：
●表示解像度： 960×540qHDカラーディスプレイ
○視野（対角）：３０度
○１０フィート（〜３ｍ）で見られる６４"ディスプレイ
○明るさ＞２５０ニット − フルカラー
○外界光伝送８５％〜９０％
●１ＧＨｚ、１ＧＢのＲＡＭ、ＨＤＭＩコネクタ、Ｗｉ−Ｆｉ８０２．１１ｂ／Ｇ／ｎ、ブルートゥース、９１５ＭＨｚのＲＦレシーバー、８ＧＢのＳＤカードストレージのＯＭＡＰ４４３０
●完全に最適化されたアンドロイドアイスクリームサンド４.０.３
●１０８０ｐ Ｈ２６４復号化
●アドビフラッシュ１１.ｘサポート
●アンドロイドａｄｂサーバーと互換性を持つＵＳＢ２.０ミクロＯＴＧ
●ＮＦＣ及びＬＶＤＳ機能は基板上以外使用不能
●ジェスチャーエンジンインターフェースベースのカメラサポート
●プレイレディ用ハードウェアＤＲＭ
●高速録画とメディアとＡＲのコントロールサポート及び内部「アプレット」アップグレード用にグラスに内蔵された全ハードウェア付きの完全に最適化されたウブントゥ１１.１０のアップグレード
●ＨＤカメラ
○７２０Ｐ アスペクト比１６：９
○ＵＳＢ ２.０出力
○ブルートゥースＨ.２６４圧縮
●レンズ色はユーザーが選択可能
○着脱式、クリップ装着／クリップ取外し
●蔓に一体に組み込まれたタッチセンサー
○ＯＳＤ、ボリュームなど
●頭部追跡手段一体型
○自由度３次元の頭部追跡機能
○コンパス一体型
●付属バッテリー
○作動時間最高３時間
○ベルト・クリップ
●連結性：
○ｕＵＳＢ：制御／電源
○Ｗｉ−Ｆｉ及びブルートゥース：制御、圧縮カメラビデオ、マイク
●オーディオ：
○着脱式雑音抑制ヘッドホン
○雑音消去マイク
●ホストデバイスソフトウェア
【００６０】
図１４の画は、スマートグラス１０又は８０のうちの１つとスマートフォン４０との組合せを例示したものであり、対となるスマートフォン４０の２つの異なるアクティブな画面７６を示す。
【００６１】
図１５の画は、スマートフォン４０用の管理アプリケーションをインストールする様子を表したものである。管理アプリケーションは、リモートのデスクトップをスマートグラス１０に提供でき、マウスパッド８２又はキーボードによってスマートグラス１０上のアプリ７４へのユーザー入力機能を有する。加えて、管理アプリケーションは、スマートグラス１０とスマートフォン４０等の外部装置どうし間のアプリ７４をまとめることができる。図１６に示すスマートフォン４０のアクティブ画面７６上の陰影付きアプリアイコン７４は、スマートグラス１０の仮想表示画面７２上のアプリ７４と符合している。
【００６２】
図１７の画は、キーボード／マウス８４を動かす外部スマートフォン４０による、ブルートゥース又はＷｉＦｉでのスマートグラス１０への着用者３６の入力を表したものである。
【００６３】
図１８Ａ〜Ｅの画は、スマートグラス１０によるスマートフォン４０のハンズフリー操作を表したものであり、「他者の目で世界を見ること」や、地図アプリケーションを作動させることや、ショッピングや、画像認識を含む。
【００６４】
本発明の１以上の好適な態様として、ウェアラブルディスプレイ（スマートグラス１０）と、スマートフォン４０やタブレットやコンピュータ等の外部デバイスとの間のアプリ７４を、着用者が、管理したり購入したりインターフェース接続したりしてもよい。この意味では、スマートグラス１０は、外部装置の周辺機器として機能する。ただし、スマートグラス１０は、スタンドアロンデバイスとしても使用可能である。カメラと、ジェスチャーエンジン又は他の環境入力デバイスを付加することで、スマートグラス１０は、処理及び通信アプリケーションを実行する完璧なインターフェースとなり得る。
【図１】
2016507970.tif 000004
【図２】
2016507970.tif 000005
【図３】
2016507970.tif 000006
【図４】
2016507970.tif 000007
【図５】
2016507970.tif 000008
【図６】
2016507970.tif 000009
【図７Ａ】
2016507970.tif 000010
【図７Ｂ】
2016507970.tif 000011
【図８】
2016507970.tif 000012
【図９】
2016507970.tif 000013
【図１０】
2016507970.tif 000014
【図１１】
2016507970.tif 000015
【図１２Ａ】
2016507970.tif 000016
【図１２Ｂ】
2016507970.tif 000017
【図１３】
2016507970.tif 000018
【図１４】
2016507970.tif 000019
【図１５】
2016507970.tif 000020
【図１６】
2016507970.tif 000021
【図１７】
2016507970.tif 000022
【図１８Ａ】
2016507970.tif 000023
【図１８Ｂ】
2016507970.tif 000024
【図１８Ｃ】
2016507970.tif 000025
【図１８Ｄ】
2016507970.tif 000026
【図１８Ｅ】
2016507970.tif 000027
【国際調査報告】
2016507970.tif 000028