(57)【要約】【課題】拡張現実のための対話型システム、方法およびコンピュータ読み取り可能な記録媒体を提供する。【解決手段】現実のシーンの画像は、１つ以上の画像センサのうちの１つ以上から取得される。画像センサの配向および／または場所は、１つ以上の状態センサから取得される。予め定義されたポインティングオブジェクトが現実のシーンの画像の中で予め定義されたジェスチャーを行っている、現実のオブジェクトが識別され、識別されたオブジェクトと関連付けられるデータが視聴デバイス上に表示される。【選択図】図４ｃ
2018028922.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実のための方法であって、
１つ以上の画像センサから現実のシーンの画像を取得するステップと、
取得した前記画像において、予め定義されたポインティングオブジェクトによって行われる予め定義されたジェスチャーを検出するステップであって、前記予め定義されたジェスチャーは、ジェスチャー検出モジュールを用いて検出される、前記検出するステップと、
視聴デバイスのディスプレイ上に起動可能なアイコンを提示するステップであって、前記起動可能なアイコンの一部は、前記予め定義されたポインティングオブジェクトが位置する所に提示されず、よって、前記予め定義されたポインティングオブジェクトが、前記起動可能なアイコンの頂部上にあるように見える、前記提示するステップと、
を含む、方法。
【請求項２】
前記起動可能なアイコンは、前記現実のシーンの現実のオブジェクトと関連付けられ、
前記現実のシーンの画像において前記現実のオブジェクトを識別するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記予め定義されたジェスチャーは、光学センサ、加速度計、ＧＰＳ、ジャイロスコープ、コンパス、磁気センサ、地球磁場に対する前記デバイスの方向を示すセンサ、重力センサ、およびＲＦＩＤ検出器から選択された１つ以上の状態センサを用いて検出され、請求項１または２に記載の方法。
【請求項４】
識別されたオブジェクトと関連付けられるデータは、前記現実のオブジェクトと関連付けられたデータについてメモリ内を検索することにより取得される、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記予め定義されたポインティングオブジェクトは、手、手の一部、両手、両手の一部、指、指の一部、または指の先端である、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記視聴デバイスは、ユーザによって装着されるように構成される、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記視聴デバイスは、眼鏡またはゴーグルである、請求項６に記載の方法。
【請求項８】
前記視聴デバイスは、モバイル通信デバイスに組み込まれる、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
前記画像センサは、カメラ、光センサ、赤外線センサ、超音波センサ、近接センサ、ＣＭＯＳ画像センサ、短波長赤外線（ＳＷＩＲ）画像センサ、または反射センサ、赤外線センサ、超音波センサ、近接センサ、および反射センサから選択される、請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
メッセージを、前記外部デバイス上で動作するアプリケーション、前記外部デバイス上で動作するサービス、前記外部デバイス上で動作するオペレーティングシステム、前記外部デバイス上で動作するプロセス、前記外部デバイスのプロセッサ上で動作する１つ以上のアプリケーション、前記外部デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記外部デバイス上で動作する１つ以上のサービスに送ることをさらに含む、請求項９に記載の方法。
【請求項１１】
メッセージを、前記モバイル通信デバイス上で動作するアプリケーション、前記モバイル通信デバイス上で動作するサービス、前記モバイル通信デバイス上で動作するオペレーティングシステム、前記モバイル通信デバイス上で動作するプロセス、前記モバイル通信デバイスのプロセッサ上で動作する１つ以上のアプリケーション、前記モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記モバイル通信デバイス上で動作する１つ以上のサービスに送ることをさらに含む、請求項９に記載の方法。
【請求項１２】
前記モバイル通信デバイスに対するメッセージは、コマンドである、請求項１１に記載の方法。
【請求項１３】
前記コマンドは、アプリケーションを前記モバイル通信デバイス上で動作させるためのコマンド、前記モバイル通信デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、前記モバイル通信デバイス上で動作するサービスを起動させるためのコマンド、前記モバイル通信デバイス上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択される、請求項１２に記載の方法。
【請求項１４】
前記外部デバイスまたはウェブサイトから、画像の中で識別される現実のオブジェクトに関連するデータを受け取り、前記受け取ったデータをユーザに提示することをさらに含む、請求項１０に記載の方法。
【請求項１５】
前記メッセージは、前記外部デバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、前記外部デバイス上で予め定義されたソフトウェアアプリケーションを動作させること、前記外部デバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、前記外部デバイスをロックすること、前記外部デバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはＩＰＴＶチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、１つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、地図を指し示すこと、地図または画像を拡大／縮小すること、画像に色を塗ること、起動可能なアイコンを掴み、起動可能なアイコンを前記表示デバイスから引き出すこと、起動可能なアイコンを回転させること、前記外部デバイス上でタッチコマンドをエミュレートすること、１つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、フレームにタグ付けすること、または前記映像からフレームを取り込むこと、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、前記外部デバイスによって生成された通知を提示すること、予め定義されたアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、最近の通話アプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記外部デバイスをロックモードから切り替え、電子メールアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記デバイスをロックモードから切り替え、カレンダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、リマインダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、ユーザによって設定される、前記外部デバイスの製造業者によって設定される、もしくはサービスオペレータによって設定される、予め定義されたアプリケーションを開くこと、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウス、ディスプレイ上の起動可能なアイコンを操作すること、ディスプレイ上の情報を変更すること、から選択される、前記外部デバイスに対するコマンドである、請求項１１に記載の方法。
【請求項１６】
前記予め定義されたジェスチャーは、スワイプ動作、２本の指の摘み動作、左から右に指し示すジェスチャー、右から左に指し示すジェスチャー、上方を指し示すジェスチャー、下方を指し示すジェスチャー、押すジェスチャー、握った拳を開くこと、握った拳を開き、前記画像センサに向かって移動させること、タップするジェスチャー、手を振るジェスチャー、拍手するジェスチャー、逆の拍手するジェスチャー、手を拳に閉じること、摘むジェスチャー、逆の摘むジェスチャー、手の指を広げるジェスチャー、逆の手の指を広げるジェスチャー、起動可能なアイコンを指し示すこと、予め定義された時間にわたって起動オブジェクトを保持すること、起動可能なアイコンをクリックすること、起動可能なアイコンをダブルクリックすること、起動可能なアイコンを右側からクリックすること、起動可能なアイコンを左側からクリックすること、起動可能なアイコンを底部からクリックすること、起動可能なアイコンを頂部からクリックすること、起動可能なアイコン、オブジェクトを掴むこと、右から起動可能なアイコン、オブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンに向かってジェスチャーをすること、左から起動可能なアイコンを通過すること、前記オブジェクトを押すこと、拍手すること、起動可能なアイコンの上で手を振ること、吹き飛ばすジェスチャーを行うこと、タップするジェスチャーを行うこと、起動可能なアイコンの上で時計回りまたは反時計回りのジェスチャーを行うこと、アイコンをスライドさせること、２本の指で起動可能なアイコンを掴むこと、およびクリック−ドラッグ−リリース動作を行うこと、から選択される、請求項１〜１５のいずれか１項に記載の方法。
【請求項１７】
前記起動可能なアイコンは、２Ｄまたは３Ｄの起動可能なアイコンである、請求項１〜１６のいずれか１項に記載の方法。
【請求項１８】
前記起動可能なアイコンは、ユーザの前方の３Ｄ空間の中で前記ユーザによって認識される、請求項１〜１７のいずれか１項に記載の方法。
【請求項１９】
２つ以上の動作モードを有する、請求項１〜１８のいずれか１項に記載の方法。
【請求項２０】
予め定義されたジェスチャーの識別に応じて、前記システムの前記動作モードを切り替えることをさらに含む、請求項１９に記載の方法。
【請求項２１】
動作モードは、識別されるジェスチャー、前記ジェスチャー検出モジュール上で起動されるアルゴリズム、前記画像センサによって取り込まれる画像の解像度および前記画像センサによって取り込まれる画像の取り込み率、提示される前記データの詳細レベル、前記ユーザに提示される前記起動可能なアイコン、提示される前記データのソース、提示される前記データの詳細レベル、前記表示デバイス上に表示される起動可能なアイコン、アクティブオンラインサービス、のうちの任意の１つ以上によって指定される、請求項１９または２０に記載の方法。
【請求項２２】
前記識別された現実のオブジェクトを追跡し、前記表示される関連付けられた視覚データを、前記識別された現実のオブジェクトに対して固定位置に維持する、追跡アルゴリズムを動作させることをさらに含む、請求項１〜２１のいずれか１項に記載の方法。
【請求項２３】
前記表示デバイスが所定の閾値未満の動作レベルを有するときにだけ前記予め定義されたポインティングオブジェクトを検出するために、オブジェクト認識モジュールが利用される、請求項１〜２２のいずれか１項に記載の方法。
【請求項２４】
予め定義されたジェスチャーが識別されたときに、フィードバックを提供することをさらに含む、請求項１〜２３のいずれか１項に記載の方法。
【請求項２５】
前記フィードバックは、視覚フィードバック、音声フィードバック、触覚フィードバック、指向性振動、空気触覚フィードバック、または超音波フィードバックである、請求項２４に記載の方法。
【請求項２６】
前記フィードバックは、前記表示デバイス上に表示される起動可能なアイコン、前記表示デバイス上に表示される起動可能なアイコンの変化、前記表示デバイス上に表示される起動可能なアイコンの色の変化、前記表示デバイス上に表示される起動可能なアイコンのサイズの変化、前記表示デバイス上に表示される起動可能なアイコンのアニメーション、指示光、表示デバイス上を移動するインジケータ、前記表示デバイス上に現れる全ての他の画像または映像の頂部に現れる、前記表示デバイス上を移動するインジケータ、前記予め定義されたポインティングオブジェクトの周囲が輝く外観、から選択される形態の視覚指示である、請求項２４または２５に記載の方法。
【請求項２７】
前記フィードバックは、振動、指向性振動指示、空気触覚指示である、請求項２６に記載の方法。
【請求項２８】
起動可能なアイコンは、前記表示デバイスが予め定義された閾値を超える起動レベルを有するときに、前記表示デバイスから除去される、請求項１〜２７のいずれか１項に記載の方法。
【請求項２９】
前記表示デバイスが前記予め定義された閾値未満の動作レベルを有するときに、前記表示デバイス上の前記除去されたアイコンを表示することをさらに含む、請求項２８に記載の方法。
【請求項３０】
前記方法は、予め定義されたアクションが行われるときに、起動モードに入り、前記予め定義されたアクションは、前記予め定義されたポインティングオブジェクトを下側から前記視界の中へ持ち込むこと、ユーザが、前記予め定義されたポインティングオブジェクトをある場所に配置する、または前記カメラの視界の右下隅部を指し示す、もしくは前記カメラの視界の中でユーザが手を開く等のポーズをとるとき、前記手を前記視界を横断して右から左に移動させる等の予め定義されたジェスチャーを行うこと、起動可能なアイコンが表示され、前記ユーザが、前記起動可能なアイコンを指し示す等の、前記起動可能なアイコンに相関する予め定義されたジェスチャーを行う、もしくは前記起動可能なアイコンが提示される場所で手を振るジェスチャーを行うとき、または前記デバイスに触れることによって、前記起動可能なアイコンが位置すると認識される前記３Ｄ空間の中でジェスチャーを行うことによって、前記浮動的な起動可能なアイコンを一方からもう一方の場所へスライドさせること、または前記デバイスに加速度計が提供される場合に、前記デバイスをタップすること、から選択され、さらに別の例として、前記システムは、前記デバイスに近接センサまたは超音波センサが提供される場合に、前記ユーザが前記デバイスの近くに手を通過させるときに、前記起動モードに入り得、前記システムはまた、音声コマンドによっても、または前記ユーザが前記予め定義されたポインティングオブジェクトを前記視界の中の特定の場所の中に配置するときにも起動され得、さらに別の例として、前記システムは、前記ユーザの前記視界の中の前記現実と関連付けられる関連データがあるときにだけ前記起動モードに入り得、前記システムは、提示される関連データがあるときに、または対話の準備が整っているときに、前記ユーザに示し得る、請求項１〜２９のいずれか１項に記載の方法。
【請求項３１】
提示されない前記起動可能なアイコンの一部を算出し、よって、前記予め定義されたポインティングオブジェクトが、前記起動可能なアイコンの頂部上にあるように見えるように、ユーザの見通し線および前記１つ以上の画像センサの位置を反映するデータを用いた較正をさらに含む、請求項１〜３０のいずれか１項に記載の方法。
【請求項３２】
テキストタイピングを可能にするキーボードを表示することをさらに含む、請求項１〜３１のいずれか１項に記載の方法。
【請求項３３】
前記キーボードは、予め定義されたジェスチャーの検出に応じて表示される、請求項３２に記載の方法。
【請求項３４】
前記予め定義されたジェスチャーは、画像センサの視界の予め定義された領域の中での、右から左へのジェスチャー、開いた手を提示すること、２つの開いた手を提示すること、から選択される、請求項３３に記載の方法。
【請求項３５】
前記キーボードの一部は、前記予め定義されたオブジェクトが位置する所では提示されず、よって、前記予め定義されたオブジェクトが、前記キーボードの頂部上にあるように見え、ユーザの手等の前記予め定義されたオブジェクトが前記キーボードを覆うように見える錯覚を生じさせる、請求項３３に記載の方法。
【請求項３６】
アニメーションの手が、前記キーボード上に提示され、前記アニメーションの手の位置は、前記予め定義されたオブジェクトと相関する、請求項３３に記載の方法。
【請求項３７】
前記アニメーションの手の指の先端部は、キーストロークの文字が見える場所で、仮想キーストロークの上に位置する、請求項３６に記載の方法。
【請求項３８】
前記キーボードおよび前記アニメーションの手は不透明であり、よって、ユーザは前記キーボードの裏側の背景を見ることができない、請求項３６に記載の方法。
【請求項３９】
提示されない前記起動可能なオブジェクトの一部を算出するために、前記ポインティングオブジェクトの少なくとも１つの輪郭を推定することをさらに含む、請求項１〜３８のいずれか１項に記載の方法。
【請求項４０】
請求項１〜３９のいずれか１項に記載の方法を実行するように構成されるデバイスを備える、システム。
【請求項４１】
少なくとも１つのプロセッサに、請求項１〜３９のいずれか１項に記載の方法を実行させる命令が格納されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実のための方法および装置に関する。
【背景技術】
【０００２】
ここで開示される主題の背景として関連があると考えられる参考文献を下に列記する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７１２６５５８号
【特許文献２】米国特許出願公開第２０１１０２２１６６９号
【特許文献３】米国特許出願公開第２０１１０２７０５２２号
【特許文献４】英国特許第ＧＢ２４６５２８０（Ａ）号
【特許文献５】米国特許出願公開第２０１２００６８９１３号
【特許文献６】米国特許第７，２１５，３２２号
【特許文献７】国際公開第ＷＯ２００５／０９１１２５号
【特許文献８】国際公開第ＷＯ２０１０／０８６８６６号
【非特許文献】
【０００４】
【非特許文献１】Ｃｒｏｗｌｅｙ，Ｊ．Ｌ．ｅｔ  ａｌ，「Ｆｉｎｇｅｒ  Ｔｒａｃｋｉｎｇ  ａｓ  ａｎ  Ｉｎｐｕｔ  Ｄｅｖｉｃｅ  ｆｏｒ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ」。Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｚｕｒｉｃｈ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｊｕｎｅ  １９９５の議事において発行されたもの。
【０００５】
本明細書での上の参考文献の容認は、これらの文献がここで開示される主題の特許性にいかなる形であれ関連することを意味するものと判断するべきではない。
【０００６】
拡張現実とは、その要素がテキスト、音声、映像、グラフィックス、またはＧＰＳデータ等の、コンピュータ生成情報によって拡張される、物理的現実環境のリアルタイム（ライブ）の直接的または間接的な視界に関する用語である。したがって、環境およびそのオブジェクトに関する人工的な情報が、現実の視界または画像の上にオーバーレイされる。拡張とは、一般的に、ユーザの周囲の現実に関する情報が対話的で、デジタル的に操作できるようになるように、リアルタイムの、環境要素を伴う意味論的文脈におけるものである。
拡張現実のための主要なハードウェア構成要素は、プロセッサ、ディスプレイ、センサ、および入力デバイスである。これらの要素、具体的には、ＣＰＵ、ディスプレイ、カメラ、および加速度計、ＧＰＳ、または固体コンパス等のＭＥＭＳセンサは、それらが拡張現実プラットフォームとして機能することを可能にする、スマートフォン等の携帯デバイスの中に存在する。
【０００７】
拡張現実システムは、エントレインメント、ナビゲーション、アセンブリプロセス、保守、医療処置におけるアプリケーションで見られる。また、携帯拡張現実システムも、現実のオブジェクトの情報を提示し、視聴するオブジェクトを配置するために拡張現実が使用される、観光業界および観光におけるアプリケーションで見られる。
没入型拡張現実エクスペリエンスは、一般的にゴーグルまたはヘルメットの形態の、ヘッドマウントディスプレイを使用して提供される。ヘッドマウントディスプレイによって、仮想ビジュアルオブジェクトが、現実のシーンのユーザの視界の上に重ね合わされる。ヘッドマウントディスプレイは、システムが仮想情報を物理界と合わせることを可能にするセンサによって追跡される。追跡は、例えば、デジタルカメラもしくは他の光学センサ、加速度計、ＧＰＳ、ジャイロスコープ、固体コンパス、ＲＦＩＤ、および無線センサ等の技術のうちの任意の１つ以上を使用して行われ得る。ヘッドマウントディスプレイは、光学シースルーまたはビデオシースルーのいずれかである。光学シースルーは、画像にレンズを通過させ、情報がユーザの眼の中へ反射されるようにオーバーレイするように、半透鏡等の解決策、およびデジタル情報および画像を直接的または間接的にユーザの網膜に表示する透明なＬＣＤプロジェクターを利用する。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明は、拡張現実のための対話型システムを提供する。本発明の対話型システムは、例えば眼鏡またはゴーグルに組み込まれ得る、装着可能なデータ表示デバイスを含む。装着可能なディスプレイは、場所抽出機能（ＧＰＳ等）およびコンパスを提供するデバイスを有する。本システムはまた、ユーザが視聴している現実のシーンを拡張するために、ユーザがコンピュータ生成データを選択することを可能にする、ユーザインターフェースも含む。カメラは、視聴されている現実のシーンの画像を取得する。プロセッサは、ユーザの指等のカメラによって取り込まれる現実のシーンの画像の中の予め定義されたオブジェクトを検出する。ユーザがシーンの中の要素を指し示すと、要素に関連するデータが、データ表示デバイス上に表示され、シーンのユーザの視界の上に重ね合わされる。
【０００９】
したがって、その態様の１つにおいて、本発明は、拡張現実のための方法を提供し、該方法は、
（ａ）１つ以上の画像センサから現実のシーンの画像を取得することと、
（ｂ）１つ以上の状態センサから、画像センサの配向および場所データのうちの一方または双方を取得することと、
（ｃ）１つまたは複数の画像センサによって取得される現実のシーンの画像の中で、予め定義されたポインティングオブジェクトが予め定義されたジェスチャーを行っている現実のオブジェクトを識別することとであって、ジェスチャー検出モジュールが、１つ以上の状態センサによって提供されるデータを利用する、識別することと、
（ｄ）識別されたオブジェクトと関連付けられるデータを視聴デバイスのディスプレイ上に提示することと、を含む。
【００１０】
画像センサは、カメラ、光センサ、赤外線センサ、超音波センサ、近接センサ、ＣＭＯＳ画像センサ、短波長赤外線（ＳＷＩＲ）画像センサ、または反射センサ、赤外線センサ、超音波センサ、近接センサ、および反射センサから選択され得る。状態センサの１つ以上は、光学センサ、加速度計、ＧＰＳ、ジャイロスコープ、コンパス、磁気センサ、地球磁場に対するデバイスの方向を示すセンサ、重力センサ、およびＲＦＩＤ検出器から選択され得る。
【００１１】
識別されたオブジェクトと関連付けられるデータは、現実のオブジェクトと関連付けられるデータについてメモリを検索することによって取得され得る。
【００１２】
予め定義されたオブジェクトは、例えば、手、手の一部、両手、両手の一部、指、指の一部、または指の先端であり得る。
【００１３】
視聴デバイスは、ユーザによって装着されるように構成され、例えば、眼鏡またはゴーグルであり得る。視聴デバイスは、モバイル通信デバイスに組み込まれ得る。
【００１４】
１つまたは複数の画像センサによって取得される現実のシーンの画像の中で識別するステップは、画像センサによって取得される画像の中の予め定義されたオブジェクトの場所（Ｘ，Ｙ）を決定し、センサによって提供される表示デバイスの場所および配向のうちの一方または双方を決定することを含み得る。
【００１５】
本発明の方法はさらに、外部のデバイスまたはウェブサイトと通信することを含み得る。この通信は、メッセージを、外部デバイス上で動作するアプリケーション、外部デバイス上で動作するサービス、外部デバイス上で動作するオペレーティングシステム、外部デバイス上で動作するプロセス、外部デバイスのプロセッサ上で動作する１つ以上のアプリケーション、外部デバイスのバックグラウンドで動作するソフトウェアプログラム、または外部デバイス上で動作する１つ以上のサービスに送ることを含み得る。本方法はさらに、メッセージを、モバイル通信デバイス上で動作するアプリケーション、モバイル通信デバイス上で動作するサービス、モバイル通信デバイス上で動作するオペレーティングシステム、モバイル通信デバイス上で動作するプロセス、モバイル通信デバイスのプロセッサ上で動作する１つ以上のアプリケーション、モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラム、またはモバイル通信デバイス上で動作する１つ以上のサービスに送ることを含み得る。
【００１６】
本方法はさらに、画像の中で識別される現実のオブジェクトに関連するデータを要求するメッセージを、外部デバイス上で動作するアプリケーション、外部デバイス上で動作するサービス、外部デバイス上で動作するオペレーティングシステム、外部デバイス上で動作するプロセス、外部デバイスのプロセッサ上で動作する１つ以上のアプリケーション、外部デバイスのバックグラウンドで動作するソフトウェアプログラムから送ること、または外部デバイス上で動作する１つ以上のサービスに送ることを含み得る。本方法はさらに、画像の中で識別される現実のオブジェクトに関連するデータを要求するメッセージを、モバイル通信デバイス上で動作するアプリケーション、モバイル通信デバイス上で動作するサービス、モバイル通信デバイス上で動作するオペレーティングシステム、モバイル通信デバイス上で動作するプロセス、モバイル通信デバイスのプロセッサ上で動作する１つ以上のアプリケーション、モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラムから送ること、またはモバイル通信デバイス上で動作する１つ以上のサービスに送ることを含み得る。
【００１７】
外部デバイスまたはウェブサイトに対するメッセージは、コマンドであり得る。このコマンドは、外部デバイスまたはウェブサイト上でアプリケーションを動作させるためのコマンド、外部デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、外部デバイスまたはウェブサイト上で動作するサービスを起動させるためのコマンド、外部デバイスまたはウェブサイト上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択され得る。
【００１８】
モバイル通信デバイスに対するメッセージは、コマンドであり得る。このコマンドは、アプリケーションをモバイル通信デバイス上で動作させるためのコマンド、モバイル通信デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、モバイル通信デバイス上で動作するサービスを起動させるためのコマンド、モバイル通信デバイス上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択され得る。
【００１９】
本方法はさらに、外部デバイスまたはウェブサイトから、画像の中で識別される現実のオブジェクトに関連するデータを受け取り、受け取ったデータをユーザに提示することを含み得る。
【００２０】
外部デバイスまたはウェブサイトとの通信は、通信ネットワークを通じたものであり得る。
【００２１】
外部デバイスに対するコマンドは、外部デバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、外部デバイス上で予め定義されたソフトウェアアプリケーションを動作させること、外部デバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、外部デバイスをロックすること、外部デバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはＩＰＴＶチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、１つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、地図で指し示すこと、地図または画像を拡大／縮小すること、画像に色を塗ること、起動可能なアイコンを掴み、起動可能なアイコンを表示デバイスから引き出すこと、起動可能なアイコンを回転させること、外部デバイス上でタッチコマンドをエミュレートすること、１つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、フレームにタグ付けすること、または映像からフレームを取り込むこと、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、外部デバイスによって生成された通知を提示すること、予め定義されたアプリケーションを開くこと、外部デバイスをロックモードから切り替え、最近の通話アプリケーションを開くこと、外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、外部デバイスをロックモードから切り替え、電子メールアプリケーションを開くこと、外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、デバイスをロックモードから切り替え、カレンダアプリケーションを開くこと、デバイスをロックモードから切り替え、リマインダアプリケーションを開くこと、デバイスをロックモードから切り替え、ユーザによって設定される、外部デバイスの製造業者によって設定される、もしくはサービスオペレータによって設定される、予め定義されたアプリケーションを開くこと、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウス、ディスプレイ上の起動可能なアイコンを操作すること、ディスプレイ上の情報を変更すること、から選択され得る。
【００２２】
本発明の方法において、予め定義されたジェスチャーは、スワイプ動作、２本の指の摘み動作、左から右に指し示すジェスチャー、右から左に指し示すジェスチャー、上方を指し示すジェスチャー、下方を指し示すジェスチャー、押すジェスチャー、握った拳を開くこと、握った拳を開き、画像センサに向かって移動させること、タップするジェスチャー、手を振るジェスチャー、拍手するジェスチャー、逆の拍手するジェスチャー、手を拳に閉じること、摘むジェスチャー、逆の摘むジェスチャー、手の指を広げるジェスチャー、逆の手の指を広げるジェスチャー、起動可能なアイコンで指し示すこと、予め定義された時間にわたって起動オブジェクトを保持すること、起動可能なアイコンをクリックすること、起動可能なアイコンをダブルクリックすること、起動可能なアイコンを右側からクリックすること、起動可能なアイコンを左側からクリックすること、起動可能なアイコンを底部からクリックすること、起動可能なアイコンを頂部からクリックすること、起動可能なアイコンのオブジェクトを掴むこと、右から起動可能なアイコンのオブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンに向かってジェスチャーをすること、起動可能なアイコンを左から通過すること、オブジェクトを押すこと、拍手すること、起動可能なアイコンの上で手を振ること、吹き飛ばすジェスチャーを行うこと、タップするジェスチャーを行うこと、起動可能なアイコンの上で時計回りまたは反時計回りのジェスチャーを行うこと、アイコンをスライドさせること、２本の指で起動可能なアイコンを掴むこと、およびクリック−ドラッグ−リリース動作を行うこと、から選択され得る。
【００２３】
識別されたオブジェクトと関連付けられるデータは、視覚データ、音声データ、またはテキストデータのうちのいずれか１つ以上であり得る。識別されたオブジェクトと関連付けられるデータは、起動可能なアイコンであり得る。起動可能なアイコンは、２Ｄまたは３Ｄの起動可能なアイコンであり得る。起動可能なアイコンは、ユーザの前方の３Ｄ空間の中でユーザによって認識され得る。
【００２４】
本発明の方法は、２つ以上の動作モードを有し得る。本方法は、予め定義されたジェスチャーの識別に応じて、システムの動作モードを切り替え得る。動作モードは、識別されるジェスチャー、ジェスチャー検出モジュール上で起動されるアルゴリズム、画像センサによって取り込まれる画像の解像度および画像センサによって取り込まれる画像の取り込み率、提示されるデータの詳細レベル、ユーザに提示される起動可能なアイコン、提示されるデータのソース、提示されるデータの詳細レベル、表示デバイス上に表示される起動可能なアイコン、アクティブオンラインサービス、のうちの任意の１つ以上によって指定され得る。
【００２５】
動作モードは、予め定義されたジェスチャーの識別に応じて、画像センサによって画像を映像録画するモード、予め定義されたジェスチャーの識別に応じて、マイクロホンによって音声を記録し、別の予め定義されたジェスチャーの識別に応じて、記録を停止するモード、映像または音声を継続的に監視し、予め定義されたジェスチャーの検出を受けて、ジェスチャーを識別する予め定義された時間前から映像または音声の記録を開始し、別の予め定義されたジェスチャーの識別後に記録を停止するモード、予め定義されたジェスチャーの識別に応じて、取り込まれた、およびリアルタイムで記録された映像にタグを加えるモード、カメラによって取り込まれるときに視界の中の領域を選択し、領域を視界の中の別の場所にコピーし、それをサイズ変更するモード、画像の中の選択された領域上でトラッカーを利用し、表示デバイス上のサイズ変更され、再配置された領域の中に、選択された領域をリアルタイムで提示するモード、予め定義されたジェスチャーの識別に応じて、画像を取り込むモード、から選択されるモードであり得る。
【００２６】
本発明の方法はさらに、識別された現実のオブジェクトを追跡し、表示される関連付けられた視覚データを、識別された現実のオブジェクトに対して固定位置に維持する、追跡アルゴリズムを動作させることを含み得る。
【００２７】
表示デバイスが所定の閾値未満の動作レベルを有するときにだけ予め定義されたオブジェクトを検出するために、オブジェクト認識モジュールが利用され得る。
【００２８】
本方法はさらに、予め定義されたジェスチャーが識別されたときに、フィードバックを提供することを含み得る。フィードバックは、例えば、視覚フィードバック、音声フィードバック、触覚フィードバック、指向性振動、空気触覚フィードバック、または超音波フィードバックであり得る。フィードバックは、表示デバイス上に表示される起動可能なアイコン、表示デバイス上に表示される起動可能なアイコンの変化、表示デバイス上に表示される起動可能なアイコンの色の変化、表示デバイス上に表示される起動可能なアイコンのサイズの変化、表示デバイス上に表示される起動可能なアイコンのアニメーション、指示光、表示デバイス上を移動するインジケータ、表示デバイス上に現れる全ての他の画像または映像の頂部に現れる、表示デバイス上を移動するインジケータ、予め定義されたオブジェクトの周囲が輝く外観、から選択される形態の視覚指示であり得る。フィードバックは、振動、指向性振動指示、または空気触覚指示であり得る。
【００２９】
本発明の方法において、表示デバイス上に表示される起動可能なアイコンの一部は、予め定義されたオブジェクトが位置する所に提示され得ず、よって、予め定義されたオブジェクトが、起動可能なアイコンの頂部上にあるように見える。
【００３０】
起動可能なアイコンは、表示デバイスが予め定義された閾値を超える起動レベルを有するときに、表示デバイスから除去され得る。表示デバイス上の除去されたアイコンは、例えば、表示デバイスが予め定義された閾値未満の動作レベルを有するときに除去され得る。
【００３１】
本方法は、予め定義されたアクションが行われるときに、起動モードに入り得る。予め定義されたアクションは、予め定義されたオブジェクトを下側から視界の中へ持ち込むこと、ユーザが、予め定義されたオブジェクトをある場所に配置する、またはカメラの視界の右下隅部を指し示す、もしくはカメラの視界の中でユーザが手を開く等のポーズをとるとき、手を視界を横断して右から左に移動させる等の予め定義されたジェスチャーを行うとき、起動可能なアイコンが表示され、ユーザが、起動可能なアイコンを指し示す等の、起動可能なアイコンに相関する予め定義されたジェスチャーを行う、もしくは起動可能なアイコンが提示される場所で手を振るジェスチャーを行うとき、またはデバイスに触れることによって、起動可能なアイコンが位置すると認識される３Ｄ空間の中でジェスチャーを行うことによって、浮動的な起動可能なアイコンを一方からもう一方の場所へスライドさせること、またはデバイスに加速度計が提供される場合に、デバイスをタップすること、から選択され得る。さらに別の例として、システムは、デバイスに近接センサまたは超音波センサが提供される場合に、ユーザがデバイスの近くに手を通過させるときに、起動モードに入り得る。システムはまた、音声コマンドによっても、またはユーザが予め定義されたオブジェクトを視界の中の特定の場所の中に配置するときにも起動され得る。さらに別の例として、システムは、ユーザの視界の中の現実と関連付けられる関連データがあるときにだけ起動モードに入り得る。システムは、提示される関連データがあるときに、または対話の準備が整っているときに、ユーザに示し得る。
【００３２】
本発明の方法はさらに、現実のオブジェクトと相関するデータがメモリに存在することを示す視覚指示を、現実のオブジェクトに添付することを含み得る。視覚指示は、現実のオブジェクトの画像上にオーバーレイされ得る。視覚は、起動可能なアイコン、写真、封筒の画像から選択され得る。
【００３３】
本発明の方法はさらに、予め定義されたオブジェクトの１つ以上の物理的パラメータを記録するための較正プロセスを含み得る。較正プロセスは、３Ｄ空間の異なる場所の中で、起動可能なアイコンをディスプレイ上に提示するステップ、予め定義されたオブジェクトの物理的特徴を抽出するステップ、および予め定義されたオブジェクトの寸法とカメラからのその距離との相関関係を決定するステップ、から選択される任意の１つ以上のステップを含み得る。較正プロセスは、画像センサの１つおよび予め定義されたオブジェクトの先端部の頂点を有し、ユーザの見通し線によって形成される側部を有する三角形を構築するステップを含み得る。カメラからの現実のオブジェクトの距離は、較正において抽出される情報に基づいて推定され得る。
【００３４】
本方法はさらに、テキストタイピングを可能にするキーボードを表示することをさらに含み得る。キーボードは、画像センサの視界の予め定義された領域の中での、右から左へのジェスチャー、開いた手を提示すること、２つの開いた手を提示すること等の、予め定義されたジェスチャーの検出に応じて表示され得る。キーボードは、３Ｄタイピング領域の中で、または予め定義された起動可能なアイコンが位置すると認識する所で、クリックジェスチャーを行うことに応じて表示され得る。
【００３５】
本発明はまた、本発明の方法を実行するように構成されるデバイスを備える、システムも提供する。
【００３６】
本発明はまた、コンピュータプログラムがコンピュータ上で動作するときに、本発明の方法の全てのステップを行うためのコンピュータプログラムコード手段も備える、コンピュータプログラムも提供する。コンピュータプログラムは、コンピュータが読み出し可能な媒体上に具現化され得る。
【００３７】
ユーザは、一般的に眼鏡を通して表示される視覚映像と対話し得る。したがって、現実のユーザの視界は、ディスプレイ上に提示される情報によって拡張される。拡張現実デバイスによる１つの課題は、ユーザがデバイスと対話し、それを制御する手法である。従来の制御デバイス、例えば、マウス、トラックボール、またはタッチ画面は、拡張現実デバイスで使用することが困難である。ユーザ、したがって拡張現実デバイスは、リアルタイムで絶えず移動しているので、拡張現実システムにおいてジェスチャー認識を使用することは、容易ではない。
【００３８】
したがって、本発明は、プロセッサに方法を行わせるための命令を含む、コンピュータプログラム製品を提供し、該方法は、
拡張現実デバイスと関連付けられる画像センサから、環境と関連付けられる画像情報を受け取ることと、
環境に関連する拡張情報を、デバイスと関連付けられるディスプレイ上に表示することと、
画像情報の中で、デバイスのユーザによる手のジェスチャーを認識することと、
手のジェスチャーを拡張情報と相関させることと、
相関させることに基づいて、表示された拡張情報を変更することと、を含む。
【００３９】
拡張情報は、環境の中のオブジェクトと関連付けられる情報、環境と関連付けられる画像、および環境と関連付けられる距離、のうちの少なくとも１つを含み得る。
【００４０】
相関させることは、ユーザの手の少なくとも一部分の３次元空間の中の基準場所を決定し、基準場所と関連付けられる拡張情報および画像情報データのうちの少なくとも１つを決定することを含み得る。
【００４１】
変更することは、基準場所と関連付けられるデータの関数として、拡張情報を切り替えることを含み得る。
本発明を理解し、それが実際にどのように実行され得るのかを確認するために、ここで、添付図面を参照して、実施形態を単に限定的でない実施例として説明する。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に従う、拡張現実のためのシステムを概略的に示す図である。
【図２】本発明の一実施形態に従う、１組のゴーグルを備える拡張現実のためのシステムを示す図である。
【図３】使用中の図２のシステムを示す図である。
【図４ａ】図２のシステムのディスプレイデバイス上に表示される現実のシーンの視界を示す図である。
【図４ｂ】ユーザの指が視界の中のオブジェクトを指し示す、図４ａの視界を示す図である。
【図４ｃ】図４ｂの視界の上にオーバーレイされる、ユーザの指が指し示すオブジェクトに関連する視覚テキストを示す図である。
【図５ａ】本発明の別の実施形態に従う、通信デバイスと一体的な拡張現実のためのシステムを示す図である。
【図５ｂ】本発明の別の実施形態に従う、通信デバイスと一体的な拡張現実のためのシステムを示す図である。
【図６ａ】ユーザが領域の輪郭を「描画」するジェスチャーを行うことによって、画像センサの視界の中で領域を指定することを示す図である。
【図６ｂ】第２のジェスチャーを行うことによって、選択された領域をサイズ変更することを示す図である。
【図６ｃ】サイズ変更後の領域を示す図である。
【図６ｄ】視界の中の新しい場所にドラッグされた後の領域を示す図である。
【発明を実施するための形態】
【００４３】
図１は、本発明の一実施形態に従う、拡張現実のためのシステム３０を概略的に示す。システム３０は、現実のシーンの画像を取得するように構成される、１つ以上の画像センサ３２を含む。本発明のシステムでは、カメラ、光センサ、赤外線センサ、超音波センサ、近接センサ、ＣＭＯＳ画像センサ、短波長赤外線（ＳＷＩＲ）画像センサ、または反射センサ等の、任意のタイプの画像センサが使用され得る。
【００４４】
システム３０はさらに、ユーザが、現実のシーン、および現実のシーンの上に重ね合わせられる画像、映像、または音声信号等の外部情報の双方を見ることを可能にする１つ以上の表示デバイス３５を有する、視聴デバイス３４を含む。本発明のシステムでは、ユーザが、現実のシーンおよび表示されるデータの双方を見ることを可能にする、任意のタイプの表示デバイスが使用され得る。
【００４５】
表示デバイス３５は、例えば、その上で視覚材料がユーザに提示される表面、または画像をユーザの網膜に直接表示する１つ以上のプロジェクターを備え得る。プロセッサ３６は、例えば光学センサ、加速度計、ＧＰＳ、ジャイロスコープ、固体コンパス、磁気センサ、重力センサ、およびＲＦＩＤ検出器のうちの任意の１つ以上であり得る１つ以上の状態センサ３８から、システム３０の配向および／または場所データを取得する。プロセッサ３６は、例えば、専用プロセッサ、汎用プロセッサ、ＤＳＰ（デジタルシグナリングプロセッサ）プロセッサ、ＧＰＵ（視覚処理ユニット）プロセッサ、専用ハードウェア、または外部デバイス上で動作することができるプロセッサであり得る。システム３０は、視聴デバイス３４上で、またはシステム３０の他の構成要素を組み込むスマートフォン等の別のデバイス３７上で、ソフトウェアとして動作し得る。
【００４６】
プロセッサ３６は、画像センサ３２によって取得される現実のシーンの画像の中で、予め定義されたオブジェクトが指し示している１つ以上の現実のオブジェクトを識別する、ジェスチャー検出モジュール４０を動作させるように構成される。現実のオブジェクトは、例えば、建物または広告板であり得る。現実のオブジェクトの決定は、状態センサ３８によって提供されるデータを利用する。予め定義されたオブジェクトは、ユーザの指、またはスタイラスまたはワンド等の他のオブジェクトであり得る。
【００４７】
プロセッサ３６が、予め定義されたオブジェクトが指し示している現実のオブジェクトを識別すると、プロセッサは、識別されたオブジェクトと関連付けられるデータについてメモリ４２を検索する。データは、例えば、視覚データ、音声データ、またはテキストデータであり得る。視覚データは、識別されたオブジェクトに関連するテキスト情報であり得る。プロセッサは、次いで、識別されたオブジェクトと関連付けられる、関連付けられた視覚データを視聴デバイスのディスプレイ上に表示する。メモリ４２は、システム３０と統合され得、または遠隔に配置され、インターネット等の通信ネットワークを通じてアクセスされ得る。したがって、システム３０は、システム３０がネットワーク、無線ネットワーク、セルラーネットワーク、別のデバイス３０等の外部デバイス、携帯電話、タブレット、またはインターネットウェブサイト等と通信することを可能にする、通信モジュール３９を備え得る。
【００４８】
データは、起動可能なアイコンであり得る。本明細書で使用される「起動可能なアイコン」という用語は、ユーザ対話によって起動される１つ以上のメッセージまたはコマンドと関連付けられる画像または映像の中の領域を指す。起動可能なアイコンは、例えば、仮想ボタン、仮想キーボード、またはアイコン等の、２Ｄまたは３Ｄの視覚要素であり得る。起動可能なアイコンは、システムによって認識可能である１つ以上の予め定義されたオブジェクトによって起動され、予め定義されたオブジェクトは、例えば、スタイラス、ユーザの手の１つ以上もしくは手の一部、１つ以上の指もしくは指の先端部等の指の一部分であり得る。予め定義されたオブジェクトによる起動可能なアイコンの１つ以上の起動は、オペレーティングシステム、１つ以上のサービス、１つ以上のアプリケーション、１つ以上のデバイス、１つ以上のリモートアプリケーション、１つ以上のリモートサービス、または１つ以上のリモートデバイス宛てのメッセージまたはコマンドの生成をもたらす。
【００４９】
プロセッサ３６は、メッセージまたはコマンドを、デバイス３７もしくはリモートデバイス、デバイス上で動作するアプリケーション、デバイス３７上で動作するサービスおよびデバイス上で動作するオペレーティングシステム、デバイス上動作するプロセス、バックグラウンドで動作するソフトウェアプログラム、およびデバイス上で動作する１つ以上のサービス、またはデバイスにおいて動作するプロセスに送るように構成され得る。メッセージまたはコマンドは、インターネットまたは携帯電話ネットワーク等の通信ネットワークを通じて送られ得る。コマンドは、例えば、デバイス上でアプリケーションを動作させるためのコマンド、デバイス上で動作するアプリケーションを停止するためのコマンド、デバイス上で動作するサービスを起動させるためのコマンド、デバイス上で動作するサービスを停止するためのコマンド、またはプロセッサ３６によって画像の中で識別される現実のオブジェクトに関連するデータをプロセッサ３６に送るためのコマンドであり得る。
【００５０】
コマンドは、デバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、予め定義されたソフトウェアアプリケーションをデバイス上で動作させること、デバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、デバイスをロックすること、デバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはＩＰＴＶチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、１つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、対話映像またはアニメーションのコンテンツを制御すること、映像または画像を編集すること、地図を指し示すこと、地図または画像を拡大／縮小すること、画像に色を塗ること、表示デバイスから離れて起動可能なアイコンを押すこと、起動可能なアイコンを掴み、起動可能なアイコンを表示デバイスから引き出すこと、起動可能なアイコンを回転させること、デバイス上でタッチコマンドをエミュレートすること、１つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、映像または音楽コマンドを編集すること、フレームにタグ付けすること、または映像からフレームを取り込むこと、映像から映像のサブセットを切り取ること、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、デバイスによって生成された通知を提示すること、デバイスをロックモードから切り替え、最近の通話アプリケーションを起動させること、デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを起動させること、デバイスをロックモードから切り替え、電子メールアプリケーションを起動させること、デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを起動させること、デバイスをロックモードから切り替え、カレンダアプリケーションを起動させること、デバイスをロックモードから切り替え、リマインダアプリケーションを起動させること、デバイスをロックモードから切り替え、ユーザによって設定される、デバイスの製造業者によって設定される、もしくはサービスオペレータによって設定される、予め定義されたアプリケーションを起動させること、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウスを操作すること、ディスプレイ上の起動可能なアイコンを起動させること、およびディスプレイ上の情報を変更すること等の、デバイス３７に対するコマンドであり得る。
【００５１】
通信モジュールは、例えばリモートデバイスに宛てられ得るメッセージを伝送するために使用され得る。メッセージは、例えば、リモートデバイスに対するコマンドであり得る。コマンドは、例えば、リモートデバイス上でアプリケーションを動作させるためのコマンド、リモートデバイス上で動作するアプリケーションを停止するためのコマンド、リモートデバイス上で動作するサービスを起動させるためのコマンド、リモートデバイス上で動作するサービスを停止するためのコマンドであり得る。メッセージは、リモートデバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、予め定義されたソフトウェアアプリケーションをリモートデバイス上で動作させること、リモートデバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、リモートデバイスをロックすること、リモートデバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはＩＰＴＶチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、１つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、地図を指し示すこと、地図または画像を拡大／縮小すること、画像に色を塗ること、起動可能なアイコンを掴み、起動可能なアイコンを表示デバイスから引き出すこと、起動可能なアイコンを回転させること、リモートデバイス上でタッチコマンドをエミュレートすること、１つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、フレームにタグ付けすること、または映像からフレームを取り込むこと、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、リモートデバイスによって生成された通知を提示すること、予め定義されたアプリケーションを開くこと、リモートデバイスをロックモードから切り替え、最近の通話アプリケーションを開くこと、リモートデバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、リモートデバイスをロックモードから切り替え、電子メールアプリケーションを開くこと、リモートデバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、デバイスをロックモードから切り替え、カレンダアプリケーションを開くこと、デバイスをロックモードから切り替え、リマインダアプリケーションを開くこと、デバイスをロックモードから切り替え、ユーザによって設定される、リモートデバイスの製造業者によって設定される、またはサービスオペレータによって設定される、予め定義されたアプリケーションを開くこと、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウス、ディスプレイ上の起動可能なアイコンを操作すること、ディスプレイ上の情報を変更すること、から選択される、リモートデバイスに対するコマンドであり得る。
【００５２】
メッセージは、識別されたオブジェクトと関連付けられるデータの要求とすることができる。データ要求メッセージは、デバイス上で動作するアプリケーション、サービス、プロセス、スレッドに宛てられ得、または外部デバイス上で動作するアプリケーション、サービス、プロセス、もしくはスレッドから、またはオンラインサービスから宛てられ得る。
【００５３】
ＣＰＵリソースを低減させるために、状態センサによって取得された情報から判定したときにヘッドセットが著しく移動していないときにだけ、予め定義されたオブジェクトを検出するためのオブジェクト認識モジュールを利用することができる。
【００５４】
図２は、本発明の一実施形態に従う、拡張現実のシステム２を示す。システム２は、例えば、眼鏡またはゴーグル４等の対話型ヘッドマウント式アイピースであり得る、携帯視聴デバイスを備える。ゴーグル４には、現実のシーン８の画像を取得する、画像センサ６が提供される。シーン８は、例えば、１つ以上の建物１２または１つ以上の広告板１４を含み得る。ゴーグルには、ユーザがゴーグル４を装着したときにユーザの眼の前方に位置付けられるようにゴーグル４の中に位置する、１つ以上の表示デバイス１０が提供され得る。表示デバイス１０は、例えば、外部データを提示するとともに、それを通して現実のシーンが視聴される、透明なＬＣＤ画面等のシースルーデバイスであり得る。システム２はさらに、画像センサ６によって取り込まれる画像の中で、予め定義されたオブジェクトが、ジェスチャーを行うこと、または現実のシーン８の中の現実のオブジェクトもしくはユーザに表示される起動可能なアイコンを指し示すことを識別するように構成される、プロセッサ１６を備える。システム２はまた、ＧＰＳ、加速度計、ジャイロスコープ、固体コンパス、磁気センサ、または重力センサ等の、１つ以上の場所および／または配向センサ２３も含む。
【００５５】
図５は、本発明の別の実施形態に従う、拡張現実のシステム４０を示す。システム４０は、携帯電話、タブレット、またはカメラ等の、モバイル通信デバイス４２に統合される。通信デバイス４２の正面図は、図５ａで示され、通信デバイス４２の背面図は、図５ｂで示される。通信デバイス４２には、表示デバイスの反対側のその裏面に、現実のシーンの画像を取得する画像センサ４６が提供される。通信デバイス４２にはまた、その表面に、カメラ４６が現実のシーンに向かって方向付けられたときにユーザの前方に位置付けられる、表示デバイス４８も提供される。表示デバイス４８は、例えば、下で説明されるように、視覚データとともに、カメラ６によって取得される現実のシーンの画像をユーザに提示する、ＬＣＤスクリーンであり得る。システム４０は、カメラ４６、表示デバイス４８、および通信デバイス４２のプロセッサを利用し、さらに、図５では示されない、通信デバイス４２の筐体内に含まれる１つ以上の状態センサを備える。プロセッサは、画像センサ４６によって取り込まれる画像の中で、現実のシーンの中の現実のオブジェクトを指し示す、予め定義されたオブジェクトを識別するように構成される。
【００５６】
図３ａは、使用中のシステム２を示す。ゴーグル４は、ユーザ１８の眼を覆って配置される。ユーザは、現実のシーン８に対面し、したがって、シーン８を視聴する。図３ｂは、使用中のシステム４０を示す。ユーザ１８は、画像センサ４６が現実のシーン８に対面し、表示デバイス４８がユーザに対面した状態で、通信デバイス４２を保持する。
【００５７】
この時点で、システム２または４０は、以下のプロセスを実行する。システム２または４０を使用するときにユーザが見るシーン８の視界は、表示デバイス上に表示される。図４ａは、現実のシーン８を視聴するためにシステム２または４０を使用するときにユーザが見る、シーン８の視界を示す。プロセッサ３６は、画像センサによって取得される画像を解析して、画像センサによって取り込まれる画像の中で、予め定義されたオブジェクトが、現実のシーン８の中の現実のオブジェクトに関連する予め定義されたジェスチャーをいつ行っているのかを判定する。
【００５８】
ゴーグル４または通信デバイス４２等の視聴デバイス３４は、しばしば、歩行中に起こるようなユーザの動き、またはユーザの頭もしくは手の動きのため、使用中に不安定である。この状況において、センサ３８によって生成される信号は、雑音が多く、不正確であり得る。この場合は、機械視覚モジュール３７が、識別された現実のオブジェクトを追跡し、表示される関連付けられた視覚データを、識別された現実のオブジェクトに対して固定位置に維持する、追跡アルゴリズムを動作させる。
【００５９】
現実のオブジェクトまたは起動可能なアイコンに関連する予め定義されたジェスチャーは、例えば、現実のオブジェクトまたは起動可能なアイコンを指し示すこと、または現実のオブジェクトまたは起動可能なアイコンの上でスワイプ動作を行うことであり得る。起動可能なアイコンは、現実のオブジェクトと相関する場合もあり、またはそうでない場合もある。
【００６０】
他の可能な予め定義されたジェスチャーとしては、スワイプ動作、人差し指および親指または中指および親指等による２本の指の摘み動作、左から右に指し示すジェスチャー、右から左に指し示すジェスチャー、上方を指し示すジェスチャー、下方を指し示すジェスチャー、押すジェスチャー、握った拳を開くこと、握った拳を開いて画像センサに向かって移動させること、タップするジェスチャー、手を振るジェスチャー、拍手するジェスチャー、逆の拍手するジェスチャー、手を拳に閉じること、摘むジェスチャー、逆の摘むジェスチャー、手の指を広げるジェスチャー、逆の手の指を広げるジェスチャー、起動可能なアイコンまたは現実のオブジェクトを指し示すこと、予め定義された時間にわたって起動可能なアイコンまたは現実のオブジェクトを指し示すこと、起動可能なアイコンまたは現実のオブジェクトをクリックすること、起動可能なアイコンまたは現実のオブジェクトをダブルクリックすること、起動可能なアイコンまたは現実のオブジェクトを人差し指でクリックすること、起動可能なアイコンまたは現実のオブジェクトを中指でクリックすること、起動可能なアイコンまたは現実のオブジェクトを底部からクリックすること、起動可能なアイコンを頂部からクリックすること、起動可能なアイコンまたは現実のオブジェクトを掴むこと、右から起動可能なアイコンまたは現実のオブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンまたは現実のオブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンまたは現実のオブジェクトを通過すること、起動可能なアイコンまたは現実のオブジェクトを押すこと、起動可能なアイコンまたは現実のオブジェクトの上で拍手するまたは手を振ること、吹き飛ばすジェスチャーを行うこと、タップするジェスチャーを行うこと、起動可能なアイコンまたは現実のオブジェクトの上で時計回りまたは反時計回りのジェスチャーを行うこと、起動可能なアイコンまたは現実のオブジェクトをスライドさせること、２本の指で起動可能なアイコンまたは現実のオブジェクトを掴むこと、またはクリック−ドラッグ−リリース動作を行うこと、が挙げられる。
【００６１】
予め定義されたオブジェクトは、例えば、ユーザの手、ユーザの指２０等のユーザの手の一部、または２つの異なる手の一部であり得る。あるいは、予め定義されたオブジェクトは、スタイラスまたはワンドであり得る。
【００６２】
プロセッサ１６が、予め定義されたジェスチャーが行われたと判定すると、これは、視覚フィードバック、音声フィードバック、触覚フィードバック、指向性振動、空気触覚フィードバック、または超音波フィードバック等の、任意のタイプのフィードバックによってユーザに示され得る。フィードバックは、表示デバイス上に表示される起動可能なアイコン、表示デバイス上の起動可能なアイコンの変化、表示デバイス上の起動可能なアイコンの色の変化、起動可能なアイコンのサイズの変化、起動可能なアイコンのアニメーション、指示光、表示デバイス上を移動するインジケータ、振動、指向性振動指示、空気触覚指示、から選択される形態の視覚指示であり得る。指示は、表示デバイス上に現れる全ての他の画像または映像の頂部に現れる、表示デバイス上を移動するインジケータによって提供され得る。視覚フィードバックは、システムが予め定義されたオブジェクトを認識すると、予め定義されたオブジェクトの周囲が輝く外観であり得る。
【００６３】
ジェスチャー検出モジュール４０は、画像センサ３２によって取得される画像中で予め定義されたオブジェクトを検出するための、任意の方法を使用し得る。例えば、ジェスチャー検出モジュールは、国際公開第ＷＯ２００５／０９１１２５号または第ＷＯ２０１０／０８６８６６号で開示されるように、予め定義されたオブジェクトを検出し得る。
【００６４】
プロセッサ１６はさらに、予め定義されたジェスチャーがそれに向かって行われた、シーン８の中の現実のオブジェクトを決定するように構成される。したがって、例えば、図４ｂで示される画像において、プロセッサ１６は、画像の中の指の先端部の場所（Ｘ，Ｙ）を決定し、この情報を、状態センサ２１からのユーザの場所およびゴーグル４の配向と組み合わせることによって、ユーザの指２０が広告板１４を指し示していると判定する。したがって、現実のオブジェクトは、ユーザが選択することを望む現実のオブジェクトを示すためのカーソルまたは他のマーカーをユーザに示すことなくプロセッサによって識別され、現実のオブジェクトを直接指し示して対話を開始することを可能にする。プロセッサ１６は、ユーザの指２０が指し示している現実のオブジェクトに関連するデータについて、プロセッサ１６と統合され得る、または遠隔に位置し得るメモリを検索する。例えば、メモリは、広告板１４に関連するデータを記憶し得る。ユーザが、そのデータがメモリに記憶される、またはインターネットサイト等のリモートサーバから抽出される、シーン８の中のオブジェクトを指し示すと、そのデータが、シーンのユーザの視界の上に重ね合わせられて、表示デバイス１０上に表示される。したがって、図４ｃで示されるように、ユーザが広告板１４（図３）を指し示すと、広告板１４に関連する視覚データ２１が表示デバイス１０上に表示される。
【００６５】
視覚データ２１は、静止画またはアニメーションであり得る。視覚データ２１は、１つ以上の起動可能なアイコンを含み得、よって、起動可能なアイコンの１つに対して予め定義されたジェスチャーが行われると、起動可能なアイコンと関連付けられるコマンドが実行される。コマンドは、例えば、選択された現実のオブジェクトに関連する特定の視覚材料を示すものであり得る。起動可能なアイコンは、２Ｄまたは３Ｄの起動可能なアイコンであり得、ユーザがユーザの前方の３Ｄ空間の中でアイコンを認識するように、ユーザに提示され得る。本明細書で使用されるとき、起動可能なアイコンは、ユーザ対話によって起動される１つ以上のメッセージと関連付けられる２Ｄまたは３Ｄの画像または映像の中の領域である。起動可能なアイコンは、例えば、２Ｄまたは３Ｄの視覚要素であり得る。起動可能なアイコンは、仮想ボタン、仮想キーボード、２Ｄまたは３Ｄの起動可能なアイコン、画像または映像の中の領域であり得る。起動可能なアイコンは、２つ以上の起動可能なアイコンから成り得る。
【００６６】
プロセッサは、予め定義されたオブジェクトが位置する所で、起動可能なアイコンの一部を提示し得ず、よって、予め定義されたオブジェクトが起動可能なアイコンの頂部上にあるように見える。起動可能なアイコンは、ユーザがユーザの頭部を急速に移動させると除去され得、次いで、頭部の動作が予め定義された動作速度未満であると復帰し得る。
【００６７】
システム２は、２つ以上の動作モードを有し得、プロセッサ１６は、該動作モード間で切り替えるために、１つ以上の予め定義されたジェスチャーを識別するように構成され得る。したがって、ジェスチャーは、システムをオンまたはオフにする、提示される視覚材料のソースを選択する、提示される視覚材料の詳細レベルを選択する、ユーザに提示されるボタンまたは起動可能なアイコンを選択する、または選択された現実のオブジェクトに関連するオンラインサービス等のオンラインサービスを起動させるために使用され得る。さらに別の操作モードは、予め定義されたジェスチャーの識別に応じて、画像センサによる画像の映像記録および／またはマイクロホンによる音声の記録を開始し、別の予め定義されたジェスチャーの識別に応じて、記録を停止するためのものであり得る。さらに別の操作モードは、映像および／または音声を連続的に監視するが、予め定義されたジェスチャーの検出を受けて、映像／音声が、ジェスチャーを識別する所定の時間前から記録を開始し、別の予め定義されたジェスチャーの識別後に、記録を停止することであり得る。所定の時間は、ユーザによって定義され得る。さらに別の操作モードは、予め定義されたジェスチャーの識別に応じて、取り込まれたおよびリアルタイムで記録した映像にタグを加えるものである。
【００６８】
さらに別の操作モードは、図６に示される。図６ａにおいて、画像センサによって取り込まれる視界６０の中の領域６２は、図６において想像線によって示される、領域の輪郭を「描画する」ジェスチャーをユーザが行うことによって指定される。次いで、選択された領域は、選択された領域が所望のサイズ（図６ｃの６７）に至るまで、図６ｂで矢印６６によって示されるように、２本の指を離すまたは２本の指を互いに近づける等の、第２のジェスチャーをユーザが行うことによってサイズ変更される。次いで、領域６７は、視界（図６ｄ）の中の新しい場所にドラッグされ、視界の中の新しい場所にコピーされる。次いで、システムは、選択された領域上でトラッカーを利用し、選択された領域は、表示デバイス上でユーザによって設定された、サイズ変更され、再配置された領域にリアルタイムで提示される。
【００６９】
ＣＰＵリソースを最小化するために、各表示される起動可能なアイコンについて、表示される起動可能なアイコンの周囲の、表示される起動可能なアイコンの境界ボックスを含む画像の領域は、固定した状態を維持するように定義され得る。システムは、この境界ボックスを追跡するために、機械視覚トラッカーを利用する。ビデオシーケンスの２つのフレームにおける境界ボックスの場所間の距離は、映像トラッカーを使用して決定されるときに、予め定義された距離未満であり、境界ボックスのトラッカーの相関値は、予め定義された値未満である。
【００７０】
システムが、起動可能なアイコンだけが起動され得、現実のオブジェクトを起動させることができない動作モードであるときに、各表示される起動可能なアイコンの近傍だけで予め定義されたオブジェクトを検索することによって、ＣＰＵを最小化することができる。さらにＣＰＵを低減させるために、状態センサによって取得された情報から判定したときにヘッドセットが著しく移動していないときだけを除いて、オブジェクト認識モジュールは、常に起動されない。
【００７１】
ユーザは、「友人によってだけ生成されたデータを表示する」、または「登録されたソースからのデータを表示する」、または「最近３ヶ月に生成されたデータを表示する」等の、現実のオブジェクトと相関するデータを映し出すように、異なるフィルタを選択し得る。
【００７２】
システム２は、システム２による電力消費が最小である、スタンバイモードを有し得る。起動モードは、例えば、システムによって解析されている１秒あたりの映像フレーム数、解析されている画像の解像度、解析されている画像フレームの部分、および／または起動されている検出モジュールにおいて、スタンバイモードとは異なり得る。システム２は、任意の技術によって起動モードに入らせることができる。例えば、システム２は、予め定義されたオブジェクトを下側から視界の中へ持ち込むことによって、ユーザが、予め定義されたオブジェクトをある場所に配置する、またはカメラの視界の右下隅部を指し示す、もしくはカメラの視界の中でユーザが手を開く等のポーズをとるとき、手を視界を横断して右から左に移動させる等の予め定義されたジェスチャーを行うとき、起動可能なアイコンが表示され、ユーザが、起動可能なアイコンを指し示す等の、起動可能なアイコンに相関する予め定義されたジェスチャーを行う、もしくは起動可能なアイコンが提示される場所で手を振るジェスチャーを行うとき、またはデバイスに触れることによって、起動可能なアイコンが位置すると認識される３Ｄ空間の中でジェスチャーを行うことによって、浮動的な起動可能なアイコンを一方からもう一方の場所へスライドさせること、またはデバイスに加速度計が提供される場合に、デバイスをタップすることで、起動モードに入り得る。さらに別の例として、システムは、デバイスに近接センサまたは超音波センサが提供される場合に、ユーザがデバイスの近くに手を通過させるときに、起動モードに入り得る。システムはまた、音声コマンドによって、またはユーザが予め定義されたオブジェクトを視界の中の特定の場所の中に配置するときにも起動され得る。さらに別の例として、システムは、ユーザの視界の中の現実と関連付けられる関連データがあるときにだけ起動モードに入り得る。システムは、提示される関連データがあるときに、または対話の準備が整っているときに、ユーザに示し得る。
【００７３】
現実のオブジェクトと相関するデータがあることをユーザに知らせるために、視覚指示が現実のオブジェクトに添付され得る。
【００７４】
関連データの指示は、「ｉ」という起動可能なアイコンが情報を示し得る、および「写真」というロゴが現実のオブジェクトに関連する画像を示し得る、または「封筒」というロゴが現実のオブジェクトに相関する友人または他のユーザによって残されたメッセージを示す、等の小さい視覚指示として、現実のオブジェクトの場所の上にオーバーレイされ得る。ユーザが起動可能なアイコンと相関する予め定義されたジェスチャーを行うと、データが提示され得る。
【００７５】
システム２は、カメラによって取得される画像の中の予め定義されたオブジェクトのプロセッサ２による識別を容易にするように、予め定義されたオブジェクトの種々の物理的パラメータを記録するための較正プロセスを受けるように構成され得る。これは、例えば、３Ｄ空間の異なる場所の中で、起動可能なアイコンをディスプレイ上でユーザに提示すること、および予め定義されたオブジェクトのそのサイズまたは配向等の予め定義されたオブジェクトの物理的特徴を抽出すること、および予め定義されたオブジェクトの寸法とカメラからのその距離との相関関係を決定することによって行われ得る。較正は、ユーザが指し示していると判定するために、カメラ、ユーザの見通し線、および予め定義されたオブジェクトの先端部の三角形を計算することを含み得る。精度は、較正において抽出される情報に基づいて、カメラからの現実のオブジェクトの距離を推定することによって向上し得る。
【００７６】
プロセッサは、本発明のシステムの別のユーザによって、現実のシーンのカメラによって取得される画像の中で識別するように構成され得る。現実のシーンの中の別のユーザの識別は、例えば、特定の地理的領域の中のデバイスの場所をリモートサーバに知らせることによって行われ得る。他のデバイスの場所は、地理的領域の中のデバイスの全てに送ることができる。
【００７７】
本発明の２つのシステム間に通信リンクが存在するときに、２つのシステムは、ゲームを行うために使用され得る。別のユーザは、「好き」等のメッセージを他のユーザに送る等のジェスチャーによってユーザが対話することができる、アバターとして表され得る。
【００７８】
プロセッサは、１本以上の指または手によるテキストタイピングを可能にする、キーボードを示すように構成され得る。キーボードの表示は、右から左へのジェスチャー等の予め定義されたジェスチャーの検出に応じて、または視界の底部等のカメラの視界の予め定義された領域の中で開いた手または２つの開いた手を提示することを使用することによって開始され得る。キーボードの表示を開始するさらに別の方法は、ユーザが、タイピング領域または起動可能なアイコンが位置すると認識される３Ｄ空間の中でクリックジェスチャーを行うときである。キーボードは、例えば、仮想キーボード上でタイピングすることによってメモを書く、検索を行う、またはオンラインサービス（スカイプまたはツイッター等）で通信するために使用され得る。システムは、予め定義されたオブジェクトが位置する所でキーボードの一部を提示し得ず、よって予め定義されたオブジェクトは、キーボードの頂部にあるように見え、ユーザの手等の予め定義されたオブジェクトがキーボードを「覆う」ように見える錯覚を生じさせる。
【００７９】
システムがタイピングモードであるときには、その位置がユーザの手および指と相関する、アニメーションの手がキーボード上に提示され得る。アニメーションの手の指の先端部は、キーストロークの文字が見える場所で、仮想キーストロークの上に位置し得る。キーボードおよびアニメーションの手は、好ましくは、不透明であり、よって、ユーザは、キーボードの裏側の背景を見ることができない。これは、ユーザに対してキーボードをよりわかりやすくする傾向がある。
【図１】
2018028922.tif 000003
【図２】
2018028922.tif 000004
【図３】
2018028922.tif 000005
【図４ａ】
2018028922.tif 000006
【図４ｂ】
2018028922.tif 000007
【図４ｃ】
2018028922.tif 000008
【図５ａ】
2018028922.tif 000009
【図５ｂ】
2018028922.tif 000010
【図６ａ】
2018028922.tif 000011
【図６ｂ】
2018028922.tif 000012
【図６ｃ】
2018028922.tif 000013
【図６ｄ】
2018028922.tif 000014
【手続補正書】
【提出日】平成29年12月25日(2017.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
拡張現実のための方法であって、
１つ以上の画像センサから現実のシーンの画像を取得するステップと、
取得した前記画像において、予め定義されたポインティングオブジェクトによって行われる予め定義されたジェスチャーを検出するステップであって、前記予め定義されたジェスチャーは、ジェスチャー検出モジュールを用いて検出される、前記検出するステップと、
視聴デバイスのディスプレイ上に起動可能なアイコンを提示するステップであって、前記起動可能なアイコンの一部は、前記予め定義されたポインティングオブジェクトが位置する所に提示されず、よって、前記予め定義されたポインティングオブジェクトが、前記起動可能なアイコンの頂部上にあるように見える、前記提示するステップと、
を含む、方法。
【請求項２】
前記起動可能なアイコンは、前記現実のシーンの現実のオブジェクトと関連付けられ、
前記現実のシーンの画像において前記現実のオブジェクトを識別するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記予め定義されたジェスチャーは、光学センサ、加速度計、ＧＰＳ、ジャイロスコープ、コンパス、磁気センサ、地球磁場に対する前記デバイスの方向を示すセンサ、重力センサ、およびＲＦＩＤ検出器から選択された１つ以上の状態センサを用いて検出される、請求項１または２に記載の方法。
【請求項４】
識別されたオブジェクトと関連付けられるデータは、前記現実のオブジェクトと関連付けられたデータについてメモリ内を検索することにより取得される、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記予め定義されたポインティングオブジェクトは、手、手の一部、両手、両手の一部、指、指の一部、または指の先端である、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記視聴デバイスは、ユーザによって装着されるように構成される、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記視聴デバイスは、眼鏡またはゴーグルである、請求項６に記載の方法。
【請求項８】
前記視聴デバイスは、モバイル通信デバイスに組み込まれる、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
前記画像センサは、カメラ、光センサ、赤外線センサ、超音波センサ、近接センサ、ＣＭＯＳ画像センサ、短波長赤外線（ＳＷＩＲ）画像センサ、または反射センサ、赤外線センサ、超音波センサ、近接センサ、および反射センサから選択される、請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
メッセージを、前記外部デバイス上で動作するアプリケーション、前記外部デバイス上で動作するサービス、前記外部デバイス上で動作するオペレーティングシステム、前記外部デバイス上で動作するプロセス、前記外部デバイスのプロセッサ上で動作する１つ以上のアプリケーション、前記外部デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記外部デバイス上で動作する１つ以上のサービスに送ることをさらに含む、請求項９に記載の方法。
【請求項１１】
メッセージを、前記モバイル通信デバイス上で動作するアプリケーション、前記モバイル通信デバイス上で動作するサービス、前記モバイル通信デバイス上で動作するオペレーティングシステム、前記モバイル通信デバイス上で動作するプロセス、前記モバイル通信デバイスのプロセッサ上で動作する１つ以上のアプリケーション、前記モバイル通信デバイスのバックグラウンドで動作するソフトウェアプログラム、または前記モバイル通信デバイス上で動作する１つ以上のサービスに送ることをさらに含む、請求項９に記載の方法。
【請求項１２】
前記モバイル通信デバイスに対するメッセージは、コマンドである、請求項１１に記載の方法。
【請求項１３】
前記コマンドは、アプリケーションを前記モバイル通信デバイス上で動作させるためのコマンド、前記モバイル通信デバイスまたはウェブサイト上で動作するアプリケーションを停止するためのコマンド、前記モバイル通信デバイス上で動作するサービスを起動させるためのコマンド、前記モバイル通信デバイス上で動作するサービスを停止するためのコマンド、または画像の中で識別される現実のオブジェクトに関連するデータを送るためのコマンドから選択される、請求項１２に記載の方法。
【請求項１４】
前記外部デバイスまたはウェブサイトから、画像の中で識別される現実のオブジェクトに関連するデータを受け取り、前記受け取ったデータをユーザに提示することをさらに含む、請求項１０に記載の方法。
【請求項１５】
前記メッセージは、前記外部デバイスの表示デバイス上に表示される仮想キーを押し下げること、選択カルーセルを回転させること、デスクトップ間で切り替えること、前記外部デバイス上で予め定義されたソフトウェアアプリケーションを動作させること、前記外部デバイス上のアプリケーションをオフにすること、スピーカーをオンまたはオフにすること、音量を上げるまたは下げること、前記外部デバイスをロックすること、前記外部デバイスをロック解除すること、メディアプレーヤーで別のトラックに、またはＩＰＴＶチャンネル間でスキップすること、ナビゲーションアプリケーションを制御すること、通話を開始すること、通話を終了すること、通知を提示すること、通知を表示すること、写真または音楽アルバムギャラリーの中をナビゲートすること、ウェブページをスクロールすること、電子メールを提示すること、１つ以上の文書または地図を提示すること、ゲームのアクションを制御すること、地図を指し示すこと、地図または画像を拡大／縮小すること、画像に色を塗ること、起動可能なアイコンを掴み、起動可能なアイコンを前記表示デバイスから引き出すこと、起動可能なアイコンを回転させること、前記外部デバイス上でタッチコマンドをエミュレートすること、１つ以上のマルチタッチコマンド、タッチジェスチャーコマンド、タイピングを行うこと、一時停止または再生するために、表示映像をクリックすること、フレームにタグ付けすること、または前記映像からフレームを取り込むこと、着信メッセージを提示すること、着信に応答すること、着信を消音または拒否すること、着信リマインダを開くこと、ネットワークコミュニティサービスから受け取った通知を提示すること、前記外部デバイスによって生成された通知を提示すること、予め定義されたアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、最近の通話アプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記外部デバイスをロックモードから切り替え、電子メールアプリケーションを開くこと、前記外部デバイスをロックモードから切り替え、オンラインサービスアプリケーションまたはブラウザを開くこと、前記デバイスをロックモードから切り替え、カレンダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、リマインダアプリケーションを開くこと、前記デバイスをロックモードから切り替え、ユーザによって設定される、前記外部デバイスの製造業者によって設定される、もしくはサービスオペレータによって設定される、予め定義されたアプリケーションを開くこと、起動可能なアイコンを起動させること、メニューアイテムを選択すること、ディスプレイ上のポインタを移動させること、タッチフリーマウス、ディスプレイ上の起動可能なアイコンを操作すること、ディスプレイ上の情報を変更すること、から選択される、前記外部デバイスに対するコマンドである、請求項１０に記載の方法。
【請求項１６】
前記予め定義されたジェスチャーは、スワイプ動作、２本の指の摘み動作、左から右に指し示すジェスチャー、右から左に指し示すジェスチャー、上方を指し示すジェスチャー、下方を指し示すジェスチャー、押すジェスチャー、握った拳を開くこと、握った拳を開き、前記画像センサに向かって移動させること、タップするジェスチャー、手を振るジェスチャー、拍手するジェスチャー、逆の拍手するジェスチャー、手を拳に閉じること、摘むジェスチャー、逆の摘むジェスチャー、手の指を広げるジェスチャー、逆の手の指を広げるジェスチャー、起動可能なアイコンを指し示すこと、予め定義された時間にわたって起動オブジェクトを保持すること、起動可能なアイコンをクリックすること、起動可能なアイコンをダブルクリックすること、起動可能なアイコンを右側からクリックすること、起動可能なアイコンを左側からクリックすること、起動可能なアイコンを底部からクリックすること、起動可能なアイコンを頂部からクリックすること、起動可能なアイコン、オブジェクトを掴むこと、右から起動可能なアイコン、オブジェクトに向かってジェスチャーをすること、左から起動可能なアイコンに向かってジェスチャーをすること、左から起動可能なアイコンを通過すること、前記オブジェクトを押すこと、拍手すること、起動可能なアイコンの上で手を振ること、吹き飛ばすジェスチャーを行うこと、タップするジェスチャーを行うこと、起動可能なアイコンの上で時計回りまたは反時計回りのジェスチャーを行うこと、アイコンをスライドさせること、２本の指で起動可能なアイコンを掴むこと、およびクリック−ドラッグ−リリース動作を行うこと、から選択される、請求項１〜１５のいずれか１項に記載の方法。
【請求項１７】
前記起動可能なアイコンは、２Ｄまたは３Ｄの起動可能なアイコンである、請求項１〜１６のいずれか１項に記載の方法。
【請求項１８】
前記起動可能なアイコンは、ユーザの前方の３Ｄ空間の中で前記ユーザによって認識される、請求項１〜１７のいずれか１項に記載の方法。
【請求項１９】
２つ以上の動作モードを有する、請求項１〜１８のいずれか１項に記載の方法。
【請求項２０】
予め定義されたジェスチャーの識別に応じて、前記システムの前記動作モードを切り替えることをさらに含む、請求項１９に記載の方法。
【請求項２１】
動作モードは、識別されるジェスチャー、前記ジェスチャー検出モジュール上で起動されるアルゴリズム、前記画像センサによって取り込まれる画像の解像度および前記画像センサによって取り込まれる画像の取り込み率、提示される前記データの詳細レベル、前記ユーザに提示される前記起動可能なアイコン、提示される前記データのソース、提示される前記データの詳細レベル、前記表示デバイス上に表示される起動可能なアイコン、アクティブオンラインサービス、のうちの任意の１つ以上によって指定される、請求項１９または２０に記載の方法。
【請求項２２】
前記識別された現実のオブジェクトを追跡し、前記表示される関連付けられた視覚データを、前記識別された現実のオブジェクトに対して固定位置に維持する、追跡アルゴリズムを動作させることをさらに含む、請求項１〜２１のいずれか１項に記載の方法。
【請求項２３】
前記表示デバイスが所定の閾値未満の動作レベルを有するときにだけ前記予め定義されたポインティングオブジェクトを検出するために、オブジェクト認識モジュールが利用される、請求項１〜２２のいずれか１項に記載の方法。
【請求項２４】
予め定義されたジェスチャーが識別されたときに、フィードバックを提供することをさらに含む、請求項１〜２３のいずれか１項に記載の方法。
【請求項２５】
前記フィードバックは、視覚フィードバック、音声フィードバック、触覚フィードバック、指向性振動、空気触覚フィードバック、または超音波フィードバックである、請求項２４に記載の方法。
【請求項２６】
前記フィードバックは、前記表示デバイス上に表示される起動可能なアイコン、前記表示デバイス上に表示される起動可能なアイコンの変化、前記表示デバイス上に表示される起動可能なアイコンの色の変化、前記表示デバイス上に表示される起動可能なアイコンのサイズの変化、前記表示デバイス上に表示される起動可能なアイコンのアニメーション、指示光、表示デバイス上を移動するインジケータ、前記表示デバイス上に現れる全ての他の画像または映像の頂部に現れる、前記表示デバイス上を移動するインジケータ、前記予め定義されたポインティングオブジェクトの周囲が輝く外観、から選択される形態の視覚指示である、請求項２４または２５に記載の方法。
【請求項２７】
前記フィードバックは、振動、指向性振動指示、空気触覚指示である、請求項２６に記載の方法。
【請求項２８】
起動可能なアイコンは、前記表示デバイスが予め定義された閾値を超える起動レベルを有するときに、前記表示デバイスから除去される、請求項１〜２７のいずれか１項に記載の方法。
【請求項２９】
前記表示デバイスが前記予め定義された閾値未満の動作レベルを有するときに、前記表示デバイス上の前記除去されたアイコンを表示することをさらに含む、請求項２８に記載の方法。
【請求項３０】
前記方法は、予め定義されたアクションが行われるときに、起動モードに入り、前記予め定義されたアクションは、前記予め定義されたポインティングオブジェクトを下側から前記視界の中へ持ち込むこと、ユーザが、前記予め定義されたポインティングオブジェクトをある場所に配置する、または前記カメラの視界の右下隅部を指し示す、もしくは前記カメラの視界の中でユーザが手を開く等のポーズをとるとき、前記手を前記視界を横断して右から左に移動させる等の予め定義されたジェスチャーを行うこと、起動可能なアイコンが表示され、前記ユーザが、前記起動可能なアイコンを指し示す等の、前記起動可能なアイコンに相関する予め定義されたジェスチャーを行う、もしくは前記起動可能なアイコンが提示される場所で手を振るジェスチャーを行うとき、または前記デバイスに触れることによって、前記起動可能なアイコンが位置すると認識される前記３Ｄ空間の中でジェスチャーを行うことによって、前記浮動的な起動可能なアイコンを一方からもう一方の場所へスライドさせること、または前記デバイスに加速度計が提供される場合に、前記デバイスをタップすること、から選択され、さらに別の例として、前記システムは、前記デバイスに近接センサまたは超音波センサが提供される場合に、前記ユーザが前記デバイスの近くに手を通過させるときに、前記起動モードに入り得、前記システムはまた、音声コマンドによっても、または前記ユーザが前記予め定義されたポインティングオブジェクトを前記視界の中の特定の場所の中に配置するときにも起動され得、さらに別の例として、前記システムは、前記ユーザの前記視界の中の前記現実と関連付けられる関連データがあるときにだけ前記起動モードに入り得、前記システムは、提示される関連データがあるときに、または対話の準備が整っているときに、前記ユーザに示し得る、請求項１〜２９のいずれか１項に記載の方法。
【請求項３１】
提示されない前記起動可能なアイコンの一部を算出し、よって、前記予め定義されたポインティングオブジェクトが、前記起動可能なアイコンの頂部上にあるように見えるように、ユーザの見通し線および前記１つ以上の画像センサの位置を反映するデータを用いた較正をさらに含む、請求項１〜３０のいずれか１項に記載の方法。
【請求項３２】
テキストタイピングを可能にするキーボードを表示することをさらに含む、請求項１〜３１のいずれか１項に記載の方法。
【請求項３３】
前記キーボードは、予め定義されたジェスチャーの検出に応じて表示される、請求項３２に記載の方法。
【請求項３４】
前記予め定義されたジェスチャーは、画像センサの視界の予め定義された領域の中での、右から左へのジェスチャー、開いた手を提示すること、２つの開いた手を提示すること、から選択される、請求項３３に記載の方法。
【請求項３５】
前記キーボードの一部は、前記予め定義されたオブジェクトが位置する所では提示されず、よって、前記予め定義されたオブジェクトが、前記キーボードの頂部上にあるように見え、ユーザの手等の前記予め定義されたオブジェクトが前記キーボードを覆うように見える錯覚を生じさせる、請求項３３に記載の方法。
【請求項３６】
アニメーションの手が、前記キーボード上に提示され、前記アニメーションの手の位置は、前記予め定義されたオブジェクトと相関する、請求項３３に記載の方法。
【請求項３７】
前記アニメーションの手の指の先端部は、キーストロークの文字が見える場所で、仮想キーストロークの上に位置する、請求項３６に記載の方法。
【請求項３８】
前記キーボードおよび前記アニメーションの手は不透明であり、よって、ユーザは前記キーボードの裏側の背景を見ることができない、請求項３６に記載の方法。
【請求項３９】
提示されない前記起動可能なオブジェクトの一部を算出するために、前記ポインティングオブジェクトの少なくとも１つの輪郭を推定することをさらに含む、請求項１〜３８のいずれか１項に記載の方法。
【請求項４０】
請求項１〜３９のいずれか１項に記載の方法を実行するように構成されるデバイスを備える、システム。
【請求項４１】
少なくとも１つのプロセッサに、請求項１〜３９のいずれか１項に記載の方法を実行させる命令が格納されたコンピュータ読み取り可能な記録媒体。