(57)【要約】  スマートフォンの小さいサイズ及び移動性により、及びスマートフォンがハンドヘルド型なので、コマンドを電子機器に伝達するために、装置がユーザの手の延長であるかのように、手、手首又は腕のジェスチャを使用することが自然且つ現実的である。幾つかのユーザジェスチャは、スマートフォンの回路内の電子機械動きセンサにより検出可能である。センサは、装置の動き又は方向の変化のような装置に関連する物理的変化を検出することによりユーザジェスチャを検知できる。これにとうとうして、音声に基づく又は画像に基づく入力モードは、該ジェスチャに基づきトリガされ得る。開示の方法及び装置は、手動選択に頼ることなく、検索のような装置機能への異なる入力モードの中から選択する方法を提供する。
2014533446.tif 000002
【特許請求の範囲】
【請求項１】
電話機動き検出器と、
複数の入力装置と、
プロセッサであって、異なる入力モードに従って前記入力装置から入力を受け付け、前記電話機動き検出器により検知された物理的変化を解釈することによりユーザジェスチャを認識し識別するようにされるジェスチャインタフェースを有する高機能検索機能を起動するよう設定されるプロセッサと、
を有し、前記ジェスチャインタフェースは、前記ジェスチャに基づき異なるユーザ入力モードの中から選択するよう構成される、モバイル電話機。
【請求項２】
前記入力装置は、カメラ又はマイクロフォンのうちの１又は複数を有する、請求項１に記載のモバイル電話機。
【請求項３】
前記電話機動き検出器は、加速度計、ジャイロスコープ、近接検出器、熱検出器、光検出器、又は無線周波数検出器のうちの１又は複数を有するセンサを有する、請求項１に記載のモバイル電話機。
【請求項４】
前記入力モードは、画像に基づく入力モード、音声に基づく入力モード、及びテキストに基づく入力モードのうちの１又は複数を有する、請求項１に記載のモバイル電話機。
【請求項５】
電子装置の異なるユーザ入力モードの中から選択する方法であって、前記方法は、
電話機の動きを検知するステップと、
ジェスチャを検出するために前記電話機の動きを分析するステップと、
前記ジェスチャに基づき、複数の入力モードの中から選択するステップと、
前記入力モードを介して受信した情報に基づき、機能を開始するステップと、
を有する方法。
【請求項６】
前記機能は検索である、請求項５に記載の方法。
【請求項７】
モバイル電話機の検索機能への異なるユーザ入力モードの中から選択する方法であって、前記方法は、
電話機の動きを検知するステップと、
回転又は反対傾斜ジェスチャに応答して、前記検索機能への音声入力を受信するステップと、
ポインティングジェスチャに応答して、前記検索機能へのカメラ画像入力を受信するステップと、
検索を実行するために検索エンジンを起動するステップと、
検索結果を表示するステップと、
を有する方法。
【請求項８】
電話機の動きは、（ａ）装置の方向の変化、又は（ｂ）装置の位置の変化のうちの１又は複数を有する、請求項７に記載の方法。
【請求項９】
前記反対傾斜ジェスチャは、前記電話機の近位端が遠位端より上に上昇することにより特徴付けられる、請求項７に記載の方法。
【請求項１０】
前記ポインティングジェスチャは、前記電話機の遠位端が近位端より上に閾角だけ上昇することにより特徴付けられる、請求項７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル装置のためのジェスチャに基づく入力モード選択に関する。
【背景技術】
【０００２】
「スマートフォン」は、無線通信機能を、様々なコンピュータ機能、例えばＧＰＳ（globalpositioning  system）を用いたマッピング及びナビゲーション機能、無線ネットワークアクセス（例えば電子メール、インターネットウェブブラウザ）、デジタル撮像、デジタルオーディオ再生、ＰＤＡ（personal  digital  assistant）機能（例えばカレンダ同期）、等と結合するモバイル装置である。スマートフォンは、通常、ハンドヘルド型であるが、代替でそれらはより大きな形状因子を有しても良い。例えば、それらは、タブレットコンピュータ、テレビジョンセットトップボックス、又は遠隔通信の可能な他の類似する電子機器の形態であっても良い。
【０００３】
スマートフォン内の動き検出器は、加速度計、ジャイロスコープ、等を有する。これらの幾つかは、ＭＥＭＳ（micro-electro-mechanical）技術を用いて、共通基板又はチップ上で、機械コンポーネントを電子コンポーネントと統合させる。別個に又は一緒に動作して、これらの小型動きセンサは、平面（２Ｄ）内で又は３次元で、電話機の動き又はスマートフォンの方向の変化を検出できる。例えば、幾つかの既存のスマートフォンは、ユーザがスマートフォンを９０度回転するのに応答して、「縦長」方向から「横長」方向に又はその反対にディスプレイに表示する情報を回転するよう設定される。さらに、光学又は赤外線（熱）センサ及び近接性センサは、スマートフォンから特定距離範囲内のオブジェクトの存在を検出でき、受動的に又は能動的に該オブジェクトからの信号の受信又はデータ入力をトリガできる（米国特許公開２０１０／０３２１２８９）。例えば、赤外線センサを用いて、スマートフォンは、バーコードをスキャンし、ＲＦＩＤ（radiofrequency  identification）タグから信号を受信するよう構成され得る（Mantyjarvi  etal.,  Mobile  HCI  Sept.１２−１５,  ２００６）。
【０００４】
既存のスマートフォン及び他の類似する電子機器の共通の機能は、ユーザに特定の単語又は句について装置を検索するためのテキストを入力させる検索機能である。テキストは、リモートグローバルネットワーク検索を開始するために、検索エンジンへの入力として入力され得る。検索機能はユーザからの入力に応答するので、「スクリーンに基づく」テキスト入力、つまりユーザにスクリーンを介した通信を要求する以外に又はそれに追加して、代替入力モードを提供することにより、該機能を拡張することが可能である。例えば、多くのスマートフォンは、音声認識能力を備え、車の運転中にハンズフリー操作を安全に可能にする。音声認識により、記述されるテキスト入力ではなく、音声入力に応答するハンズフリー検索機能を実施することが可能である。音声コマンド、「ビル管理に電話する」は、ビル管理部門の電話番号についてスマートフォンを検索し、発呼する。同様に幾つかのスマートフォンアプリケーション又は「アプリ」は、音声認識を検索機能を結合して、音楽を認識し及び識別し、そしてユーザに曲のタイトル、演奏者、歌詞、等のようなデータを返す。既存のスマートフォン及び他の類似の電子機器の別の共通機能は、静止画像をキャプチャし又はライブビデオ画像を記録するデジタルカメラ機能である。オンボードカメラでは、記述されたテキスト入力ではなく、視覚的又は光学的入力に応答する検索機能を実現することが可能である。
【０００５】
異なる種類の入力モード（例えば、テキスト入力、音声入力、視覚的入力）を有するこのような拡張検索機能をサポートする既存の装置は、通常、ボタン、タッチスクリーン入力、キーパッドを用いて、又はディスプレイ上のメニュー選択を介して、異なる入力モードの中から選択する。したがって、音声入力を用いる検索は、音声の代わりに手動で開始されなければならない。これは、真にハンズフリー機能を意味しない。例えば、ユーザが車を運転中の場合、運転手は、いわゆる「ハンズフリー」検索機能を起動するために、道路から目をそらしてディスプレイスクリーンに注目しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、モバイル装置のためのジェスチャに基づく入力モード選択を提供する。
【課題を解決するための手段】
【０００７】
この要約は、詳細な説明で後述する概念の選択を簡単な形式で紹介する。この要約は、請求の範囲の主要な特徴又は基本的特徴を特定するものではなく、請求の範囲の範囲を限定するものでもない。本開示は、特にモバイル装置、ハンドヘルド装置、又はスマートフォンでの実施に適するが、種々の電子機器に適用され、このような実施に限定されない。主題となる技術は遠隔通信によらないので、無線若しくは他の通信技術を有する又は有しない電子機器でも実施できる。したがって、用語「モバイル装置」、「ハンドヘルド装置」、「電子機器」、「スマートフォン」は、本願明細書では同義的に用いられる。同様に、本開示は特に検索機能に関するが、開示のジェスチャインタフェース技術は、このような実装に限定されず、他の装置機能又はプログラムと関連して実装することもできる。したがって、用語「機能」、「特徴」、「アプリケーション」及び「プログラム」は本願明細書では同義的に用いられる。
【０００８】
開示の方法及び装置は、スマートフォン又は同様のモバイル電子機器に、手動のスクリーンに基づく選択に頼ることなく、異なる入力モードをトリガする方法を提供する。検出器及び複数の入力装置を備えたモバイル電子機器は、異なるユ―ザ入力モードに従って入力装置を介して入力を受け付け、ジェスチャに基づき異なる入力モードの中から選択するよう設定され得る。スクリーンに基づかない入力装置は、カメラ及びマイクロフォンを有し得る。スマートフォンの小さいサイズ及び移動性により、及びスマートフォンがハンドヘルド型なので、コマンドを電子機器に伝達するために、装置がユーザの手の延長であるかのように、手、手首又は腕のジェスチャを使用することが自然且つ現実的である。幾つかのユーザジェスチャは、スマートフォンの回路内の電子機械動きセンサにより検出可能である。センサは、装置自体の動き又は方向の変化のような装置に関連する物理的変化を検出することによりユーザジェスチャを検知できる。これに応答して、入力モードは、ジェスチャに基づきトリガされ、検索のような装置機能は、受信した入力に基づき開始され得る。
【０００９】
本発明の前述の及び他の目的、特徴及び利点は、添付の図面を参照して進められる以下の詳細な説明から一層明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】開示のどの技術及びツールと関連して実施され得る例示的なモバイルコンピューティング装置を示すブロック図である。
【図２】モバイル装置のためのジェスチャに基づく入力モード選択の方法を示す全体フロー図である。
【図３】手及び／又は腕の動きジェスチャを検知し、それに応答して種々のデータ入力モードをトリガするジェスチャインタフェースを備える検索アプリケーションのための例示的なソフトウェアアーキテクチャを示すブロック図である。
【図４】ジェスチャインタフェースを備える高機能検索方法を示すフロー図である。
【図５】音声入力を傾聴することにより、回転ジェスチャに応答する検索アプリケーションを備えるスマートフォンの図である。
【図６】ジェスチャインタフェース「Tilt  to  Talk」を示すスナップショットフレーム対である。
【図７】対応するスクリーンショット（一番上）と共に、ジェスチャインタフェース「Point  to  Scan」を示すスナップショットフレームシーケンス（一番下）である。
【図８】図５〜７に記載の代表例に従う、ジェスチャインタフェースを備える高機能検索アプリケーションを動作させるモバイル電子装置により実行される方法の詳細フロー図である。
【発明を実施するための形態】
【００１１】
＜例示的なモバイルコンピューティング装置＞
図１は、本願明細書に記載の技術及びソリューションを実施可能なモバイルコンピューティング装置（１００）の詳細な例を示す。
【００１２】
モバイル装置（１００）は、概して（１０２）で示す種々の任意的ハードウェア及びソフトウェアコンポーネントを有する。通常、モバイル装置内のコンポーネント（１０２）は、簡単のため全てのコネクションが示されないが、装置の任意の他のコンポーネントと通信できる。モバイル装置は、種々のコンピューティング装置（例えば、携帯電話機、スマートフォン、ハンドヘルドコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレット装置、ノートブック、メディアプレイや、ＰＤＡ（Personal  Digital  Assistant）、カメラ、ビデオカメラ、等）のうちの任意のものであっても良く、Ｗｉ−Ｆｉ、セルラ又は衛星ネットワークのような１又は複数のモバイル通信ネットワーク（１０４）との無線双方向通信が可能である。
【００１３】
図示のモバイル装置（１００）は、信号コーディング、データ処理、入力／出力処理、電力制御、及び／又は他の機能のようなタスクを実行するコントローラ又はプロセッサ（１１０）（例えば、信号プロセッサ、マイクロプロセッサ、ＡＳＩＣ、又は他の制御及び処理ロジック回路）を有する。オペレーティングシステム（１１２）は、コンポーネント（１０２）の割り当て及び使用、並びに本願明細書に記載の１又は複数の新規な機能を実施する高機能検索アプリケーションのような１又は複数のアプリケーションプログラム（１１４）のサポートを制御する。ジェスチャインタフェースソフトウェアに加えて、アプリケーションプログラムは、共通モバイルコンピューティングアプリケーション（例えば、電話アプリケーション、電子メールアプリケーション、カレンダ、連絡先マネジャ、ウェブブラウザ、メッセージアプリケーション）又は任意の他のコンピューティングアプリケーションを有し得る。
【００１４】
図示のモバイル装置（１００）はメモリ（１２０）を有する。メモリ（１２０）は、取り外し不可能メモリ（１２２）及び／又は取り外し可能メモリメモリ（１２４）を有し得る。取り外し不可能メモリ（１２２）は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードディスク、又は他のよく知られたメモリ記憶技術を有し得る。取り外し可能メモリ（１２４）は、フラッシュメモリ又はＧＳＭ（登録商標）（Global  System  for  Mobile  Communications）通信システムでよく知られたＳＩＭ（Subscriber  Identity  Module）カード、又は「スマートカード」のような他のよく知られたメモリ記憶技術を有し得る。メモリ（１２０）は、オペレーティングシステム（１１２）及びアプリケーション（１１４）を実行するためのデータ及び／又はコードを格納するために用いられ得る。例示的なデータは、ウェブページ、テキスト、画像、音声ファイル、ビデオデータ、又は１又は複数の有線若しくは無線ネットワークを介して１又は複数のネットワークサーバ若しくは他の装置へ送信及び／又はそれらから受信される他のデータセットを有し得る。メモリ（１２０）は、ＩＭＳＩ（International  Mobile  Subscriber  Identity）のような加入者識別子、ＩＭＥＩ（International  Mobile  Equipment  Identifier）のような機器識別子を格納するために用いられ得る。このような識別子は、ユーザ及び機器を識別するためにネットワークサーバへ送信され得る。
【００１５】
モバイル装置（１００）は、（例えば、視覚的キーボード若しくはキーパッドに対する指タップ入力、指ジェスチャ入力又はキーストローク入力をキャプチャ可能な）タッチスクリーン（１３２）、（例えば、音声入力をキャプチャ可能な）マイクロフォン（１３４）、（静止画像及び／又はビデオ画像をキャプチャ可能な）カメラ（１３６）、物理キーボード（１３８）、ボタン及び／又はトラックボール（１４０）のような１又は複数の入力装置（１３０）、並びに、スピーカ（１５２）及びディスプレイ（１５４）のような１又は複数の出力装置（１５０）をサポートし得る。他の可能な出力装置（図示しない）は、圧電性又は他の触覚出力装置を有し得る。幾つかの装置は、１より多い入力／出力機能を提供できる。例えば、タッチスクリーン（１３２）及びディスプレイ（１５４）は、単一の入力／出力装置内で結合され得る。    
モバイルコンピューティング装置（１００）は、１又は複数の自然なユーザインタフェース（natural  user  interface：ＮＵＩ）を提供できる。例えば、オペレーティングシステム（１１２）又はアプリケーション（１１４）は、ユーザに音声コマンドを介して装置（１００）を操作させる音声ユ―ザインタフェースの一部として会話認識ソフトウェアを有し得る。例えば、ユーザの音声コマンドは、検索ツールに入力を提供するために用いられ得る。
【００１６】
無線モデム（１６０）は、従来知られているように、１又は複数のアンテナ（図示しない）に結合され、プロセッサ（１１０）と外部装置との間の双方向通信をサポートし得る。モデム（１６０）は、一般的に示され、例えばモバイル通信ネットワークとの長期間通信のためのセルラモデム、外部Ｂｌｕｅｔｏｏｔｈ（登録商標）装備装置又はローカル無線データネットワーク若しくはルータとの短期間通信のためのＢｌｕｅｔｏｏｔｈ（登録商標）互換モデム（１６４）又はＷｉ−Ｆｉ互換モデム（１６２）を有し得る。無線モデム（１６０）は、通常、セルラネットワーク間又はモバイル装置とＰＳＴＮ（public  switched  telephone  network）との間の単一のセルラネットワーク内のデータ及び音声通信のためのＧＳＭ（登録商標）ネットワークのような１又は複数のセルラネットワークとの通信のために構成される。
【００１７】
モバイル装置は、少なくとも１つの入力／出力ポート（１８０）、電源（１８２）、ＧＰＳ（Global  Positioning  System）受信機のような衛星ナビゲーションシステム受信機（１８４）、例えば装置（１００）の方向又は動きを検出し及びジェスチャコマンドを入力として受信する加速度計、ジャイロスコープ又は赤外線近接センサのようなセンサ（１８６）、（アナログ又はデジタル信号を無線で送信する）通信機（１８８）、及び／又はＵＳＢポート、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ）ポート、及び／又はＲＳ−２３２ポートであっても良い物理コネクタ（１９０）を更に有し得る。図示のコンポーネント（１０２）は全てが必要ではなく網羅的ではなく、図示のコンポーネントの任意のものを削除でき、他のコンポーネントが追加できる。
【００１８】
センサ１８６は、１又は複数のＭＥＭＳ装置として提供され得る。幾つかの例では、ジャイロスコープは電話機の動きを検知し、同時に加速度計は方向又は方向の変化を検知する。「電話機の動き」は、概して、ある空間的位置から別の位置への電話機の平行移動により特徴付けられる物理的変化を表し、ジャイロスコープセンサにより検出可能な推進力の変化を含む。加速度計はボールアンドリング構成を用いて実装できる。ここで、ボールは、円形リング内で回転するよう構成され、角度変位及び／又はモバイル装置の角運動量の変化を検知でき、それにより、３Ｄにおける方向を示す。
【００１９】
モバイル装置は、衛星ナビゲーションシステム受信機（１８４）（例えばＧＰＳ受信機）を通じて受信される情報に基づき、モバイル装置の位置を示す位置データを決定できる。代替で、モバイル装置は、別の方法でモバイル装置の位置を示す位置データを決定出来る。例えば、モバイル装置の位置は、セルラネットワークの基地局間の三角測量により決定できる。或いは、モバイル装置の位置は、モバイル装置の近傍にあるＷｉ−Ｆｉルータの既知の位置に基づき決定できる。位置データは、実装及び／又はユーザ設定に依存して、毎秒又は特定の他の基準で更新され得る。位置データのソースに無関係に、モバイル装置は、マップナビゲーションで用いるために、位置データをマップナビゲーションツールに提供できる。例えば、マップナビゲーションツールは、オペレーティングシステム（１１２）（オペレーティングシステムはモバイル装置の別のコンポーネントから更新位置データを得ることもできる）により公開されるインタフェースを通じて、現在の位置データを周期的に要求し又はポーリングする。或いは、オペレーティングシステム（１１２）は、このような更新のために登録されている（本願明細書に記載の高機能検索アプリケーションのような）任意のアプリケーションへのコールバックメカニズムを通じて更新位置データをプッシュする。
【００２０】
高機能検索アプリケーション及び／又は他のソフトウェア若しくはハードウェアコンポーネントにより、モバイル装置（１００）は、本願明細書に記載の技術を実施する。例えば、プロセッサ（１１０）は、シーン及び／又はリストビューを更新し、又は異なるジェスチャによりトリガされるユーザ入力に応じて検索を実行できる。クライアントコンピューティング装置のように、モバイル装置（１００）は、要求をサーバコンピューティング装置へ送信し、サーバコンピューティング装置から画像、距離、方向、検索結果又は他のデータを返され受信する。
【００２１】
図１は、スマートフォン（１００）の形式のモバイル装置を示すが、より一般的には、本願明細書に記載の技術及びソリューションは、タブレットコンピュータ、モバイル若しくはデスクトップコンピュータに接続された仮想現実装置、テレビジョンに接続されたゲーム装置、等のような他のスクリーン機能及び装置形状因子を有する接続された装置で実施できる。コンピューティングサービス（例えばリモート検索）は、ローカルで、又は中央サービスプロバイダ若しくはインターネットのようなネットワークを介して接続されるサービスプロバイダを通じて提供され得る。したがって、本願明細書に記載のジェスチャインタフェース技術及びソリューションは、クライアントコンピューティング装置のような接続された装置で実施できる。同様に、任意の種々の中央コンピューティング装置又はサービスプロバイダは、サーバコンピューティング装置の役割を実行し、検索結果若しくは他のデータを接続された装置に配信できる。
【００２２】
図２は、ジェスチャに応答してモバイル装置への入力モードを選択する全体的方法（２００）を示す。方法（２００）は、電話機の動きが検知され（２０２）、電話機の方向又は空間的位置の変化を含むジェスチャに解釈され（２０４）ると開始する。特定のジェスチャが識別されると、入力モードが選択され（２０６）、モバイル装置の１又は複数の機能に入力データを供給するために用いられる（２０８）。機能は、例えば、検索機能、電話通話機能、又はコマンド及び／又は異なる入力モードを用いてデータを受信可能なモバイル装置の他の機能を含み得る。入力モードは、例えば、音声入力、画像入力、テキスト入力、又は他のセンサ若しくは環境入力モードを含み得る。
【００２３】
＜ジェスチャインタフェースを用いて異なる入力モードの中から選択する例示的なソフトウェアアーキテクチャ＞
図３は、ユーザジェスチャを検出し検出したユーザジェスチャに基づきモバイル装置（１００）を複数の傾聴モードのうちの１つに切り替えるよう構成される高機能検索アプリケーション（３１０）のための例示的なソフトウェアアーキテクチャ（３００）を示す。クライアントコンピューティング装置（例えば、スマートフォン又は他のモバイルコンピューティング装置）は、動き検知ハードウェアと接続するアーキテクチャ（３００）に従って構成されるソフトウェアを実行し、検知した動きを解釈し、異なる種類の検索入力モードを検知した動きに関連付け、入力モードに依存して幾つかの異なる検索機能のうちの１つを実行できる。
【００２４】
アーキテクチャ（３００）は、主なコンポーネントとして、装置オペレーティングシステム（ＯＳ）（３５０）、ジェスチャインタフェースを備える例示的な高機能検索アプリケーション（３１０）を有する。図３では、装置ＯＳ（３５０）は、コンポーネントの中でも特に、レンダリング（例えば、視覚的出力をディスプレイにレンダリングする、スピーカのための音声出力を生成する）のためのコンポーネント、ネットワーク接続のためのコンポーネント、ビデオ認識のためのコンポーネント、会話認識のためのコンポーネント、及びジェスチャ監視サブシステム（３７３）を有する。装置ＯＳ（３５０）は、ユーザ入力機能、出力機能、記憶アクセス機能、ネットワーク通信機能、及び装置の他の機能を管理するよう構成される。装置ＯＳ（３５０）は、高機能検索アプリケーション（３１０）にこれらの機能へのアクセスを提供する。
【００２５】
高機能検索アプリケーション（３１０）は、検索エンジン（３１２）、検索設定を格納するメモリ（）３１４主、検索結果をレンダリングするレンダリングエンジン（３１６）、検索結果を格納する検索データ記憶（３１８）、入力モードセレクタ（３２０）のようななコンポーネントを有し得る。ＯＳ（３５０）は、テキスト又は画像に基づき得る入力検索キーの形式で、検索アプリケーション（３１０）へメッセージを送信するよう構成される。ＯＳは、検索エンジン（３１２）から検索結果を受信するよう更に構成される。検索エンジン（３１２）は、モバイル装置（１００）内に格納された情報を検索するリモート（例えばインターネットに基づく）又はローカル検索エンジンであり得る。検索エンジン（３１２）は、検索データ記憶（３１８）に検索結果を格納すると共に、例えば画像、音声又はマップデータの形式で検索結果をレンダリングするレンダリングエンジン（３１６）を用いて検索結果を出力できる。
【００２６】
ユーザは、従来の（例えばスクリーンに基づく）ユーザインタフェース（ＵＩ）を介して、高機能検索アプリケーション（３１０）へのユーザ入力を生成できる。従来のユーザ入力は、指の動き、タッチスクリーン入力のような触覚入力、ボタン押下若しくはキー押下、又は音響（音声）入力の形式であり得る。装置ＯＳ（３５０）は、タッチスクリーンへの触覚入力のための指タップ、指スワイプ等のような動きを認識し、ビデオ入力、ボタン入力若しくはキー押下からのコマンドを認識し、高機能検索アプリケーション（３１０）若しくは他のソフトウェアにより使用できるメッセージを生成する機能を有する。ＵＩイベントメッセージは、装置のタッチスクリーン上のパン、フリック、ドラッグ、タップ若しくは他の指の動き、キーストローク入力、又は（例えば音声入力、方向ボタン、トラックボール入力、等からの）別のＵＩイベントを示し得る。
【００２７】
代替で、ユーザは、「ジェスチャインタフェース」（３７０）を介して高機能検索アプリケーション（３１０）へのユーザ入力を生成できる。この場合、高機能検索アプリケーション（３１０）は、１又は複数の電話機の動き検出器（３７２）を用いて電話機の動きを検知し、ジェスチャ監視サブシステム（３７３）を介してスクリーンに基づかない、モバイル装置（１００）の２Ｄ若しくは３Ｄ方向を変化させるユーザの手首及び腕のジェスチャを認識する追加機能を有する。ジェスチャは、例えば、手又は腕の動き、モバイル装置の回転、装置を傾ける、装置を指す、又は装置の方向若しくは空間的位置を変化させる他の形式であっても良い。装置ＯＳ（３５０）は、このようなジェスチャを検出するためにセンサ入力を受け付け、高機能検索アプリケーション（３１０）又は他のソフトウェアにより使用できるメッセージを生成する機能を有する。このようなジェスチャが検知されると、傾聴モードがトリガされ、モバイル装置（１００）が更なる入力を傾聴できるようにする。高機能検索アプリケーション（３１０）の入力モードセレクタ（３２０）は、以下に記載する種々の代表例にしたがって、装置ＯＳ（３５０）からのユーザ入力メッセージを傾聴し、検知したジェスチャに基づき入力モードの中から選択するようプログラミングできる。ユーザ入力メッセージは、カメラ入力（３７４）、音声入力（３７６）、又は触覚入力（３７８）として受信され得る。
【００２８】
図４は、ジェスチャインタフェースを備えるスマートフォンで高機能検索機能を実施する例示的な方法（４００）を示す。方法（４００）は、１又は複数のセンサが電話機の動きを検出し（４０２）、又は特定の電話機の方向を検出すると（４０４）、開始する。例えば、電話機の動きがジャイロスコープセンサにより検出される場合、動きは分析されて、該動きが、従来のスクリーンに基づくユーザインタフェースと関連する動きとは対照的に、方向の変化のようなスマートフォン自体のものか又は電話機の空間的位置の平行移動かが確認される。電話機の動きが検出されると（４０２）、ジェスチャ監視サブシステム（３７３）は、第２の動きを解釈して、ユーザの意図する入力モードを示すジェスチャを認識する。例えば、電話機の回転が検知される場合（４０３）、検索は、音声入力を用いて開始され得る（４１０）。
【００２９】
代替で、例えば加速度計により電話機の特定の方向が検知される場合（４０４）又は方向の変化が検知される場合、ジェスチャ監視サブシステム（３７３）は、検知した方向を解釈して、ユーザの意図する入力モードを認識する。例えば、チルトジェスチャが検知される場合には検索は音声入力を用いて開始され、ポインティングジェスチャが検知される場合には検索はカメラ入力を用いて開始され得る。電話機が既に傾いている又はポインティング方向にあるときに電源をオンにされる場合、電話機が静止しているままであっても、ジェスチャ監視サブシステム（３７３）は、静止方向をジェスチャとして解釈し、関連する入力モードを用いて検索を開始し得る。
【００３０】
以下に詳細に記載する例では、スマートフォンは、電話機の近位端（底部）にあるマイクロフォン及び電話機の遠位端（上部）にあるカメラレンズを備えられ得る。このような構成では、電話機の底部端の上昇を検出することは、検索エンジンへの音声入力（４１０）（「Tilt  to  talk」）を用いて検索を開始するというユーザの意図を示し、電話機の上部端の上昇を検出することは（４１４）は、検索エンジンへの入力（４１６）（「Point  to  scan」）としてカメラ画像を用いて検索を開始するというユーザの意図を示す。検索エンジンが入力を受信すると、検索エンジンは、検索を実行するために起動され（４１２）、検索結果は、受信されてスマートフォンのスクリーンに表示される（４１８）。異なる種類の電話機の動きが検出される場合（４０２）、ジェスチャインタフェースは、検索以外の別の機能を実行するよう設定され得る。
【００３１】
図５では、例示的なモバイル装置（５００）は、上面（５０２）及び下面（５０４）を有するスマートフォンとして示される。例示的な装置（５００）は、先ず、上面（５０２）に渡って延在するディスプレイ（５０６）を通じて、ユーザ入力コマンドを受け付ける。ディスプレイ（５０６）は、タッチ感応性であり又は入力装置及び出力装置として機能するよう構成され得る。例示的なモバイル装置（５００）は、内部動きセンサ、及び一端の近く且つ下側表面（５０４）の近くに位置づけられ得るマイクロフォン（５８８）を有する。モバイル装置（５００）は、下面（５０４）に統合され得るカメラレンズを有するカメラを備えられても良い。モバイル装置（５００）の他のコンポーネント及び動作は、概して、モバイル装置（５００）の物理的変化を検出可能な内部センサを含む上述の一般的モバイル装置（１００）の説明を参照する。
【００３２】
上面（５０２）の指定領域（５０７）は、モバイル装置（５００）の頻繁に使用する機能に自動的に「素早くアクセスする」ために構成される専用機能装置ボタン（５０８、５１０、５１２）のために予約され得る。代替で、装置（５００）は、より多くのボタン、より少ないボタンを有し、又はいかなるボタンも有しなくても良い。ボタン（５０８、５１０、５１２）は、残りのタッチ感応性ディスプレイ（５０６）と物理的に類似するタッチスクリーンボタンとして実装できる。或いは、ボタン（５０８、５１０、５１２）は、互いに対して及びディスプレイ（５０６）に対して移動し得る機械的プッシュボタンとして構成できる。
【００３３】
各ボタンは、起動されると特定の内蔵機能又はハードワイヤドアプリケーションを開始するよう設定される。ボタン（５０８、５１０、５１２）が関連付けられるアプリケーションは、それぞれアイコン（５０９、５１１、５１３）によりシンボル化できる。例えば、図４に示すように、左側のボタン（５０８）は、左矢印アイコン（５０９）によりシンボル化される「戻る」又は「前の画面」機能と関連付けられる。「戻る」ボタンの起動は、装置のユーザインタフェースのナビゲーションを開始する。中央のボタン（５１０）は、魔法の絨毯／Ｗｉｎｄｏｗｓ（登録商標）アイコン（５１１）によりシンボル化される機能に関連付けられる。「ホーム」ボタンの起動は、ホームスクリーンを表示する。右側のボタン（５１２）は、虫眼鏡アイコン（５１３）によりシンボル化される検索機能に関連付けられる。検索ボタン（５１２）の起動は、検索ボタン（５１２）が起動された場所に依存して、例えばウェブブラウザ内で検索ページで、コンタクトアプリケーション内で、又は特定の他の検索メニューで、モバイル装置（５００）に検索を開始させる。
【００３４】
本願明細書に記載のジェスチャインタフェースは、通常、検索ボタン（５１２）により開始される又はタッチ感応性ディスプレイ（５０６）との接触を要求する種々の検索アプリケーションの高機能能力に関する。検索ボタン（５１２）を用いた検索アプリケーションの機能の代替として、起動は、ディスプレイ（５０６）へのアクセスを必要とせずに、１又は複数のユーザジェスチャにより自動的に開始され得る。例えば、図５は高機能検索機能のシナリオを示し、モバイル装置（５００）は、それ自体の方向の変化をジェスチャインタフェースを介して検出する。センサにより検出可能なジェスチャは、装置の回転、装置の上下を変える、装置を傾ける、又は装置で指し示すのような、それぞれまるで装置（５００）がユーザの手又は前腕の延長であるかのように装置を操作することによりユーザが装置（５００）に命令することを可能にする２次元又は３次元の方向の変化するジェスチャを有する。図５は、方向の変化が検知され、それによりジェスチャインタフェースを起動するとき、ユーザに見えるものを更に示す。本例によると、ユーザがモバイル装置（５００）を右円形矢印（５９２）により示すように時計方向に回転するとき、傾聴モード（５９４）がトリガされ得る。これに応答して、モバイル装置（５００）が現在音声認識モードでありユーザからコマンドが発声されるのを待っていることの視覚的指標として機能するグラフ（５９６）と共に、単語「Listening...」がディスプレイ（５０６）に現れる。グラフ（５９６）に表示される信号は、マイクロフォン（５８８）により検出される周囲音に応答して変動する。代替で、反時計回りの回転は、音声入力モード又は異なる入力モードをトリガできる。
【００３５】
図６では、例示的なモバイル装置（６００）は、上面（６０２）及び下面（６０４）を有するスマートフォンとして示される。例示的な装置（６００）は、先ず、上面（６０２）に渡って延在するディスプレイ（６０６）を通じて、ユーザ入力コマンドを受け付ける。ディスプレイ（６０２）は、タッチ感応性であり又は入力装置及び出力装置として機能するよう構成され得る。例示的なモバイル装置（６００）は、内部センサ、及び電話機の底部又は近位端の近く且つ下面（６０４）の近くに位置づけられるマイクロフォン（６８８）を有する。モバイル装置（６００）は、電話機の遠位端（上部）で下面（６０４）に統合され得るカメラレンズを有する内部カメラも備えられても良い。モバイル装置（６００）の他のコンポーネント及び動作は、概して、モバイル装置（６００）の方向の変化を検出可能な内部センサを含む上述の一般的モバイル装置（１００）の説明を参照する。
【００３６】
モバイル装置（６００）は、図６では、高機能検索アプリケーションの「Tilt  to  Talk」と称される別の代表例を説明するために、一対の連続するスナップショットフレーム（６９２、６９４）に現れる。モバイル装置（６００）は、ユーザの手（６９６）の中に示され、最初に図６の左側のスナップショットフレーム（６９２）では実質的に垂直位置に、後に図６の右側のスナップショットフレーム（６９４）では傾いた位置で保持されている。ユーザの手（６９６）はユーザの視点から見て前方且つ下方に傾くので、モバイル装置（６００）の方向は、実質的垂直から実質的水平に変化し、モバイル装置（６００）の近位端に位置するマイクロフォン（６８８）が見える。電話機の近位端（底部）が電話機の遠位端（上部）より上に上昇し、それにより電話機が「逆傾斜（inverse  tilt）」方向にされたことを検知すると、ジェスチャインタフェースは、入力モードが音声入力である検索アプリケーションの開始をトリガする。
【００３７】
図７では、例示的なモバイル装置（７００）は、上面（７０２）及び下面（７０４）を有するスマートフォンとして示される。例示的な装置（６００）は、先ず、上面（７０６）に渡って延在するディスプレイ（７０２）を通じて、ユーザ入力コマンドを受け付ける。ディスプレイ（７０６）は、タッチ感応性であり又は入力装置及び出力装置として機能するよう構成され得る。例示的なモバイル装置（７００）は、内部センサ、及び電話機の底部又は近位端の近く且つ下面（７０４）の近くに位置づけられるマイクロフォン（７８８）を有する。モバイル装置（７００）は、電話機の遠位端（上部）で下面（７０４）に統合され得るカメラレンズを有する内部カメラも備えられても良い。モバイル装置（７００）の他のコンポーネント及び動作は、概して、モバイル装置（７００）の方向の変化を検出可能な内部センサを含む上述の一般的モバイル装置（１００）の説明を参照する。
【００３８】
モバイル装置（７００）は、図７では、高機能検索アプリケーションの「Point  to  Scan」と称される別の代表例を説明するために、一連の３つの連続するスナップショットフレーム（７９２、７９３、７９４）に現れる。モバイル装置（７００）は、ユーザの手（７９６）の中に示され、最初に図７の左側のスナップショットフレーム（７９２）では実質的に水平位置に、後に右側のスナップショットフレーム（７９４）では実質的に垂直位置で保持されている。したがって、ユーザの手（７９６）はユーザの視点から見て後方且つ上方に傾くので、モバイル装置（７００）の方向は、実質的水平から実質的垂直に変化し、モバイル装置（７００）の遠位端に位置するカメラレンズ（７９０）が見える。カメラレンズ（７９０）は、シーンから反射された円錐光（７９７）を受信するのに適する。円錐（７９７）は、概して、下面（７０４）に垂直なレンズ軸（７９８）の周りに対称である。したがって、モバイル装置（７００）を指すことにより、ユーザは、カメラレンズ（７９０）を向け、特定の対象シーンをスキャンできる。電話機の遠位端（上部）が電話機の近位端（底部）より所定の閾角だけ上に上昇したような（これは、カメラレンズ（７９０）を対象シーンに向ける動きに一致する）、モバイル装置（７００）の方向の変化を検知すると、ジェスチャインタフェースは、このような動きをポインティングジェスチャとして解釈する。所定の閾角は、任意の所望の値であり得る。通常、値は、４５乃至９０度の間の範囲のどこかである。次に、ジェスチャインタフェースは、カメラに基づく検索アプリケーションの開始をトリガすることにより、ポインティングジェスチャに応答する。ここで、入力モードは、モバイル装置（７００）が現在狙っている方向にあるシーンのカメラ画像又は「スキャン」である。代替で、ジェスチャインタフェースは、カメラアプリケーション又は別のカメラ関連機能の開始をトリガすることにより、ポインティングジェスチャに応答できる。
【００３９】
図７は、方向の変化が検知され、それによりジェスチャインタフェースを起動するとき、ユーザに見えるものを更に示す。図７の一番上で、一連の３つの連続的なスクリーンショット（７９９ａ、７９９ｂ、７９９ｃ）の各々は、表示のためにカメラレンズ（７９０）によりキャプチャされた異なるシーンを示す。スクリーンショット（７９９ａ、７９９ｂ、７９９ｃ）は、それぞれ各スクリーンショットの下に、フレーム（７９２、７９３、７９４）に示す一連の装置方向に対応する。モバイル装置（７００）が水平位置にあるとき、カメラレンズ（７９０）は下方を向き、センサは未だジェスチャを検出していない。したがって、スクリーンショット（７９９ａ）は、一番最近表示されたシーン（カメラビュー）を維持している。（図７の例では、前の画像は、海面で泳いでいる鮫の裏面の画像である。）しかしながら、センサがユーザの手（７９６）の後方且つ上方の動きを検出すると、カメラモードがトリガされる。それに応答して、検索機能が起動され、該機能のためにカメラレンズ（７９０）は入力データを提供する。次に、単語「トラフィック」、「映画」、「レストラン」がディスプレイ（７０６）に現れ、バックグラウンドシーンは、スクリーンショット（７９９ａ）に示す前のシーンからスクリーンショット（７９９ｂ）に示す現在のシーンに更新される。スクリーンショット（７９９ｃ）に示すように現在のシーンに焦点が合うと、シーン内のランドマークを識別し該ランドマークに基づき現在位置を推測するために識別機能が呼び出される。例えば、ＧＰＳマッピングデータを用いて、識別機能は、現在位置がマンハッタンであると推定でき、ＧＰＳと建物の画像認識との組み合わせを用いて、位置がタイムズスクエアまで絞り込まれる。次に位置の名称がディスプレイ（７０６）に表示され得る。
【００４０】
図５〜７の詳細な例を用いて上述したようなジェスチャインタフェース（１１４）を備えた高機能検索アプリケーションは、図８に示す検索方法（８００）を実行できる。モバイル装置内のセンサは、電話機の動きを検知する（８０２）。つまり、センサは、装置内で、装置の動きを含む物理的変化、装置の方向の変化、又はその両方を検出する。次に、ジェスチャインタフェースソフトウェアは、動きを解釈して（８０３）、回転ジェスチャ（８０４）、反対傾斜ジェスチャ（８０６）、又はポインティングジェスチャ（８０８）を認識し識別し、或いはいずれも認識しない。いずれのジェスチャ（８０４、８０６、又は８０８）も識別されない場合、センサは更なる入力を待ち続ける（８０９）。
【００４１】
回転ジェスチャ（８０４）又は反対傾斜ジェスチャ（８０６）が識別された場合、方法は、マイクロフォン（８１４）を介して発声コマンドを受信するために音声入力モード（８１５）を用いる検索機能（８１０）をトリガする。モバイル装置は、傾聴モード（８１６）にされ、「Listening..」のようなメッセージが表示され（８１８）、同時に検索機能への音声コマンド入力（８１６）を待つ。音声入力が受信された場合、検索機能は、発声された単語を検索キーとして用いる。代替で、音声入力モード（８１５）をトリガする回転（８０４）及び傾斜（８０６）ジェスチャの検出は、検索機能の代わりに又はそれに加えて、別の装置機能（例えば、異なるプログラム又は関数）を開始できる。最後に、方法（８００）の制御は、動き検出（８２０）に戻る。
【００４２】
ポインティングジェスチャが識別される場合（８０８）、方法（８００）は、カメラ（８２２）を介して画像データを受信するために画像に基づく入力モード（８２３）を用いて検索機能をトリガする（８１２）。次に、シーンは、リアルタイムにスクリーンに表示するために（８２８）、カメラレンズにより追跡され得る。一方で、シーンに関連する位置情報を検索するために、ＧＰＳロケータが起動され得る（８２４）。さらに、モバイル装置の即時位置（８３０）を更に識別し特徴付けるために、画像認識ソフトウェアによりシーンの要素が分析され得る。ローカルなシーンが識別されると、情報は、位置記述子（８３２）をシーンのスクリーンショットにオーバレイすることにより、ユーザに伝達できる。さらに、ローカルなシーンの特徴又は該シーン内の追加要素は、例えば近隣の企業、観光名所、等のように列挙できる。代替で、カメラに基づく入力モード（８２３）をトリガするポインティングジェスチャ（８０８）の検出は、検索機能の代わりに又はそれに加えて、別の装置機能（例えば、異なるプログラム又は関数）を開始できる。最後に、方法（８００）の制御は、動き検出（８３４）に戻る。
【００４３】
幾つかの開示の方法の動作は提示の便宜上特定の連続順序で記載されたが、この記載方法は、特定の順序が以下の特定の文言により要求されない限り、再配置も包含することが理解されるべきである。例えば、連続的に記載した動作は、幾つかの場合には、同時に再配置され又は実行され得る。さらに、簡単のため、添付の図面は、開示の方法が他の方法と関連して用いられ得る種々の方法を示さない。
【００４４】
任意の開示の方法は、１又は複数のコンピュータ可読記憶媒体（例えば、１又は複数の光媒体ディスク、（ＤＲＡＭ又はＳＲＡＭのような）揮発性メモリコンポーネント、又は（ハードドライブ）のような不揮発性メモリコンポーネントのような非一時的コンピュータ可読媒体）に格納されるコンピュータ実行可能命令として実装でき、コンピュータ（例えば、コンピューティングハードウェアを有するスマートフォン又は他のモバイル装置を含む任意の市販のコンピュータ）で実行できる。開示の技術及び開示の実施形態の実施中に生成され用いられるデータと共に、任意のコンピュータ実行可能命令は、１又は複数のコンピュータ可読媒体（例えば、非一時的コンピュータ可読媒体）に格納できる。コンピュータ実行可能命令は、例えば、専用ソフトウェアアプリケーション、又はウェブブラウザ若しくは他のソフトウェアアプリケーションを介してアクセス若しくはダウンロードされる（リモートコンピューティングアプリケーションのような）ソフトウェアアプリケーションの一部であり得る。また、ソフトウェアは例えば単一のローカルコンピュータ（例えば、任意の適切な市販コンピュータ）で、又はネットワーク環境（例えば、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、（クラウドコンピューティングネットワークのような）クライアント−サーバネットワーク、又は他のこのようなネットワークを介して）で実行できる。
【００４５】
明確化のため、ソフトウェアに基づく実装の特定の選択された態様のみが記載された。当業者によく知られている他の詳細は、省略される。例えば、開示の技術が人の特定のコンピュータ言語又はプログラムに限定されないことが理解される。例えば、開示の技術は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ａｄｏｂｅ  Ｆｌａｓｈ、又は他の適切なプログラミング言語で記述されるソフトウェアにより実施できる。同様に、開示の技術は、特定のコンピュータ又は特定の種類のハードウェアに限定されない。適切なコンピュータ及びハードウェアの特定の詳細は、よく知られており、本開示で詳細に説明する必要はない。
【００４６】
さらに、ソフトウェアに基づく実施形態（例えば、コンピュータに開示の方法を実行させるコンピュータ実行可能命令を含む）は、適切な通信手段を通じてアップロード、ダウンロード、又はリモートでアクセス出来る。このような適切な通信手段は、例えば、インターネット、ＷＷＷ（World  Wide  Web）、イントラネット、ソフトウェアアプリケーション、ケーブル（光ファイバを含む）、磁気通信、電磁気通信（ＲＦマイクロ波、赤外線通信を含む）、電子通信、又は他の通信手段を含む。
【００４７】
開示の方法、装置、及びシステムは、限定と見なされるべきではない。むしろ、本開示は、単独で及び種々の結合及び小結合で種々の開示した実施形態のあらゆる新規な自明でない機能及び態様を包含する。開示の方法、装置及びシステムは、特定の態様若しくは特徴又はそれらの組み合わせに限定されず、開示の実施形態は１又は複数の特定に利点が問題を解決することを必要としない。
【００４８】
開示の発明の原理を適用できる多くの可能な実施形態に照らし、図示の実施形態は本発明の単なる好適な例であり、本発明を限定するものと考えられるべきではないことが理解される。むしろ、本発明の範囲は添付の請求の範囲によって定められる。したがって、出願人は、添付の請求の範囲の範囲及び精神の範囲内に包含される全てを出願人の発明として請求する。
【図１】
2014533446.tif 000003
【図２】
2014533446.tif 000004
【図３】
2014533446.tif 000005
【図４】
2014533446.tif 000006
【図５】
2014533446.tif 000007
【図６】
2014533446.tif 000008
【図７】
2014533446.tif 000009
【図８】
2014533446.tif 000010
【国際調査報告】
2014533446.tif 000011
2014533446.tif 000012