(57)【要約】電子装置のディスプレイのためのユーザインタフェースが説明される。ユーザインタフェースは、インタフェースを表示するバックグラウンドレイヤと、当該バックグラウンドレイヤ上に重ね合わせされた少なくとも１つの第１のアニメーション化されたコントロール要素とを有する。コントロール要素は、それに係る複数の機能を有する。各機能は、コントロール要素に係るユーザインタフェースの領域における１つの機能に係る２次元ジェスチャを行うことにより実行可能である。このようなインタフェースを有する装置とこのようなインタフェースを提供するコンピュータコードもまた説明される。
2006527439.tif 000002
【特許請求の範囲】
【請求項１】
電子装置のディスプレイのためのユーザインタフェースであって、
インタフェースを表示するバックグラウンドレイヤと、
前記バックグラウンドレイヤ上に配置された少なくとも１つの第１のアニメーション化されたコントロール要素と、
から構成され、
前記コントロール要素は、該要素に係る複数の機能を有し、
各機能は、該要素に係る前記ユーザインタフェースの領域において前記複数の機能の１つに係る２次元ジェスチャを行うことにより実行可能である、
ことを特徴とするユーザインタフェース。
【請求項２】
請求項１記載のユーザインタフェースであって、
前記コントロール要素は、前記ディスプレイの領域上を移動することを特徴とするユーザインタフェース。
【請求項３】
請求項１又は２記載のユーザインタフェースであって、
前記コントロール要素は、アイコンであることを特徴とするユーザインタフェース。
【請求項４】
請求項１又は２記載のユーザインタフェースであって、
前記コントロール要素は、英数字列であることを特徴とするユーザインタフェース。
【請求項５】
請求項４記載のユーザインタフェースであって、
前記英数字列は、単語であることを特徴とするユーザインタフェース。
【請求項６】
請求項５記載のユーザインタフェースであって、
前記単語は多音節であり、各音節はアニメーション化されることを特徴とするユーザインタフェース。
【請求項７】
請求項１又は２記載のユーザインタフェースであって、
前記コントロール要素は、ボタンであることを特徴とするユーザインタフェース。
【請求項８】
請求項７記載のユーザインタフェースであって、
前記ボタンは、該ボタンに係る機能のメニューを示し、
前記２次元ジェスチャの実行は、前記メニューからの機能を実行する、
ことを特徴とするユーザインタフェース。
【請求項９】
請求項１乃至８何れか一項記載のユーザインタフェースであって、
ヘルプ機能が前記コントロール要素に係り、
ヘルプ２次元ジェスチャの実行は、前記コントロール要素に係る機能に関するヘルプ情報を当該ユーザインタフェースに表示させる、
ことを特徴とするユーザインタフェース。
【請求項１０】
請求項９記載のユーザインタフェースであって、
前記ヘルプ２次元ジェスチャは、実質的にクエスチョンマークの形状を有することを特徴とするユーザインタフェース。
【請求項１１】
請求項１乃至１０何れか一項記載のユーザインタフェースであって、
前記コントロール要素は、視覚的に不透過であることを特徴とするユーザインタフェース。
【請求項１２】
請求項１乃至１０何れか一項記載のユーザインタフェースであって、
前記コントロール要素は、視覚的に透過であることを特徴とするユーザインタフェース。
【請求項１３】
請求項１２記載のユーザインタフェースであって、
前記コントロール要素は、実質的に３０％未満の透過性を有することを特徴とするユーザインタフェース。
【請求項１４】
請求項１乃至１３何れか一項記載のユーザインタフェースであって、さらに、
複数のアニメーション化コントロール要素を有することを特徴とするユーザインタフェース。
【請求項１５】
請求項１４記載のユーザインタフェースであって、
前記第１のコントロール要素は、第１タイプであり、
前記複数のコントロール要素の第２のコントロール要素は、前記第１タイプとは異なる第２タイプである、
ことを特徴とするユーザインタフェース。
【請求項１６】
請求項１４又は１５記載のユーザインタフェースであって、
前記複数のコントロール要素は、その間にキーボードを備えることを特徴とするユーザインタフェース。
【請求項１７】
請求項１６記載のユーザインタフェースであって、
前記キーボードは、標準的レイアウトを有することを特徴とするユーザインタフェース。
【請求項１８】
請求項１６又は１７記載のユーザインタフェースであって、
前記キーボードは、ある言語のアルファベットによりすべての文字を提供することを特徴とするユーザインタフェース。
【請求項１９】
請求項１６乃至１８何れか一項記載のユーザインタフェースであって、
前記コントロール要素の少なくとも１つは複数の文字に係り、
前記複数の文字の各々は、該文字を前記バックグラウンドレイヤに表示させるため、該文字に係る２次元ジェスチャを有する、
ことを特徴とするユーザインタフェース。
【請求項２０】
請求項１乃至１９何れか一項記載のユーザインタフェースであって、
前記コントロール要素は、該コントロール要素に係る文字に対しフォーマット機能を実行するため、該要素に係る２次元ジェスチャを有することを特徴とするユーザインタフェース。
【請求項２１】
請求項１乃至１５何れか一項記載のユーザインタフェースであって、
少なくとも１つのコントロール要素は、複数のメディアプレーヤー機能に係り、
各メディアプレーヤー機能は、該メディアプレーヤー機能を実行させるため、該機能に係る２次元ジェスチャを有する、
ことを特徴とするユーザインタフェース。
【請求項２２】
請求項１乃至２１何れか一項記載のユーザインタフェースであって、
前記コントロール要素は、３次元エンティティのように見えるようアニメーション化されることを特徴とするユーザインタフェース。
【請求項２３】
請求項１乃至２２何れか一項記載のユーザインタフェースであって、
前記コントロール要素は、周辺視野によりより容易に気付くようアニメーション化されることを特徴とするユーザインタフェース。
【請求項２４】
請求項２３記載のユーザインタフェースであって、
前記コントロール要素は、該要素がアニメーション化される軸を有することを特徴とするユーザインタフェース。
【請求項２５】
請求項２４記載のユーザインタフェースであって、
前記コントロール要素のアニメーション化は、前記軸に沿ってスクロールする可変的厚さのバーを有することを特徴とするユーザインタフェース。
【請求項２６】
ユーザインタフェースを有する電子装置であって、
表示装置と、
データ処理装置と、
前記表示装置上に前記ユーザインタフェースを表示するよう前記データ処理装置により実行可能な命令を格納するメモリと、
を有し、
前記ユーザインタフェースは、請求項１乃至２５何れか一項記載のものであることを特徴とする電子装置。
【請求項２７】
請求項２６記載の電子装置であって、
前記表示装置は、接触感知ディスプレイであることを特徴とする電子装置。
【請求項２８】
請求項２６又は２７記載の電子装置であって、さらに、
前記ユーザインタフェース上で２次元ジェスチャを実行するためのポインティング装置を有することを特徴とする電子装置。
【請求項２９】
請求項２６乃至２８何れか一項記載の電子装置であって、
当該電子装置は、携帯装置であることを特徴とする電子装置。
【請求項３０】
請求項２６乃至２９何れか一項記載の電子装置であって、
当該電子装置は、無線通信装置であることを特徴とする電子装置。
【請求項３１】
請求項３０記載の電子装置であって、
当該電子装置は、携帯電話機であることを特徴とする電子装置。
【請求項３２】
電子装置のディスプレイのためのユーザインタフェースを提供するコンピュータにより実現される方法であって、
バックグラウンドレイヤとしてインタフェースを表示するステップと、
前記バックグラウンドレイヤ上に複数の機能に係るアニメーション化されたコントロール要素を表示するステップと、
前記コントロール要素に係る前記ユーザインタフェースの領域上で行われる２次元ジェスチャを検出するステップと、
前記２次元ジェスチャに係る前記複数の機能の１つを実行するステップと、
から構成されることを特徴とする方法。
【請求項３３】
請求項３２記載の方法であって、
複数のアニメーション化されたコントロール要素が表示されることを特徴とする方法。
【請求項３４】
請求項３２又は３３記載の方法であって、
前記アニメーション化されたコントロール要素は、透過なものであることを特徴とする方法。
【請求項３５】
請求項３２乃至３４何れか一項記載の方法であって、
前記２次元ジェスチャを検出するステップはさらに、前記２次元ジェスチャを解析するジェスチャエンジンを有し、前記２次元ジェスチャに対応するキーボードイベントを生成することを特徴とする方法。
【請求項３４】
請求項３２乃至３５何れか一項記載の方法であって、さらに、
前記２次元ジェスチャのディスプレイ内の位置を決定し、コントロール要素が前記位置に関連付けされているか判断するステップを有することを特徴とする方法。
【請求項３５】
請求項３２乃至３５何れか一項記載の方法であって、さらに、
ジェスチャがコントロール要素を起動するためのものであるか判断し、否定される場合、前記バックグラウンドレイヤの実行されるべき機能を判断するステップを有することを特徴とする方法。
【請求項３６】
請求項３２記載の方法であって、
前記２次元ジェスチャは、ヘルプ２次元ジェスチャであり、
前記２次元ジェスチャに係る機能は、前記コントロール要素に関する情報を表示するヘルプ機能である、
ことを特徴とする方法。
【請求項３７】
請求項３６記載の方法であって、
前記コントロール要素に関する情報は、該コントロール要素に係る２次元ジェスチャのグラフィカル表示及び／又は前記２次元コントロール要素に係る機能を説明するテキストを有することを特徴とする方法。
【請求項３８】
請求項３２記載の方法であって、
前記コントロール要素は、機能のメニューに係り、
前記２次元ジェスチャは、前記機能のメニューからの１つ機能を実行させる、
ことを特徴とする方法。
【請求項３９】
請求項３３記載の方法であって、
前記複数のコントロール要素は、その間にキーボードを備え、
前記２次元ジェスチャは、前記キーボードにから選択された文字を前記バックグラウンドレイヤ上に表示させる、
ことを特徴とする方法。
【請求項４０】
請求項３２乃至３９何れか一項記載の方法であって、
前記コントロール要素は、文字列であることを特徴とする方法。
【請求項４１】
請求項４０記載の方法であって、
前記文字列は、単語であることを特徴とする方法。
【請求項４２】
請求項４１記載の方法であって、
前記単語は、多音節の単語であり、
前記単語の各音節は、別々にアニメーション化される、
ことを特徴とする方法。
【請求項４３】
請求項１乃至２５何れか一項記載のユーザインタフェース、請求項２６乃至３１何れか一項記載の計算装置、又は請求項３２乃至４０何れか一項記載の方法を提供するようデータ処理装置により実行可能なコンピュータプログラムコード。
【請求項４４】
請求項４３記載のコンピュータプログラムコードを有するコンピュータ可読媒体から構成されるコンピュータプログラムプロダクト。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、ユーザインタフェースに関し、より詳細には、ジェスチャベースのユーザとのやりとりによるユーザインタフェース、当該ユーザインタフェースを有する装置、並びに当該インタフェースを提供するコンピュータプログラムコード及びコンピュータプログラムプロダクトに関する。
【０００２】
本発明は、ユーザインタフェース、特にモバイル計算装置、ＰＤＡ、携帯電話機やスマートフォンなどの携帯通信装置などの小型ディスプレイを有する装置のユーザインタフェースによる問題を解決するものである。しかしながら、本発明の効果はこのような装置に限定されず、本発明はまた、デスクトップ、ラップトップ及びノートブック計算装置、並びにデータボードなどの大型ディスプレイを有する装置に対しても効果的である。さらに本発明は、計算を主要な機能とする電子装置による利用に限定されず、ユーザとの対話が実行可能なディスプレイを有する任意の電子装置により利用可能である。
【０００３】
タッチ画面ディスプレイなどの小型ディスプレイのグラフィカルインタフェースを設計することにより困難さは、通常のテキスト文書が大変小さなページに分割される必要があり、全体の把握が困難であるということである。さらなる問題は、制御要素が貴重な表示領域を占有してしまい、文書の視野を小さくしてしまうということである。１つのアプローチとして、利用可能な表示領域を利用できるように、制御要素のサイズ又は個数を減らすというものがある。しかしながら、これはインタフェースの利用性に影響を与える。従って、その利用性に影響を与えることなく、適切なサイズのインタフェースを維持することが問題となる。
【０００４】
特に小型のグラフィカルディスプレイを有する携帯型及び可動式装置のインタラクションに対する適切な手段を構成することに関する困難さは、インタラクションのマルチモーダル及び具体的形態に特化した研究者からの大きな興味を生じさせる。適切な観点における本発明の効果を設定するため、コマンド及びテキスト入力に対する従来のアプローチの一部が検討される。
【０００５】
携帯コマンド及びテキスト入力問題に対して提案された多くの手段は、携帯性、コンパクトさ、インタラクションの容易性と利便性を維持し、画面の表示サイズを工夫維持する上での真の障害を理解していない。携帯装置へのテキスト入力の問題を示すため、いくつかの従来アプローチが説明される。
【０００６】
ｉＢＩＺの名称の下で提供されるバーチャルレーザキーボードなどのプラグインキーボード、又は各種レーザ投射は、小型装置上でのテキストの容易な入力の問題に対する解決手段を提供しようとしている。しかしながら、このアプローチは、装置の携帯性を低減し、ユーザが補助装置を携帯することを要求する。フルサイズキーボードの装置構成への一体化は、キーボードを使用するのにフラットな表面が必要であるため、装置の携帯性はもちろん、使用のサイズ及び人間工学に関する必要な制限を妥協する。
【０００７】
異なるアプローチは、手に収められた装置として携帯装置用に有用的に実現されるコーデットキーボード（ｃｈｏｒｄｅｄ  ｋｅｙｂｏａｒｄ）である。しかしながら、各文字又は数字を選択するのにキーの組み合わせをユーザがマスターする必要があるため、かなりの習得負担が生じる。このアプローチは、毎分５０ワード以上などの片方の手による高いテキスト入力レートを提供する。しかしながら、現状の各実現形態では、片方の手でコーデットキーボードを持つ必要性は、インタラクションの人間工学に影響を及ぼす。改良されたアプローチは、当該キーボードを装置自体に一体化するというものである。
【０００８】
多くの携帯電話機にあるＴ９予測テキストは、コーデットキーボードと類似している。キーを用いた文字列の入力は、可能な単語リストを生成する。意図した単語が辞書において見つからない場合、あるいは、意図した単語が提示リストの下部にある場合、このアプローチは困難なものとなる。
【０００９】
クリップオンキーボード（ｃｌｉｐ  ｏｎ  ｋｅｙｂｏａｒｄ）は、少なくとも物理的領域に小型装置の利用可能なテキスト入力機能が提供されるかもしれない。しかしながら、それらはかさばるものを追加することとなり、サイズ、携帯性及び実用性の間のトレードオフに悪影響を及ぼす。クリップオンの代わりとして、オーバーレイキーボード（ｏｖｅｒｌａｙ  ｋｅｙｂｏａｒｄ）がある。これらは装置のサイズを増大させるものではないが、利用性に影響を与える。オーバーレイキーボードは、本質的にはソフトキーボード（後述される）と同一であり、テキスト入力専用のディスプレイ部分の常時提供し、これにより、既存の限られたリソースの使用を制限するステッカーとすることができる。
【００１０】
ソフトキーボードは、それがディスプレイ上の物理的ステッカーでなくディスプレイ上のボタンのグラフィカルパネルとして実現されるという点を除き、クリップオンキーボードと実質的に同じものである。ソフトキーボードは、オーバーレイアプローチと同様に、画面表示領域を使用するという追加的な問題を有する。しかしながら、ソフトキーボードは一時的なものであるため、必要に応じてユーザが表示領域を自由に使用することを可能にする。ソフトキーボードアプローチは、共通して受け入れられる手段であるように考えられるが、それは画面領域を消費する手段である。
【００１１】
標準的キーボードに基づく他のアプローチは、表示テキストのバックグラウンドに配置された静的なソフトキーボードを利用するものである。バックグラウンドの適切なエリアを打つことにより、文字が選択される。この手段は、手動による入力を可能にし、画面表示領域を維持する。しかしながら、利用可能なコントロール数及び冗長さは、入力されたテキストを介しキーを判読可能にするのに必要なコントロールの必要なサイズを大きくするという理由から限定される。このコントロール数の制限は、数字、句読点及び他の使用頻度の低いキーのためのモードに明示的に切り替える必要が生じる。他の問題点は、新しいレイアウトに慣れるための若干の負担である。
【００１２】
ソフトキーボードアプローチを向上させる試みがなされてきたが、これらの試みには、当該アプローチについて上述した問題点が依然として存在する。さらにこれらには、キーボードレイアウトを再構成することにより生じる習得負担が存在する。ユニストロークキーボード（ｕｎｉｓｔｒｏｋｅ  ｋｅｙｂｏａｒｄ）では、すべての文字は等距離であり、このため、過剰なキーホーミング（ｋｅｙ  ｈｏｍｉｎｇ）距離が解消される。Ｍｅｔｒｏｐｏｌｉｓキーボードは、１本の指の入力に対して統計的に最適化された他の最適化されたソフトキーボードレイアウトである。頻繁に使用されるキーをキーボードの中央近くに配置することによって、効率性が向上する。何れのアプローチも効果的であるが、新たなキーボードレイアウトによる習得負担が発生する。ユーザは、画面表示領域の使用などのソフトキーボードに固有の負担はもちろん、それほど大きくはない利益のためキーボードに精通するのにかなりの労力を費やす必要がある。
【００１３】
手書き認識が、ＰＤＡテキスト入力手段に着目された期間があった。しかしながら、テキスト入力のジェスチャ認識は動作を停止したり、ソフトキーボードなどの他の機能性の低いアプローチのものより最高でも２５ｗｐｍ程度遅くなるという評価が明らかにされている。手書きや、Ｇｒａｆｆｉｔｉなどの２次元ジェスチャインタラクションを用いた同様のアプローチの問題点は、習得性、低速のインタラクション及びスキル習得の１つである。手書き入力の問題点は、単語の書く文字を書き込むのに費やされる時間及びその必要である。これが連続的なものか、あるいは一度きりのものであるかに関係なく、ユーザは依然としてすべてを書き込む必要がある。他方、キーボードベース手段は、単にボタンを押下することしか必要としない。
【００１４】
この困難さに加えて、標準的なソフトキーボードに関して、テキスト入力はスタイラスの使用を必要とし、テキスト入力の際にユーザのフリーハンドを占有する（すなわち、ＰＤＡ又は装置を保持する必要がある）。このアプローチの習得曲線は、ジェスチャのアルファベットを習得する必要があるため急峻であり、一部のアプローチが大きな入力パネルを必要とするため、表示領域の節約はそれ程自明なものではない。
【００１５】
小型装置のテキスト入力の問題に対する他のあまり知られていない解決手段として、ミトン（ｍｉｔｔｅｎ）の使用がある。スマートシステムが適切なキーストロークを決定しながら、ハンドユニットのセンサが指の動きを測定する。このアプローチは面白い手段であるが、それの問題点は、装置自体とほとんど同程度の大きさのミトンを携帯する必要があるということである。さらに、ミトンはユーザには魅力的なものではなく、装置のセンサは動きの自由度に影響を与える可能性がある。
【００１６】
さらなるアプローチとして、限定的なディスプレイサイズに適用されるとき、言語モデリングを搭載したデータエントリインタフェースを提供するダイナミックダイアログが知られている。ユーザは、画面に沿って進捗しながら文字列を選択する。ある単語に現れる可能性が高い文字が、センターライン近傍に配置される。ダイナミックダイアログアプローチは２次元ジェスチャを利用するが、これらはアフォーダンス機構（ａｆｆｏｒｄａｎｃｅ  ｍｅｃｈａｎｉｓｍ）によりサポートされ、標準的インタラクションに対してシンプルに保たれ、容易な習得を可能にする。ユーザは、毎分２０〜３４ワードの入力スピードを実現することが可能であり、これは毎分２０〜３０ワードの典型的な１本の指によるキーボードタッチ画面タイピングと比較して許容可能なものである。しかしながら、テキストエントリの入力パネルは、ディスプレイの約６５％を使用し、テキストフィールドには１５％程しか残さない。このアプローチは、制限された表示領域の制約又はテキスト入力レートを向上させるものではない。それが行うものは、ほとんど役に立たない新たな技術にユーザが精通することを要求するだけである。
【００１７】
従って、本発明は、装置へのコマンド及び／又はテキストを入力するためのユーザインタフェースを向上させることである。本発明は、以下の説明から明らかになるように、上記及び他の問題点のいくつかを解決するものである。本発明は、オーバーロードされたユーザインタフェースを生成するため、ジェスチャによるインタラクションと組み合わされた重ね合わせされたアニメーション化グラフィカル積層化を適用する（場合によっては、視覚的オーバーロード処理と呼ばれることもある）。当該アプローチは、特に限られた表示領域を有する装置のためのタッチ画面テキスト入力に適用可能であるが、当該用途又はタッチ画面表示装置に限定されるものではない。
【００１８】
本発明の第１の特徴によると、電子装置のディスプレイのためのユーザインタフェースであって、バックグラウンドレイヤと該バックグラウンドレイヤ上に配置された少なくとも１つの第１のコントロール要素とを有するユーザインタフェースが提供される。コントロール要素は、それに係る複数の機能を有する。コントロール要素に係るユーザインタフェースの領域における機能に係る２次元ジェスチャを行うことにより、各機能が選択、呼び出し、又は実行可能となる。コントロール要素は、透過なものとすることが可能である。
【００１９】
このようにして、コントロール要素上で単に適切な２次元ジェスチャを行うことにより、ユーザが機能又は処理を容易に選択及び実行することが可能となるため、機能性を低減させることなく情報を表示するのに利用可能な表示量を増やすことができる。
【００２０】
バックグラウンドレイヤは、ユーザがインタフェースを介しやりとりするアプリケーションのためのダイアログ、作業コンテクスト又はインタフェースを表示することができる。例えば、バックグラウンドレイヤは、テキスト、メニュー、ＷＩＭＰベースインタフェースの何れかの要素、ボタン、コントロール要素、同様のもの、及び上記の任意の組み合わせを表示することができる。
【００２１】
コントロール要素はアニメーション化することができる。特に、コントロール要素の形状、サイズ、形式、カラー、動き又は外観をアニメーション化することが可能であり、あるいは、経時的に変化されることが可能である。アニメーション化されたコントロール要素は、バックグラウンドをユーザにより容易に閲覧可能及び読み出し可能にしながら、コントロール要素とバックグラウンドをユーザが区別することに役立つ。
【００２２】
コントロール要素はまた、バックグラウンドの全体又は一領域上を移動することが可能である。好ましくは、コントロール要素は、特定のパス、トラック又はトレースを連続的に移動及び繰り返す。
【００２３】
コントロール要素は、不透過なものとすることが可能である。コントロール要素は、少なくとも部分的に透過なものとすることができる。コントロール要素の一部は、不透過とすることが可能であり、部分的又は全体的に透過とすることも可能である。コントロール要素の一部は、部分的に透過とすることができ、また、全体的に透過とすることができる。コントロール要素の全体が、少なくともある程度まで透過なものとすることができる。アルファブレンド処理を用いて、コントロール要素の透過部分又は透過なコントロール要素を提供することが可能である。
【００２４】
コントロール要素は、視覚的に識別可能なエンティティ又は指標とすることが可能である。例えば、コントロール要素は、文字、数字、形状、シンボル若しくは任意の言語の類似のもの、又は上記文字列若しくは組み合わせとすることが可能である。コントロール要素は、アイコン、画像、ボタン、メニュー、タイトル、ダイアログボックス、単語若しくは類似のもの、又は上記の任意の組み合わせとすることができる。
【００２５】
２次元ジェスチャは、直線、曲線又は直線及び／又は直線部分の組み合わせとすることができる。２次元ジェスチャは、文字、数字、形状、シンボル若しくは任意の言語の類似のもの、又は上記文字列若しくは組み合わせとすることが可能である。２次元ジェスチャは、連続的なものとすることができ、又は、離散的部分を有するものとすることも可能である。
【００２６】
コントロール要素は、単語とすることが可能である。単語の各文字又は文字群を個別にアニメーション化することが可能である。単語は、多音節の単語とすることができ、各音節をアニメーション化することが可能である。
【００２７】
コントロール要素は、ボタン又はメニュータイトルとすることができる。ボタン又はメニュータイトルは、ボタンに係る機能又は処理のメニュー又はグループを示すシンボル、単語、アイコン又は同様のもの（上述されたような）などの指標を有することができ、２次元ジェスチャを行うことにより、メニュー又はグループから機能を選択及び実行することができる。
【００２８】
ヘルプ機能をコントロール要素に関連付けすることができる。ヘルプ２次元ジェスチャをすることにより、コントロール要素に係る機能に関するヘルプ情報をユーザインタフェースに表示させることができる。当該情報は、コントロール要素に隣接及び／又は近傍に表示することができる。好ましくは、ヘルプ２次元ジェスチャは、クエスチョンマークの形状を実質的に有する。
【００２９】
コントロール要素は、視覚的に透過なものとすることが可能である。コントロール要素は、実質的に４０％未満、好ましくは実質的に３０％未満、より好ましくは２０％未満の透過性を有することが可能である。コントロール要素は、実質的に１０〜４０％、１０〜３０％又は１０〜２０％の範囲の透過性を有することが可能である。コントロール要素の低レベルの視認性は、バックグラウンドの視認性を向上させるが、コントロール要素のアニメーション及び／又は動きは、ユーザが重ね合わせされたコントロール要素を確実に特定することを可能にする。
【００３０】
ユーザインタフェースは、複数のアニメーション化されたコントロール要素を有することができる。各コントロール要素は、ユーザインタフェースの異なる領域に関連付けすることが可能である。各コントロール要素は、機能、処理又はコマンドの異なるグループ又はセットに関連付けすることができる。各処理、機能又はコマンドの一部は、各グループに共通させることができる。ある機能、処理又はコマンドを選択及び／又は実行するのに利用可能な２次元ジェスチャは、異なるコントロール要素に対して同一又は異なるものとすることができる。
【００３１】
第１のコントロール要素は、第１タイプのものであり、複数のコントロール要素の第２のものは、第１タイプとは異なる第２タイプのものとすることが可能である。コントロール要素のタイプは、そのアニメーション、動き、単語、アイコン、シンボルなどの上述のような視覚的様相の他の属性の何れかのものとすることが可能である。
【００３２】
複数のコントロール要素が、それらの間にキーボードを設けることが可能である。各コントロール要素は、それに係る文字の異なるグループ又はセットを有することが可能である。キーボードは、複数の領域を有することが可能である。各領域は、それに係る複数のコントロール要素を有することが可能である。第１のコントロール要素は、それに係る文字を有し、及び／又は第２のコントロール要素は、それに係る数字を有し、第３のコントロール要素は、シンボル、タブ、スペース同様のフォーマット機能を有することが可能である。コントロール要素に係る機能、コマンド又は処理は、バックグラウンド上に選択されたエンティティを表示するためのものとすることができる。
【００３３】
キーボードは、標準的レイアウトを有することが可能である。キーボードは、ある言語のアルファベットによる文字又はシンボルを提供することができる。言語は任意の言語とすることができるが、好ましくは英語である。言語は、中国語、日本語、韓国語などのイディオムベース言語とすることが可能である。好ましくは、キーボードは、ある言語のすべての文字やシンボルを有する。
【００３４】
コントロール要素の少なくとも１つは、複数の文字に関連付けされる。各文字は、それに係る２次元ジェスチャを有することが可能である。ジェスチャは、文字をバックグラウンドレイヤ上に表示させることができる。
【００３５】
コントロール要素は、当該要素に係る文字に対しフォーマット機能を実行するため、それに係る２次元ジェスチャを有することが可能である。例えば、２次元ジェスチャは、文字を下線付き、太字、あるいは異なるフォントサイズを有するように表示させることが可能である。２次元ジェスチャは、文字を選択するのに利用される２次元ジェスチャの連続する部分とすることが可能であり、あるいは、離散的ジェスチャとすることが可能である。
【００３６】
コントロール要素は、複数のメディアプレーヤー機能と関連付けることができる。各メディアプレーヤー機能は、当該機能を実行させるため、それに係る２次元ジェスチャを有することが可能である。メディアプレーヤー機能は、再生、停止、早送り、反転、一時停止、イジェクト、スキップ及び記録を含むことが可能である。
【００３７】
コントロール要素は、３次元様相を有するようにするため、アニメーション化することが可能である。
【００３８】
コントロール要素は、周辺視野により容易に気付くことができるように、アニメーション化することが可能である。コントロール要素は、アニメーション化される軸を有することが可能である。アニメーションは、ある方向に延伸、変更又は変化するよう構成可能である。コントロール要素のアニメーションは、軸または方向に沿ってスクロールする可変の厚さのバーを有することが可能である。コントロール要素は、バックグラウンドにパラレルな平面において回転可能である。回転の角度は、方向又はアニメーションがダイアルのポインタを提供するダイアルを提供するのに利用可能である。コントロール要素のアニメーションは、アニメーションスピード、アニメーションカラー、アニメーションのコンポーネントサイズ、アニメーションの性質、及び上記の組み合わせを含む同様のものなどのそれの回転に応じて可変とすることができる。
【００３９】
本発明のさらなる特徴によると、表示装置、データ処理装置及び該データ処理装置により実行可能な命令を格納するメモリを有する電子装置、又は、本発明の第１の特徴の何れかに従ってデータ処理装置にディスプレイ上にユーザインタフェースを表示させ、該ユーザインタフェースの上記好ましい特徴の何れかを有する電子装置が提供される。
【００４０】
ディスプレイは、接触感知ディスプレイとすることができる。これは、ユーザがスタイラスなどの独立したポインティング装置又はユーザの手の指又はその一部を用いてジェスチャを入力することを可能にするシンプルなポインタ機構を提供する。
【００４１】
本装置はさらに、ユーザインタフェース上で２次元ジェスチャを行うためのポインティング装置を有することが可能である。マウス、ジョイスティック、ジョイパッド、カーソルボタン、トラックボール、タブレット、ライトペン、レーザポインタなどの任意の適切なポインティング装置が利用可能である。
【００４２】
本装置は、携帯装置とすることが可能である。本装置は、接触感知ディスプレイを有する携帯装置とすることが可能であり、ユーザが装置を携帯している手の指により接触感知ディスプレイ上で２次元ジェスチャをすることができるように構成することができる。このようにして、装置の片方の手による使用が提供される。
【００４３】
本装置は、無線通信装置とすることができ、特に携帯電話やスマートフォン、合成されたＰＤＡと通信装置などの携帯電話機とすることができる。
【００４４】
本発明のさらなる特徴によると、電子装置のディスプレイのためのユーザインタフェースを提供するコンピュータにより実現される方法であって、バックグラウンドレイヤとしてインタフェースを表示するステップと、前記バックグラウンドレイヤ上に複数の機能に係るアニメーション化されたコントロール要素を表示するステップと、前記コントロール要素に係る前記ユーザインタフェースの領域上で行われる２次元ジェスチャを検出するステップと、前記２次元ジェスチャに係る前記複数の機能の１つを実行するステップとから構成されることを特徴とする方法が提供される。
【００４５】
本方法は、上述のようなユーザインタフェースの好適な特徴の何れかを提供するためのステップ又は処理を有することが可能である。
【００４６】
複数のアニメーション化されたコントロール要素が表示可能である。コントロール要素は、アニメーション化及び／又は透過なものとすることができる。
【００４７】
２次元ジェスチャの検出は、２次元ジェスチャを解析し、当該２次元ジェスチャに対応するキーボードイベントを生成するジェスチャエンジンを有することが可能である。
【００４８】
本方法はさらに、２次元ジェスチャ又はその一部を実行したユーザインタフェース又はディスプレイ内の位置又は領域を決定するステップを有することが可能である。本方法はさらに、コントロール要素が当該位置又は領域に係るものであるか判断するステップを有することが可能である。本方法はさらに、当該位置若しくは領域又はコントロール要素が、それに係る特定のキーボードイベントを有するか判断するステップを有することが可能である。本方法は、ジェスチャが実行された領域がそれに係るコントロール要素を有しているか、当該ジェスチャに対応するキーボードイベントが、コントロール要素に係るコマンド、処理又は機能の１つに対応しているか判断することにより、選択及び実行すべきコマンド、機能又は処理を決定するステップを有することが可能である。
【００４９】
本方法はさらに、あるジェスチャがコントロール要素を起動するためのものであるか判断し、否定される場合には、実行すべきバックグラウンドレイヤの機能を決定又は選択するステップを有することが可能である。この判定は、ポインタ移動イベントの発生までにタイムアウトとなったか判断するステップを有することが可能である。
【００５０】
２次元ジェスチャはヘルプ２次元ジェスチャとすることができ、２次元ジェスチャに係る機能は、コントロール要素に関する情報を当該コントロール要素に隣接及び／又は近傍に表示するヘルプ機能とすることが可能である。
【００５１】
コントロール要素に関する情報は、当該要素に係る２次元ジェスチャのすべて又は一部のグラフィカル表示、及び／又は２次元コントロール要素に係る機能及び／又はジェスチャを説明するテキストを含むことが可能である。
【００５２】
コントロール要素は、機能又はデータアイテムのメニュー又はグループに関連付けすることができ、２次元ジェスチャは、機能メニュー又はグループからの機能の１つを実行させ、あるいはデータアイテムの１つを選択させることが可能である。
【００５３】
複数のコントロール要素が、その間にキーボードを備えることができ、２次元ジェスチャはキーボードから選択された文字、数字、シンボル又はフォーマットコントロールをバックグラウンドレイヤ上に表示させることが可能である。
【００５４】
コントロール要素は、文字列とすることができ、好ましくは、文字列は単語である。単語は多音節とすることができ、各音節は個別にアニメーション化することが可能である。
【００５５】
本発明のさらなる特徴によると、本発明によるユーザインタフェース、計算装置、及び方法を提供するようデータ処理装置により実行可能なコンピュータプログラムコードが提供される。本発明のさらなる特徴によると、本発明によるコンピュータプログラムコードを有するコンピュータ可読媒体からなるコンピュータプログラムプロダクトが提供される。
【００５６】
本発明の実施例が、添付した図面を参照して具体例により説明される。
【００５７】
各図の類似したアイテムは、特段の断りがなければ、共通の参照番号を共有する。
【００５８】
本発明のいくつかの好適な実施例を説明する前に、本発明により考慮されるユーザインタフェースの要件が説明される。
【００５９】
冗長性、使用に関する人間工学及び目に見える表示の間のトレードオフを示すのに、２つの具体例が利用可能である。フル画面キーボードは、表示領域を犠牲にはするが、より大きなキー及びより多くのキーのための収容量による直接的な手動インタラクションを可能にする。第２に、既にサイズ限定されている標準的な分割画面キーボードは、より大きなキーを可能にし、より見易い表示を可能にするため、冗長なコントロールを犠牲にする。しかしながら、それの小さなサイズは、スタイラスなどの追加的装置を利用することを必要にし、指や親指により巧みに使用することを困難にするアプローチをもたらす。
【００６０】
本発明は、多くのテキスト入力手段による問題が、携帯装置のテキスト入力による本当の困難さの理解を欠いていると認識している。重要なことは、テキスト自体を入力するための「機構」ではなく、テキスト入力パネルの利用可能なサイズ及びフリーな表示領域に関する制約などの入力に関する制約を考慮することである。
【００６１】
図１Ａ〜１Ｄを参照するに、キーボード及びディスプレイベースユーザインタフェースに関する制約を示す４つのキーボード及びディスプレイ領域構成１０２、１０４、１０６及び１０８の概略がそれぞれ示される。第１構成１０２は、小さな表示領域１１０と、小さなキーを有する大きなキーボード領域１１２とを有する。第２構成１０４は、小さな表示領域１１４と、大きなキーを有する大きなキーボード領域１１６とを有する。第３構成１０６は、大きな表示領域１１８と、大きなキーを有する小さなキーボード領域１２０とを有する。第４構成１０８は、大きな表示領域１２２と、小さなキーを有する小さなキーボード領域１２４とを有する。
【００６２】
コマンド及びテキスト入力機構のレイアウトは、利用性に影響を与えるいくつかの物理的制約を受ける。可能な限り大きな画面表示を解放するため、入力ダイアログのサイズを減少させることが可能であり（図１Ｃ及び１Ｄ）、これにより、個々のキーのサイズが縮小され、選択することがより困難となる。コントロール数又は冗長性を増大させることにより、利用可能なスペースが制限される。また、キーサイズは、キーボード上のキー数に依存する。キー数が多いということは、キーごとのスペースを小さくし（図１Ａ及び１Ｄ）、あるいは、入力テキストパネルを小さくする（図１Ａ及び１Ｂ）を意味する。あるいは、キーボードにより使用される表示領域を最小化し、適切なサイズのキーを維持するため、設計者はいくつかのメニュー又はモードを使用することができる。使用頻度の低いコマンドは必然的にサブメニューに表示され、低速かつ面倒なインタラクションアプローチに導く。
【００６３】
これらの制約は、Ｆｉｔｔｓの法則に規定された制約を受ける。すなわち、大きなダイアログは増大した手の移動からの時間負担を受け、小さなキーはスペースを占有せず、手の移動距離を減少させる利点があるが、キー選択における精細なモーター制御要求による時間負担が発生する可能性がある。オーバーレイ小型キーは、キーを正確に選択する困難さのため、エラーレートの許容できない増加又はテキスト入力のかなり低速の入力レートを招く。このことは、より大きなキーボードが好ましいことを示す。
【００６４】
スタイラス、クリップオンキーボード、データグローブなどの補助ポインタは、装置の利用性を妨げる可能性がある。装置とやりとりするため、ユーザはインタラクションアクセサリーを身に付けるか、あるいは、多くの携帯装置の場合に、両手をふさぐスタイラスを取り出す必要がある。従って、より好適なインタフェースは、装置及びインタフェースの片手での使用を可能にするものである。しかしながら、本発明はまた、スタイラス、マウス又は他のポインタ装置により利用することが可能である。
【００６５】
多くの従来技術による小型装置のテキスト入力アプローチは、容易には習得できない。ユーザは、多数のジェスチャ及びそれらが利用可能とされる異なるコンテクストを習得する時間を費やす。
【００６６】
テキスト入力手段の上記評価から導かれ、設計要求の規定を解釈することが可能であり、画面表示領域やユーザ利便性などの関連する問題を解決することができないアプローチに対するさらなる単なる最適化ではなく、本発明のアプローチにより実現される。例えば、従来のソフトキーボードのオーバー設計最適化があげられる。
【００６７】
携帯及びモバイル装置のインタラクションモデルの設計において寄与する要因を考慮することは、以下の設計の考慮を導く。手動によるインタラクションのためのより大きなキーは、インタラクションの支援には好ましい。例えば、スタイラスは、手の自由を遮り、携帯インタラクションへの障害をもたらす。閲覧可能な入力装置機能の個数の減少と表示領域の利用性との間の良好なバランスが求められるべきである。表示領域、入力パネルの要素サイズ及び利用性の間の効果的なトレードオフが提供されるべきである。当該アプローチは、容易に利用及び理解できるものであるべきであり、あるいは、習得負担に対する正当な効果があるべきである。
【００６８】
本発明のユーザインタフェースは、典型的にはキーボード、ポインティング装置（マウス、トラックボール、スタイラス、タブレットなど）又は他の入力装置により入力されるコマンド、命令、テキスト又は他の任意のエントリを入力するためのインタラクションのシステムに基づくものであり、これにより、ユーザは２次元ジェスチャを利用することにより透過な制御の多重化又は視覚的にオーバーロードされたレイヤと選択的にやりとりすることができる。
【００６９】
コントロール又はコントロール要素は、コントロール要素に適用されるジェスチャに応じて、ジェスチャがコントール要素に伝搬し、コントロール要素がオーバーレイする、又はしないバックグラウンドレイヤ上のさらなる要素を動作させるようにしてもよいという意味において、機能的に透過であるとみなすことができる。例えば、ジェスチャがコントロール要素に関するものである場合、当該コントール要素に関する機能が実行されてもよい。ジェスチャが、マウスの「ポイント・アンド・クリック」ジェスチャなどのコントロール要素に関するものでない場合、バックグラウンドの基礎となる要素に関する動作が実行されてもよい。
【００７０】
例えば、アプリケーション上の部分的に視覚的に透過なドロップダウンメニューを表示するため、視覚的透過性がユーザインタフェースにおいて従来使用されていた。この透過性は、メニューや状態ダイアログによりしばしば利用可能な画面領域を最適化するのに利用された。その目的は、ユーザが現在アクティブな動作に着目する可能性を高めるため、より視覚的な手がかりを提供することである。しかしながら、メニューを表示するのに透過性レイヤを利用する当該アプローチは、バックグラウンドにおけるものを隠すという犠牲により行われる。これは、実際の視覚的オーバーロードではなく、限られた表示領域を競合する２つの画像間の妥協である。
【００７１】
視覚的外観に関して、コントロール要素自体は、全体が視覚的に不透明な形式により、あるいは、コントロール要素の一部が不透明とされるが、一部は透明にされ、これにより、ユーザが基礎となるバックグラウンドレイヤを閲覧可能となるように、部分的に視覚的な不透明な形式の何れかによりレンダリング又は表示されてもよい。さらに、コントロール要素自体は、バックグラウンドレイヤの要素がコントロール要素を介し閲覧可能な少なくとも部分的に視覚透過な形式によりレンダリング及び表示されてもよい。
【００７２】
２次元ジェスチャは、一般にディスプレイ又はユーザインタフェース上のある意味での向きと大きさの両方を有するユーザの指を含むポインティング装置によりなされるストローク、トレース又はパスを表すのに利用されてもよい。例えば、シンプルな「ポイント・アンド・クリック」又はスタイラスタップは、イベントが大きさと向きの何れも有しないとき、２次元ジェスチャを構成するものではない。２次元ジェスチャは、実質的な直線、曲線及び直線部分と曲線部分を有する連続線を含む。一般に、２次元ジェスチャは、連続するトレース、ストローク又はパスとなる。さらに、ポインタ装置が３次元ジェスチャのユーザによる実行を可能にするため、当該３次元ジェスチャがまた少なくとも２次元ジェスチャが表示装置又はユーザインタフェース上に生成可能であり、３次元ジェスチャの表示装置又はユーザインタフェース上への投射はまた、それがシンプルな「ポイント・アンド・クリック」または「タップ」ジェスチャ以上に達する場合には、２次元ジェスチャとみなすことができる。
【００７３】
視覚的オーバーロードは、静的な階層化透過性の利用とは異なる。本発明の実施例は、静的バックグラウンド上に動画又は透過な静的画像パネルウィグリング（ｗｉｇｇｌｉｎｇ）をレンダリングし、重複した画像を視覚的に多重化又はオーバーロードする。この結果、バックグラウンドの可読性を妨害することなく、インタフェース上にコントロールレイヤが出現する。オーバーロードは、アニメーション化されたバックグラウンドに対する２つのアプローチを用いてある程度まで達成することができる。
【００７４】
２次元のジェスチャ入力の使用は、レイヤインタラクションの問題を解決する機構を提供する。ジェスチャ起動は、メニューのマーキングによるものなど従来利用されてきたが、このアプローチはシンプルな勾配ストローク又はマークのみを利用し、透過なコントロール要素と共には利用されない。さらに、本発明はまた、より高度なジェスチャを利用する。メニューをマーク付けする基本的原理は、メニューが出現するのを待機する必要なく、適切なマークを記憶及び描画する手っ取り早い手段を専門家に提供する一方、メニューにより未熟なユーザを支援するためのものである。他方、本発明は、選択的なレイヤインタラクションのため２次元ジェスチャを利用する。すなわち、特定のコントロール要素に関する複数の機能又は処理（レイヤ）の何れかが、対応する処理又はレイヤを選択及び起動するコントール要素に特定の２次元ジェスチャを適用することにより選択可能とされる。
【００７５】
コントールに関するコマンドを起動させるため、２次元ポインタジェスチャを組み込む上記アプローチは、制限されたポイント・アンド・クリックアプローチを超えて求められる必要な追加的コンテクストを提供する。これは、レイヤに含まれるコントールに関する特定機能の選択的起動を可能にすることによって、ユーザがオーバーロードされたコントールに関する追加的性質から利益を得ることを可能にする。
【００７６】
例えば、図２は、本発明のユーザインタフェースにおいて利用可能なオーバーロードされたコントール要素の図解を示す。コントロール要素自体は３つの「レイヤ」１３１、１３２及び１３３を有し、各レイヤはそれぞれ、図２において菱形、四角形及び三角形により図示される特定の機能に関連する。コントロール要素がオーバーレイするユーザインタフェースのバックグラウンド又は基礎となるレイヤ１３４はまた、図２の円形状により示されるようなそれに係る機能を有することが可能である。図２に示される形状は、単に各種レイヤに関する各種機能を区別するためのものであり、それ自体視覚的に表示されるものではない。むしろ、単一のコントロール要素がバックグラウンド１３４レイヤ上に表示され、当該コントロール要素に関する上記３つの機能の何れかが、適切な２次元ジェスチャをコントロール要素上の機能に関するものとすることにより、選択することが可能とされる。
【００７７】
例えば図２に示されるように、ディスプレイの一部の「Ｔ」字状の２次元ジェスチャ１３５をコントロール要素１３０に関するものとすることにより、三角形の機能、すなわち、コントロール要素の第３レイヤ１３３に関する機能が選択及び実行可能とされる。例えば、コントロール要素は、ワープロやスプレッドシートアプリケーションなどのアプリケーションのため、ユーザインタフェース上にオーバーレイされるアニメーション化されたフォルダとすることが可能である。従って、フォルダはファイル処理機能を提供するであろう。例えば、第１レイヤはオープンファイル機能に関するものとされ、第２レイヤはクローズファイル機能に関するものとされ、第３レイヤはデリートァイル機能に関するものとすることが可能であり、アプリケーションインタフェース又はバックグラウンドレイヤが、プリンタ動作などのアプリケーションの他の機能と関連付けすることも可能である。
【００７８】
従って、コントロール要素上の大文字又は小文字の「Ｏ」、「Ｄ」又は「Ｃ」字状のジェスチャを実行することによって、ファイル削除又はファイルクローズ処理の呼び出し及び実行が可能である。
【００７９】
アニメーション化されたコントロール要素の他の例では、複数のアイテムがメディアクリップの一部として同一領域に表現することが可能である。例えば、三角形は円形に変えられ、その後長方形に、最後に台形に変えることが可能である。これは、主題表現を提供する。変化イベントはユーザにより記憶され、すべてのアイテムが１つの領域に含まれる１つのイベントとしてリコールされることを可能にする。
【００８０】
従って、本発明は、コントロール要素の階層化を通じて、ディスプレイの高密度化を可能にする。このことは、入力されるテキストパネルのサイズ又はコントロール要素のサイズの妥協なく実現可能である。このアプローチは、バックグラウンド及び以降のレイヤが同一の画面表示領域を占有することを可能にすることにより、上述される制約を効果的に回避する。
【００８１】
例えば、図３は、バックグラウンドテキスト表示レイヤ１４４上のオーバーロードされたキーボードレイヤ１４２を合成するユーザインタフェース１４０の図解を示す。キーボードの各キーは、複数の処理の１つがディスプレイの当該領域上の適切な２次元ジェスチャを各キーに関連付けすることにより実行可能となるように、コントロール要素の形式とすることができる。例えば、キー上の最初の２次元ジェスチャは、第１の文字を基礎となるテキストレイヤに表示させ、同一キー上の第２の２次元ジェスチャは、シンボルを基礎となるテキストレイヤ上に表示させ、同一キー上の第３の２次元ジェスチャは、数字を基礎となるテキストレイヤ上に表示させる。２つのレイヤ１４７、１４８又はそれに関する機能を有する他のコントロール要素１４６がまた、キーボードレイヤ１４２上のアニメーション化されたアイコン又はシンボルとして設けることも可能である。例えば、コントロール要素１４６は、第１レイヤ１４７に関する「電子メール」機能と、第２レイヤ１４８に関する「プリンタへの送信」機能を有することが可能である。従って、表示領域上の大文字又は小文字の「ｅ」又は「ｐ」などの適切な２次元ジェスチャをコントロール要素１４６に関連付けすることは、基礎となるテキストレイヤ１４４上のテキストを電子メール又は印刷するための機能を選択及び実行するものである。
【００８２】
他の効果は、より大きなコントロールを可能にする表示領域の利用可能性であり、これにより、配置を容易にし、入力レートの向上及び手動によるインタラクションが容易になる。
【００８３】
当該アプローチの制約は、多すぎる要素がバックグラウンドにコヒーレンスを徐々に失わせる、すなわち、バックグラウンドを不明りょうにする可能性があり、あるいは、追加されるレイヤが多すぎる場合、インタフェースは視覚的に目障りなものとなり得る。しかしながら、適切に選ばれたレイヤは、妥当な個数のコントロールが当該制約の実効前に提供されることを可能にする。
【００８４】
従って、本発明は、ディスプレイと入力ダイアログのサイズ間の制約を解消する。さらに、コントロールの冗長さは、ジェスチャの選択によりコントロールの機能をオーバーロードすることによる新たな方法により増大させることが可能であり、これにより、目障りなコンテクストメニューの利用を回避することができる。
【００８５】
携帯電話機や携帯スマートフォンなどのセルラー通信装置のユーザインタフェースの形態による本発明の実施例が説明される。
【００８６】
図４は、電子装置２００の計算部分の概略ブロック図を示す。携帯電話機の通信機能に関連する部分は、従来技術によるものであり、本発明の本質を不明りょうにすることを回避するため図示されない。さらに、本発明は、通信装置に限定されるものではなく、画面を有し、ユーザインタフェースの使用から効果を得る任意の電子装置において利用可能である。さらに、電子装置は、主に計算用の装置にのみ限定されるものではなく、本発明を実現するのに十分な計算パワーを有し、本発明のユーザインタフェースから効果を得る、車両制御システム、電子娯楽装置、家電機器などの任意の装置を含むものと考えられる。
【００８７】
電子装置２００は、ローカルキャッシュメモリ２０４を有するプロセッサ２０２を有する。プロセッサ２０２はブリッジ１０６と通信可能であり、さらにブリッジ１０６は、プロセッサ２０２により実行されるデータ及び命令を格納するローカルメモリ２１０と通信可能である。大容量記憶装置２１２がまた周辺バスと通信可能に設けられ、表示装置２１４がまた周辺バス２０８と通信する。ポインティング装置２１６がまた、周辺バスと通信可能に設けられる。
【００８８】
ポインティング装置は、実際にはディスプレイ２１４上でオーバーレイする接触感知装置２１８の形態をとりうる。マウス２２０により総称的に示される、ジョイスティック、ジョイパッド、トラックボール、ユーザが表示装置２１４上でポジションを特定し、パスをトレースすることができる他の任意のポインティング装置などの他のポインティング装置を設けることができる。例えば一実施例では、表示装置２１４をデータボードとし、ポインティング装置を当該データボード上でのユーザによるポジションの特定及びパスのトレースを可能にするレーザポインタとすることができる。他の実施例では、表示装置は３次元表示装置であり、ポインティング装置は、表示装置上のポジションに「ポイント指定する」ため、ユーザの手や他の部位の位置を検知することにより提供することができる。他の実施例では、ディスプレイ上のユーザの目の位置を決定し、ポインティング装置を提供するのに利用することができる。しかしながら、以下の説明では、マウスや接触感知ディスプレイの使用が特に説明される。しかしながら、本発明は、当該特定の実施例に限定されるものではない。
【００８９】
ブリッジ２０６は、装置のその他のハードウェアコンポーネントとメモリ２１０との間の通信を提供する。メモリ２１０は、キーボードコマンドの状態やポインティング装置の座標などの入出力ストリーム情報を格納する第１エリア２２２を含む。メモリのさらなる領域２２４は、装置のオペレーティングシステムを格納し、以降において詳細に説明されるように、ポインティング装置２１６により装置２００に入力されるジェスチャをわたすジェスチャエンジン２２６を含む。メモリ２２８のさらなる領域は、本発明によるユーザインタフェースを有するアプリケーションを格納する。アプリケーション２２８はまた、本発明のグラフィカルユーザインタフェースを提供するためのコード２３０を含む。ユーザインタフェース２３０は、ユーザインタフェース２３０のオーバーロードされたコントロール要素を提供するためのコード２３４とシステムイベントメッセージハンドラ２３２を含む。アプリケーション２２８はまた、アプリケーション２２８の全体的な動作を制御するための全体ロジックを提供するコントロールオブジェクト２３６を含む。
【００９０】
グラフィカルユーザインタフェース２３０は、コントロール要素がオーバーロードされるＷＩＭＰ（Ｗｉｎｄｏｗｓ（登録商標）／Ｉｃｏｎｓ／Ｍｅｎｕｓ／Ｐｏｉｎｔｅｒｓ）ベースインタフェースとすることが可能である。システムイベントメッセージハンドラ２３２は、ジェスチャエンジン２２６により提供される特定のキーボードイベントを聞き取る。システムイベントメッセージハンドラ２３２はまた、コントロール要素に係るディスプレイの領域内に属するポインタイベントを聞き取る。コントロール要素オーバーロード処理モジュール２３４は、ユーザインタフェースの従来部分の上のコントロール要素を含む透過レイヤを提供する。透過レイヤは、基礎となる又はバックグラウンドレイヤの制御の下、アニメーション化された透過コントロール要素がレンダリングされることを可能にするよう実現される。これは、アニメーション化されたアイコンによるＣ＃を利用し、透過レベルを指定するウィンドウアプリケーションを生成するか、あるいは、Ｊ＃やＪａｖａ（登録商標）などの言語により、ガラスペイン（ｇｌａｓｓ  ｐａｎｅ）を通常のインタフェース上に積層することができる。アニメーション化されたコントロール要素を実現する他の方法は、アニメーションを構成する個々の画像（例えば、２５フレーム）をメモリバッファの異なるメモリアドレスに書き込み、その後、バックグラウンドユーザインタフェースレイヤ上のメモリからの各フレームをアルファブレンドする。
【００９１】
一実施例では、アプリケーションをＪａｖａ（登録商標）プログラミング言語により書き込むことが可能であり、ＣＲＥＡＭなどのＪａｖａ（登録商標）バーチャルマシーン実現形態を用いて実行することができる。適切なジェスチャエンジンは、Ｌｉｂｓｔｒｏｋｅオープンソースジェスチャエンジンであろう。あるいは、オーバーロードされたコントロール要素モジュールは、Ｃ＃などにより書き込み可能であり、メモリに格納されるアニメーションの個々のフレームからアニメーション化されたコントロール要素を生成するため、低い透過設定を用いて、ボタンなどの標準的コントロールの上部に積層化することができる。
【００９２】
図５を参照するに、装置２００の動作に関するコンピュータにより実現される方法２５０を示すハイレベルプロセスフローチャートが示される。ステップ２５２において処理が開始され、ステップ２５４において、ジェスチャエンジンの初期化及び装置の各機能の準備を含む装置の初期化が行われる。その後ステップ２５６において、コントロール要素が初期化される。これは例えば、表示準備のため、アニメーション化されたコントロール要素のためのフレームをメモリ領域に書き込むことを含みうる。その後ステップ２５８において、アンダーレイされるバックグラウンドＷＩＭＰベースユーザインタフェースレイヤが表示され、コントロール要素がバックグラウンドレイヤ上に表示され、そのアニメーションが開始される。
【００９３】
図６Ａ〜６Ｃを参照するに、本発明のユーザインタフェース２７０の一例を含む装置２００が図示される。ユーザインタフェース２７０は、バックグラウンドレイヤインタフェース２７２と、封筒の形式のアイコンである第１の透過なアニメーション化されたコントロール要素２７４と、「ｒｅｇｉｓｔｅｒ」との単語の形式の第２の透過なアニメーション化されたコントロール要素２７６を含む。コントロール要素２７４と２７６のそれぞれは、それに関するユーザインタフェース２７０の分離した領域を有する。
【００９４】
図６Ａ〜６Ｃは、コントロール要素の試行及び図示を行うため、同一のユーザインタフェースの異なる画面ショットを示す。コントロール要素は、その形態、すなわち、その外観又は形状が、ディスプレイ上を単に移動するのでなく変化するという意味においてアニメーションされる。しかしながら、封筒コントロール要素２７４はまたディスプレイ上を移動し、「ｒｅｇｉｓｔｅｒ」コントロール要素２７６の部分もまた同様に移動し、さらにサイズも変化する。「ｒｅｇｉｓｔｅｒ」の単語の各音節は個々に変化し、「ｒｅ」音節、「ｇｉｓ」音節及び「ｔｅｒ」音節は、個々に画面上で縮小拡大及び移動する。しかしながら、これら３つの要素は、一緒になってコントロール要素２７６の全体を提供する。
【００９５】
観察できるように、コントロール要素２７４と２７６は、バックグラウンドインタフェースがコントロール要素を介し観察可能であるため、視覚的に透過である。しかしながら、ラインや各文字などのコントロール要素の部分は、他の実施例では透過とすることが可能であるが、それ自体は不透明である。このようなアニメーションは、ときどきアニメーション化された透過Ｇｉｆと呼ばれる。特定のカラーが透明にされ、これによりそれをバックグラウンドカラーとして用いることにより、画像の輪郭にクリップされた画像を残す。透過性を提供する他の方法は、当該技術分野において理解されるようなアルファブレンドを利用することである。
【００９６】
図５に戻って、ステップ２６０において、アプリケーションは通知装置によりジェスチャがユーザインタフェースに適用されたか検出する。図示された実施例では、装置２００は接触感知画面を有し、ユーザの指と接触感知画面のインタラクションが、ポインティング装置を提供する。図６Ａに示されるように、ユーザは基礎となるディスプレイの留守番電話メニューオプション上の画面をタップすることができ、ステップ２６２において、留守番電話の準備が実行可能となる。その後、プロセスフローは、ライン２６４に示されるように、さらなるジェスチャを検出可能なステップ２６０に戻る。
【００９７】
コントロール要素の１つに関する機能の１つを呼び出すため、ユーザは、当該コントロール要素に関するユーザインタフェースの一部に２次元ジェスチャを生成する。実行可能なタイプのジェスチャ及び機能の具体例の説明が、以下において与えられる。ある段階で、ユーザはアプリケーションを終了させるため、従来の「ポイント・アンド・クリック」ジェスチャ又は２次元ジェスチャなどのジェスチャを入力することができ、ステップ２２６において処理を終了する。
【００９８】
ユーザインタフェース２７０において、リストアイテム上の標準的「ポイント・アンド・クリック」によりコマンドを実行することが可能であり、あるいは、ユーザは、該当するリストアイテム上で開始されるシンボル（２次元ジェスチャ）を描画することにより侵入的な階層的メニューインタラクションアプローチを回避する。これはユーザを求められるダイアログに直接ガイドし、あるいは、所望のコマンドを実行する。ストローク又は２次元ジェスチャはサイズ限定されないことに留意されたい。
【００９９】
さらに、コントロール要素のオーバーロードされたレイヤが、バックグラウンドメニューアイテム及びコントロール要素上に配置される。オーバーロードされたコントロールの領域内のレイヤの１つからのコントロール又はコマンドは、適切なジェスチャにより選択可能であり、これにより、競合するコントロールとメニューアイテムとの間を明確にする。これは、コントロール要素又はメニューのサイズを妥協することなく、適度な冗長性により、より多数のコントロール要素を許容する。
【０１００】
コントロール要素を実現するため、シンプルなアニメーション化された白黒透過ｇｉｆが利用可能である。ユーザインタフェースのパフォーマンスを向上させることが可能であるが、アルファブレンドを行うことなく適切なパフォーマンスが可能である。シンプルな上手く選択されたアニメーションは、透過性と同じくらい重要なものとなりうる。
【０１０１】
本発明のインタフェースの利用及び効果を説明するため、図６Ａ〜７Ｅの各種インタラクションシナリオに示されるインタフェースの利用が説明される。インタフェース２７０とのインタラクションは直接的なものである。図６Ａに示されるように、図６Ａのインタラクションは、表示アイテムの下部のＭＥＮＵ及びＮＡＭＥボタンの形式による２つのジェスチャ最適化コントロール要素２７８及び２８０による、１つはメッセージング機能２７４のため、１つは「ｃａｌｌ  ｒｅｇｉｓｔｅｒ」機能２７６にアクセスするための２つのオーバーロードされたアイコンと頻繁に呼び出される番号のリストを有する。
【０１０２】
リスト要素にアクセスするため、ユーザはその上からタップするか、あるいはその上でジェスチャすることが可能である。例えば、バックグラウンドインタフェースの頻繁に使用される番号のリスト（図６Ａ〜６Ｃ）又は生成された名前リストから、ある電話番号の詳細にアクセスするため、ユーザはリスト要素をクリックし、サブメニューにアクセスし、選択肢のリストから「ｇｅｔ  ｄｅｔａｉｌｓ」コマンドを選択することができる。あるいは、図６Ｂに示されるように、ユーザは単に「ｓｐｏｒｔ  ｃｅｎｔｒｅ」とマークされたアイテムからこの場合には所望の「ｌｉｓｔ  ｄｅｔａｉｌｓ」ダイアログに進むため、リスト要素上で始まる「ｄ」ジェスチャを描画することができる。
【０１０３】
バックグラウンドインタフェースのコントロール要素のサイズと手動インタラクションを妥協することなく、より多くのコントロールをディスプレイに表示させるため、インタフェース２７０は、２つのオーバーロードされたアイコン又はコントロール要素２７４と２７６を有する。再び、リストアイテム上の適切なジェスチャの実行はコマンドを実行させるであろう。しかしながら、ジェスチャがオーバーロードされたコントロール要素アイコン及び当該アイコンに関するジェスチャに係る領域にある任意のリスト要素上でジェスチャが始まる場合、当該ジェスチャに対応するコマンドが実行される。
【０１０４】
例えば、図６Ａに示される「ｒｅｇｉｓｔｅｒ」オーバーロードアイコン２７６上で「Ｍ」ストローク２８２を描画することにより、「Ｍｉｓｓｅｄ  ｃａｌｌｓ」ダイアログにアクセスし、「ｒ」ジェスチャを実行することにより、「Ｒｅｃｅｉｖｅｄ  ｃａｌｌｓ」ダイアログにアクセスする。
【０１０５】
この形式のインタラクションモデルは、ジェスチャインタラクションのみに限定されるものではなく、番号のダイアル時（図７Ｂを参照されたい）、又は、図６Ａにおける「ｄ」を描画するのでなくリスト要素上でのダブルタップが選択された番号に発信する場合など、必要に応じて従来の「ポイント・アンド・クリック」や「タップ」ジェスチャを利用することができる。
【０１０６】
図７Ａは、２次元ジェスチャ駆動ボタン２７８の利用を示す。上方線の２次元ジェスチャ２８４を描画することにより、発信を可能にするダイアログが呼び出され、サブメニューインタラクションを回避することができる（図７Ｂを参照されたい）。あるいは、「Ｍｅｎｕ」ボタン２７８上での単なるタップ動作により、ユーザが「Ｄｉａｌ  ａ  ｎｕｍｂｅｒ」への選択肢を含む従来のインタフェースと同様にして階層的メニューにアクセスすることが可能となる。このアプローチは、２つのモードのインタラクションの実際的な一体化を示す。
【０１０７】
図７Ｃは、与えられた電話番号を検索するため、ジェスチャ起動された「Ｎａｍｅ」ボタン２８０を使用することを示す。「Ｔ」字状のジェスチャ２８６を描画することにより、リストが設定され、文字「Ｔ」から始まるすべての要素を表示し（図７Ｄ）、「Ｐ」字状のジェスチャ２８８を描画することにより（中間）、リストはさらに文字「Ｔ」から始まり、文字「Ｐ」を含むすべての要素に最適化される。このアプローチは、より大きな認知顕著性を有しながら、文字を選択するための実行に関して劇的に短縮する。
【０１０８】
リスト２９０の左をタップしたり、あるいは、シンボルを描画することにより、ある番号に発信するためのダブルクリックなどのコマンドを実行することができる。さらに、リスト２９０の右側に描画されたシンボルはさらに、所望の文字を含む任意の残りのアイテムに検索を精緻化する。ある要素にアクセスするため、ユーザは再びアイテム又はジェスチャを該当するリストアイテム上で適切にタップすることができる。
【０１０９】
図８を参照するに、ユーザインタフェース２７０への入力及びこれに応じて一般に図５のステップ２６０及び２６２に基づくジェスチャを処理するため実行されるデータ処理動作を示すフローチャートが示される。本プロセス３００はステップ３０２において開始され、ステップ３０４において、ジェスチャエンジン２２６はポインティング装置により入力されたジェスチャを、それがマウス入力ジェスチャ、タッチ画面入力ジェスチャ、又は他の何れかのポインティング装置からの入力である場合に抽出する。ジェスチャエンジンは当該ジェスチャをわたし、ステップ３０６において、当該ジェスチャに関するキーボードイベントを決定する。ジェスチャエンジンはキーボードイベントを出力し、ステップ３０８において、ユーザインタフェースハンドラ２３２は、キーボードイベント、任意のポインタイベント及び現在のポインタ座標を抽出する。ここで、ポインタイベントとは、タッチ画面上の「タップ」イベント又はマウスダウンイベントなどのポインタが起動されたことを示す制御コマンドを意味する。
【０１１０】
その後、ステップ３１０は、基礎となるインタフェースにわたされるべきポインタイベントと、コントロール要素を起動するための任意のポインタイベントとを区別する。特にステップ３１０において、ポインタ座標を用いて、ポインタイベントがコントロール要素に関する領域内で発生したか、発生している場合には、タイムアウト期間内にジェスチャが開始されたか判断する。従って、コントロール要素に関する領域においてポインタイベントが検出されたが、一定期間内に２次元ジェスチャを開始するポインティング装置の動作がない場合、コマンドは基礎となるレイヤのためのものであるとみなされる。
【０１１１】
この最初のシナリオは、基礎となるバックグラウンドレイヤ３２２のコントロール要素又はオーバーロードされたコントロール要素３２０を呼び出すためのポインタイベントを区別する図解を示す図９に示される。静的カーソル３２４は、ポインタの動きに従わないポインタイベントの「タップ」又はマウスダウンを示し、基礎となるインタフェース３２６のコントロール要素３２２が呼び出される。
【０１１２】
図８に戻って、このシナリオでは、ユーザインタフェースイベントハンドラ２３２により、システムコールは基礎となるレイヤ３２６のイベントハンドラにイベントをわたす。その後ステップ３２０において、基礎となるレイヤのイベントハンドラは、例えば、適切な機能を実行するためメニュー又は他のダイアログを表示することによりイベントを適切に処理する。その後ステップ３２２において、本プロセスは完了する。
【０１１３】
ステップ３１０に戻って、ポインタの動きが、コントロール要素３２０に関するユーザインタフェースの領域上のジェスチャ３３０をトレースするカーソルにより示されるように、タイムアウト期間内に検出される場合、当該ポインタイベントは、オーバーロードされたコントロール要素を呼び出すためのものであると判断される。
【０１１４】
プロセスフローはステップ３１２に進み、オーバーロードされたコントロール要素に関するディスプレイのどの領域において、ポインタイベントが発生したか判断される。このようにして、２次元ジェスチャが複数のコントロール要素のどれを呼び出そうとしたか判断することができる。その後ステップ３１４において、当該コントロール要素に関する複数のコマンドの何れが選択されているか判断される。特に、ジェスチャに対応するキーボードイベントが当該領域のコントロール要素に対する複数のコマンドの１つに関連するか判断され、関連する場合には、その後ステップ３１６において、複数のコマンド、動作又は機能の中の選択されたものが実行される。その後ステップ３２４において、プロセスフローは終了する。
【０１１５】
ステップ３１４において、コントロール要素に適用されるジェスチャに対応する器ボードイベントに関するコマンドが存在しないと判断されると（例えば、「Ｘ」字状のジェスチャに関するコマンドがない）、プロセスフローは分岐し、本プロセスはステップ３２６において終了する。
【０１１６】
従って、オーバーロードされたコントロール要素は、ジェスチャを抽出し、従来手法により処理されるレイヤを標準的ポイント・アンド・クリックインタラクションが通過することを可能にすることにより、拡張された機能を提供するＷＩＭＰとシームレスに一体化することが可能である。このようなユーザインタフェースは、描画パッケージ及びテキスト選択とやりとりすることができる。しかしながら、これに対する手段は、右マウスキーを用いてジェスチャ入力を起動するため、上述のような又は他のモードに切り替えるためわずかな遅延を利用してコンフリクトを回避することである。
【０１１７】
オーバーロードされた透過コントロール要素は、典型的に示される静的画像に対して、３０％以下の不透明さの極めて低いレベルの透過性により機能する。
【０１１８】
既存の良好な構成により回避可能な他の制限は、バックグラウンドとコンフリクトするカラーの選択であり、レイヤ間の識別又は移動要素の選択の困難さを生じさせるアニメーションの良好でない選択である。しかしながら、これは、標準的インタフェース又はウェブサイトのためのグラフィックの設計により大きな負担ではない。他の制約は、アニメーション化されたコントロールがメディアクリップなどの移動するバックグラウンド上で不明りょうとなりうるということである。
【０１１９】
図６Ａを参照するに、アニメーション化された封筒の上に「Ｃ」を描画することにより、テキスト入力、あるいは、図１１Ａ〜１１Ｃに詳細に示されるオーバーロードされたキーボード３６０を含む「Ｃｏｍｐｏｓｅ」ダイアログ３５０（図１０）を開き、「Ｉ」又は「Ｏ」はそれぞれ「Ｉｎｂｏｘ」及び「Ｏｕｔｂｏｘ」を呼び出す。このテキスト入力又は「Ｃｏｍｐｏｓｅ」ダイアログは、初期画面からの「Ｒｅｇｉｓｔｅｒ」オーバーロードされたコントロール要素アイコン２７６と同様の形式により（図６Ａ〜６Ｃ）テキストのオーバーロードされたレイヤを利用する。
【０１２０】
キーボード３６０が、テキスト上に積層された数字パッド及び視覚的にオーバーロードされたＩＳＯキーボードレイアウト（携帯電話機において標準的な）として実現される。２次元ジェスチャが、数字や大文字などの他の機能にアクセスするため、文字及び簡単な意味のあるジェスチャを選択するため、簡単な勾配ストロークを用いて搭載される。９個の透過な緑色のドットのアレイ３６１が、コントロール要素を関連付けるディスプレイ上の９個の領域に関する視覚的な手がかりを提供する。青色などの第１カラーにおける３又は４個などの透過な文字群３６３がアニメーション化され、それらが関連する緑色のドット近傍のディスプレイ領域を移動するに従って、徐々にサイズの拡大縮小が行われる。アニメーション化された数字３６４がまた緑色のドットに関連付けされ、青色などの第２カラーによる透過な数字が同様にアニメーション化され、サイズを拡大縮小し、関連する緑色のドットの近傍のディスプレイ領域を移動する。同様に、アニメーション化された句読点３６５又は他のシンボル又は文字もまた緑色のドットに関連付けされ、透過なシンボル又は文字が同様にアニメーション化され、サイズを拡大縮小し、関連する緑色のドットの近傍のディスプレイ領域を移動する。このとき、バックグラウンドレイヤは、図３を参照して上述されたように、キーボードにより入力されたテキスト３６２に対する表示を提供する。従って、図１１Ａ〜１１Ｃは、各々が関連する領域を有するオーバーロードされた複数のコントロール要素から構成されるアニメーション化されたキーボード３６０の３つのフレームを示す。
【０１２１】
キーボードを操作するため（図１０を参照されたい）、ユーザは、３７０などの極めてシンプルな勾配ジェスチャを行う。文字を選択するため、選択されたボタン上で開始される勾配ストロークが実行される。ボタンの中心が緑色のドットにより示される。ジェスチャの角度は、どの要素が選択されているかを示すコンテクストを提供する。図１０に示されるように、「Ｌ」が右に終了するジェスチャ３７０により選択され、「Ｋ」が垂直に上下するストロークにより選択される。利用性を向上させるため、「スペース」文字は、ディスプレイ上の何れかにおいて実行可能な「右ダッシュ」ジェスチャにより選択される。同様に、削除コマンドは、全体的な「左ダッシュ」により選択される。
【０１２２】
基本的なテキスト入力以外のあまり利用されない機能にアクセスするため、このアプローチは、「５」の数字に関連するキーボードの領域においてなされる意味のある容易に関連付けされる「ｎ」ジェスチャによる数字「５」の選択などのより複雑な２次元ジェスチャを利用する。
【０１２３】
他の選択肢は、「Ｃ」ジェスチャにより画面の基礎となるディスプレイからテキストをクリアすることを含み、所望の文字の２次元ジェスチャの連続する部分として、あるいはその直後に、大文字の「Ｕ」を描画することにより大文字が入力可能である。上記関連付けを習得する必要性は習得負担を生じさせるが、それらは、後述されるヘルプ機構を利用することにより容易に習得することが可能である。まず、当該シンボルの使用は、モード又はメニューオプションの選択よりは困難なものではなく、動作に精通するに従い、他のアプローチほど困難なものではなくなる。ポイント・アンド・クリックインタラクションは、当該アプローチがＴ９アプローチを組み込むことが可能であり、従来のグラフィカルインタフェースにおけるテキスト編集によるなど、標準的なテキストインタラクションを依然として利用することが可能であるということを示すために残される。
【０１２４】
さらなる選択肢は、予測的テキスト入力機構の一部として単語の長さを示すためにジェスチャの長さを利用することである。例えば、ある単語の最初の文字が、適切な２次元ジェスチャによりキーボードを介し入力され、その後、ユーザは当該単語の長さを表す長さをジェスチャする。このとき、予測的テキスト入力機構は、この最初の文字から始まり、ジェスチャの長さに対応する単語の長さを有する単語を検索し、これらの単語をユーザが選択可能な予測として表示する。単語の長さを特定する２次元ジェスチャは、心拍モニタにより生成されるトレースと同様に、スパイク又はプル（ｐｕｌｅ）の一般的な形状を有するものとすることが可能である。
【０１２５】
テキスト入力に対する上記アプローチは、適切なサイズのソフトキーボードを介しキーストロークの複雑な組み合わせなしに、ユーザが容易にテキストを入力することを可能にする。この携帯電話器インタフェースの提案された構成の効果は、実際的な手動タッチ画面インタラクション、限られた画面領域の最適化、正確なボタンのスキャンなどの視覚的検索スキームの認知負担の減少、ジェスチャインタラクションにより与えられるより大きな認知購入、メモリに基づくサブメニューの利用の減少、通常の「３−８＋」ではなく１〜３の実行中の電話番号の選択、複数のボタンの押下でなく１回のジェスチャの実行中の利用頻度の高いすべての選択肢の選択、最適化されたジェスチャインタラクションによる標準的なポイント・アンド・クリックインタラクションの搭載がインタラクション形式の冗長性を利用することなどを含む。
【０１２６】
図１２は、本発明のインタフェースにおける利用に適したさらなるオーバーロードされたコントロール要素３８０を示す。このコントロール要素は、メディアプレーヤー装置を操作するのに利用可能であり、２次元ジェスチャ群による単一のオーバーロードされたコントロール要素が、従来必要とされた５つのアイコン又はコントロール要素３８４を置換することができる。コントロール要素は、それがその形態を変更し、ワープロなどのアプリケーションのインタフェースなどのユーザが注目するディスプレイ領域上を移動可能となるように、アニメーション化することができる。従って、ユーザは、現在のフォーカスから視野を動かす必要なく、巻き戻し、早送り、再生、一時停止又は停止機能を呼び出すため、２次元ジェスチャ３８２の適切なものを実行することにより、メディアプレーヤーを容易に制御することができる。
【０１２７】
図１３は、コントロール要素３８０上での「？」形状の２次元ジェスチャ３９０を実行することにより呼び出すことが可能なヘルプ機能の図解を示す。ジェスチャインタラクションの問題は、大量のジェスチャ及びそのコンテクストに精通する必要があることによる急峻な習得曲線である。本インタフェースは、容易に覚えられる「？」ジェスチャがインタフェースにコントロール３８０に関するジェスチャ３８２を表示させる機構を導入することにより習得性をサポートする。このようにして、ユーザは、必要に応じてコンテクストのヘルプを呼び出すことにより、徐々にシステムに精通することができるようになる。このヘルプ機能はまた、全体的なナビゲーション及び利用をサポートする機構をも提供する。
【０１２８】
利用性を向上させるため、ヘルプ機能が呼び出された後、コントロール要素の機能がいくつかの方法により起動可能とされる。ユーザは、コントロール要素上において正確な２次元ジェスチャを行い、あるいは、コントロール要素に隣接して表示されるボタン３９２又はテキストラベル上でポイント・アンド・クリック又はタップジェスチャをすることができる。さらに、コントロール要素アイコン３８０からラベル３９２への直線ジェスチャを利用して、当該処理を実行することができる。「？」形状のジェスチャは、「．」を要するものであってもよいし、そうでなくてもよく、好ましくは、図１３に示されるように必要としない。
【０１２９】
図１４は、コントロール要素に関するヘルプ機能が呼び出される際に実行されるデータ処理動作を示すフローチャートを示す。ポインティング装置イベントの全体処理は、図５及び８を参照して上述されたものと同様である。本プロセス４００はステップ４０２において開始され、ステップ４０４において、「？」形状のジェスチャがコントロール要素上で検出される。その後ステップ４０５において、機能とラベル付けされたコントロール３９２とコントロール要素３８０に関する２次元ジェスチャ３８２のすべてが、当該コントロール要素の近傍に表示される。ステップ４０６において、どのような方法によりユーザがこれらの機能の１つを実行することを選択したか判断される。ユーザは２次元ジェスチャをコントロール要素に適用することができ、あるいは、当該コントロール要素からラベル付けされたコントロールまでマークを描画し、あるいは、ラベル付けされたコントロール上でクリックを行うことが可能である。上記コマンド入力機構の何れもが検出されない場合、プロセスフローは正確なコマンド入力を待機するため、ステップ４０８においてステップ４０５に戻る。その後、ステップ４１０において、正確な入力機構の１つにより選択されたコマンドが実行される。その後ステップ４１２において、ヘルププロセス４００が終了される。
【０１３０】
図１５は、本発明のユーザインタフェースにおいて利用可能なコントロール要素４２０のさらなる例を示す。当該コントロール要素４２０は、ユーザの周辺視野により容易に識別可能となるよう構成され、ユーザの主視野ではなく周辺領域のユーザインタフェースに配置することが可能である。コントロール要素のアニメーションを注意深く選択することにより、それの目障りさを低減し、コントロール要素を上品に目立たせることにより、機能性を向上させることが可能である。アニメーション化されたコントロール要素は、視野を効果的に広げる。周辺視野により解釈可能なコントロール要素は、スマートインタフェースコントロールの適応性及び控えめな冗長性を促進する。従って、このアプローチは、その目障りさを緩和し、コントロール要素を上品に目立たせることにより、適応的機構の機能性を向上させる。
【０１３１】
図１５に示される周辺解釈可能なコントロール要素４２０は、表面上で進行する明るい色と暗い色の交互の帯を特徴とするアニメーション化された透過なグラフィカルレイヤから構成される装置である。当該帯の厚さは、コントロール要素のアニメーション軸４２２に沿って進行するに従って変化する。装置の向きは、コントロール要素のアニメーション軸に沿った明るいものと暗いものとの進行する帯の向きにより示される。コントロール要素はまた、矢印４２１により示されるように回転することが可能である。アニメーション化された帯は、コントロール要素のある意味での向きを提供する。コントロール要素は、アニメーション軸を「ポインタ」として利用することによって「ダイアル」を提供するのに利用可能であり、状態の変化を示すため、コントロール要素が左右に回転する。
【０１３２】
このコントロール要素は、周辺視野を介した解釈に適している。ユーザは、ユーザの目の隅を介しコントロール要素を読む困難さはほとんどない。ユーザは、目線を変えることに関する認知中断を解消する重ね合わせされたコントロール要素４２０とバックグラウンドを容易に見ることができる。従って、ユーザの視野は、効果的に拡大される。これは、中枢システム又はコンピュータゲームのイベント状態指標、ダウンロード進捗指標、スピードメーター又は車両ナビゲーションシステムにおいて特に有用となりうる。
【０１３３】
基礎となる表示をしばしば不明りょうにする目障りなダイアログにより生じる注意の中断を回避する認知的人間工学的設計ヒューリスティック（ｈｅｕｒｉｓｔｉｃ）を有するさらなるコントロール要素を設けることが可能である。例えば、従来のサブメニューは、基礎となる作業コンテクストの不明りょう化を通じた大きな短期的記憶負担と、ユーザが選択肢の大きなリストから選択する必要があるときの視覚的な検索負担とを生じさせる。メニューアイテムやメニューボタンなどのメニューコントロール要素上での文字の描画が、適切な文字から始まる当該メニューからのすべてのコマンドを収集するメニューシステムを設けることによって、記憶負担とアイテムの視覚的スキャンの両方を低減するコントロール要素を提供することができる。例えば、ファイルメニューコントロール要素上での「ｏ」のジェスチャを描画することは、当該メニューにおいて「ｏ」から始まるすべてのコマンド又は機能を収集及び表示する。従って、システムは、ユーザに表示されるメニューをより小さなサイズによりより扱い易い形式によりこれらのコマンドをグループ化する。いくつかのケースでは、リストには１つのアイテムしかないかもしれず、このため、必要な視覚的検索を劇的に低減させることが可能となる。従って、このコントロール機構は、組み込まれた検索機能を効果的に有する。
【０１３４】
コントロール要素の視覚的な識別可能性を向上させるさらなるアプローチは、３次元エンティティと見えるようにコントロール要素をアニメーション化することである。これはいくつかの方法により実現することができる。例えば、ボックスなどの回転する３次元オブジェクトと見えるように、コントロール要素をアニメーション化することが可能である。あるいは、コントロール要素により３次元的な様相を与えるため、シェーディング（ｓｈａｄｉｎｇ）処理が利用可能である。これは、人間の視覚系が「フラット」な背景からコントロール要素を抽出するのを支援し、当該コントロール要素が３次元的に見えるよう構成されていないコントロール要素より透過的なものとされることを可能にする。
【０１３５】
本発明のユーザインタフェースにおいて利用可能なさらなるコントロール要素は、スクロール機能を提供するコントロール要素である。これは、ウィンドウの上下左右の端に典型的には設けられるスクロールバーを削除するとき、表示用に利用可能な領域を増大させる。オーバーロードされたコントロール要素に関するジェスチャは、実行対象となるスクロール処理の向き及び大きさの両方を決定することができる。スクロール量は、ジェスチャの方向に２次元ジェスチャの程度まで比例的なものとすることが可能である。さらに、スクロール方向は、２次元ジェスチャの方向と同一なものとすることが可能である。例えば、コントロール要素上でなされる小さな左へのジェスチャは、左にわずかにスクロールさせ、コントロール要素上でなされる長い下方へのジェスチャは、下方への大きなスクロールを生じさせる。
【０１３６】
一部又はすべての機能を実行するため、さらなるコントロール要素が、ジェスチャとキーボードの組み合わせ、又は他の入力装置、エントリに依存させることが可能である。例えば、コントロール要素は、装置をリセット又はダウンさせるのに利用可能である。フェイルセーフ機構を提供するためである。ジェスチャに関する機能は、ユーザが同時に装置キーボード上の特定のキー又はキーの組み合わせを押下しない場合には実行されない。例えば、装置のソフトリセットは、「ＣＴＲＬ」キーを押下しながら、ユーザがコントロール要素上で「ｘ」のジェスチャをすることを要求するものとすることができる。従って、これは、偶然発生した障害から正しくないジェスチャ解析、認識又は入力を除くことを助ける。同一のジェスチャとキーボードキーのさらなる異なる組み合わせが、異なる命令を実行させるのに利用可能である。従って、キーボードエントリ及びジェスチャは、各機能の選択及び実行のための「ショートカット」を提供するのに組み合わせることが可能である。
【０１３７】
さらなるコントロール要素は、正しい選択肢や処理が実行されることを保証するため、ジェスチャの意味内容を利用する。例えば、コントロール要素は、「ファイル削除」及び「はい」と「いいえ」の選択肢などのメッセージと２つの選択肢を表示することができる。ファイル削除処理を実行するため、ユーザは、選択された選択肢に概念的に関連する正しいタイプのマークをしなければならい。この例では、ユーザは、「はい」を選択するのに「チェック」マークをし、「いいえ」を選択するのに「バツ」マークをすることになる。これは、ユーザが偶然に誤った選択肢をクリックする際に生じうるような正しくない選択肢の偶然的選択を防ぐのに寄与するであろう。コントロール要素はさらに、正しいジェスチャがコントロール要素の選択肢の対応する領域上でなされることを要求することにより限定することができる。従って、チェックが「いいえ」の選択肢に対しなされる場合には、コマンドは実行されない。「はい」の選択肢に関するコントロール要素の領域上でチェックマークをしたときのみ、コマンドが実行されることとなる。このことは、さらなるセーフガードを提供する。
【０１３８】
本発明の方法及び技術は、拡張されたバーチャルリアリティインタフェース用のウェアラブル装置及びコントロールダッシュボードなどのデータボード、公共情報キオスク、小型装置用のインタラクションをサポートするため、多くの電気装置のユーザインタフェースに適用することができる。キーボードの特徴は予測的テキストを利用することにより拡張することができる。例えば、ある単語の最初の文字がジェスチャを用いて入力でき、この単語の長さを規定するのにさらなるジェスチャが利用される。その後、連続する文字群が、候補リストを生成するのにタップされる（Ｔ９辞書に関して）。また、検索を精緻化するため、特定の文字を入力することができる。
【０１３９】
ここで教示された原理の他の応用及び展開がある。例えば、周辺視野以外のすべての視野を失っている人々などの視覚障害者のためのインタラクションの設計、適応的システム及び周辺ディスプレイに有用なモデルとする間接的な注視によるコントロールを認識することができる。適応的ディスプレイは、コントロールのレイアウトを混乱させることなく、新たなアイテムを配置したり、表示を再構成する自由度から利益を得ることが可能である。
【０１４０】
他の性質は、同一の動きを共有する要素がグループ化されているように見えるということである。このアプローチは、グループ関係を示すのに通常必要とされるように、ディスプレイ上の広範に分散されているメニューオプションを境界を付けるのに必要な負担なく実現するのに利用可能である。
【０１４１】
認知理論を利用したさらなるコントロール要素を構成することが可能である。コントロール要素のこのような適応化は、コントロール要素の動的シェーディング処理及び３次元コントロール要素を導入することによって、視覚的対立を最小化及びその効果を管理するのに役に立つであろう。
【０１４２】
一般に、本発明の実施例は、１以上のコンピュータシステムを介し転送又は格納されるデータに関する各種処理を利用する。本発明の実施例はまた、上記処理を実行するための装置に関する。本装置は、必要とされる目的に特化して構成されてもよいし、あるいは、コンピュータに格納されているコンピュータプログラム及び／又はデータ構造により選択的に起動又は再構成される汎用コンピュータであってもよい。ここで与えられるプロセスは、何れか特定のコンピュータ又は他の装置に固有的に関連するものではない。特に、各種汎用マシーンが、ここでの教示に従って書き込まれたプログラムにより利用されてもよいし、あるいは、必要とされる方法ステップを実行するためより特化した装置を構成するのに便利である。
【０１４３】
さらに、本発明の実施例は、各種コンピュータにより実現される処理を実行するためのプログラム命令及び／又はデータ（データ構造を含む）を有するコンピュータ可読メディア又はコンピュータプログラムプロダクトに関する。コンピュータ可読メディアの具体例としては、以下に限定されるものではないが、ハードディスク、フロッピー（登録商標）ディスク、磁気テープなどの磁気媒体、ＣＤ−ＲＯＭディスクなどの光媒体、光磁気媒体、半導体記憶装置、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのプログラム命令を格納及び実行するよう特化して構成されたハードウェア装置があげられる。本発明のデータ及びプログラム命令はまた、搬送波又は他の電送媒体により実現されてもよい。プログラム命令の具体例としては、コンパイラにより生成されるような機械コードと、インタプリタを用いてコンピュータにより実行されるような高レベルコードを含むファイルの両方があげられる。
【０１４４】
上記説明は、具体的処理及び装置による本発明を一般的に説明するものであるが、本発明は、広範な適用可能性を有する。特に、本発明の特徴は特定のタイプの電子装置に限定されるものではない。当業者の１人は、上記説明に基づく他の変形、改良及び代替を認識するであろう。
【０１４５】
本発明は、上述の方法ステップの構成的特徴、データ処理、データ構造又はシーケンスの特定の組み合わせに限定されるものではなく、コンテクストが必要とされない場合、上記組み合わせは変更、変形及び改良することが可能であるということは理解されるであろう。例えば、異なる特徴の組み合わせが利用可能であり、一実施例を参照して説明された特徴は、他の実施例を参照して説明された他の特徴と合成することが可能である。同様に、方法ステップのシーケンスは変更可能であり、各種アクションが１つの方法ステップに合成可能であり、一部の方法ステップは複数のステップとして実行可能である。また、一部の特徴は個別に概略説明され、あるいは、説明の簡単化のため、特定の特徴の組み合わせを有するものとして、各種特徴を合成又は一体化することが可能である。
【０１４６】
上述の実施例は具体例を介し引用され、本発明は上記説明及び図示されたものに限定されるものではないということは理解されるであろう。本発明の範囲は、上述の各種特徴の組み合わせ又は部分的組み合わせの両方と共に、上記説明を読むことにより当業者に想起される変形及び改良を含む。
【図面の簡単な説明】
【０１４７】
【図１】図１Ａ〜１Ｄは、１つの表示装置のキーボード及びテキスト領域を組み合わせることにより課される制約を示すグラフィカル表示を示す。
【図２】図２は、本発明のユーザインタフェースのコントロール要素部分と関連する２次元ジェスチャの図解を示す。
【図３】図３は、本発明によるオーバーロードされたユーザインタフェースの図解を示す。
【図４】図４は、本発明によるユーザインタフェースを有する装置の概略ブロック図を示す。
【図５】図５は、本発明によるユーザインタフェースを提供するコンピュータプログラムを示すハイレベルプロセスフローチャートを示す。
【図６】図６Ａ〜６Ｃは、ユーザによるユーザインタフェースの利用を示す本発明によるユーザインタフェースを含む携帯電話機を示す。
【図７】図７Ａ〜７Ｅは、本発明のユーザインタフェースのさらなる機能を示す図５Ａ〜５Ｃに示される電話機のユーザインタフェースの各画面を示す。
【図８】図８は、図７に示されるフローチャートの一部をより詳細に示すプロセスフローチャートを示す。
【図９】図９は、バックグラウンドレイヤのコントロール要素の選択を示すインタフェースのバックグランドレイヤとコントロール要素レイヤの図解を示す。
【図１０】図１０は、本発明によるユーザインタフェースのキーボード部分を示す図５Ａ〜５Ｃに示される携帯電話機を示す。
【図１１】図１１は、キーボードコントロール要素のアニメーションを示すより詳細に図１０に示されたインタフェースのキーボード部分を示す。
【図１２】図１２は、本発明のユーザインタフェースと関連する２次元ジェスチャのオーバーロードされたコントロール要素部分へのメディアプレーヤーコントロール群のオーバーロード処理の図解を示す。
【図１３】図１３は、図１２のオーバーロードされたコントロール要素に適用される２次元ヘルプジェスチャにより呼び出されたヘルプ機能の図解を示す。
【図１４】図１４は、図１３に示されるように読み出されたヘルプ処理の実行を示すプロセスフローチャートを示す。
【図１５】図１５は、周辺視野に適した本発明のユーザインタフェースのオーバーロードされたコントロール要素部分を示す。
2006527439.tif 000003
【図２】
2006527439.tif 000004
【図３】
2006527439.tif 000005
【図４】
2006527439.tif 000006
【図５】
2006527439.tif 000007
【図６】
2006527439.tif 000008
【図７】
2006527439.tif 000009
【図８】
2006527439.tif 000010
【図９】
2006527439.tif 000011
【図１０】
2006527439.tif 000012
2006527439.tif 000013
【図１２】
2006527439.tif 000014
【図１３】
2006527439.tif 000015
【図１４】
2006527439.tif 000016
【図１５】
2006527439.tif 000017
【国際調査報告】
2006527439.tif 000018
2006527439.tif 000019
2006527439.tif 000020
2006527439.tif 000021
2006527439.tif 000022