(57)【要約】  マウスのような三状態入力デバイスをシミュレートするタッチ・スクリーン入力デバイスを提供する。これらの状態の１つは、スクリーンにタッチしたときにグラフィカル・ユーザー・インターフェース・エレメントを作動させる効果を下検分するために用いられる。このプレビュー状態において、スクリーン上においてグラフィカル・ユーザー・インターフェース・エレメントに指またはスタイラスを用いてタッチしても、そのエレメントと関連付けられている動作が実行されることはない。逆に、プレビュー状態にある間にスクリーンにタッチすると、オーディオ・キューがユーザーに与えられて、タッチしたエレメントと関連付けられている動作が実行されるとどんな動作が発生するか示される。【選択図】図５
2013513164.tif 000002
【特許請求の範囲】
【請求項１】
移動体デバイスにユーザー・インターフェースを設ける方法であって、
タッチ・スクリーン上に１つまたは複数のグラフィカル・ユーザー・インターフェース・エレメントを表示するステップと、
前記タッチ・スクリーン上の前記グラフィカル・ユーザー・インターフェース・エレメントの位置において、第１のタッチを受け取るステップと、
前記第１のタッチを受け取ったことに応答して、プレビュー状態に入り、オーディオ・キューをレンダリングして、前記グラフィカル・ユーザー・インターフェース・エレメントによって実行される機能を示すステップと、
を備えている、方法。
【請求項２】
請求項１記載の方法であって、更に、
前記第１のタッチを受け取り続けている間に、前記タッチ・スクリーン上において第２のタッチを受け取るステップと、
前記第２のタッチを受け取ったことに応答して、前記グラフィカル・ユーザー・インターフェース・エレメントと関連付けられており前記プレビュー状態とは異なる第２の状態に入るステップと、
を備えている、方法。
【請求項３】
請求項２記載の方法において、前記第２の状態が、当該第２の状態にある間における前記第１のタッチの前記タッチ・スクリーンに沿った移動に応答して、前記グラフィカル・ユーザー・インターフェース・エレメントを前記タッチ・スクリーン上においてドラッグさせる、方法。
【請求項４】
請求項２記載の方法において、前記タッチ・スクリーンの規定部分上において前記第２のタッチを受け取った場合にのみ、前記第２の状態に入る、方法。
【請求項５】
請求項２記載の方法において、前記第１のタッチを受け取った場所から規定の距離未満にある前記タッチ・スクリーンの一部上において前記第２のタッチを受け取った場合にのみ、前記第２の状態に入る、方法。
【請求項６】
請求項１記載の方法において、前記グラフィカル・ユーザー・インターフェース・エレメントが、電子デバイス上で実行されているアプリケーションに対して、ユーザー・インターフェースの一部を表し、前記グラフィカル・ユーザー・インターフェース・エレメントによって実行される機能が、前記アプリケーションに規定の態様で応答させる、方法。
【請求項７】
請求項６記載の方法において、前記プレビュー状態に入るステップが、前記グラフィカル・ユーザー・インターフェース・エレメントによって実行される機能にしたがって応答することを、前記アプリケーションに行わせない、方法。
【請求項８】
請求項２記載の方法であって、更に、
前記第２のタッチがないことを検出するステップと、
前記第２のタッチがないことに応答して、前記プレビュー状態に戻るステップと、
を備えている、方法。
【請求項９】
電子デバイスにおいて用いるためのタッチ・スクリーン・ディスプレイ・システムであって、
ユーザー入力を受け取り、１つまたは複数のグラフィカル・ユーザー・インターフェース・エレメントを表示するように構成されているタッチ・スクリーンと、
前記グラフィカル・ユーザー・インターフェース・エレメントの位置において前記タッチ・スクリーン上で第１のタッチを受け取ったことに応答して、オーディオ・キューをレンダリングするプレビュー状態に入り、前記グラフィカル・ユーザー・インターフェース・エレメントによって実行される機能を示すオーディオ・プレビュー・コンポーネントと、
を備えている、タッチ・スクリーン・ディスプレイ・システム。
【請求項１０】
請求項９記載のタッチ・スクリーン・ディスプレイ・システムであって、更に、前記電子デバイス上に常駐するアプリケーションを備えており、このアプリケーションが、前記グラフィカル・ユーザー・インターフェース・エレメントを含むユーザー・インターフェースを有し、前記オーディオ・プレビュー・コンポーネントが、前記グラフィカル・ユーザー・インターフェース・エレメントと関連付けられたテキストをオーディオ・キューに変換するテキスト−音声変換コンポーネントを含み、前記テキストが、前記アプリケーションによって前記オーディオ・プレビュー・コンポーネントに露出される、タッチ・スクリーン・ディスプレイ・システム。
【請求項１１】
請求項９記載のタッチ・スクリーン・ディスプレイ・システムであって、更に、前記第１のタッチを受け取り続けている間に、前記タッチ・スクリーン上において第２のタッチを受け取ったことに応答して、前記グラフィカル・ユーザー・インターフェース・エレメントと関連付けられており前記プレビュー状態とは異なる第２の状態に入るように構成されているタッチ・スクリーン・コントローラーを備えている、タッチ・スクリーン・ディスプレイ・システム。
【請求項１２】
請求項１１記載のタッチ・スクリーン・ディスプレイ・システムにおいて、前記第２の状態が、前記第１のタッチの前記タッチ・スクリーンに沿った移動に応答して、前記グラフィカル・ユーザー・インターフェース・エレメントを前記タッチ・スクリーン上においてドラッグさせる、タッチ・スクリーン・ディスプレイ・システム。
【請求項１３】
請求項１１記載のタッチ・スクリーン・ディスプレイ・システムにおいて、前記タッチ・スクリーンの規定部分上において前記第２のタッチを受け取った場合にのみ、前記第２の状態に入る、タッチ・スクリーン・ディスプレイ・システム。
【請求項１４】
請求項１１記載のタッチ・スクリーン・ディスプレイ・システムにおいて、前記第１のタッチを受け取った場所から規定の距離未満にある前記タッチ・スクリーンの一部上において前記第２のタッチを受け取った場合にのみ、前記第２の状態に入る、タッチ・スクリーン・ディスプレイ・システム。
【請求項１５】
請求項９記載のタッチ・スクリーン・ディスプレイ・システムであって、更に、電子デバイス上に常駐するアプリケーションを備えており、このアプリケーションが、前記グラフィカル・ユーザー・インターフェース・エレメントを含むユーザー・インターフェースを有し、前記グラフィカル・ユーザー・インターフェース・エレメントによって実行される機能が、前記アプリケーションに規定の態様で応答させる、タッチ・スクリーン・ディスプレイ・システム。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  タッチ感応表示画面は、データー入力またはユーザーからのその他の入力を受け取るために、従前からのキーボードやその他の人間−機械インターフェース（「ＨＭＩ」）の代替として、増々普及しつつある。タッチ・スクリーンは、携帯用デバイスおよび据置型デバイスの双方を含む種々のデバイスにおいて用いられている。タッチ・スクリーンを有する携帯用デバイスは、例えば、移動体電話機、パーソナル・ディジタル・アシスタント（「ＰＤＡ」）、ならびに音楽およびビデオを再生するパーソナル・メディア・プレーヤーを通常含む。タッチ・スクリーンを用いる据置型デバイスは、例えば、車両、ポイント・オブ・セールス（「ＰＯＳ」）端末、ならびに医療および工業用途において用いられる機器において用いられるものを通常含む。
【０００２】
[0002]  タッチ・スクリーン上で直接データーに触れて操作できることは、ユーザーに対する大きな魅力となる。多くの観点において、タッチ・スクリーンは、従前のマウスよりも有利な入力メカニズムとして用いることができる。タッチ・スクリーンを用いると、ユーザーは、彼らが選択したいグラフィカル・ユーザー・インターフェース・エレメント（例えば、アイコン）上において、マウスを用いてユーザー・インターフェース上でカーソルを位置付けなければならない代わりに、スクリーンを単にタップしさえすれば済ますことができる。
【０００３】
[0003]  タッチ・スクリーンは、計算機からの出力をユーザーに表示するため、およびユーザーからの入力を受け取るための双方の役割を果たすことができる。ユーザーの入力選択肢は、例えば、スクリーン上における制御部、ナビゲーション、オブジェクト・アイコンとして表示することができる。ユーザーがスクリーン上においてスタイラスまたは指を用いて、関連のあるアイコンにタッチすることによって入力選択肢を選択すると、計算機はこのタッチの場所を検知し、このアイコンを提示したアプリケーションまたはユーティリティにメッセージを送る。
【発明の概要】
【０００４】
[0004]  従来のタッチ・スクリーン入力デバイスは、視覚障害者にとって問題となる可能性がある。何故なら、視覚障害者は、彼らの指またはスタイラスと、スクリーン上に現れる所望のグラフィカル・ユーザー・インターフェース・エレメントとの位置合わせ(alignment)を、それに接触する前では、判断することができないからである。加えて、彼らは、スクリーンに接触する前では、それにタッチした感触(impact)を検証する手段を有しておらず、感触が検証できた時点では、基本アプリケーションは既にその接触に応答して動作しているであろう。
【０００５】
[0005]  この欠点を克服するために、一実施態様では、マウスのような三状態入力デバイスをシミュレートするタッチ・スクリーン入力デバイスを提供する。これらの状態の１つは、スクリーンにタッチしたときにグラフィカル・ユーザー・インターフェース・エレメントを作動させる効果を下検分(preview)するために用いられる。このプレビュー状態において、スクリーン上でグラフィカル・ユーザー・インターフェース・エレメントに指またはスタイラスを用いてタッチしても、そのエレメントと関連付けられている動作が実行されることはない。逆に、プレビュー状態にある間にスクリーンにタッチすると、オーディオ・キューがユーザーに与えられて、タッチしたエレメントと関連付けられている動作が実行されたときにどんな動作が発生するか示す。
【０００６】
[0006]  実施態様の中には、一旦ユーザーが選択を望むグラフィカル・ユーザー・インターフェース・エレメントを突き止めた(locate)なら、ユーザーは、第１の指またはスタイラスがそのエレメントとの接触を維持しつつ、タッチ・スクリーン上において第２の指またはスタイラスを置くことができる。このように、所望のグラフィカル・ユーザー・インターフェース・エレメントを作動させることができる。即ち、第２の指またはスタイラスで接触することによってタッチ・スクリーンを第２状態に置くと、従来の入力デバイスを用いてそのエレメントが選択されたときのように、基本アプリケーションに応答させる。
【０００７】
[0007]  この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するときに補助として使用されることを意図するのでもない。
【図面の簡単な説明】
【０００８】
【図１】図１は、ユーザーがユーザー入力を受け取るためにタッチ・スクリーンを用いるデバイスと対話処理する携帯用計算環境の一例を示す。
【図２】図２は、タッチ・スクリーンを採用することができる計算機の種々のフォーム・ファクター例を示す。
【図３】図３は、従来のマウス入力デバイスについての状態図を示す。
【図４】図４は、従来のタッチ・スクリーン入力デバイスについての状態図を示す。
【図５】図５は、三状態タッチ・スクリーン入力デバイスについての状態図の一例を示す。
【図６】図６は、選択肢のメニューを提示するタッチ・スクリーンにタッチするユーザーの指を示す。
【図７】図７は、図６において「散布図」と呼ばれる選択肢にタッチするユーザーの指を示す。
【図８】図８は、指がスクリーンと接触する場所を中心として位置付けられた円をタッチ・スクリーン上に提示させる、図６および図７に示したタッチ・スクリーンにタッチする指を示す。
【図９】図９は、選択されたグラフィカル・ユーザー・インターフェース・エレメントを作動させるために、図８において示したタッチ・スクリーンにタッチする第２の指を示す。
【図１０】図１０は、ユーザー入力を受け取るために、タッチ・スクリーンを採用する計算機上にインストールすることができる機能コンポーネントを示すアーキテクチャの一例である。
【発明を実施するための形態】
【０００９】
[0018]  図１は、ユーザー１０２が、ユーザー入力を受け取るためにタッチ・スクリーン１１０を用いるデバイス１０５と対話処理する携帯用計算環境１００の一例を示す。図１に示すように、デバイス１０５は、携帯用計算プラットフォーム、または移動体電話機、スマート・フォン、ＰＤＡ、ウルトラ移動体ＰＣ（パーソナル・コンピューター）、ハンドヘルド・ゲーム・デバイス、パーソナル・メディア・プレーヤー等というような情報機器として構成されるのが普通である。通例、タッチ・スクリーン１１０は、表示コンポーネント上に作成されたタッチ・スクリーン・コンポーネントで構成されている。表示コンポーネントは、ＰＣまたはラップトップ・コンピューター上にある典型的なモニタと同様に画像を表示する。多くのアプリケーションにおいて、デバイス１０５は、軽量、薄さ、および低コストのために、液晶ディスプレイ（「ＬＣＤ」）を用いる。しかしながら、代替アプリケーションでは、例えば、陰極線管（「ＣＲＴ」）、プラズマ・スクリーン、および電子ルミネセンス・スクリーンを含む他の従来の表示技術を利用することもできる。
【００１０】
[0019]  タッチ・センサー・コンポーネントは、表示コンポーネントの上面上に置かれている。タッチ・センサーは透過性であり、それを通じて表示が見えるようになっている。多くの異なるタイプのタッチ・センサー技術が知られており、個々の実施態様の必要性を満たすために、適宜応用することができる。これらには、とりわけ、抵抗性、容量性、近傍磁界、光学撮像、ストレイン・ゲージ、散乱信号、音響パルス認識、赤外線、および表面弾性波技術が、含まれる。現在のタッチ・スクリーンの中には、多数の同時タッチ地点間で区別することができるもの、および／または圧力に感応するものもある。タッチ・スクリーン１１０との対話処理は、通例、指または親指を用いて行われ、また容量型でないタッチ・センサーでは、スタイラスを用いることもできる。
【００１１】
[0020]  この計算機を採用することができる他のフォーム・ファクターの一例を図２に示す。この中には、デスクトップ・コンピューター１３０１、ノートブック・コンピューター１３０２、タブレット・コンピューター１３０３、ハンドヘルド・コンピューター１３０４、パーソナル・ディジタル・アシスタント１３０５、メディア・プレーヤー１３０６、移動体電話機１３０７等が含まれる。加えて、コンピューターは、これらのタイプの組み合わせでもよく、例えば、パーソナル・ディジタル・アシスタント、メディア・プレーヤー、および移動体電話機の組み合わせであるデバイスであってもよい。
【００１２】
[0021]  図１および図２に示したフォーム・ファクターの多くは携帯用であるが、本構成は、タッチ・スクリーンが採用される据置計算機であれば、そのいずれにおいても用いることができる。これらのデバイスには、例えば、現金自動預け払い機（「ＡＴＭ」）、ポイント・オブ・セールス（「ＰＯＳ」）端末、セルフ・サービス・キオスクなどや、航空会社、銀行、レストラン、および小売店が、問い合わせを行うこと、自分自身でチェック・アウトすること、または他のタイプのトランザクションを完了することをユーザーに可能にするために用いるデバイスが含まれる。また、例えば、機械または機器を制御し、発注を行い、在庫を管理する等のためにもタッチ・スクリーンが用いられる、産業用、医療用、およびその他の用途も考えられる。また、タッチ・スクリーンは、加熱、換気、および空調（「ＨＶＡＣ」）、娯楽、およびナビゲーションというようなサブシステムを制御するために、自動車においても極普通になりつつある。新たなサーフェース・コンピューター製品、特に、Microsoft CorporationによるMicrosoft Surface（商標）も、本入力デバイスと共に用いるように適応可能である場合もある。
【００１３】
[0022]  本明細書において記載する方法、技法、およびシステムの理解を容易にするために、従来のマウスの動作を、状態図を用いてその機能をモデル化する従来のタッチ・スクリーン入力デバイスと比較することが、役に立つと考えられる。
【００１４】
[0023]  最初に、マウスがその追跡範囲外にあるとき（機械式マウスが表面から持ち上げられたときに起こるような）、マウスは状態０にあり、範囲外と呼ぶことができる。次に、マウスがその追跡範囲内にあるが、そのボタンがいずれも押下されていない場合を考える。この状態は、追跡と呼ぶことができ、スクリーン上に現れるカーソルまたはポインタがマウスの動きに追従する状態を記述する。この追跡状態を状態１と呼ぶことができる。追跡状態では、カーソルまたはポインタを、所望のグラフィカル・ユーザー・インターフェース・エレメントであれば、そのいずれの上にも、マウスを動かすことによって位置付けることができる。また、マウスは、ボタンが押下されたときに、第２状態（状態２と呼ぶ）で動作することができる。ドラッギングと呼ぶことができるこの状態では、グラフィカル・ユーザー・インターフェース・エレメントまたはオブジェクトがマウスの動きに追従するように、これらをディスプレイ上で移動させる（「ドラッグする」）。尚、選択にはボタンの押下および解放が伴うので、アイコンを選択する行為は、ドラッギング状態の下位状態と見なすことができることは、注記してしかるべきである。
【００１５】
[0024]  図３は、前述のマウスについての状態図を示す。状態０において、マウスは範囲外となり、状態１において、追跡状態となる。マウスを範囲内に戻すことによって、マウスは状態０から状態１に入ることができる。機械式マウスの場合、これは、マウスをマウス・パッドのような表面に戻すことが必要となる。マウスは、ボタンを押下する（「クリックする」）ことによって、状態１から状態２に入ることができる。また、マウスは、ボタンを解放することによって、状態２から状態１に戻ることができる。
【００１６】
[0025]  図４は、従来のタッチ・スクリーン入力デバイスについての状態遷移図を示し、この入力デバイスは、１ビットの圧力、即ち、接触または無接触だけを検知できると仮定する。マウスは３つの状態を有するが、タッチ・スクリーン入力デバイスは、２つの状態しか有しておらず、これらは状態０（範囲外）および状態２（ドラッギング）に対応する。即ち、従来のタッチ・スクリーン入力デバイスは、追跡状態を有していない。
【００１７】
[0026]  従来のタッチ・スクリーン入力デバイスにおいて追跡状態がないことは、視力があるユーザー(sighted user)であれば克服することができる。何故なら、彼らは彼らの指またはスタイラスの、スクリーン上に現れる所望のグラフィカル・ユーザー・インターフェース・エレメントとの位置合わせ(alignment)を、それに接触する前に、視覚的に判断することができるからである。しかしながら、視覚障害者は、スクリーンに接触する前に、スクリーンにタッチする感覚(impact)を検証する手段を有しておらず、感覚が検証できた時点には、基本アプリケーションがその接触に応答して既に動作しているであろう。
【００１８】
[0027]  この欠点を克服するために、マウスのような三状態入力デバイスをシミュレートするタッチ・スクリーン入力デバイスを提供する。追加の状態は、スクリーンにタッチしたときに状態２に入る効果を下検分するために用いられる。このプレビュー状態では、スクリーン上においてグラフィカル・ユーザー・インターフェース・エレメントにタッチしても、そのエレメントと関連付けられている動作を実行させない。代わりに、プレビュー状態にある間にスクリーンにタッチすると、ユーザーにオーディオ・キューが与えられて、タッチ・スクリーン入力デバイスが状態２になると、どの動作が行われるのかが示される。
【００１９】
[0028]  図５は、三状態タッチ・スクリーン入力デバイスについての状態図の一例を示す。状態０および２は、図４における状態０および２に対応する。しかしながら、一般性のために、図５における状態２をタッチ状態と呼び、これは、タッチされているグラフィカル・ユーザー・インターフェース・エレメントをドラッグし選択するというような行為を含むとよいことは、注記してしかるべきである。例えば、この第２状態では、タッチ・スクリーンに沿った最初のタッチの移動に応答して、グラフィカル・ユーザー・インターフェース・エレメントをタッチ・スクリーン上においてドラッグすることができる。これら２つの状態に加えて、新たな状態、状態１も設けられる。実施態様によっては、この状態がオーディオ・プレビュー状態と呼ばれるとよいと考えられる。オーディオ・プレビュー状態には、１本の指またはスタイラスでスクリーンにタッチすることによって、範囲外状態（状態０）から入ることができる。この状態にある間、種々のグラフィカル・ユーザー・インターフェース・エレメントが接触されると、オーディオ・キューを与えて、接触されているエレメントの機能を記述する。例えば、図６に示すように、ユーザーの指は、Microsoft Surface（商標）コンピューター製品と共に用いられるタッチ・スクリーンによって受けられる。指は、選択肢のメニュー２０５を提示するスクリーンにタッチしている。タッチ・スクリーン上で指を受けたことの結果、タッチ・スクリーン上に円２１０が発生する。図７では、指は「散布図」(Scatter View)と呼ばれる選択肢にタッチする。このタッチに応答して、「散布図」と言うオーディオ・キューを発生する。
【００２０】
[0029]  一旦ユーザーが選択したいグラフィカル・ユーザー・インターフェース・エレメントを突き止めたなら、ユーザーは、第１の指またはスタイラスがエレメントとの接触を維持している間に、第２の指またはスタイラスをタッチ・スクリーン上に置くことによって、状態２に入ることができる。このようにして、所望のグラフィカル・ユーザー・インターフェース・エレメントを作動させることができる。即ち、第２の指またはスタイラスで接触を行うことによってタッチ・スクリーンを第２状態に移行させることによって、従来の入力デバイスを用いてそのエレメントが選択されたときと同様に、基本のアプリケーションに応答させる。
【００２１】
[0030]  図５に示すように、ユーザーは第２の指またはスタイラスをタッチ／スクリーンから持ち上げることによって、第２状態から出ることができ、スクリーンをオーディオ・プレビュー状態に戻す。即ち、第２の指またはスタイラスがないことを検出すると、スクリーンをオーディオ・プレビュー状態に戻す。
【００２２】
[0031]  実施態様の中には、第２の指またはスタイラスをスクリーン上のどこに置いても、または代わりにスクリーンの規定部分上に置くことによって、タッチ状態を、オーディオ・プレビュー状態からタッチ状態に移行させることができる場合がある。他の実施形態では、ユーザーが第１の指またはスタイラスに近接してスクリーンとの接触を行う。例えば、場合によっては、第２の指またはスタイラスが、第１の指またはスタイラスから規定の距離以内で接触を行う。このような一例を図８に示す。この例では、タッチ状態に入るために、第１の指またはスタイラスがスクリーンと接触した位置を中心にして位置付けられた円２１０が、タッチ・スクリーン上に表示される。指は、「大項目」(Large Item)と呼ばれる矩形２２０と接触している。この矩形２２０にタッチすると、オーディオ・キュー「大項目」がユーザーに提示される。タッチ状態に入るために、ユーザーは第２の指またはスタイラスを用いて、表示されている円２１０内のスクリーンと接触を行う。図９は、タッチ状態にあるこの入力デバイスを示す。この第２の指によって円２３０が発生し、図示のように、この円２３０は円２１０と重複している。
【００２３】
[0032]  図１０は、ユーザー入力を受け取るためにタッチ・スクリーンを採用する計算機上にインストールすることができる機能コンポーネントを示すアーキテクチャの一例４００である。機能コンポーネントは、代わりに、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの種々の組み合わせを用いても実現可能である。例えば、アーキテクチャ例４００における機能コンポーネントは、メモリーに格納されている命令をプロセッサが実行することによって、実行中に作成することもできる。
【００２４】
[0033]  特定の所望機能を設けるためには、通例、ホスト・アプリケーション４０７が利用される。しかしながら、場合によっては、ホスト・アプリケーション４０７によって実現される機構および機能は、代わりに、デバイスのオペレーティング・システムまたはミドルウェアによって設けることもできる。例えば、実施態様の中には、タッチ・スクリーンを通じたファイル・システムの動作および入力を、基本的なオペレーティング・システムの機能としてサポートすることもできる。
【００２５】
[0034]  オーディオ・プレビュー・コンポーネント４０２は、種々の入力イベントをホスト・アプリケーション４０７に露出するように構成されており、ホスト・アプリケーションとハードウェア特定入力コントローラー間における仲介として機能する。これらのコントローラーは、タッチ・スクリーン・コントローラー４２５、オーディオ・コントローラー４３０、および恐らくはその他の入力コントローラー４２８（例えば、キーボード・コントローラー）を含み、通例、ソフトウェアでデバイス・ドライバーとして実装することができる。タッチ・スクリーン・コントローラー４２５は、タッチ・スクリーンと相互作用を行い、タッチ・スクリーンは図１１では１つのハードウェア・レイヤ４４０において抽象化されている。他の機能の中で、タッチ・スクリーン・コントローラー４２５は、タッチ座標、および／またはタッチ・スクリーンに加えられた圧力を示すデーターを取り込み、取り込んだデーターをオーディオ・プレビュー・コンポーネント４２０に、通例、入力イベントの形態で戻すように構成されている。
【００２６】
[0035]  このように、オーディオ・プレビュー・コンポーネント４２０は、物理的座標のような入力イベントをタッチ・スクリーン・コントローラー４２５から受け取るように構成されている。入力イベントの本質(nature)がタッチ・スクリーンの状態を決定する。即ち、ユーザーが１本または２本の指あるいはスタイラスでスクリーンに接触したやり方によって、スクリーンが範囲外状態なのか、オーディオ・プレビュー状態なのか、またはタッチ状態なのか決定される。プレビュー状態では、オーディオ・プレビュー・コンポーネント４２０が、次に、タッチ即ち接触されているグラフィカル・ユーザー・インターフェース・エレメントによって実行される機能に関する情報を得るために、ホスト・アプリケーションに対するしかるべきコールを明確に示す(formulate)。例えば、ホスト・アプリケーション４０７がプログラム・アクセスを許可する場合、オーディオ・プレビュー・コンポーネント４２０は、ユーザーがオーディオ・プレビュー状態またはタッチ状態のいずれかにおいて選択したグラフィカル・ユーザー・インターフェース・エレメントを特定するデーターを、ホスト・アプリケーション４０７において抽出することができる。オーディオ・プレビュー・コンポーネント４２０がホスト・アプリケーション４０７のコンテンツにプログラム的にアクセスできない場合、必要な情報をオーディオ・プレビュー・コンポーネント４２０に露出することができるしかるべきＡＰＩを組み込むために、ホスト・プログラムを書くことが必要になる場合がある。抽出されたデーターは、通例テキストの形態であり、オーディオ・プレビュー・コンポーネント４２０によってアクセスされるテキスト−音声変換器またはモジュールを用いて、テキスト−音声変換を受けることができる。あるいは、抽出されたデーターは、タッチ即ち接触されているグラフィカル・ユーザー・インターフェース・エレメントの作動によって実行される機能を示すオーディオ・データーを発生するために用いることができる。例えば、場合によっては、「保存」、「閉じる」などのような共通して用いられるグラフィカル・ユーザー・インターフェース・エレメントを表すために、別個のトーンを用いることもできる。次いで、オーディオ・プレビュー・コンポーネント４２０は、オーディオ・データーをオーディオ・コントローラー４３４に露出することができる。オーディオ・コントローラー４３４は、オーディオをレンダリングすることができるように、ハードウェア・レイヤ４４０にあるオーディオ発生器に駆動信号を送ることができる。
【００２７】
[0036]  本願において用いる場合、「コンポーネント」および「システム」などの用語は、コンピューター関連エンティティを指し、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせ、ソフトウェア、あるいは実行中のソフトウェアのいずれでもよいことを意図している。例えば、コンポーネントは、プロセッサ上で実行するプロセス、プロセッサ、オブジェクト、インスタンス、エクゼキュータブル、実行のスレッド、プログラム、および／またはコンピューターであってもよいが、これらに限定されるのではない。例示として、コンピューター上で実行するアプリケーションおよびそのコンピューターの双方がコンポーネントであることができる。１つまたは複数のコンポーネントが１つのプロセスおよび／または実行のスレッドの中に常駐してもよく、１つのコンポーネントを１つのコンピューター上に局在化すること、および／または２つ以上のコンピューター間で分散することもできる。
【００２８】
[0037]  更に、特許請求する主題は、方法、装置、あるいは、開示した主題を実現するためにコンピューターを制御するソフトウェア、ファームウェア、ハードウェア、またはそのあらゆる組み合わせを生産する標準的なプログラミングおよび／または設計技法を用いる生産品目として実現することができる。「製造品目」という用語は、本明細書において用いられる場合、あらゆるコンピューター読み取り可能デバイスまたは記憶媒体からでもアクセス可能な、機械読み取り可能コンピューター・プログラムを包含することを意図している。例えば、コンピューター読み取り可能記憶媒体は、磁気記憶デバイス（例えば、ハード・ディスク、フロッピー・ディスク、磁気帯、．．．）、光ディスク（例えば、コンパクト・ディスク（ＣＤ）、ディジタル・バーサタイル・ディスク（ＤＶＤ）．．．）、スマート・カード、およびフラッシュ・メモリー・デバイス（例えば、カード、スティック、キー・ドライブ．．．）を含むことができるが、これらに限定されるのではない。勿論、特許請求する主題の範囲または主旨から逸脱することなく、この構成には多くの変更を行うこともできることは、当業者には認められよう。
【００２９】
[0038]  以上構造的特徴および／または方法論的動作に特定的な文言で主題について説明したが、添付した特許請求の範囲において定義される主題は、必ずしも、先に説明した特定的な特徴や動作に限定されるのではないことは言うまでもない。逆に、前述の特定的な特徴および動作は、特許請求の範囲を実現する形態例として開示したまでである。
【図１】
2013513164.tif 000003
【図２】
2013513164.tif 000004
【図３】
2013513164.tif 000005
【図４】
2013513164.tif 000006
【図５】
2013513164.tif 000007
【図６】
2013513164.tif 000008
【図７】
2013513164.tif 000009
【図８】
2013513164.tif 000010
【図９】
2013513164.tif 000011
【図１０】
2013513164.tif 000012
【国際調査報告】
2013513164.tif 000013
2013513164.tif 000014
2013513164.tif 000015
2013513164.tif 000016
2013513164.tif 000017
2013513164.tif 000018
2013513164.tif 000019
2013513164.tif 000020