(57)【要約】【課題】コンピューティング・システムに関し、特にコンピューティング・システムのユーザ・インターフェースを提供すること。【解決手段】提供されるコンピューティング・システムは情報を表示するためのディスプレイ１２４、およびポインタがディスプレイ上を移動するとき、表示されている情報の少なくとも一部の空間的位置を識別するための可聴位置信号を再生する可聴式位置決めエージェント１４８を含む。【選択図】図１
2008071354.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）ユーザ・インターフェースがユーザに情報を提供する工程と、
（ｂ）ポインタおよび／もしくはプログラムのフォーカス・インジケータが前記ユーザ・インターフェース上で位置を変更するとき、表示されている情報の少なくとも一部の空間的位置、ならびに／または前記ポインタおよび／もしくはプログラムのフォーカス・インジケータの連続的な位置を識別するための複数の可聴位置信号を再生する工程と
を含む方法。
【請求項２】
前記ユーザ・インターフェースはグラフィカル・ユーザ・インターフェースであり、前記位置信号は提供される情報の空間的位置に対応し、前記提供される情報は複数のオブジェクトを含み、各オブジェクトは該オブジェクトに関連する対応する位置信号を有し、ディスプレイは各セグメントが音響パラメータの一意的な組に関連する複数のセグメントに分割され、前記ポインタおよび／もしくはプログラムのフォーカス・インジケータが選択されたセグメントの境界を横切るとき、ならびに／または前記ポインタおよび／もしくはプログラムのフォーカス・インジケータが前記選択されたセグメント内に位置付けられるとき、再生される前記位置信号は前記選択されたセグメントに関連する前記音響パラメータの一意的な組を有する請求項１に記載の方法。
【請求項３】
各セグメントはディスプレイの複数の画素に対応し、前記音響パラメータの組は、位相、周波数、振幅、リズム、信号の継続時間、信号の間隔、およびエコーのうちの少なくとも１つを含み、前記位置信号は少なくとも２次元座標系に対する位置を示し、第１の次元において第１の音響パラメータが変更され、第２の次元において第２の音響パラメータが変更され、前記第１および第２の音響パラメータは異なる請求項２に記載の方法。
【請求項４】
前記第１の音響パラメータは周波数であり、前記第２の音響パラメータは一方の耳の他方の耳に対する位相差であり、第１のセグメントに関連する第１の周波数は第２の隣接するセグメント内の第２の周波数と全音１つより小さい分だけ異なり、第３のセグメントに関連する第１の位相差は第４の隣接するセグメントに関連する第２の位相差と少なくとも２度異なる請求項３に記載の方法。
【請求項５】
前記位置信号は提供される情報の空間的位置に対応し、前記表示されている情報は少なくとも第１のオブジェクトを含み、工程（ｂ）において、前記第１のオブジェクトを識別する識別信号が、前記第１のオブジェクトの空間的位置を識別する位置信号と時間的に近接して再生される請求項１に記載の方法。
【請求項６】
前記位置信号は３次元座標系に対する位置を示し、第３の次元において第３の音響パラメータが変更され、前記第１、第２、および第３の音響パラメータは異なる請求項３に記載の方法。
【請求項７】
前記提供される情報は少なくとも１つのウィンドウを含み、前記位置信号は前記提供される情報の選択された特徴に関連し、前記特徴は境界、領域、機能的特徴、および選択可能なオブジェクトのうちの少なくとも１つである請求項１に記載の方法。
【請求項８】
プロセッサが実行できる請求項１に記載の工程を実行するための命令を含む、コンピュータ可読媒体であって、前記位置信号は前記ポインタおよび／もしくはプログラムのフォーカス・インジケータの連続的な位置に対応し、前記表示されている情報は各オブジェクトが異なるアプリケーション・プログラムに対応する複数のオブジェクトを含む、コンピュータ可読媒体。
【請求項９】
（ａ）情報を表示するように動作可能なディスプレイと、
（ｂ）ポインタおよび／もしくはプログラムのフォーカス・インジケータが前記ディスプレイ上を移動するとき、表示されている情報の少なくとも一部の空間的位置、ならびに／または前記ポインタおよび／もしくはプログラムのフォーカス・インジケータの連続的な位置を識別するための複数の可聴位置信号を再生するように動作可能な可聴式位置決めエージェントと
を含むコンピューティング・システム。
【請求項１０】
前記位置信号は表示されている情報の空間的位置に対応し、前記表示されている情報は複数のオブジェクトを含み、各オブジェクトは異なるアプリケーション・プログラムに対応し、各オブジェクトは該オブジェクトに関連する対応する位置信号を有し、前記ディスプレイは各セグメントが音響パラメータの一意的な組に関連する複数のセグメントに分割され、前記ポインタが選択されたセグメントの境界を横切るとき、および／または前記ポインタが前記選択されたセグメント内に位置付けられるとき、再生される前記位置信号は前記選択されたセグメントに関連する前記音響パラメータの一意的な組を有する請求項９に記載のコンピューティング・システム。
【請求項１１】
各セグメントはディスプレイの複数の画素に対応し、前記音響パラメータの組は、位相、周波数、振幅、リズム、およびエコーのうちの少なくとも１つを含み、前記位置信号は少なくとも２次元座標系に対する位置を示し、第１の次元において第１の音響パラメータが変更され、第２の次元において第２の音響パラメータが変更され、前記第１および第２の音響パラメータは異なる請求項１０に記載のコンピューティング・システム。
【請求項１２】
前記第１の音響パラメータは周波数であり、前記第２の音響パラメータは一方の耳の他方の耳に対する位相差であり、第１のセグメントに関連する第１の周波数は第２の隣接するセグメント内の第２の周波数と全音１つより小さい分だけ異なり、第３のセグメントに関連する第１の位相差は第４の隣接するセグメントに関連する第２の位相差と少なくとも２度異なる請求項１１に記載のコンピューティング・システム。
【請求項１３】
前記位置信号は表示されている情報の空間的位置に対応し、前記表示されている情報は少なくとも第１のオブジェクトを含み、前記エージェントは、前記第１のオブジェクトを識別する識別信号を前記第１のオブジェクトの空間的位置を識別する位置信号と時間的に近接して再生する請求項９に記載のコンピューティング・システム。
【請求項１４】
前記位置信号は３次元座標系に対する位置を示し、第３の次元において第３の音響パラメータが変更され、前記第１、第２、および第３の音響パラメータは異なる請求項１２に記載のコンピューティング・システム。
【請求項１５】
前記表示されている情報は少なくとも１つのウィンドウを含み、前記位置信号は前記表示されている情報の選択された特徴に関連し、前記特徴は境界、領域、機能的特徴、および選択可能なオブジェクトのうちの少なくとも１つである請求項９に記載のコンピューティング・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概してコンピューティング・システムに関し、特にコンピューティング・システムのユーザ・インターフェースに関する。
【背景技術】
【０００２】
今日のコンピュータ環境の大半において、グラフィカル・ユーザ・インターフェースがテキストのみのインターフェースに取って代わった。一般的なグラフィカル・ユーザ・インターフェースは、情報の少なくとも一部をテキストではない画像を介してユーザに伝える。アイテムは、マウスまたはトラックボールなどのポイント・アンド・クリック式の装置を用いて選択またはアクティブ化することができる。ポイント・アンド・クリックの対象は画面上のどの場所にあってもよいことに留意することが重要である。
【０００３】
最もよく知られているグラフィック指向のオペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ  ＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓ（登録商標）ベースの製品であり、Ｗｉｎｄｏｗｓ（登録商標）  ９５、Ｗｉｎｄｏｗｓ（登録商標）  ９８、Ｗｉｎｄｏｗｓ（登録商標）  ｆｏｒ  Ｗｏｒｋｇｒｏｕｐｓ、Ｗｉｎｄｏｗｓ（登録商標）  ＮＴ、Ｗｉｎｄｏｗｓ（登録商標）  ２０００、Ｗｉｎｄｏｗｓ（登録商標）  ２００３、Ｗｉｎｄｏｗｓ（登録商標）  ＭＥ、およびＷｉｎｄｏｗｓ（登録商標）  ＸＰが例として挙げられる。「ウィンドウ」は、特定の目的のために確保されたディスプレイ上の領域である。各ウィンドウ内には、多くの場合、グラフィック・イメージ、およびポイント・アンド・クリック式の装置の対象となり得る多くの異なる領域がある。
【０００４】
一般的な現在のコンピュータの１つの特徴は、多数のタスクを同時に実行できることである。現在のグラフィカル・ユーザ・インターフェースは、各ウィンドウが異なるソフトウェアまたはアプリケーション・プログラムに対応するようにして多くの異なるウィンドウが同時に「開く」ことを可能にすることによってこの機能を反映している。したがって、異なるアプリケーション・プログラムが異なるウィンドウ内に同時に表示されることができる。通常、ウィンドウは、対応するアプリケーション・プログラムによってその内側に情報が表示される可視境界を有する。アクティブ・ウィンドウはユーザが現在対話しているウィンドウであり、一方、非アクティブ・ウィンドウは、開いているが現在アクティブでないウィンドウである（違いを説明すると、可視的な変化は開いている任意のウィンドウ（すなわち画面上に表示されている任意のウィンドウ）において起こり得るが、アクティブ・ウィンドウはユーザのキーボード入力が有効となるウィンドウである。ウィンドウが重なっている場合、アクティブ・ウィンドウは最も上になるように表示されることになり、他のウィンドウと重なり合う位置において他のウィンドウの一部を隠す）。ユーザは、カーソルの適切な位置決め、およびキーボード／マウスのコマンドによってウィンドウのサイズ、形、および位置を制御することができる。
【０００５】
ウィンドウは重なり合い、互いを「隠す」ことができるので、Ｗｉｎｄｏｗｓ（登録商標）ベースのオペレーティング・システムにはディスプレイ・ツール・バーが設けられている。このツール・バーは、ユーザによって画面のいずれかの縁部（下縁部が最も好まれる）に沿って位置決めされることができる。このツール・バーは、起動されることができるアプリケーションを表すアイコン、および開いているウィンドウのそれぞれに対応する個々のアイコンを含む。
【０００６】
開かれているウィンドウの数が多くなるにつれてディスプレイ・ツール・バーが次第にアイコンで混み合うようになり、ユ―ザの役に立たなくなる可能性がある。さらに悪いことには、ツール・バー内のウィンドウ・アイコンの順序は、ウィンドウの積み重なりの正確な順序を反映しない。アイコンは、ディスプレイ上のウィンドウの相対的な位置には基づかず、ウィンドウが開かれた相対的なタイミングに基づいて順序付けられる。このため、ユーザは定期的にウィンドウをクリックしてどのウィンドウが開いているか確認し、開かれている各ウィンドウの一部が見えるようにそれらのウィンドウを再配置しなければならない。さらに、通常、Ｗｉｎｄｏｗｓ（登録商標）ベースのオペレーティング・システムは、操作するために両手および全注意を必要とする。ユーザはディスプレイを見なければならないだけでなく、例えばマウス、トラックボール、ジョイスティック、スタイラスなどのポイント・アンド・クリック式の装置を用いて選択を行うまたはデータを入力する必要がある。多くの実装形態において、ユーザは両手および全注意をコンピュータに向けると都合が悪く、それによりオペレーティング・システムの魅力を損ない、その生産性を低下させる。例えば、車を運転しているときに運転手が表示装置を使用した装置を見て操作することは危険な場合がある。装置の夜間使用など、ユーザの暗視能力への悪影響のために照明付きディスプレイが望ましくない状況がある。同様に、照明がユーザの位置を明かす恐れがあるため、兵士による夜間の照明付きディスプレイの使用は望ましくない可能性がある。
【０００７】
別の考慮すべき事柄は、障害者利用がソフトウェアおよびハードウェアの製造業者にとって次第に重要な問題になりつつあることである。多くの国々が、製品が障害を持った人によってその製品が操作されることを可能にする具体的な機能を有することを求める厳格な法律を制定しつつある。実例は１９９８年のリハビリテーション法第５０８条（合衆国法典第２９編第７９４条（ｄ）項）である。明確にコンピュータ・ベースのグラフィカル・ユーザ・インターフェースを対象とするこの法律に関連する要件は、連邦行政命令集（ＣＦＲ）第３６編第１１９４部第２１条および第１１９４部第２２条にある。これらの要件の大半は目の見えない人に向けられている。例えば、法令第１１９４部第２１条（ａ）項は、全ての操作がコンピュータのキーボードを介して、すなわちポイント・アンド・クリック式の装置なしで利用可能であることを要求している。視覚障害者は、画面上のポインタの位置、ウィンドウ内の対象の位置、ならびに開いている可能性がある異なるウィンドウの相対的な位置および境界を識別することができないために、この法令が必要とされている。
【０００８】
グラフィカル・ユーザ・インターフェースを操作するために、視覚障害者は、Ｍｉｃｒｏｓｏｆｔ  Ｎａｒｒａｔｏｒ（商標）、Ｆｒｅｅｄｏｍ  Ｓｃｉｅｎｔｉｆｉｃ  ＢＬＶ  Ｇｒｏｕｐ，ＬＬＣのＪＡＷＳ（商標）、およびＧＷ  ＭｉｃｒｏのＷｉｎｄｏｗ−Ｅｙｅｓ（商標）などの高度なテキスト音声変換支援ソフトウェア・アプリケーションを利用する。ウィンドウ内およびウィンドウ間のナビゲーションは、ＴＡＢ、ＡＬＴ、および矢印キーを単独で、または他のキーと組み合わせて使用することにより実行される。例えば、通常のウィンドウ内でＴＡＢを押すことによって、プログラムのフォーカスは次のタブ位置またはポイント・アンド・クリックの対象に移動する。ＴＡＢキーを押すたびにテキスト音声変換ソフトウェアは音声による対象の説明を行う（第５０８条法令第１１９４部第２２条（ａ）項は、全ての非テキスト要素が基礎的なテキスト・タグを持つことを要求している。このテキスト・タグこそが、ＴＡＢ機能がアイコンまたは他のグラフィック・イメージをフォーカスしたときにテキスト音声変換ソフトウェアが適切に応答することを可能にするものである）。所望の対象が音声出力されるとき、この機能はＥＮＴＥＲキーを押すことによって実行されることができる。
【０００９】
同様の仕組みによって、ユーザが異なるアプリケーション間を移動すること、およびアクティブ化するウィンドウを選択することができるようになる。これは、ＡＬＴキーを押し続けながらＴＡＢキーを押下および解放することによって実行される。ＴＡＢキーを押すたびにユーザは既に開かれているウィンドウを順に移動することができる。移動の順番は、直前にアクティブ化されていたウィンドウから始まる時間的順序である（ツール・バー内にアイコンが表示される順番は、対応するウィンドウがアクティブ化された順序ではなく、当該ウィンドウが初めて開かれた順序に基づいていることに留意されたい）。ＴＡＢキーの各解放（しかしＡＬＴキーは解放しない）の直後に、テキスト音声変換支援ソフトウェアは選択されたウィンドウのタイトル・バーを読み上げる。ユーザは、ソフトウェアが所望のウィンドウのタイトルを音声出力するのを聴いたとき、ＡＬＴキーを解放することによってそのウィンドウがアクティブ化されるようにする。
【００１０】
キーボード・ベースの制御をサポートすることによってグラフィカル・ユーザ・インターフェースが視覚障害者により操作されることが可能になるが、この操作方式はポイント・アンド・クリック式の装置を操作できる人が利用可能な操作方式よりもかなり遅く、退屈である。先の指摘を繰り返すと、根本的な問題は、視覚障害者ユーザが画面上のポインタの位置、ウィンドウ内の対象の位置、ならびに開いている可能性がある異なるウィンドウの相対的な位置および境界を識別することができないことである。この状況においては、多くの場合、目の見えるユーザは所望のポイント・アンド・クリックの対象が配置されている場所のメンタル・マップを構成し、それによってポインタを対象に非常に迅速に移動することを可能にしていることに留意することが重要である。位置に特有の重要なデータが視覚障害者ユーザに提示される情報の中にないことは、現在は目の見えるユーザのみが利用可能なもう１つの操作上の利点を提供する。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
改善されたコンピューティング・システムを提供することにある。
【課題を解決するための手段】
【００１２】
これらのおよびその他のニーズは本発明の種々の実施形態および構成により対処される。概して、本発明はディスプレイ上のオブジェクトを位置検知する方法およびシステムに関する。
第１の実施形態において、以下の工程を含む方法が提供される。
（ａ）電子ディスプレイと、表示されているオブジェクトの位置が重要であるユーザ・インターフェースの方式とを提供する工程、および
（ｂ）ポインタおよび／もしくはプログラムのフォーカス・インジケータがディスプレイ上を移動するとき、表示されている情報の少なくとも一部の空間的位置、ならびに／またはポインタおよび／もしくはフォーカス・インジケータの連続的な位置を識別するための複数の可聴位置信号を再生する工程。
【００１３】
１つの構成において、各セグメントが音響パラメータの一意的な組に関連するようにしてディスプレイが一連のセグメントに分割される。ポインタおよび／もしくはプログラムのフォーカス・インジケータが選択されたセグメントの境界を横切るとき、ならびに／またはポインタおよび／またはプログラムのフォーカス・インジケータが選択されたセグメント内に位置付けられたとき、再生される位置信号は選択されたセグメントに関連する音響パラメータの一意的な組を有する。各セグメントはディスプレイの複数の画素に対応し、音響パラメータの組は、位相、周波数、振幅、リズム、およびエコーのうちの１つまたは複数を含む。
【００１４】
１つの構成において、位置信号は２次元座標系に対する空間的位置を示す。第１の次元において第１の音響パラメータが変更され、第２の次元において第２の音響パラメータが変更される。第１および第２の音響パラメータは異なる。それらのパラメータの値は独立して変化することができる。信号自体は、それぞれの値が独立して識別できるように音響心理学的に分離できる。
【００１５】
例として、第１の音響パラメータは信号の音響周波数であってよく、第２のパラメータは一方の耳の他方の耳に対する合成された音響位相遅れであってよい。概して、第１のセグメントに関連する第１の周波数は、第２の隣接するセグメントに関連する第２の周波数と少なくとも音響心理学の「丁度可知差異」に等しい分だけ異なる（ほとんどの人について、音響周波数の「丁度可知差異」は隣接する音符の音に関連する差異よりも小さくなる）。横方向の音源定位を行うために人間の聴覚機構は左の耳の右の耳に対する知覚された位相差に依存していることに留意して、第３のセグメントに関連する第１の合成された位相差は、第４の隣接するセグメントに関連する第２の位相表示と少なくとも音響心理学の「丁度可知差異」に等しい分だけ異なる（ほとんどの人について、一方の耳の他方の耳に対する位相遅れの「丁度可知差異」は、知覚された音源位置における２度のシフトとほぼ一致する）。２次元の音響信号系の好ましい実装形態において、周波数の差は縦軸に沿った位置を示し、一方の耳の他方の耳に対する位相差は横軸に沿った位置を示す。
【００１６】
１つの構成において、位置信号は３次元座標系に対する空間的位置を示し、第３の次元において第３の音響パラメータが変更される。第１、第２、および第３の音響パラメータは異なり、独立に変更でき、個別に識別可能である。
さらに別の実施形態において、以下の工程を含む方法が提供される。
（ａ）初めに、対応する表示されている画像を識別する識別信号と、それに時間的に近接した、表示されている当該画像のディスプレイ上の空間的位置を識別する位置信号とをユーザに可聴的に供給する工程、および
（ｂ）次に、ポインタの空間的位置を示す１つまたは複数の位置信号をユーザに可聴的に供給する工程。
【００１７】
このようにして、ユーザは、表示されている画像に関連する位置信号とポインタに関連する選択された位置信号との類似度に基づきポインタを当該画像の位置に移動することができる。
【００１８】
本発明は可聴式ユーザ・インターフェースを効果的に提供する。例えば、ポイント・アンド・クリックのインジケータの位置、およびディスプレイ上のクリック可能な「ホット・スポット」の位置は、聴覚的に、例えば左右軸に対する音響位相位置、縦軸に対する周波数の増減によって示される。音響位相は約１５００Ｈｚを超える周波数に対しては左右方向の有効なインジケータではないので、好ましい実装形態はこれを「画面の上端」示す周波数として使用でき、それよりも１オクターブ低い７５０Ｈｚを中間点を示すために使用でき、１５００Ｈｚよりも２オクターブ低い３７５Ｈｚを画面の下端として使用することができる。
【００１９】
このユーザ・インターフェースは、レベル、リズム、または相対的位置を生成するための他の同様の効果を代わりに用いることができる。ユーザがこのようなユーザ・インターフェースを用いてナビゲートしているときに、アイコン、ツール・バー、ドロップ・ダウンなどの様々な位置が、周波数および位相の選択された組み合わせ、または同様の対の選択された組み合わせによって識別されることができる。このアプローチの好ましい実装形態においては、音響的な位置情報は、従来のテキスト音声変換支援補助機能（例えばＮａｒｒａｔｏｒ、ＪＡＷＳ、またはＷｉｎｄｏｗ−Ｅｙｅｓ）によって生成された音声出力と共に提供される。これにより、視覚障害者ユーザが所望の対象の画面上の物理的な位置を知ることが可能となる。視覚を使用することなしに、ユーザは、ポインタの音を所望の対象の音に一致させるようにポインタを動かしながら、単にポインタの音を聞くことによってポイント・アンド・クリックのポインタをそれらの位置のうちのいずれにでも移動することができる。
【００２０】
多くのユーザが電話機のキー・パッドの特定のキーに関連するＤＴＭＦの対の音を識別することを習得したのと全く同様の方法で、ユーザはナビゲーションを習得することができる。さらに、ユーザが２つのアイコンの間で止まった場合、インターフェースは、ユーザがＡとＢの間いることを示しどちらを選択したいかを尋ねる通知を生成することができる。特定のアイコン、ツール・バー、またはドロップ・ダウン上に位置付けられると、インターフェースは選択された機能を通知する。このようにして、ユーザは、カーソルの視覚的な識別ではなく聴覚的な手がかりに基づいてスクリーン上をナビゲートすることができる。さらに、この概念は、いかなる画面も必要とせずに選択肢の間をナビゲートするために使用されることができる。その結果、この概念は単に既存の画面をナビゲートする可聴式の手段であるだけでなく、画面が１つも存在しない場合にもユーザ・インターフェースが機能することを可能にすることができる。この概念は、視線方向検出または各種のその他の位置指示装置を用いて、ボタン、ジョイスティック、マウス、およびトラックボール式の装置で駆動されるユーザ・インターフェースに拡張されることができる。イベントまたは位置に相関する音声を生成する従来技術のゲームが存在するが、そのゲームはユーザ・インターフェースのナビゲーションを目的しておらず、むしろそのゲームのイベントに基づくゲームからユーザへのフィードバックである。
【００２１】
本発明は、特定の構成に応じた多くの利点を提供することができる。例えば、視覚障害の有無によらず、ユーザは聴覚的位置信号に基づいてウィンドウ、ホット・スポット、ツール・バーなどの表示されているオブジェクトの位置を素早く、便利よく識別することができる。概して、これによりユーザの複数のタスクを行う能力および生産性を実質的に向上することができる。ユーザは、所望の位置にポインタを操作して選択された機能を実行するために、両手、良好な視力、およびディスプレイへの集中を必要としない。
【００２２】
これらのおよびその他の利点は、本明細書に含まれる本発明の開示から明らかになるであろう。
本明細書で使用されているように、「少なくとも１つ」、「１つまたは複数」、および「および／または」は、作用において連言的であるとともに選言的でもある非制限的な表現である。例えば、各表現、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つまたは複数」、「Ａ、Ｂ、またはＣのうちの１つまたは複数」、および「Ａ、Ｂ、および／またはＣ」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢの両方、ＡおよびＣの両方、ＢおよびＣの両方、またはＡ、Ｂ、およびＣの全てを意味する。
【００２３】
上述の実施形態および構成は完全でも網羅的でもない。理解されるように、上述のまたは以下に詳細に説明する特徴のうちの１つまたは複数を単独でまたは組み合わせて使用する本発明の他の実施形態もあり得る。
【発明を実施するための最良の形態】
【００２４】
図１に本発明によるコンピューティング・システム１００を示す。システム１００は、プロセッサ１０４と、メモリ１０８と、キーボード１１２と、トラッキング・ユニット１１６と、マイクロホン１２０と、モニタ１２４と、スピーカ・アレイ１３２（１３２Ｒがアレイの右のスピーカを示し、１３２Ｌがアレイの左のスピーカを示す）と、（その他の）周辺機器１２８とを含む。キーボード１１２と、トラッキング・ユニット１１６と、マイクロホン１２０と、モニタ１２４と、スピーカ１３２と、周辺機器１２８とは、概して（プロセッサ１０４およびメモリ１０８を含む）コンピュータの外部にあり、シリアルまたはパラレル・リンク（例えばシリアルまたはパラレル・バス）によってコンピュータに接続されている。
【００２５】
プロセッサ１０４は、命令を解釈し実行する機能ユニットである。概して、プロセッサ１０４は命令制御ユニットおよび算術論理演算ユニットを含む。通常、プロセッサ１０４は、中央演算処理装置を含む集積回路である。典型的なプロセッサはマイクロプロセッサである。
【００２６】
メモリ１０８は任意の記憶媒体であってよく、システム１００内の全てのアドレス可能な記憶空間を含む。概して、メモリ１０８はリード・オンリー・メモリおよびランダム・アクセス・メモリの組み合わせである。
キーボード１１２は、英数字データ用の主コンピュータ入力を提供する。
【００２７】
トラッキング・ユニット１１６は、ディスプレイ上の所望の位置にカーソルまたはマウス・ポインタを移動し、表示されているオブジェクトを移動し、所望の特徴／機能を起動する手動操作ユニットである。例示的なトラッキング・ユニット１１６は、マウス、スタイラス、ジョイスティック、およびトラックボールを含む。
【００２８】
マイクロホン１２０およびスピーカ１３２はそれぞれ任意の好適なマイクロホンまたはスピーカであってよく、システム１００の内部または外部に配置されることができる。
モニタ１２４は、ビデオ信号を受け取りその画面上に情報を表示するビデオ表示端末装置である。概して、モニタは複数の画素を有し、画素の密度は表示される情報の解像度を示す。
【００２９】
最後に、周辺機器１２８はシステムのオペレーションをサポートする外部装置である。周辺機器の例には、プリンタ、外部テープ・ドライブ、および外部ハード・ドライブが含まれる。
本発明がパーソナル・コンピュータまたはラップトップ・コンピュータに関して説明されるが、本発明はマイクロコンピュータに限定されず、任意の他のコンピューティング・システムに適用されることができることを理解されたい。
【００３０】
メモリ１０８は、オペレーティング・システム１３６と、ドライバ１４０と、複数のアプリケーション１４４ａ〜ｎと、可聴式位置決めエージェント１４８とを含む。メモリ１０８は、アプリケーションに応じてその他のまたはより少数の計算モジュールを含んでよい。
【００３１】
オペレーティング・システム１３６はプログラムの実行を制御する１組の命令であり、資源割当て、スケジューリング、入出力の制御、およびデータ管理などのサービスを提供することができる。オペレーティング・システム１３６は好ましくはグラフィカル・オペレーティング・システムであり、ウィンドウに基づいたシステムが好ましい。特に好ましいオペレーティング・システムは、ＭｉｃｒｏｓｏｆｔのＷｉｎｄｏｗｓ（登録商標）オペレーティング・システムである。
【００３２】
ドライバ１４０は、プロッタ、プリンタ、ポート、スピーカ、マイクロホン、ディスクまたはテープ・ドライブ、ビデオ・カード、およびマウスなどの特定のコンピュータ用モジュールを動作させるための情報を含む。
【００３３】
複数のアプリケーション１４４ａ〜ｎは、種々の選択されたタスクを実行するアプリケーション・プログラムである。アプリケーションは、例えば、Ｅｘｃｅｌ（商標）などの表計算プログラムと、Ｏｕｔｌｏｏｋ（商標）などのメッセージ通信およびカレンダー管理もしくはスケジューリング・プログラムと、Ｗｏｒｄ（商標）およびＷｏｒｄＰｅｒｆｅｃｔ（商標）などのワード・プロセッサと、会計システムと、工学技術プログラムと、グラフィックス・プログラムと、音声認識プログラム（例えばテキスト音声変換（ＴＴＳ：Ｔｅｘｔ−Ｔｏ−Ｓｐｅｅｃｈ）プログラムおよび音声テキスト変換（ＳＴＴ：Ｓｐｅｅｃｈ−Ｔｏ−Ｔｅｘｔ）プログラム）と、ＪＡＷＳ（商標）およびＷｉｎｄｏｗ  Ｅｙｅｓ（商標）などの障害者利用ソフトウェアとを含むことができる。
【００３４】
可聴式位置決めエージェント１４８は、モニタ１２４上に表示されている各種のオブジェクトの位置に関する可聴位置信号を供給する。表示されているオブジェクトは、アイコンまたはその一部、ウィンドウまたはその一部、データ領域、ファイル・フォルダ、ホット・スポット、カーソル、リンク（例えばハイパーリンク）、コンピュータ・ディスプレイ・コントロール、ツール・バーまたはその一部、デスクトップまたはその一部、プログラムのフォーカス・インジケータなどであってよい。理解されるように、プログラムのフォーカスは、ユーザが自身のキーボード上でＥＮＴＥＲキーを押すとアクティブ化される、リンク、アイコン、ファイル・フォルダ、ホット・スポットなどのユーザが選択可能な領域を識別する。プログラムのフォーカス・インジケータは、必ずとは限らないがカーソルと同じであってよい。概して、プログラムのフォーカス・インジケータはＴＡＢまたは矢印キーによって領域から領域へ移動され、ユーザが選択可能なアクションをハイライト表示する。可聴位置信号は多くの形式を取ってよい。可聴位置信号は、例えば、離散的信号または連続信号であってよい。概して、位置信号の１つまたは複数の音響パラメータは、ディスプレイ上の１つの特定の位置または複数の位置の組に関連する。音響パラメータは、位相、周波数または高さ、振幅または利得、リズム、エコー、（隣接する不連続な信号の間の）信号の間隔、および信号の継続時間であってよい。音響パラメータはカーソルがディスプレイを横切って移動されるにつれて変更されて、ユーザにディスプレイ上のカーソルの位置を知らせる。
【００３５】
図２は、１つの構成による例示的なセグメント分割されたディスプレイ２００を示す。ディスプレイは、２次元、すなわちＸおよびＹを有するものとして示されている。各セグメント２０４ａ〜ｘは、空間的（Ｘ，Ｙ）座標および音響パラメータの関連付けられた組を有する。通常、空間的（ＸＹ）座標はセグメントの指定された点（例えば中心点）を指すが、セグメントの規定された区間をカバーする座標範囲であってもよい。セグメントは１ピクセルに対応することもあるが、概してピクセルの組、つまり複数のピクセルを指す。好ましくは、音響パラメータの各組は空間的座標の対応する組に一意的に関連する。図２に示す音響パラメータは、一方の耳の他方の耳に対する位相差（Ｐ）、および周波数（Ｆ）である。所与のＸ座標に対して、一方の耳の他方の耳に対する位相差が一定に維持されながら、周波数がＹ軸に沿った位置の関数として変化する。所与のＹ座標に対して、周波数が一定に維持されながら、位相差がＸ軸に沿った位置の関数として変化する。その結果、２次元格子の各ＸＹ位置は固有の一意的な音響特性を有することになる。横軸に対しては、合成された音響特性はあたかもそれが実際に位置決めされたスクリーン上の位置から発生しているかのように聞こえるので、好ましい実施形態の提示方法はユーザの期待と合致する。縦軸に対しては、音響周波数は画面上のより上の位置にあるオブジェクトに対してより高くなるので、この提示方法はユーザの期待と合致する。
【００３６】
音響信号を操作してそれらの信号が特定の位置から来ているように知覚されるようにする能力は、好ましい実施形態の不可欠な構成要素であることに留意することが重要である。そのため、人間の聴覚機構がどのように音の発生地点を判断するかを検討することが適当である。
【００３７】
人は一方の耳の他方の耳に対する音の相対的な大きさを比較することによって音が発生する方向を判断すると誤解されることが多い。相対的な大きさは、主に本質的に高周波数の音を評価する際は有効であるが、これは重要な低周波数成分を有する音に対する人間の脳の主要な方向・位置検知メカニズムではない。このような音に対しては、音波の相対位相が重要な要素となる。
【００３８】
人間の聴覚処理機構が低周波数の音が発生する方向をどのようにして知覚するかを説明するために、５００Ｈｚの純音からなる音について考察する。この音が人が向いている場所の真正面の地点から発生しているとすると、音波はその人の左耳および右耳に同時に到達することになる。この音は、その人の両耳の間に引かれた線に対して垂直で、この両耳を結んだ線とその中点で交わる平面上にある地点から発生しているようにその人に知覚されることになる。しかし、この５００Ｈｚの音が人の真正面ではなく人の側方にある音源から発生する場合は何が起こるだろうか。
【００３９】
海面位では、空気中の音の速度は毎ミリ秒約１２インチである。これは５００Ｈｚの音の波長が約２４インチであることを意味する。説明のために人の両耳の間の距離が約６インチだと仮定すると、これは、音源から聞き手の真横に対して発生している５００Ｈｚの正弦音波のピークが、現時点で一方の耳から他方の耳に対する位相がおよそ９０度ずれていることを意味する。具体的には、音波は、音に正対している耳に届いてから約１／２ミリ秒後に、音から遠ざかる方向を向いている耳に到達することになる。この時間遅延が脳によって検知され、音の発生地点を判断するための基礎となる。（注：空気中の音の速度の実際の値は、湿度が低く気温が摂氏２０度と仮定して毎ミリ秒約１１．２７インチである。説明を簡単にするためこの例では近似値を用いた。）
【００４０】
引き続きこの例を用いると、音が０度から９０度軸方向からずれた地点から発生している場合、時間遅延は１／２ミリ秒より小さくなる。これもまた脳に検知され、発生地点が真正面または真横ではないと判断するための基礎となる。
【００４１】
なぜ相対位相が高周波音に対して有効でないかを説明するために、２０００Ｈｚの純音について考察する。音が人の真横の地点から発生しているとすると、一方の耳の他方の耳に対する音波は３６０度位相がずれる。換言すると、波のピークが両耳に同時に到達し、それにより位相に基づく定位が不可能になる。この範囲内およびそれより高い周波数成分を有する人間の話声の成分（特に声道共鳴は通常フォルマントと呼ばれる）が存在するが、人間の声の基本的な高さは通常１００から３００Ｈｚの間であることに留意することが重要である。その結果、人間の話声に高周波数の音が存在するにもかかわらず、相対位相が、話声が発生している方向を判断するために人間の脳によって用いられる主要なメカニズムとなっている。
【００４２】
次に、単純な説明のための例から離れて関連する生物物理学のより正確な考察に移ると、両耳間位相差（ＩＰＤ）を計算するための式は、７６３μｓ×（人間の頭部に関連する回折効果を考慮した）差分方位角のＳｉｎにほぼ等しい。実験データは、周波数５００Ｈｚにおける差分位相が、１度または２度程度の小さな変化でも多くの人に聞こえることを示している。ほとんどの人が１５０００Ｈｚを超える周波数を聞き取れないことに留意すると、人間の聴覚機構が１３〜２６μｓ程度の小さな両耳間時間差を検知できることは意外に思えるが、このことはＯｈｉｏ州ＤａｙｔｏｎのＷｒｉｇｈｔ  Ｐａｔｔｅｒｓｏｎ  Ａｉｒ  Ｆｏｒｃｅ  Ｂａｓｅにある音源定位研究センター（ｓｏｕｎｄ  ｌｏｃａｌｉｚａｔｉｏｎ  ｒｅｓｅａｒｃｈ  ｃｅｎｔｅｒ）において実施された制御された実験によって証明されている。この研究によれば、耳は１５００Ｈｚ未満の定位についてはほぼ完全に差分位相に依存しており、３０００Ｈｚを超える周波数では差分振幅レベルに依存している。約２０００Ｈｚの周波数では、上述の理由で、人間の聴覚機構は音源定位の判断が非常に悪い傾向がある。このような理由で、本発明の好ましい実装形態は１５００Ｈｚを「画面の上端」を示す周波数として使用し、それよりも１オクターブ低い７５０Ｈｚを中間点を示すために使用し、１５００Ｈｚよりも２オクターブ低い３７５Ｈｚを画面の下端として使用する。
【００４３】
本発明の１つの構成において、ユーザはステレオ・ヘッドホンまたはステレオ・スピーカを有する。左耳に対する信号および右耳に対する信号は同一でない。具体的には、位置信号は、ユーザの左耳による信号の知覚のされ方と右耳による知覚のされ方に聞き取ることのできる差を持たせるために時間シフトされる。時間シフトは、位置信号に対応する空間的な位置に対する位相差に関連する量だけ行われる。この時間シフトの目的は、ユーザが各位置信号が異なる容易に識別できる方向から来ていることを知覚できるようにすることである。
【００４４】
例として、コンピュータが、第１の位置信号をユーザの左耳に伝達した約５００μｓ後に当該信号を右耳に伝達し、それによってユーザが、関連する位置がユーザの左にあることを知覚するようにすることができる。同様に、コンピュータが第２の位置信号を聞き手の右耳に伝達し、左耳に対する当該信号に５００μｓの遅延を与え、それによってユーザが、対応する位置がユーザの右にあることを知覚するようにすることができる。コンピュータが第３の位置信号にいかなる遅延も与えなかったとすると、対応する位置は他の２つの位置の中間にある中心位置から来ているように知覚されるであろう。
【００４５】
信頼度よく検知され得る個々の位置信号の最大数（および、解釈を拡大して、本発明によりサポートされることができる位置の最大数）については、位置信号における５度の差が人間の耳によって信頼度よく識別可能であると仮定すると、左９０度から始まり右９０度で終わる５度間隔の信号を定位するシステムは、Ｘ軸に沿って３９の対応する位置をサポートする。
【００４６】
使用の際は、カーソル（またはプログラムのフォーカス・インジケータ）がセグメントからセグメントへ移動するに従って、スピーカ１３２Ｒおよび１３２Ｌ（すなわち、ユーザの右側のスピーカおよび左側のスピーカ）は様々な音響特性を有する複数の可聴位置信号を生成する。通常、信号はカーソル（またはフォーカス・インジケータ）が各セグメント内の指定された地点に達したとき（例えば、カーソルが境界を越えるまたは横切るとき）に生成され、カーソル（またはフォーカス・インジケータ）が対応するセグメント２０４内に位置付けられている間に決められた時間だけ生成される。カーソル（またはフォーカス・インジケータ）が決められた時間よりも長くセグメント内で止まっている場合、ユーザがカーソル（またはフォーカス・インジケータ）の位置を思い出すために信号を再生したいという要求を指示しない限り、信号は停止される。そのような要求は、キーまたはボタンを押下すること、トラッキング・ユニット１１６を振るまたは前後に動かすことなどによって指示されることができる。表示されている画像が複数のセグメント２０４に渡っている場合、概して、ユーザがウィンドウ内およびディスプレイ上の自身の位置を判断するのを支援するようにやはり信号が生成される。
【００４７】
１つの構成において、エージェント１４８はＪＡＷＳ（商標）またはＷｉｎｄｏｗ  Ｅｙｅｓ（商標）などの障害者利用アプリケーションと協働して、オブジェクトの可聴式の識別に加えて空間的情報または位置情報を提供する。換言すると、カーソル（またはフォーカス・インジケータ）がある領域に移動したときに障害者利用アプリケーションが当該領域を識別したとすると、エージェント１４８は当該領域が配置されているセグメント２０４に対応する可聴位置信号をやはり供給する。このようにして、ユーザは、後で使用するためにどの領域かだけでなく領域の位置も知る。
【００４８】
１つの構成において、可聴位置信号はカーソル（またはフォーカス・インジケータ）の２（ＸおよびＹ）次元内の位置だけでなく第３（Ｚ）の次元における位置も示す。これが図３を参照して説明される。図３は、多数の積み重なったまたは層状になったウィンドウ３００ａ〜ｊを示す。各ウィンドウ３００ａ〜ｊはＺ軸３０４に沿った対応するＺ位置を表す。例えば、第１のウィンドウ３００ａは（座標系の原点３０８にあるか、またはその近傍にある）第１のＺ位置Ｚ１を表し、第２のウィンドウ３００ｂは第２のＺ位置Ｚ２を表し、．．．、第ｊのウィンドウ３００ｊは（原点３０８から最も離れている）第ｊのＺ位置Ｚｊを表す。カーソル（またはフォーカス・インジケータ）は、ウィンドウからウィンドウへ移動するときに１つのＺ位置から別のＺ位置に移動する。カーソル（またはフォーカス・インジケータ）がＸＹ平面内を移動する場合と同様に、スピーカ１３２Ｒおよび１３２Ｌは、様々な音響特性を有することができる複数の可聴信号を生成する。Ｚ軸に沿った地点に対応する様々な音響パラメータは、ＸＹ位置の変化に対して変更されるパラメータとは異なる。１つの構成において、Ｚ軸に沿った位置の変化は合成されたエコーの度合いの対応する変化によって示される。他の構成において、Ｚ軸に沿った位置は音響信号の継続時間によって示される。（合成されたエコーは、Ｚ軸位置を示すための好ましいアプローチとなり得ることに留意されたい。これは、グラフィカル・ユーザ・インターフェースにおいて新しいウィンドウがユーザによって選択されたときに、そのウィンドウが積み重なりの最も上に自動的に移動するためである。この移動は、信号が再生されている間に合成されたエコーの度合いを変更することによって聴覚的に示されることができる。）通常、信号はカーソル（またはフォーカス・インジケータ）が各セグメント内の指定された地点に達したとき（例えば、カーソル（またはフォーカス・インジケータ）がウィンドウ境界を越えるとき）に生成され、カーソル（またはフォーカス・インジケータ）が対応するセグメント２０４内に位置付けられている間に決められた時間だけ生成される。カーソル（またはフォーカス・インジケータ）が決められた時間よりも長くセグメント内で止まっている場合、ユーザがカーソル（またはフォーカス・インジケータ）の位置を思い出すために信号を再生したいという要求を指示しない限り、信号は停止される。そのような要求は、キーまたはボタンを押下すること、トラッキング・ユニット１１６を振るまたは前後に動かすことなどによって指示されることができる。
【００４９】
上述の構成に鑑みて、本発明の原理を示す多くの実施例がある。
第１の実施例においては、および図４を参照すると、カ―ソルまたはポインタ４００の位置が、カーソルが通過した各セグメント２０４に関連する可聴位置信号によって追跡される。本実施例においては、複数の積み重なったウィンドウ４０４ａ〜ｆが示される。これらのウィンドウは、ウィンドウ４０４ａ（Ｗｏｒｄ（商標）に対応）がＺ１位置にあり、ウィンドウ４０４ｂ（ＷｏｒｄＰｅｒｆｅｃｔ（商標）に対応）がＺ２位置にあり、ウィンドウ４０４ｃ（Ｏｕｔｌｏｏｋ（商標）に対応）がＺ３位置にあり、ウィンドウ４０４ｄ（Ｅｘｃｅｌ（商標）に対応）がＺ４位置にあり、ウィンドウ４０４ｅ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ  Ｂｒｏｗｓｅｒ（商標）に対応）がＺ５位置にあり、ウィンドウ４０４ｆ（Ａｄｏｂｅ  Ｒｅａｄｅｒ（商標）に対応）がＺ６位置にあるようにして重なり合っている。カーソルがウィンドウ４０４ａの範囲内を移動されるとき、様々な音響特性の可聴位置信号がカーソル４００が通過する各セグメント（図示せず）に対して生成される。このようにして、ユーザはディスプレイを見る必要なしにカーソルの位置を知る。１つの変更形態においては、アイコンがウィンドウ４０４ａのデータ入力領域４０８から当該ウィンドウのツール・バー４１２領域に移動するとき、音響特性の異なる組を有する第２の種類の可聴信号が生成される。例えば、異なるセグメントを示すためにセグメントに対する位置信号が位相および周波数を変更すべき場合、第２の種類の位置信号は一定の位相および周波数に対してリズムおよびエコーを変更することができる。次に、カーソルがツール・バーに沿って移動されるに従って、種々のツール・バー・オプションを知らせる可聴識別信号がユーザに対して再生されることができる。
【００５０】
第２の実施例においては、および引き続き図４を参照すると、カーソル４００がウィンドウ４０４ａの境界４１６を越えてウィンドウ４０４ｂに入るとき、エージェント１４８は「ＷｏｒｄＰｅｒｆｅｃｔ」を示す可聴識別信号を生成する。カーソル４００がウィンドウ４０４ｂの境界４２０を越えてウィンドウ４０４ｃに入るとき、エージェント１４８は「Ｏｕｔｌｏｏｋ」を示す可聴識別信号を生成する。このようにして、カーソル４００の深さ（すなわちＺ）位置がユーザに知らされる。理解されるように、ユーザがウィンドウ４０４ｂ〜ｆのうちの１つの作業領域をクリックする場合、選択されたウィンドウはＺ１、すなわち第１の位置に移動され、他のウィンドウはそれに応じて再配置される。例として、ユーザがウィンドウ４０４ｅを選択する場合、そのウィンドウはＺ１位置に移動され、ウィンドウ４０４ａはＺ２位置に移動され、ウィンドウ４０４ｂはＺ３位置に移動され、ウィンドウ４０４ｃはＺ４位置に移動され、ウィンドウ４０４ｄはＺ５位置に移動される。ウィンドウ４０４ｆはＺ６位置のままである。１つの変更形態においては、ユーザの要求によりウィンドウのうちの１つまたは複数のＺ位置は固定されるかまたは選択された順序に戻される。１つの変更形態においては、ユーザの要求によりエージェント１４８は各層に対してその層にあるウィンドウが何であるかを識別する一連の識別信号を再生する。例として、信号は「層１にあるのはＷｏｒｄです。層２にあるのはＷｏｒｄＰｅｒｆｅｃｔです。層３にあるのはＯｕｔｌｏｏｋです。層４にあるのはＥｘｃｅｌです。層５にあるのはＩｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒです。層６にあるのはＡｄｏｂｅ  Ｒｅａｄｅｒです。」と言葉で表すことができる。代替として、所与の層に対して、エージェント１４８はその層にあるウィンドウまたはそのウィンドウ内のオブジェクトを知らせてもよい。例えば、複数のウィンドウが同じ層にある場合、エージェントはそれらのウィンドウ、および任意でそれらのウィンドウの絶対または相対ＸＹ位置を識別する。
【００５１】
第３の実施例においては、および引き続き図４を参照すると、ユーザはカーソル４００の移動によって生成された可聴位置信号を各アイコンに関連する可聴信号と一致させることによってアイコン４５０のうちのいずれかなどの画像を位置検知する。例として、ユーザはカーソルを１つまたは複数の選択されたオブジェクトに移動するように要求することによってオブジェクトの位置を心の中で地図に描くことができ、カーソルがオブジェクトからオブジェクトへ移動するとき、エージェント１４８はオブジェクトが配置されているセグメント２０４に関連する位置信号がオブジェクトに対する可聴識別信号と共に発せられるようにする。したがって、ユーザのリクエストによってカ―ソル４００が「マイ  ドキュメント」アイコンに移動するとき、エージェント１４８はそのアイコンが配置されているセグメントに関する位置信号を再生し、当該位置信号に時間的に近接して「マイ  ドキュメント」を可聴的に知らせることができる。次にカ―ソル４００が「マイ  コンピュータ」アイコンに移動し、エージェント１４８がそのアイコンが配置されているセグメントに関する位置信号を再生し、当該位置信号に時間的に近接して「マイ  コンピュータ」を可聴的に知らせる。このプロセスが全てのアイコン４５０に対して周期的間隔で繰り返される。時間の経過とともにユーザは自身のディスプレイのメンタル・マップを作成する。カーソル４００を所望のアイコンの位置と現在のカーソルの位置との間で位置信号の音響的差異が小さくなる方向に移動することによって、ユーザは迅速におよび簡単に所望のアイコンを位置検知することができる。
【００５２】
第４の実施例においては、ユーザは特定のウィンドウに関して（点字キーボードなどを介して）問い合わせを行うことができる。エージェント１４８はカーソル４００（またはフォーカス・インジケータ）をウィンドウの作業領域に移動し、ユーザにクリックするように要求することができ、それによってウィンドウが積み重なりの最も上または前面に移動するようにする。代替として、エージェントはさらなるユーザの関与なしにウィンドウを再配列してもよい。
【００５３】
第５の実施例においては、および引き続き図４を参照すると、カーソル４００は、アイコン、ファイル・フォルダなどであってよい２つの選択可能な（クリック可能なまたは起動可能な）画像の間に位置付けられ、エージェント１４８はユーザにユーザが画像の間にいることを知らせ、画像を識別する。例えば、カーソル４００がディスプレイ・ツール・バー４３２内のアイコン４２４および４２８の間にあるとすると、エージェント１４８は、ユーザに「あなたはディスプレイ・ツール・バー内のＷｏｒｄＰｅｒｆｅｃｔアイコンとＷｏｒｄアイコンの間にいます。」とアナウンスする。ユーザがカーソル４００を左に移動する場合、エージェント１４８は「あなたは今ＷｏｒｄＰｅｒｆｅｃｔアイコン上にいます。」とアナウンスすることができ、右に移動する場合、「あなたは今Ｗｏｒｄアイコン上にいます。」とアナウンスすることができる。さらに別の例においては、カーソル４００はアプリケーション・ツール・バー４１２内のアイコン４３６および４４０の間にあってよい。上述のプロセスが「保存」アイコン４３６および「印刷」アイコン４４０に対して繰り返される。カーソル４００がホット・スポットまたはリンクなどの選択可能な画像の近傍にあるときに同様のプロセスが繰り返されることができる。例えば、画像がホット・スポットであるとすると、エージェント１４８は信号「ホット・スポットをアクティブ化するには右に移動してください。」を供給することができる。
【００５４】
第６の実施例においては、エラー状態がエラー信号（例えば和音）によって示されるとき、可聴位置信号および／または可聴識別信号が当該エラー信号に時間的に近接して発せられてどのウィンドウがエラー信号に関連しているかをユーザに指示する。本実施例においては、位置信号は、ウィンドウに対応するアプリケーション・プログラムの可聴識別信号、および／または少なくとも部分的にウィンドウによって形成されたセグメント２０４のうちの１つの可聴識別信号である。
【００５５】
第７の実施例においては、ウィンドウおよびアイコンなどのグラフィカル・イメージはディスプレイを横切って選択された位置に移動することができ、移動の間、グラフィカル・イメージがセグメントからセグメントへ移動するときに複数の位置信号が再生されることができる。例として、電子メールの受信を示す電子メール・アイコンは１つの端から電子メール・アプリケーション・プログラムに対応するウィンドウまでディスプレイを「飛び越える」ことができ、電子メール・アイコンが画面を横切って移動するとき、様々な音響特性を有する一連の位置信号が再生される。そのような信号の組はユーザに移動の印象を与え、耳に心地良い。電子メール・アイコンは、選択された発信元からの電子メールなどの選択された電子メールのみに関連付けられ、その他の発信元からの受信電子メールには関連付けられないようにしてもよい。このようにして、ユーザは（通常電子メール到着信号のみを生成するようにして静かにウィンドウに送られる）ＳＰＡＭ電子メールまたはあまり関心のない電子メールではなく関心のある電子メールが到着したときに通知される。
【００５６】
第８の実施例においては、エージェント１４８はカーソル４００が画像の境界を横切るときに可聴境界信号を生成する。概して、境界信号は、横切るセグメントに対して生成される位置信号とは音響的に異なる。例えば、境界信号は、横切られる画像および／または境界の形式に応じて同一の音響パラメータの組または異なる音響パラメータを有することができる。好ましい実施形態においては、位置信号が周波数および位相を変更する一方、境界信号は位置信号と可聴的に区別できるようにエコーまたは信号の長さを用いる。
図５は、本発明の一実施形態によるエージェント１４８の動作を示す。
【００５７】
判断の６角形５００において、エージェントはカーソル（またはフォーカス・インジケータ）が新しい画面要素（またはセグメント）に移動されたかどうかを判断する。カーソル（またはフォーカス・インジケータ）が移動された場合、エージェントは、工程５０４において新しい画面要素に対応する音響パラメータを選択し、工程５０８において選択された音響パラメータを有する可聴位置信号を生成する。カーソル（またはフォーカス・インジケータ）が移動されていない場合、エージェントは判断の６角形５００に戻りそれを繰り返す。
【００５８】
判断の６角形５１２において、エージェントはカーソル（またはフォーカス・インジケータ）がＺ位置を変更したかどうかを判断する。カーソル（またはフォーカス・インジケータ）のＺ位置が変わった場合、エージェントは、工程５１６において新しいＺ位置に対応する可聴位置メッセージおよび／または可聴識別メッセージを選択し、工程５２０においてその選択された可聴メッセージをユーザに対し再生する。このメッセージは、「あなたは層２にいます。」（層１から層２への移動、または層３から層２への移動の場合）のように単純であってよい。カーソル（またはフォーカス・インジケータ）の位置が変わっていない場合、または工程５２０の後で、エージェントは判断の６角形５２４に進む。
【００５９】
判断の６角形５２４において、エージェントは、カーソル（またはフォーカス・インジケータ）が、利用可能なまたは選択可能なオブジェクトの所定の距離内に止まっているかどうかを判断する。そのようになっている場合、工程５２８において、エージェントは近傍のオブジェクトに対応する可聴オブジェクト識別信号を選択して再生する。エージェントは、さらに、オブジェクト上に位置付けるためにカーソル（またはフォーカス・インジケータ）をどこに移動すべきかについてユーザに指示を与えることができるか、またはユーザの要求によって自動でカーソルをオブジェクトに移動することができる。
【００６０】
カーソル（またはフォーカス・インジケータ）が、利用可能なまたは選択可能なオブジェクトの所定の距離内にないとき、または工程５２８の後で、エージェントは判断の６角形５００に戻りそれを繰り返す。
【００６１】
図６は、本発明の別の動作実施形態を示す。
工程６００において、エージェントは特定のウィンドウならびに／または利用可能なもしくは選択可能なオブジェクトに関するユーザの問い合わせを受け取った。
【００６２】
それに応答して、判断の６角形６０４において、エージェントは問い合わせがＺ軸に沿ったウィンドウの順序に関するものかどうか判断する。そのような問い合わせである場合、工程６０８において、エージェントはＺ軸位置によってウィンドウを識別する可聴識別メッセージを再生する。そのような問い合わせでない場合、または工程６０８を実行した後で、エージェントは判断の６角形６１２に進む。
【００６３】
判断の６角形６１２において、エージェントは、ユーザがウィンドウがＺ軸に沿って再配列されるように要求したか判断する。要求があった場合、工程６１６において、エージェントはユーザによって要求されたようにウィンドウを再配列する。
【００６４】
問い合わせがＺ軸に沿ったウィンドウの順序に関するものでない場合、判断の６角形６２０において、エージェントは問い合わせが利用可能なまたは選択可能なオブジェクトの位置検知に関するものかどうか判断する。そのような問い合わせである場合、工程６２４において、エージェントはカーソルをユーザに選択された利用可能なまたは選択可能なオブジェクト上に位置付ける。そのような問い合わせでない場合、または工程６２４を実行した後で、エージェントは工程６００に戻り、次のユーザの命令を待つ。
【００６５】
本発明の多くの変更形態および修正形態が使用され得る。本発明の一部の特徴をその他の特徴を提供せずに提供することができる。
例えば一代替実施形態においては、本発明は視覚障害者ユーザに限定されず、視覚障害のないユーザによって使用されることができる。本発明は、同時に複数の作業を行っているコンピュータ・ユーザ、または他の活動（運転など）に従事しているコンピュータ・ユーザによって使用されることができ、継続的にディスプレイを見る必要なしにコンピュータ上で作業を行うための可聴式のフィードバックを使用することができる。別の例においては、ユーザは、ディスプレイ・ツール・バーを使用することによって、辿ることができないほど多くのウィンドウを開くコンピュータ・マニアであってよい。可聴情報の使用、特にＺ軸位置による各ウィンドウの識別は、ユーザがどのウィンドウが開かれているかだけでなくウィンドウの相対位置をも監視するのを支援するのに非常に有用である。
【００６６】
さらに別の実施形態においては、本明細書に記載の方法を実施するために、特定用途向け集積回路（すなわちＡＳＩＣ）、プログラマブル・ロジック・アレイ、および他のハードウェア・デバイスを含むがこれらに限定されない専用ハードウェア実装が同様に構築されることができる。さらに、本明細書に記載の方法を実施するために、分散処理もしくはコンポーネント／オブジェクト分散処理、並列処理、または仮想マシン処理を含むがこれらに限定されない代替ソフトウェア実装が同様に構築されることができる。
【００６７】
また、本発明のソフトウェア実装は、ディスクまたはテープのような磁気媒体、ディスクのような光磁気または光媒体、あるいはメモリ・カードまたは１つもしくは複数のリード・オンリー・（不揮発性）メモリを収容する他のパッケージのような固体媒体などの有形の記憶媒体に任意で格納されることも言及されるべきである。電子メールへの添付デジタル・ファイル、または独立した情報アーカイブもしくはアーカイブの組は、有形の記憶媒体と均等な配布媒体であると考えられる。したがって、本発明は、本発明のソフトウェア実装が保存される有形の記憶媒体または配布媒体、ならびに従来技術で認められた均等物および後継媒体を含むものとみなされる。
【００６８】
本発明が、特定の規格および規約に関連した実施形態において実現された構成要素および機能を説明したが、本発明はそのような規格および規約に限定されない。本明細書で言及されていない他の同様の規格および規約が存在し、本発明に含まれるものとみなされる。さらに、本明細書で言及した規格および規約ならびに本明細書で言及されていない他の同様の規格および規約は、本質的に同様の機能を有するより高速またはより効率的な均等物によって定期的に置き換えられる。同様の機能を有するそのような代替規格および代替規約は、本発明に含まれる均等物とみなされる。
【００６９】
種々の実施形態において、本発明は、実質的に本明細書で示され説明された構成要素、方法、プロセス、システム、および／または装置を含み、その各種の実施形態、サブコンビネーション、およびサブセットを含む。当業者は、本開示を理解した後で本発明の構成方法および使用方法を理解するであろう。種々の実施形態において、本発明は、本明細書で示されたおよび／もしくは説明された項目なしで装置およびプロセスを提供することを含んでおり、または、本明細書の各種の実施形態において、例えば性能を向上するため、容易性を得るため、および／もしくは実装のコストを削減するために、従来の装置もしくはプロセスで使用されることができたような項目なしで装置もしくはプロセスを提供することを含む。
【００７０】
本発明の上述の考察は、例示および説明を目的として示された。上述の内容は、本発明を本明細書に開示された１つまたは複数の形態に限定するように意図されるものではない。例えば前述の「発明を実施するための最良の形態」においては、本発明の種々の特徴が、本開示を簡潔にするために１つまたは複数の実施形態にまとめられている。この開示の方法は、特許請求の範囲に記載されている発明が各請求項で明確に述べられているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきでない。むしろ、添付の特許請求の範囲が示すように、発明の態様は単一の上述の開示された実施形態の全ての特徴よりも少ない特徴に存する。したがって、添付の特許請求の範囲は、各請求項が本発明の個別の好ましい実施形態として独立するようにして、本明細書により「発明を実施するための最良の形態」に組み込まれる。
【００７１】
さらに、本発明の説明は１つまたは複数の実施形態ならびにいくつかの変更形態および修正形態の説明を含んでいたが、例えば本開示を理解した後で当業者の技能および知識の範囲内にあるようなその他の変更形態および修正形態は本発明の範囲内にある。特許請求の範囲に記載された構造、機能、範囲、または工程に対する代替の、交換可能な、および／または均等の構造、機能、範囲、または工程を含めて、それらの代替の、交換可能な、および／または均等の構造、機能、範囲、またはステップが本明細書に開示されているかどうかにかかわらず、いかなる特許性のある対象も公に提供することを意図せずに、認められる範囲内で代替実施形態を含む権利を得ることが意図される。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態によるコンピューティング・システムの構成図である。
【図２】本発明の一実施形態によるディスプレイのセグメント分割を示す図である。
【図３】本発明の一実施形態によるディスプレイのセグメント分割を示す図である。
【図４】本発明の一実施形態による例示的なディスプレイのスクリーン・ショットを示す図である。
【図５】本発明の一実施形態による流れ図である。
【図６】本発明の一実施形態による流れ図である。
【図１】
2008071354.tif 000003
【図２】
2008071354.tif 000004
【図３】
2008071354.tif 000005
【図４】
2008071354.tif 000006
【図５】
2008071354.tif 000007
【図６】
2008071354.tif 000008