(57)【要約】      （修正有）【課題】アプリケーション、システムまたはデバイス用に音声システムのための空間ユーザインターフェースを提供する。【解決手段】ユーザインターフェース機能またはコマンドを音声信号として表す手段を含み、音声信号は、機能またはコマンドに応じて、空間的に異なる場所におけるユーザにより知覚される。ユーザが機能またはコマンドを選択することができるように、または音声信号の空間表現を通してナビケートすることができるように、ユーザ入力デバイスが提供される。【選択図】図１
2014179123.tif 000002
【特許請求の範囲】
【請求項１】
本願明細書に記載された発明。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００９年４月９日出願の仮出願第６１／１６８，１６５（代理人整理番号０２６７３−００２１００ＵＳ）の優先権と利益とを主張し、この仮出願の全開示が本明細書において全ての目的のために参照により援用される。
【背景技術】
【０００２】
本発明は、電子デバイス用のユーザインターフェースを対象とし、より具体的には、ユーザインターフェース機能またはコマンドを、その機能またはコマンドに対応し、特定の空間的場所におけるユーザにより知覚される音声信号に関連付けることに基づく、音声システムまたはサブシステム用のユーザインターフェースを提供するための装置および方法に関する。
【０００３】
マン−マシンインターフェースとも呼ばれることもあるユーザインターフェースは、ユーザが様々なデバイスおよびアプリケーションとインタラクションを行うことを可能にする。そのようなインターフェースは、ユーザ入力を、デバイス上にインターフェースまたはディスプレイを生成するためにアプリケーションにより実行されるコマンドまたは命令に変換するために使用され得る。ユーザインターフェースはまた、ユーザ入力を、アプリケーションに特定のタスク、処理、動作または機能を実行させるコマンドまたは命令に変換するために使用され得る。ユーザインターフェースは、データ入力の１つ以上のモードを有する複数の形態をとることができ、そのようなデータ入力モードは、タッチスクリーン、キーパッド入力、または発話の入力（例えばボイスコマンド）を含む。
【０００４】
多くのシステムまたはデバイスは、ユーザがシステムまたはデバイスの機能を理解および制御するためのメカニズムを提供する。例えば、コンピュータシステムは、典型的には、ユーザが入力を提供し、ユーザがシステムを制御できるようにすることの一部としてフィードバックを受信することができるようにするために、画面、キーボードおよびマウス（またはそれらの機能的均等物）を提供する。しかしながら、いくつかのシステムまたはデバイスは、システムまたはデバイスの典型的な動作のためにユーザが所望し得るユーザインターフェース機能性の程度を提供する能力が制限されている。例えば、携帯電話は、典型的にはマウスを有さず、多くはフルキーボードを有さない。携帯電話の場合、より小さい画面、数字キーパッド、および典型的には少数の機能ボタンが提供される。いくつかのシステムは、そのインターフェース機能性がさらに制限される可能性があり、画面、またはデータ入力用のいかなる形態のキーボードもしくはキーパッドも提供しない可能性がある。そのような比較的制限されたインターフェースを有するシステムの一例は、オーディオヘッドセットであり、これは、携帯電話と連結した無線音声受信および音声入力デバイスとして使用されることが多い。典型的には、そのようなヘッドセットは、画面を提供せず、２つか３つのユーザ入力用ボタン（または他のデータもしくはコマンド入力モード）を提供するのみである。これらのデバイスの利点は、ユーザが運転などの他のタスクから著しく気をそらされることなく使用することができ、また、より進歩したユーザインターフェース機能を含む同様のデバイスよりも電池寿命が長いものを低価格で製造することができることである。
【０００５】
ユーザが見る必要なく、または画面上に表示された情報を読む必要なく効果的に操作され得るデバイスは、別の活動を行っている可能性のあるユーザ、または別の物体もしくはイベントに自由に目を向けることを望むユーザに利点を提供する。また、ユーザが他のタスクから気をそらされることなく操作することができる比較的単純な入力メカニズムをデバイスが有していれば、それも利点である。そのようなデバイスは、典型的には、運転時の操作においてより安全であり、街を歩きながらの操作においてより迅速であり、また典型的には製造する上でより安価である。
【０００６】
しかしながら、これらの種類のユーザインターフェースシステムの欠点は、デバイスまたはその機能性に不慣れなユーザにとって、操作が困難となり得ることである。例えば、オーディオヘッドセットは、典型的には、デバイスの使用法を説明するユーザマニュアルを必要とする（一方、画面を有するデバイスは、ユーザがそのようなマニュアルなしにデバイスを操作できるようにするために十分な情報を表示することができる）。いくつかのデバイスは、ユーザに対し、ユーザが望み得るアクション、または特定の入力に対して、もしくはある特定のイベントに基づいて行うことができる操作を示唆する音声プロンプトを使用する。いくつかの場合においては、これはデバイスの使い易さを改善し得るが、選択肢の範囲が適度に固定され、選択肢がユーザにより理解されるのに適度に単純である場合にのみ効果的である。
【０００７】
望まれているのは、システムと併せた使用に好適なユーザインターフェースを生成するための装置および方法であって、システムが画面表示機能を有さない、もしくは画面表示機能が制限されている、および／またはデータ入力能力が制限されている状況において、インターフェースがユーザに音声信号を提供することができる装置および方法である。さらに、ユーザインターフェースが、ユーザが相当のトレーニングを必要とすることなく、およびユーザがシステムの操作と同時に行っている可能性のある他のタスクから著しく気をそらされることなく、比較的複雑なシステムを制御することができるようにし得ることが望まれている。本発明の実施形態は、これらの課題およびその他の課題に対し、個々におよび集合的に対応する。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明の実施形態は、例えば、携帯電話、または携帯電話とインタラクションを行うために使用されるオーディオヘッドフォンまたはその他のデバイス等の電子デバイスまたはソフトウェアアプリケーション用のユーザインターフェースを提供するためのシステム、装置および方法を対象とする。本発明のユーザインターフェースは、ユーザインターフェース（ひいてはデバイス）機能またはコマンドを音声信号として表す手段を含み、音声信号は、機能またはコマンドに依存し得るユーザと相対的な空間的場所におけるユーザにより知覚される。いくつかの実施形態において、機能またはコマンドに対応する音声信号もしくはプロンプトの空間的場所（または使用される音声信号もしくはプロンプトの種類）は、ユーザによってより容易に理解され効率的に使用されるように設計される様式でユーザインターフェースを構成する規則、経験則、または原理に従って決定することができる。したがって、いくつかの実施形態において、音声信号もしくはコンテンツ（例えば、音楽、ボイスプロンプト、他の音声の再生）、または音声信号もしくはコンテンツの知覚された場所のいずれかまたは両方が、そのユーザインターフェース要素の動作、そのユーザインターフェース要素の重要度、またはユーザインターフェース要素もしくはデバイスの別の側面を、ユーザに示唆するように設計され得る。
【０００９】
いくつかの実施形態において、本発明のインターフェースは、音声信号またはプロンプトを、ユーザインターフェース機能またはコマンドに関連付けることにより生成され、それらの信号またはプロンプトは、ユーザによる空間的配設において知覚させられる。ユーザが、音を、ユーザに対し特定の場所（例えば、背面、正面、左側、右側、上四分円、下四分円等）から発生していると知覚する能力は、特定のユーザインターフェース機能またはコマンドを、ある特定の方向または場所から発生していると知覚される音に関連付けることによる、本発明のユーザインターフェースまたは制御スキームの１つの基礎として使用される。知覚された方向または場所を十分に分離することにより、および、所望により、音の他の特性（例えば、音量、反復、ピッチの変化等）を変化させることにより、視覚的表示を必要とすることのない、または視覚的表示要件を単純化する様式で、複数のユーザインターフェース制御またはコマンドがユーザに提供され得る。さらに、上述のように、使用される音声信号もしくはプロンプトの種類、それらの信号もしくはプロンプトの配設、またはその両方は、例えば、ユーザにとっての使い易さの１つ以上を提供するように、ユーザの期待または挙動に適合するように、ユーザが信号またはプロンプトを知覚する可能性を増加させるように、ユーザが信号またはプロンプトの意味を理解する可能性を増加させるように、選択され得る。本発明のユーザインターフェースは、単独で、または他のユーザインターフェースもしくはデータ入力方法と組み合わせて使用し、所望の機能性をユーザに提供することができる。
【００１０】
説明されるように、いくつかの実施形態において、本発明は、システム、装置、またはデバイス用のユーザインターフェース要素の空間モデル、およびそのモデルを生成する方法を含む。空間モデルは、各ユーザインターフェース要素（例えば、アプリケーションの機能またはコマンド）を空間的場所にマッピングする１組の規則、経験則、または基準から生成され得る。音声信号は、各ユーザインターフェース要素に関連付けられ、ユーザインターフェース要素およびユーザにより知覚される空間的場所の両方に関連付けられた特定の音または音のシーケンスが得られる。ユーザがユーザインターフェース要素を選択または起動し、それにより、要素に関連付けられた機能、コマンド、または動作を起動することができるようにするために、制御または選択デバイスが提供される。いくつかの実施形態において、制御または選択デバイスを使用して、ユーザインターフェースの要素（複数を含む）に対応する音声信号の知覚場所を変更することにより、要素の表示を修正することができる。したがって、ユーザは、（使い易さ、ユーザによる音の場所の認知、ユーザによる音声信号またはプロンプトにより示された機能の理解等の点で）ユーザにとってより望ましい配設に対応させるように、音声信号またはプロンプトの空間的配設を修正することができる。
【００１１】
いくつかの実施形態において、本発明は、以下の要素、機能、または能力を含んでもよい。
・１つ以上のユーザインターフェース要素がユーザの知覚音声空間内の１つ以上の空間的場所に関連付けられている概念的な空間モデルを、形成および維持するための要素、機能、または能力
・各ユーザインターフェース要素を、空間的に分離された音声信号（複数を含む）として示し、それによりユーザがそのような信号（複数を含む）をユーザインターフェース要素に、またはユーザインターフェース要素の機能に関連付けることができるようにする要素、機能、または能力、および
・ユーザインターフェース要素を選択もしくはその他の様式で起動する、または空間モデルにより示された音声信号（複数を含む）の配設を修正するユーザからの入力信号を受信するための要素、機能、または能力。
【００１２】
本発明の実施形態は、システム、装置、ユーザインターフェース、デバイス、または方法として等、複数の形態で実装可能である。本発明は、他の好適な形態の中でも、プログラムされたコンピュータハードウェアもしくは論理ゲートにより実行される方法として、コンピュータ可読媒体上に含まれる１組の実行可能な命令として、またはアナログ回路の形態で実装され得る。
【００１３】
一実施形態において、本発明は、ユーザインターフェースを生成するためのシステムを対象とし、システムは、ユーザインターフェース要素に関連付けられた入力データを受信し、ユーザがユーザインターフェース要素に対応する音声信号を知覚する空間的場所を定義する出力データを生成するように動作する、空間モデル発生器と、音声入力を入力として受信し、この音声信号を出力として生成するように動作する、空間音声効果プロセッサであって、音声信号は、空間的場所におけるユーザにより知覚されるような処理済音声入力を表す、空間音声効果プロセッサと、音声信号を選択する、またはユーザにより知覚される音声信号の空間的配設を変更するように動作する、ユーザ入力デバイスとを含む。
【００１４】
別の実施形態において、本発明は、ユーザインターフェースを対象とし、ユーザインターフェースは、複数の音声信号であって、各信号は、空間的に異なる場所におけるユーザにより知覚され、各信号は、システム、デバイス、またはアプリケーションの機能または動作に関連付けられる、複数の音声信号と、複数の音声信号のうちの１つを選択する、またはユーザにより知覚される音声信号の空間的配設を変更するように動作するユーザ入力デバイスと、ユーザ入力デバイスから信号を受信し、それに応じてシステム、デバイス、もしくはアプリケーションの機能もしくは動作を起動するか、またはユーザにより知覚される音声信号の空間的配設を変更するように動作するコントローラと、を含む。
【００１５】
さらに別の実施形態において、本発明は、ユーザインターフェースを生成するための方法を対象とし、方法は、ユーザインターフェース要素に関する情報にアクセスするステップと、アクセスされた情報に基づいてユーザインターフェース要素の空間モデルを生成するステップであって、空間モデルは、ユーザの知覚音声空間内の位置へのユーザインターフェースのマッピングを表す、ステップと、音声信号を、ユーザの知覚音声空間内の位置に関連付けるステップと、を含む。
【００１６】
本明細書は、例えば、以下の項目も提供する。
（項目１）
ユーザインターフェースを生成するシステムであって、
ユーザインターフェース要素に関連付けられた入力データを受信し、ユーザが該ユーザインターフェース要素に対応する音声信号を知覚する空間的場所を定義する出力データを生成するように動作する、空間モデル発生器と、
音声入力を入力として受信し、該音声信号を出力として生成するように動作する、空間音声効果プロセッサであって、該音声信号は、該空間的場所における該ユーザにより知覚されるような処理済音声入力を表す、空間音声効果プロセッサと、
該音声信号を選択する、または該ユーザにより知覚される該音声信号の空間的配設を変更するように動作する、ユーザ入力デバイスと
を備える、システム。
（項目２）
前記空間音声効果プロセッサはさらに、前記音声信号に関連付けられた機能または動作を前記ユーザに示唆する情報を含むように前記音声入力を処理するように動作する、項目１に記載のシステム。
（項目３）
前記音声信号に関連付けられた機能または動作を示唆する前記情報は、反響、音量、上昇ピッチ、下降ピッチ、または残響のうちの１つ以上を含む、項目２に記載のシステム。
（項目４）
前記空間モデル発生器は、前記音声信号に関連付けられた前記ユーザインターフェース要素の機能または動作を前記ユーザに示唆する空間的場所を定義する出力データを生成するように動作する、項目１に記載のシステム。
（項目５）
前記ユーザ入力デバイスは、ナビケーションスイッチ、サムホイール、加速度計、タッチセンサ、またはマイクロホンのうちの１つ以上である、項目１に記載のシステム。
（項目６）
ユーザインターフェース要素に関連付けられた前記入力データは、前記ユーザインターフェース要素の機能、該ユーザインターフェース要素の動作、または該ユーザインターフェース要素の相対的重要性のうちの１つ以上である、項目１に記載のシステム。
（項目７）
システム、デバイス、またはアプリケーション用のユーザインターフェースであって、
複数の音声信号であって、各信号は、空間的に異なる場所におけるユーザにより知覚され、各信号は、該システム、デバイス、またはアプリケーションの機能または動作に関連付けられる、複数の音声信号と、
該複数の音声信号のうちの１つを選択する、または該ユーザにより知覚される該音声信号の空間的配設を変更するように動作するユーザ入力デバイスと、
該ユーザ入力デバイスから信号を受信し、該信号に応じて該システム、デバイス、またはアプリケーションの機能もしくは動作を起動するか、あるいは該ユーザにより知覚される該音声信号の空間的配設を変更するように動作する、コントローラと
を備える、ユーザインターフェース。
（項目８）
前記複数の音声信号の１つ以上は、前記音声信号に関連付けられた機能または動作を前記ユーザに示唆する情報を含む、項目７に記載のユーザインターフェース。
（項目９）
前記音声信号に関連付けられた機能または動作を示唆する前記情報は、反響、音量、上昇ピッチ、下降ピッチ、または残響のうちの１つ以上を含む、項目８に記載のユーザインターフェース。
（項目１０）
前記ユーザ入力デバイスは、ナビケーションスイッチ、サムホイール、加速度計、タッチセンサ、またはマイクロホンのうちの１つ以上である、項目７に記載のユーザインターフェース。
（項目１１）
前記複数の音声信号の１つ以上は、前記音声信号に関連付けられた機能または動作を前記ユーザに示唆する空間的に異なる場所における前記ユーザにより知覚される、項目７に記載のユーザインターフェース。
（項目１２）
前記複数の音声信号の１つ以上は、前記音声信号に関連付けられた機能または動作の相対的重要性を前記ユーザに示唆する空間的に異なる位置における前記ユーザにより知覚される、項目７に記載のユーザインターフェース。
（項目１３）
ユーザインターフェースを生成するための方法であって、
ユーザインターフェース要素に関する情報にアクセスすることと、
該アクセスされた情報に基づいて該ユーザインターフェース要素の空間モデルを生成することであって、該空間モデルは、ユーザの知覚音声空間内の位置への該ユーザインターフェースのマッピングを表す、ことと、
音声信号を、該ユーザの知覚音声空間内の該位置に関連付けることと
を含む、方法。
（項目１４）
ユーザ入力デバイスを介して前記ユーザから入力を受信することと、
該入力が、前記ユーザインターフェースの前記ユーザによる選択を表すか、または前記空間モデルを変更するユーザ要求を表すかを決定するために、該受信された入力を処理することと
をさらに含む、項目１３に記載の方法。
（項目１５）
前記アクセスされた情報は、前記ユーザインターフェース要素の機能または動作に関連する情報である、項目１３に記載の方法。
（項目１６）
前記アクセスされた情報は、前記ユーザインターフェース要素の相対的重要性に関連する情報である、項目１３に記載の方法。
（項目１７）
前記ユーザ入力デバイスは、ナビケーションスイッチ、サムホイール、加速度計、タッチセンサ、またはマイクロホンのうちの１つ以上である、項目１４に記載の方法。
（項目１８）
前記ユーザの知覚音声空間内の前記位置に関連付けられた前記音声信号は、音声によるプロンプト、音楽、または音響効果のうちの１つ以上である、項目１３に記載の方法。
（項目１９）
前記音声信号は、該音声信号に関連付けられた機能または動作を前記ユーザインターフェース要素の前記ユーザに示唆する情報を含む、項目１８に記載の方法。
（項目２０）
前記音声信号に関連付けられた機能または動作を示唆する前記情報は、反響、音量、上昇ピッチ、下降ピッチ、または残響のうちの１つ以上を含む、項目１９に記載の方法。
本発明の他の目的および利点は、発明を実施するための形態および含まれる図面を検討すれば、当業者に明らかとなる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の１つの例示的実施形態の主要な機能要素を示すブロック図である。
【図２ａ】図２（ａ）は、図１に描写される主要な機能要素が、本発明がユーザインターフェースを提供するアプリケーション、システム、またはデバイスの要素にいかにして接続され得るか、またはそれとインタラクションを行うことができるかを示すブロック図である。
【図２ｂ】図２（ｂ）は、本発明のいくつかの実施形態による、空間的ユーザインターフェースを生成しユーザとインタラクションを行うための方法またはプロセスを示すフローチャートである。
【図３】図３は、本発明のいくつかの実施形態による、例示的空間モデルおよびそのモデルにおける例示的ユーザインターフェース要素の設置を示す図である。
【図４】図４は、音声システムへの出力が、ステレオヘッドセットまたはスピーカーシステムにおける使用のために、１つは左チャネルとして意図され、１つは右チャネルとして意図される２つのストリームを含む場合における、図３を参照して説明される例示的音声ユーザインターフェース要素および例示的空間モデルに対し適用されるような、空間効果音声プロセッサの機能性の一例を示す図である。
【図５】図５は、本発明のいくつかの実施形態による、ユーザが空間モデルおよびユーザインターフェース要素とインタラクションを行うことができるようにするための例示的入力デバイスを示す図である。
【図６】図６は、ユーザが図５のナビゲーション入力デバイス上の左ボタンを押下した後の、図３に示される空間モデルを示す図である。
【図７】図７は、ユーザが図５のナビゲーション入力デバイス上の「上」ボタンを押下した後の、図６に示される空間モデルを示す図である。
【図８】図８は、本発明のいくつかの実施形態による、指または親指で操作することができ、また図５に描写される入力デバイスと同様の様式で使用することができる追加的な入力デバイスを示す図である。
【図９】図９は、本発明のいくつかの実施形態による、加速度計を使用してユーザの手の動きを空間モデルの変化にマッピングする入力デバイスを示す図である。
【図１０】図１０は、本発明のいくつかの実施形態において使用され得る別の入力デバイスを示す図であり、入力デバイスは、ユーザの手の各側に取り付けられた加速度計を含む。
【図１１】図１１は、図１０の入力デバイスの要素にタッチセンサが追加されているユーザ入力デバイスを示す図である。
【発明を実施するための形態】
【００１８】
本発明の実施形態は、アプリケーション、システム、装置、またはデバイス用のユーザインターフェース（ＵＩ）を対象とする。ＵＩは、１組の音声信号（トーン、音楽クリップ、ボイスプロンプト、音響効果、呼び出し音等）としてユーザに提示され、各音声信号は、アプリケーション、システム、装置、またはデバイスのユーザ選択可能な機能または動作に対応する。音声信号は、ユーザの音声空間内のユーザにより知覚され、ユーザの頭または身体に対する空間内に分布する（上、下、左、右、正面、背面等）。いくつかの実施形態において、異なる音声特性または効果がその空間内の異なる領域または場所に関連付けられてもよい（例えば、ユーザの正面において知覚される音声信号またはプロンプトの音響効果、ユーザの左側に知覚される音声信号またはプロンプトの）ことができる音量増大効果等）。空間内の音声信号またはプロンプトの分布は、人物の聴覚が音声を「場所」に関連付けるような音声信号処理技術により達成され得る、すなわち、各音声信号は、その信号の音がその人物に対し特定の場所から、または特定の特性もしくは効果を有する場所から発生しているように思わせるように処理されユーザに提示され得る。空間内の分布は、空間的ＵＩマッピングにより決定され、一方これは、ＵＩの実用性の最大化を求める（例えば、ユーザがＵＩまたはＵＩにより容易化される機能もしくは動作を発見または最も効率的に使用する可能性を高める）規則、経験則等に従い決定され得る。空間的ＵＩマッピングは、アプリケーション、システム、装置、もしくはデバイスにより、あるいは、ＵＩ要素またはアプリケーション、システム、装置、もしくはデバイスの機能に関するデータにアクセスし、次いでその情報を処理して空間的マッピングを形成するサブルーチンにより決定されてもよい。いくつかの実施形態において、ユーザには、ユーザが空間的ＵＩの要素をナビゲートし、および／または音声信号の１つを選択して、それにより、アプリケーション、システム、装置、またはデバイスの機能または動作を起動することができるようにするデータ入力デバイスが提供されもよい。いくつかの実施形態において、データ入力デバイスは、ユーザが知覚音声空間内の音声信号またはプロンプトの分布に直感的に関連付けることができる動作特性を有し得る。例えば、入力デバイスのコントロールを左に動かすと、知覚音声空間内で左にナビゲートすることができてもよい。
【００１９】
図１は、本発明の１つの例示的実施形態の主要な機能要素を示すブロック図である。この例において、本発明は、空間モデルマネージャ１１０、空間音声効果プロセッサ１２０、および空間入力デコーダ１３０を含む。示された要素のそれぞれの主要機能は、１つ以上の論理ゲート、コンピュータハードウェア、ファームウェア、または好適にプログラムされたプロセッサもしくはコンピュータデバイスにより実行可能な命令の形態で実装され得ることに留意されたい。
【００２０】
空間モデルマネージャ１１０は、複数のユーザインターフェース要素の空間的配設またはモデルに対応するデータを維持し、説明されるように、アプリケーション（またはデバイスもしくはシステム）要件の変化に応じて、あるいはユーザ入力に応じて空間的配設を更新する。空間モデルマネージャ１１０は、抽象空間（例えば、音声信号がマッピングまたは提示され得る空間）内の１つ以上のユーザインターフェース要素のユーザが知覚した位置を管理するように、およびそのような空間内のそのようなユーザインターフェース要素の知覚された位置をユーザ入力に応じて修正するように動作する。
【００２１】
中でも、空間モデルマネージャ１１０により実行される機能は、以下を含み得る。
・新たなユーザインターフェース要素をモデルに追加する（ひいては対応する音声信号をユーザの知覚音声空間に追加する）、
・ユーザの知覚音声空間からユーザインターフェース要素（ひいてはその要素に対応する音声信号）を削除する、
・ユーザの知覚音声空間（もしくは他の抽象空間）内のユーザインターフェース要素の一部もしくは全ての位置を、ユーザ入力に応じて更新する、または
・ユーザの知覚音声空間内のユーザインターフェース要素の配設、すなわち、ユーザにより知覚されるユーザインターフェース要素に対応する音声信号の空間的配設を決定する。
【００２２】
いくつかの実施形態において、デバイスまたはアプリケーションは、新たな要素の定義付けまたは追加を可能とする空間モデルマネージャ１１０により提供される機能を使用することにより、空間モデルに（およびそれにより全体として空間的ユーザインターフェースに）ユーザインターフェースを追加し得る。同様に、デバイスまたはアプリケーションは、ユーザにその要素の新たなまたは追加の機能性を提供するように、ユーザインターフェース要素の機能または動作を修正し得る。例えば、新たな要素「追加」機能は、デバイスまたはアプリケーションが要素自体を提供する（それにより、その再生がユーザインターフェース要素の提示を構成する音声データのソースまたはシンクを提供する）ことを可能とするように動作し得る。ユーザインターフェース要素は、空間モデルマネージャ１１０が最適にまたは最も効果的にユーザインターフェース要素をユーザの知覚音声空間内に配設するのを補助し得るデータまたは特性を備えても備えなくてもよい。例えば、ユーザインターフェース要素は、それが初期値または最も可能性のある選択であることを示す特性を備えてもよい。それに応じて、空間モデルマネージャ１１０は、初期値または最も可能性のある選択の要素が、典型的には、同様の場所におけるユーザに対し提示される、または、ユーザに対し予測可能もしくはユーザにより期待される様式で位置するように、ユーザインターフェース要素の組を配設し得る。議論されるように、空間モデルに対するユーザインターフェースの追加の結果、典型的には、空間モデルマネージャ１１０は、最適または所望の様式でユーザに対しユーザインターフェース要素の組全体を提示するために、モデル内の要素うちの他方の位置を再評価することになる。
【００２３】
空間モデルマネージャ１１０はまた、空間モデルから要素を削除する手段（および、それによりユーザに対するユーザインターフェース要素の提示を停止する手段）を提供し得る。要素の追加と同様に、１つ以上の要素の削除の結果、空間モデルマネージャ１１０は、空間モデル内のユーザインターフェース要素のうちの他方の位置を再評価することになり得る。
【００２４】
空間モデルマネージャ１１０は、典型的にはユーザ入力に応じて、空間モデルにおけるユーザインターフェース要素の一部または全てに適用される、位置（平行移動または回転）変換のためのメカニズムまたはプロセスを提供し得る。例えば、ユーザが「ユーザを前方に移動する」効果を有するユーザインターフェースアクションを実行した場合、空間モデルマネージャ１１０は、ユーザの「正面」にあると知覚されるユーザインターフェース要素がそれに向かうように移動し、「ユーザの背面」にあるユーザインターフェース要素がそこから離れて移動するように、変換（例えば平行移動）を適用することができる。
【００２５】
ユーザインターフェース要素が空間モデルに追加され得る、または空間モデルから削除され得るようにすることに加えた空間モデルマネージャ１１０の機能は、ユーザの知覚音声空間内のユーザインターフェース要素の位置を決定し、必要に応じてそのような位置を再計算することである（例えば、ユーザインターフェース要素の利用可能性またはそれらの特性に対し変更を行うユーザインタラクションまたはデバイスもしくはアプリケーションの結果として等）。この点において、本発明の実施形態または実装は、ユーザの知覚音声空間内のユーザインターフェース要素の位置を決定するための異なるメカニズムを使用してもよい。
【００２６】
例えば、１つの実装において、空間モデルマネージャ１１０は、ユーザインターフェース要素を半円内に配設してもよく、そのような半円は、まずユーザを中心とし、ユーザの正面またはユーザに沿って配置される。いくつかの実施形態において、空間モデルマネージャ１１０は、要素がユーザインターフェースに追加された順番に純粋に基づいて要素を配設してもよい。そのような場合、空間モデルマネージャ１１０は、各要素に対し、
【００２７】
【数１】
2014179123.tif 000003
により与えられる位置を提供し得るが、これにより、要素が単位半円に沿って均一に離間し、第１の要素が左、最後が右に位置するような分布が得られる。
【００２８】
別の実施例において、要素は、それらがユーザインターフェースに追加された順番ではなく、代わりに、ユーザインターフェース要素の特性に基づく空間モデルマネージャ１１０により決定される順番に基づいて順序付けられてもよい。例えば、各要素に優先性特性または指標が提供される場合、空間モデルマネージャ１１０は、最高優先度の要素を要素０、次に高いものを要素１等とするように要素を順序付け、次いでそれぞれに、
【００２９】
【数２】
2014179123.tif 000004
（式中、ｐ（ｉ）はｉ番目の要素の優先度である）のように計算される位置を提供してもよい。
さらに別の実施例において、２つ以上の特性が提供されてもよく、および／または多次元空間が使用されてもよい。例えば、各要素に緊急度特性および優先性特性が提供される場合、位置は、
【００３０】
【数３】
2014179123.tif 000005
のように決定されてもよく、半円の周りの配設は上述のように決定されるが、ユーザからの距離（例えば半径）は、ユーザインターフェース要素の緊急度が低いほど、ユーザから半径方向により遠くに位置するように決定される。
【００３１】
いくつかの実施形態において、空間モデルマネージャ１１０は、例えばＡＲＭ７マイクロプロセッサ等の適切なマイクロプロセッサ上で実行される適切なソフトウェアコードとして実装されてもよいことに留意されたい。
【００３２】
空間音声効果プロセッサ１２０は、空間モデルの一部としてユーザに対し提示される各ユーザインターフェース要素に関連付けられる音声コンテンツまたはデータを生成、修正、またはその他の様式で処理するように動作する。これは、ユーザにより空間的に異なることが知覚され、空間モデルマネージャ１１０に従い定義されるようなユーザインターフェース要素の空間的配設をユーザに伝達するために使用される音声信号（複数を含む）を形成する。
【００３３】
空間音声効果プロセッサ１２０は、各ストリーム、信号、またはコンテンツの空間的配設のユーザへの知覚を形成するように、各ユーザインターフェース要素に関連した音声ストリーム、信号、またはコンテンツを処理するように動作する。空間モデルマネージャ１１０により維持される空間モデル内の、ストリーム、信号、またはコンテンツに対応するユーザインターフェース要素の位置または場所は、このプロセスまたは機能の入力として提供される。
【００３４】
ユーザインターフェース要素に対応する各ストリーム、信号またはコンテンツに対して、空間音声効果プロセッサ１２０は、ユーザインターフェース要素に対する音声コンテンツが完了するまで音声データを受信する。例えば、ユーザインターフェース要素が音声ファイル（例えば、．ｗａｖファイル、または．ｍｐ３ファイル）である場合には、空間音声効果プロセッサ１２０は、ファイルが完全に再生されるまで、合理的な一定速度（ファイルエンコードサンプル速度）で音声データを受信する。
【００３５】
一実施形態または実装において、空間音声効果プロセッサ１２０は、各ストリーム、信号、またはコンテンツにステレオ空間内の位置を提供し得る。各入力がモノラルである場合、空間音声効果プロセッサ１２０は、入力の２つの複製（すなわち「左」および「右」出力）を作成することができ、次いで出力の「ステレオバランス」を変更することができる。そのような動作において、ステレオバランスは、（信号が身体の片側から、他方よりも多く来るように思われるように）全信号電力を同じに維持しながら一方の信号を増幅して他方を減衰させることにより、変更され得る。ステレオバランスはまた、身体の一方側の空間内の点からの信号の受信と他方側からの信号の受信との間の時間差に等しい時間差の分、一方の信号を他方に対して遅延させることにより変更され得る（知られているように、両耳から等距離にない空間内の点から発生する信号は、より遠く離れた耳に到達するのに若干より長い時間を必要とする）。
【００３６】
いくつかの実施形態において、ユーザ周囲の知覚空間内の音声ストリーム、信号、またはコンテンツの見かけの位置を確立するものとしてユーザにより知覚的に認識される効果を生成するように、空間音声効果プロセッサ１２０の機能は、例えば、増幅、減衰、遅延、平衡化、周波数依存性増幅もしくは減衰、残響の導入等を含む音声効果のいくつかの組合せに適用されるものであってもよい。空間音声効果プロセッサ１２０は、このプロセスに対するその入力として、空間モデルマネージャ１１０から受信した音声ユーザインターフェース要素に対する所望の位置を使用してもよく、そのユーザインターフェース要素に対する音声を、ユーザにより所望の場所で知覚されるようにその空間内の見かけの位置に配置するための１組のフィルタを適用してもよい。
【００３７】
いくつかの実施形態において、空間音声効果プロセッサ１２０は、例えばＫａｌｉｍｂａデジタル信号プロセッサもしくはＡＲＭ７マイクロプロセッサ等の適切なデジタル信号プロセッサまたはマイクロプロセッサ上で実行される好適なデジタル信号処理コードとして、または互いに接続された１組のアナログ音声信号処理フィルタとして実装されてもよいことに留意されたい。例えば、空間音声効果プロセッサ１２０は、プログラム可能な平衡化要素（例えば、増幅が適用される特定サブバンドを選択するバンドパスフィルタをそれぞれ備える複数のプログラム可能な増幅要素）とともに、プログラム可能な遅延要素（例えば、プログラム可能な遅延を提供するように配設された演算増幅器）に接続されたプログラム可能な増幅要素（例えば、プログラム可能なゲインを提供するように配設された演算増幅器）として実装されてもよい。空間音声効果プロセッサ１２０はまた、その演算要素のそれぞれのプログラミングを決定することができる要素が提供されてもよい。
【００３８】
本発明のいくつかの実装または使用例において、空間モデル内の１つ以上のユーザインターフェース要素に対する位置を、空間音声効果プロセッサ１２０がユーザの所望の空間的知覚を生成するために使用し得るパラメータに翻訳することが望ましい、または必要となり得る。これらの実装において、空間音声効果プロセッサ１２０の追加的機能は、この翻訳を行うこと、および空間音声効果プロセッサ要素のパラメータを適切に設定することであってもよい。例えば、空間モデルマネージャ１１０が、ユーザのすぐ隣に位置付けられたユーザインターフェース要素を定義し、空間音声効果処理が、右耳を減衰させて左耳を増幅させる要素により実行される場合、空間音声効果プロセッサ１２０は、各耳に対する増幅および減衰を決定し、増幅および減衰要素を適切にプログラムしてもよい。音声効果処理要素がデジタル信号プロセッサ内に実装される場合、この機能は、デジタル信号プロセッサ内の追加的機能として実装されてもよい。要素がアナログ音声処理要素として実装される場合、この機能は、（適切な値を計算するための）マイクロプロセッサ、および値をプログラムするためのデジタルまたはアナログ出力ピン（例えば、アナログ−デジタル変換機）により実装されてもよい。
【００３９】
空間入力デコーダ１３０は、ユーザ入力をデコードし、空間モデルマネージャ１１０により維持される空間モデルにより定義されるようなユーザインターフェース要素の配設に対するその効果を決定するように機能する。典型的な実施形態において、空間入力デコーダ１３０は、デバイスまたはユーザ入力要素により提供されるユーザ入力を受け取る。ユーザ入力が（「左」、「右」および「前」のアクションを提供することができる）ロッカースイッチにより提供される例示的システムを考える。空間入力デコーダ１３０は、これらのアクションのうちの１つをその入力として受信し得る。そのような場合、空間入力デコーダ１３０の機能は、（空間モデルマネージャ１１０と連動して）入力を使用して空間モデルの変換をもたらすことである。例えば、「左」入力の受信は、均一な左回転、例えば４５度回転を適用して、空間モデルにおいて左にあるユーザインターフェース要素をより正面方向に移動させ、一方で前方にあるユーザインターフェース要素を右に移動させてもよい。「前」を押すと、空間モデルの中心をその現在の位置と比較して前方に移動させる（すなわち、正面にあるユーザインターフェース要素をより近くに移動させる）変換が提供されてもよい。空間モデルマネージャ１００と空間音声効果プロセッサ１２０との関係に依存して、そのようなアクションはまた、音声ソースの見かけの位置をユーザ方向に移動させる効果を有してもよい。
【００４０】
いくつかの実施形態において、空間入力デコーダ１３０は、例えばＡＲＭ７マイクロプロセッサ等の好適なマイクロプロセッサ上で実行される好適なソフトウェアコードとして実装され得る。空間入力デコーダ１３０は、空間モデルマネージャ１１０と通信し、位置情報に対する更新を提供するために、またはユーザインターフェース要素の方位もしくは位置の変化をもたらすために使用されてもよく、それらの要素は、空間モデルマネージャ１１０により維持されるモデルに従い表示される。空間入力デコーダ１３０が、空間モデルマネージャ１１０と同じマイクロプロセッサ上で実行されるソフトウェアコードとして実装される場合、空間入力デコーダ１３０は、好適な機能を呼び出すことにより、メモリの共有領域のコンテンツを変更することにより、または別の好適な動作により、これらの更新を通信してもよい。空間入力デコーダ１３０が空間モデルマネージャ１１０とは別個に実装される場合、これらの更新は、Ｉ２Ｃインターフェースまたは別の適切な通信インターフェースを使用して通信されてもよい。
【００４１】
空間モデルマネージャ１１０は、空間音声効果プロセッサ１２０と通信して、様々なユーザインターフェース要素に対応する音声の空間効果処理に影響するパラメータを更新する。空間モデルマネージャ１１０および空間音声効果プロセッサ１２０が同じマイクロプロセッサに実装される場合、通信は、好適な機能を呼び出すことにより、またはメモリの共有領域を更新することにより、または別の好適な動作により実現されてもよい。空間モデルマネージャ１１０および空間音声効果プロセッサ１２０が別個のプロセッサ上に実装される場合、通信は、好適なデータバスを介して行われてもよい。空間モデルマネージャ１１０がマイクロプロセッサとして実装され、空間音声効果プロセッサ１２０が一連のアナログまたはデジタル音声信号処理要素として実装される場合、通信は、好適な汎用入力／出力ピンの出力を設定するマイクロプロセッサにより実現されてもよい。
【００４２】
図２（ａ）は、図１に描写される主要な機能要素が、本発明がユーザインターフェースを提供するアプリケーション、システム、装置、またはデバイスの要素にいかにして接続され得るか、またはそれとインタラクションを行うことができるかを示すブロック図である。図に示されるように、空間音声効果プロセッサ１２０および空間モデルマネージャ１１０は、本発明がユーザインターフェースを提供するアプリケーションシステム２１０に接続される。アプリケーションシステム２１０は、例えば、本発明がユーザインターフェースを提供するシステム、デバイス、またはアプリケーションの主要なタスクを実行するために好適なアプリケーションソフトウェアコードを実行するマイクロプロセッサを含む、任意の好適な形態をとり得る。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセットにより具現化されるアプリケーションシステム２１０は、ヘッドセット用のアプリケーションコードを実行する（ラジオリンクの確立、電話の開始および終了等のタスクを実行する）マイクロプロセッサであってもよい。携帯電話においては、アプリケーションシステム２１０は、携帯電話用オペレーティングシステムおよびオペレーティングシステムが実行されるマイクロプロセッサであってもよい。アプリケーションシステム２１０は、多くの可能な形態のうちの１つ以上の形態をとって広範な機能を提供してもよいが、本発明の一実施形態とともに使用されるために特定の形態および／または機能は必要とされないことが理解される。
【００４３】
いくつかの実施形態において、アプリケーションシステム２１０は、ユーザインターフェース要素、またはシステム２１０が受け付ける空間モデルマネージャ１１０に対する入力に関する情報を提供する。そのような情報は、アプリケーション、システム、装置、またはデバイスのユーザに利用可能なユーザインターフェース要素の説明、ならびにそれらの要素の選択により実行され得るアプリケーションシステム２１０の動作または機能に関する情報を含んでもよい。これにより、空間モデルマネージャ１１０は、空間モデルを構築するために使用され得るユーザインターフェース要素を知ることができる（いくつかの実施形態において、これは、ユーザインターフェースの追加または削除を可能にする空間モデルマネージャ１１０機能の使用により実装されてもよい）。動作中、アプリケーションシステム２１０は、ユーザインタラクションに関する空間モデルマネージャ１１０からの情報を受信し、そのようなインタラクションは、典型的には、１つ以上の入力デバイス２２０（例えば、ボタン、スイッチ、キーボード、ポインティングデバイス、タッチサーフェス等）により提供される。
【００４４】
入力デバイス２２０は、典型的には、その入力として、ユーザによるいくつかのアクション（例えば、ボタンを押下する、またはタッチサーフェスを横切る動きを提供する指の動き、音声コマンド、身体により生成された電気化学信号等）を受信し、その出力として、ユーザ入力またはユーザのアクション（ボタンの押下、コマンドワードの発声等）を表す信号を電子システムに提供する。入力デバイス２２０へのユーザ入力は、空間入力デコーダ１３０により処理され、所望の動作または機能の実行のために空間モデルマネージャ１１０に提供される。アプリケーションシステム２１０および空間モデルマネージャ１１０が、同じマイクロプロセッサにより実行される命令として実装される場合、それらの２つの要素間の通信は、好適な機能の呼び出し、メモリの共有領域の更新、または別の好適なプロセスにより実現されてもよい。アプリケーションシステム２１０が、空間モデルマネージャ１１０とは異なるマイクロプロセッサにより実行される１組の命令として実装される場合、そのような通信は、例えばＩ２Ｃバス等の好適なデータバスを介した通信により実現されてもよい。
【００４５】
空間入力デコーダ１３０は、任意の好適な入力デバイス２２０、例えばマイクロホン（ただしマイクロホンは、代わりに後述の音声システム２３０の一部として提供され得る）、１組のボタン、ナビゲーションスイッチ、ジョイスティック、サムホイール、タッチパッドもしくは他の接触感知表面、加速度計、または上記の任意の組合せ、および他の好適な入力システムもしくはデバイスに結合（すなわち、接続、またはその他の形態で通信および／もしくは信号を交換することが可能）であってもよい。入力デバイス２２０は、アプリケーションシステム２１０の一部として提供されてもよく、ユーザインターフェース要素の利用の一部として、データまたはコマンドの入力に関して実行されるタスク以外の、アプリケーションシステムに対する追加的なタスクを実行してもよいことに留意されたい。
【００４６】
空間音声効果プロセッサ１２０はまた、ユーザに音声を伝達する、およびユーザから音声入力を受信するために、好適な音声システム２３０に結合されてもよい。音声システム２３０は、入力として、ユーザが聞く音声に対応する信号を受信し、その出力として、入力に対応する音声を提供する（またその逆も成り立ち、例えばマイクロホンから音声信号を受信し、音声信号をエンコードする電気信号に変換する）。このように、音声システム２３０は、所望の音声ストリームに対応する信号を聴覚信号に処理し、また聴覚信号を電子信号に処理するために逆方向に機能する。音声信号２３０は、マイクロホンおよびスピーカー（もしくはヘッドホン）、または別の好適なシステムに接続されたＣＯＤＥＣを備えてもよい。空間音声効果プロセッサ１２０は、例えばＩ２Ｓまたは他の音声データバスを介して音声システム２３０と通信し得る。音声システム２３０は、アプリケーションシステム２１０の一部として提供されてもよく、またユーザインターフェース機能に対し実行されるタスクに加えて、アプリケーションシステムに対するタスクを実行してもよいことに留意されたい。
【００４７】
空間音声効果プロセッサ１２０はまた、アプリケーションシステム２１０に接続されてもよく、ユーザインターフェース要素に対応する音声信号および／またはデータを、アプリケーションシステム２１０へ、およびアプリケーションシステム２１０から伝達するように機能する。空間音声効果プロセッサ１２０が、アプリケーションシステム２１０と同じマイクロプロセッサにより実行される１組の命令として実装される場合、そのような通信は、好適な機能を呼び出すことにより、メモリの共有領域を更新することにより、または別の好適なプロセスにより実現されてもよい。空間音声効果プロセッサ１２０が、アプリケーションシステム２１０とは異なるプロセッサにより実行される１組の命令として実装される場合、そのような通信は、Ｉ２ＳデータバスもしくはＵＳＢデータバス等の好適なデータバスの使用、または別の好適な方法により実現されてもよい。
【００４８】
本発明の実施形態において、空間モデルマネージャ１１０および空間音声効果プロセッサ１２０は、アプリケーションシステム２１０により提供される音声ユーザインターフェース要素（およびそのような要素の提示および動作に関するデータ）（いくつかの場合においては、同じくアプリケーションシステム２１０により提供され得るそのような要素に関するメタデータ）に対し動作し、ユーザインターフェース要素に対応する空間的に知覚された音声信号を生成してユーザインターフェース要素とのユーザインタラクションを可能とする。
【００４９】
広範なユーザインターフェース要素が知られており、一般に、ユーザが知覚し、インタラクションを希望し得る任意の信号または音を、音声インターフェース要素とみなすことができることに留意されたい。ユーザインターフェース要素の（ならびにおそらくはまたその重要度および／もしくは機能の）指示として使用され得る好適な音声信号、音、またはプロンプトの例には、音声プロンプト（発話された人間のボイスプロンプト等の予め録音された音声データ、もしくは録音された音楽プロンプトであってもよく、または、ＭＩＤＩ音楽プロンプトもしくは音発生装置により生成されたビープ音等の生成音声データであってもよい）、単信、二重および半二重ボイスストリーム（電話、双方向ラジオ通話、ボイスオーバーＩＰシステムを使用した通話を含み得る）、電話会議におけるいくつかの通話のうちの１つ、受信または発信ブロードキャスト（ラジオストリーム等）、あるいは音声ファイル（例えばＭＰ３またはＡＡＣ形式の、再生される保存された音楽等）の再生が含まれるが、これらに限定されない。
【００５０】
各ユーザインターフェース要素は、ユーザインターフェース要素を用いて可能な１つ以上の潜在的または現在のユーザインタラクション（複数を含む）または動作を示す一連のメタデータに関連付けられてもよい。例えば、音声プロンプトは、「選択」、「選択解除」、または「検査中」が可能であることを示すメタデータに関連付けられてもよい。
【００５１】
ユーザインターフェース要素のメタデータは、いくつかの異なる形態をとり得る。例えば、Ｂｏｏｌｅａｎ（すなわち、２つの可能な値のうちの１つをとるデータ項目）、列挙（すなわち、固定された数の可能な値のうちの１つをとるデータ項目）、スカラー（すなわち、ある範囲内の値をとるデータ項目）、ベクトル（すなわち、２つ以上の軸上のある範囲内の値をとるデータ項目）、または任意の他の好適な形式であってもよい。
【００５２】
図２（ｂ）は、本発明のいくつかの実施形態による、空間的ユーザインターフェースを生成しユーザとインタラクションを行うための方法またはプロセスを示すフローチャートである。図に描写されるように、いくつかの実施形態において、本発明の方法またはプロセスは、本発明が空間的ユーザインターフェースを生成することを意図するアプリケーション用のユーザインターフェース要素に関する説明および他の関連情報を含有する、ファイルまたはデータ構造にアクセスすることから開始し得る（段階２５０）。ファイルまたはデータ構造は、一般にアプリケーションに関連付けられ、アプリケーションの一部であってもよく、または、アプリケーションに関連付けられたウェブサイトまたは他の場所からアクセス可能であってもよい。アクセスされたファイルまたはデータ構造は、ユーザインターフェース要素、ユーザインターフェース要素の特性、ユーザインターフェース要素の機能、ユーザインターフェース要素の値、ユーザインターフェース要素の相対的重要性もしくは重要度、ユーザインターフェース要素の示唆される空間的表示を説明するデータもしくは情報、またはユーザインターフェース要素の定義、機能、表示もしくは使用に関連する他のデータもしくは情報を含んでもよい。アプリケーション用のユーザインターフェース要素（または、全てのそのような要素ではない場合は、空間的ＵＩが所望されるもの）に関する情報にアクセスした後、ユーザ要素情報が処理され、空間モデルが生成される（段階２６０）。
【００５３】
空間モデルは、各ユーザインターフェース要素を、ユーザの知覚音声空間内の場所に関連付け、すなわち、各ユーザインターフェース要素は、ユーザに対し特定の場所または領域から発生する音（複数を含む）としてユーザにより知覚される。各ユーザインターフェース要素の場所または領域への関連付けは、全体的または部分的に、要素の機能もしくは動作、その要素の相対的重要度もしくは使用頻度、ある特定の要素の好ましい配設を示す人間挙動モデル（そのような配設はそれらの要素の発見、ナビゲーションもしくは使用を向上させ得るため）等を含む、様々な因子に依存し得る。いくつかの実施形態において、空間モデルの生成は、所望のユーザインターフェース要素のそれぞれを、その要素に対応する音声信号またはプロンプトがユーザにより知覚されるユーザの音声空間内の場所または領域にマッピングするように機能する、経験則、規則等の適用を通して達成され得る。
【００５４】
次に、音声信号（複数を含む）は、ユーザの音声空間内の各空間的場所に関連付けられる（段階２７０）。各場所（ひいては特定のユーザインターフェース要素または機能）に関連付けられる音声信号（複数を含む）は、任意の好適な理由により選択され得る。例えば、音声信号は、一般的にそのユーザインターフェース要素またはその要素の機能に関連付けられると考えられる、信号がそのユーザインターフェース機能に対しユーザの注意を引く等の理由により、選択され得る。同様に、ユーザがユーザインターフェース要素間を十分区別できるようにすること、またはある特定のユーザインターフェース要素のユーザによる発見、ナビゲーション、または実用性を高めることの要求に基づいて、ユーザインターフェース要素に関連付けられた音量または音響効果（音響、増加または減少するピッチ等）が選択され得る。ユーザインターフェース要素をユーザの音声空間内の領域または場所に関連付けるステップ、および各ユーザインターフェース要素を特定の音声信号に関連付けるステップは、単一ステップまたは複数ステップで実行されてもよく、本発明を最善に実装するように決定されるように、任意の順番で実行されてもよい（例えば、まず音または音声信号を各ユーザインターフェース要素に関連付け、次いで各音または信号に対してユーザにより知覚される所望の空間的場所を決定するために（そのような例においては、ステップ２６０および２７０の順番は逆であってもよい））ことに留意されたい。
【００５５】
本発明のシステムまたは装置が、各ユーザインターフェース要素を特定の音声信号（複数を含む）に関連付け、その信号（複数を含む）をユーザの音声空間の特定の領域内でユーザにより知覚させることにより、空間的ユーザインターフェースを生成した後、ユーザは、好適なデータ入力デバイス（段階２８０）を使用して、データ、コマンド、または命令を入力し得る。データ、コマンド、または命令は、ユーザインターフェースの要素の機能もしくは動作を選択すること、または、ユーザインターフェースの要素に対応する音声信号の提示を変更することにより、空間モデルをナビゲートまたは再配向することを意図してもよい。ユーザ入力は、機能もしくは動作の選択／起動を繰り返すか、または代わりにユーザの知覚音声空間内のユーザインターフェース要素の提示を変更することを意図するかどうかを決定するために処理される（段階２９０）。それに応じて、およびこの決定の後に、所望の機能もしくは動作（例えば、電話の処理、音量の変更、再生リスト内の新たな音楽への切り替え等）が起動されるか、または空間的ユーザインターフェースが、ユーザインターフェース要素に対応する音声信号の一部もしくは全てがユーザの音声空間内でユーザによりどのように知覚されるかに対する変化をもたらすように変更される。
【００５６】
空間モデルマネージャの機能または動作の例を、本発明のいくつかの実施形態による、例示的空間モデルおよびそのモデルにおける例示的ユーザインターフェース要素の設置を示す図３を参照して説明する。
【００５７】
図３は、本発明のいくつかの実施形態において使用され得る例示的空間モデルを示し、この場合は２つの四分円に限定される２次元極性概念空間を示す。原点から等距離の線は、０．１単位間隔でマークされている。図に描写される空間モデルは、抽象的構成であり、したがって距離は任意単位でマークされることを理解されたい。また、描写される空間モデルは、いくつかの可能なまたは好適な空間モデルのうちの１つであることを理解されたい。例えば、別の好適な空間モデルは、音声信号が直線ｘｙ軸上に配されるもの、空間が３６０℃に延在するもの、または半径方向の輪郭が線形ではなく対数的に配置されるもの等であってもよい。空間モデルは、２次元に制限される必要はなく、１次元または３次元空間として表現されてもよいことを理解されたい。
【００５８】
図３はまた、ユーザに有効な電話を提供する音声電話システムの一部としてユーザに利用可能となり得る機能、動作、またはプロセスを表す、４つの例示的音声ユーザインターフェース要素を示す。図はまた、有効な電話の制御またはそれとのインタラクションの一部としてユーザが実行し得る機能または動作を示す。
【００５９】
この例において、電話Ａと識別される（および対応するユーザインターフェース要素の起動により選択可能である）現在有効な電話は、電話上でユーザが聞くまたは話す、ならびに音量を変化させる、および他のアクションを実行することができるようにするユーザインターフェース要素として提供される。ボイスプロンプト「電話を切り替える」が提供され、そのプロンプトの選択は、現在の電話を、例えば現在利用可能であるとみなすことができる待機中の電話と切り替えるのに有効である。声がミュートになるようにユーザのマイクロホンを消音するよう機能する「ミュート」ボイスプロンプトが提供される。現在の電話（すなわち電話Ａ）を切断するのに有効な「電話を切る」ボイスプロンプトが提供される。
【００６０】
図に示される例では、利用可能な音声ユーザインターフェース要素が、角度により分離され、原点から等距離にあるように知覚音声空間内に配置され、全て原点から０．３単位にある。相対的間隔および場所の他の配設が可能であり、使い易さ、発見可能性等の考慮点に基づき選択され得ることを理解されたい。
【００６１】
いくつかの実施形態において、音声ユーザインターフェース要素の空間的配設は、予め決定されているか、または所望により示唆されてもよい。例えば、いくつかの音声ユーザインターフェース要素のそれぞれに対して、その数に依存して予め決定された配置が生成されてもよく（すなわち、例えば、正確に３つの要素が利用可能である場合に１つの予め決定された配設が使用されてもよく、一方で、正確に４つの要素が利用可能である場合に別の予め決定された配設が使用されてもよい等）、または、要素の配設は、アプリケーションシステムにより提供されるメタデータにより決定されてもよい。例えば、上述のように、アプリケーションシステムは、各ユーザインターフェース要素を説明するデータに加えて、ユーザインターフェース要素のユーザに対する重要性または優先性（現在のアプリケーションシステム状態の関数であってもよい）を示すメタデータの項目を提供してもよい。そのような例では、空間モデル上のユーザインターフェース要素の最初の配置の原点からの距離は、より重要な要素が原点により近くに配置されるように決定されてもよい。代替的に、または追加的に、最重要要素が、より中心（つまりより０°近く）に配置されてもよい。同様に、ユーザインターフェース要素の最初の空間的音声配設は、（システムまたはアプリケーションの状態、条件、または動作の変化に基づき、異なるユーザインターフェース要素または異なって配向されたユーザインターフェース要素を提示するように）新たなアプリケーションシステム、または既存のアプリケーションシステムの変化した状態もしくは動作条件に応じて変化してもよい。
【００６２】
いくつかの実施形態において、ユーザインターフェース要素（複数を含む）の配設は、ユーザの聞き取り体験を最適化するように選択されてもよい。例えば、要素は、同様の周波数範囲を有する要素間の分離またはユーザ認識（発見可能性）を最大化するように配設されてもよい（例えば、大部分は高音域の音を有する要素は、大部分は低音域の音を有する要素の近くに意図的に配置されてもよい）。ユーザインターフェース要素は、心理音響的原理に従って配置されてもよく、すなわち、知覚的に重要な音声サブバンドのうちのいずれが各要素の信号またはプロンプト内に含有されるかに従って、最大限に分離されてもよい。
【００６３】
空間モデル上のユーザインターフェース要素の配置（ひいては、それらの要素に対応する音声信号がどのようにしてユーザにより知覚されるか）は、空間効果音声プロセッサ（図１および２（ａ）の要素１２０）に提供される。典型的には、これは、アプリケーションシステムから空間効果音声プロセッサにより受信されるユーザインターフェース音声要素データに関連し得る様式で行われる。例えば、ユーザインターフェース要素は、０から上に番号付けられ得るが、番号は、空間モデルマネージャに提供され、空間効果音声プロセッサの番号である。この場合、空間モデルマネージャは、以下の表に示されるように、空間情報、例えばユーザインターフェース要素（複数を含む）の原点からの角度および距離を提供し得る。
【００６４】
【表１】
2014179123.tif 000006
示されるように、表は、「Ａに電話する」を表すユーザインターフェース要素が空間モデルマネージャにユーザインターフェース要素０として識別され、その音声データがポート０を介して空間音声効果プロセッサに受け渡されることを示している。空間モデルマネージャは、ユーザインターフェース要素０が０．３の距離および３０°の角度に位置することを示すこと、および他のユーザインターフェースに対しても同様のことを行うことにより、空間モデル上のユーザインターフェース要素の位置を空間音声効果プロセッサに通信する。
【００６５】
図４は、音声システム（図２の要素２３０）への出力が、ステレオヘッドセットまたはスピーカーシステムにおける使用のために、１つは左チャネルとして意図され、１つは右チャネルとして意図される２つのストリームを含む場合における、図３を参照して説明される例示的音声ユーザインターフェース要素および例示的空間モデルに対し適用されるような、空間効果音声プロセッサ（図１および２（ａ）の要素１２０）の機能性の一例を示す。図４に示される例示的空間音声効果プロセッサにおいて、各音声ユーザインターフェース要素がまず、その原点からの距離に依存する程度まで減衰される（原点における要素はその入力音量で聞かれ、１単位離れたストリームは１ｄＢだけ減衰される等）ことを理解されたい。
【００６６】
続いて、左チャネルおよび右チャネルの両方のストリームが各音声源に対して生成され、各音声源の左チャネルおよび右チャネル音量の相対強度は、空間モデルにおけるそれらの角度に従い計算される。その結果、ヘッドホンまたはステレオスピーカーシステムを通して聞いた場合の音声源の見かけの方向（すなわち、ユーザに対する知覚角度場所）は、空間モデルにおける角度と同じかまたはほぼ同じである。左チャネルストリームの全ては、最終的な左チャネル出力に加えられ（すなわち混合され）、右チャネルストリームの全ては、最終的な右チャネル出力に加えられる。
【００６７】
数学的には、左出力ストリームは、関数：
【００６８】
【数４】
2014179123.tif 000007
（式中、Ｓｘ（ｔ）は、所与の時間ｔにおける瞬時値を与え、Ｍは、空間モデルにおけるストリームの大きさであり、ａｒｇは、度の引数である）により得ることができる。
右出力ストリームは、関数：
【００６９】
【数５】
2014179123.tif 000008
により得ることができる。
【００７０】
図４に示される例を考えると、４つのモノ音声ストリームが空間音声効果プロセッサに入力され、４つのストリームのそれぞれのうちの１つ、「Ａに電話」は、実際の音声電話に関連付けられた音声ストリームであり、「電話を切り替える」は、ユーザが別の電話に切り替えることができるようにするユーザインターフェース要素に関連付けられた音声ストリームであり、「電話を切る」は、ユーザが現在の電話を切ることができるようにするユーザインターフェース要素に関連付けられた音声ストリームであり、「ミュート」は、ユーザが現在の電話をミュートにすることができるようにするユーザインターフェースに関連付けられた音声ストリームであることに留意されたい。まず、各ストリームは、３ｄＢ減衰され得ることが分かる（そのような減衰は、図３に示されるように、各ストリームが、空間モデルの中心から３単位の距離にあることに起因する）。次いで、各ストリームに対して、左ストリーム（ユーザの左耳に提供されることが意図される）および右ストリーム（ユーザの右耳に提供されることが意図される）が存在するように、各ストリームが複製される。次いで、各左または右ストリームは、所望量増幅または減衰されてもよい（例えば、図中のＬ０は、ユーザインターフェース要素０の左ストリームに対する減衰であり、Ｒ０は、この要素の右ストリームの減衰である、等）。減衰は、ユーザインターフェース要素の角度に従い見かけの空間化（すなわち、ユーザにより知覚される音声空間内の場所または挙動）を生成するように動作し得る。次いで、左ストリームは、ユーザに提示される複合左耳ストリームを提供するように混合され、右ストリームは、ユーザに提示される複合右耳ストリームを提供するように混合される。
【００７１】
空間音声処理システムが、プログラムされたデジタル信号プロセッサまたはマイクロコントローラにより実行されるソフトウェアコードにより実装される１つの例示的実施形態において、ソフトウェアコードは、典型的には上記数学関数を実装するために使用される。モノ音声ストリームから左成分および右成分を生成するための他のアルゴリズムが知られており（一方の信号を若干遅延させ、頭影効果を考慮することを含む）、これらのアルゴリズムもまた、本発明の同じ実施形態との使用に好適となり得ることに留意されたい。
【００７２】
例えばこれらのストリームに対し動作している音声サブシステムに接続されたヘッドホンを聞いているユーザは、ほぼ同じ音量でユーザインターフェース要素を聞き、「Ａに電話する」である音声ストリームは、中心から約３０°の位置に現れ、「電話を切り替える」に対する音声プロンプトは、中心から遠方左の見かけの位置で聞こえ、ミュートに対する音声プロンプトは、中心から約３０°に聞こえ、電話を切るに対応する音声プロンプトは、中心から遠方右から聞こえることに留意されたい。ユーザは、抽象的空間モデルにおけるユーザインターフェース要素の空間的配設（原点からの角度および大きさ）を、ユーザの知覚ステレオ音声空間内のソースの見かけの空間的配設への対応によって区別することができる。
【００７３】
いくつかの実施形態において、ユーザからの音声入力（例えばマイクロホンから）は、ユーザインターフェース要素の空間的配設により修正される必要はない。この場合、空間音声効果プロセッサは、マイクロホン入力に対し位置ベースの効果を提供しない。他の実施形態において、音声入力は、異なるリターン二重経路に対し、そのような二重リターン経路を提示しているストリームの位置に従って異なるように方向付けられ得る。例えば、複数の発信者による電話会議において、マイクロホン音声ストリームは、ユーザに十分近くに配置されたそれらの二重ユーザインターフェース要素にのみ提供されてもよい。
【００７４】
空間音声効果プロセッサにより、単一でまたは組み合わせて多くの異なる空間効果機能が提供され得ることに留意されたい。さらに、ユーザが聞く音声の空間的配設が、空間モデルに直接マッピングされる必要はないが、ユーザは単に、音声信号、プロンプト等の形態でユーザに提示されるものから比較的容易に空間モデル上のユーザインターフェース要素の空間的配設を理解することができる。さらに、ユーザが空間モデルを理解するために音声がステレオで提示される必要はなく、代わりにモノラルで提示されてもよい。
【００７５】
例えば、モノヘッドセットの場合、ユーザインターフェース要素にステレオバランス調節を行う代わりに、空間音声効果プロセッサは、約１．５ｋＨｚの帯域幅のノッチフィルタを適用してもよく、そのノッチ周波数は、０°のユーザインターフェースに対し約８ｋＨｚであり、空間モデル上でより左に位置する要素に対して低減し、右に位置する要素に対して増加させる。これは、人間の耳は８ｋＨｚを超えるノッチフィルタが適用される音を、頭上から来るものとして知覚し、８ｋＨｚ未満のノッチフィルタが適用される音を、頭の下から来るものとして知覚することが知られているため、有益となり得る。そのようなフィルタは、本発明の他の要素と併せて使用されると、ユーザが、ユーザの上または下のユーザインターフェース要素の見かけの位置間の関係、および空間モデル上のユーザインターフェース要素の配設を理解することを可能にする。
【００７６】
異なるユーザインターフェース要素を区別するユーザの能力を高めるため、空間音声効果プロセッサにより一連の効果または信号処理動作が適用され得る。例えば、ユーザインターフェース要素の音声信号は、空間モデル上の大きさまたは角度に比例した時間量だけ遅延されてもよい。あるいは、原点からより遠い要素がより多くの残響を有する、またはより左または右にある要素がより残響を有するように調節されるように、音声信号にある量の残響が提供されてもよい。
【００７７】
さらに、上述のように、空間モデルは、２次元に制限される必要はない。より多くの数の混合における効果および効果システムを使用することにより追加の次元を導入し、追加的な自由度までマッピングすることができる。例えば、空間モデルが３次元である場合、音量、ステレオ角度および残響を組み合わせて、ユーザが空間モデル内の次元と関連付けることができる音声出力に３次元を提供してもよい。
【００７８】
ユーザが空間モデル内の音声ユーザインターフェース要素の空間的配設を決定することができたら（空間モデル内のユーザインターフェース要素の位置に相関する音声効果および特徴を検出することにより）、ユーザは、好適な入力デバイスとともにこの情報を使用して、システム、装置、デバイス、または他の物体もしくはプロセスの動作を制御およびそれに影響することができる。
【００７９】
いくつかの実施形態において、好適な入力デバイスの有益な特性は、ユーザが直感的に空間モデル（また、したがってユーザが知覚する音声空間）内のユーザインターフェース要素の位置に関連付けることができる入力モードを提供することができるとう点である。ナビゲーションスイッチ、サムホイール、加速度計、タッチセンサ等を含む、多くの異なる入力デバイスが可能である。空間入力デコーダを介した入力デバイスは、空間モデルを直接変化させることができ、または、アプリケーションもしくはデバイス動作に変化をもたらすことができ、これが一方で空間モデルに変化をもたらすことができる。
【００８０】
図５は、本発明のいくつかの実施形態による、ユーザが空間モデルおよびユーザインターフェース要素とインタラクションを行うことができるようにするための例示的入力デバイスを示す図である。例として、図５に示される例示的入力デバイスからの入力により影響され得るような、図３に示される空間モデルを考える。この例において、入力デバイスはナビゲーションスイッチ５１０であり、ユーザがボタンを押下することにより起動される中央の「選択」ボタンにより、ユーザが４つの方向のうちの１つを選択することができる。ナビゲーションスイッチは、５つのボタン（すなわち、上、下、左、右、選択）のどの組み合わせが押下されたかに関する情報を提供することができる。
【００８１】
上記の例の場合のように音声ストリームを聞いているユーザが、「Ａに電話する」で相手（複数を含む）との話に集中したい場合を考える。この状況では、ユーザは、もうそれ以上ボイスプロンプトを聞きたくない可能性がある。ユーザは、上述のように、「Ａに電話する」ユーザインターフェース要素、すなわち電話自体が、中心から若干左に位置することを知覚する（ユーザは、図３に描写されるように、それを見かけ上中心から若干左の位置から聞くことができるため）。
【００８２】
本発明の一実装例において、データ入力デバイス上の「左」ボタンを押下するだけで、左に位置する選択肢（すなわち、この例においては電話を切り替える）を十分選択することができる。しかしながら、本発明の動作の別の例を示すために、別の実施例を考える。つまり、この例において、図６は、ユーザが図５のナビゲーション入力デバイス上の左ボタンを押下した後の、図３に示される空間モデルを示す。図６に示されるように、「左」ボタンを押下した結果、空間モデルは３０°回転し、「Ａに電話する」が現在ユーザの真正面に位置している（すなわち、「Ａに電話する」に対応する音声ストリームが現在ユーザの正面に位置している）。この例において、「電話を切る」ユーザインターフェース要素は、例示的空間モデル上にはもはや適合しないことに留意されたい。結果として、ユーザは、この音声ストリームまたはプロンプトを聞くことがない。
【００８３】
次に、例として、ユーザが図５のユーザ入力デバイス上の「上」ボタンを押下する場合を考える。図７は、ユーザが図５のナビゲーション入力デバイス上の「上」ボタンを押した後の、図６に示される空間モデルを示す。図７に示されるように、原点は、現在前方（入力デバイス押下により示唆される方向）に平行移動されている。「Ａに電話する」に対応する音声ストリームは、現在、近くに、および中心に位置している。他のユーザインターフェース要素はもはや空間モデル上にマッピングされていないため、「Ａに電話する」からの音声信号のみが聞こえる。ユーザが個の時点でナビゲーションスイッチ上の「下」を押下すると、空間モデルはその再び以前の位置に平行移動し、図６に示されるような以前の空間モデル（およびそれに対応して聞こえる音声空間）を修復する。様々なナビゲーションスイッチの押下を用いて、空間モデルを回転および空間モデルを平行移動もしくはその他の様式で変換することができるため、ユーザは、最も有用であると思われる様式で空間モデルを提示およびナビゲートすることができることに留意されたい。
【００８４】
ここで、ユーザが電話を切ることを望む場合を考える。この場合、「電話を切る」プロンプトが中心に聞こえるまで右に回転し、次いで原点に位置するように前方に移動させることができる。次いで、そのアクションを確定するために選択ボタンを押下することができる。あるいは、プロンプトを直接原点に移動させるプロセスが、ユーザが電話を切ることを望んでいることを示すのに十分であってもよい。
【００８５】
ユーザにより知覚される音声信号またはプロンプトのこのナビゲーションまたは再配向を行うために、空間入力デコーダは、入力デバイスからの入力を受け取り、それを空間モデルマネージャへの関連したコマンドに変換する。上述のナビゲーションスイッチ入力デバイスおよびアクションに関して、好適な空間入力デコーダの機能は、以下のように説明することができる。
【００８６】
【表２】
2014179123.tif 000009
この例において、ユーザが配設される音声ストリームを知覚する通りにユーザが音声ストリームの空間配設に関連付けることができるユーザ入力選択は、空間モデルを変化させ、ユーザが聞く出力に対応する変化がもたらされることに留意されたい。
【００８７】
入力デバイス上で実行されるユーザアクションと空間モデル上の対応する効果との間に、多くの可能な関係が存在することに留意されたい。一般に、ユーザが、特定の入力アクションにより空間モデルに何の変化がもたらされるかをより良く理解すると有益である。例えば、ユーザ入力選択は、空間モデルの回転をもたらす代わりに、空間モデルの平行移動をもたらし、原点を特定の方向に移動させ、それによりその方向に配置されたストリームをより近くおよびより大きい音で出現させてもよい。
【００８８】
いくつかの実施形態において、空間モデルは、概念的に、現在選択されていないものを含む多くのストリームが配置される連続体とみなされてもよい。例えば、「より大きく、より小さく」に対する音声プロンプトが、その音量を変更することができる音声ストリームの近くであるが若干超えた場所に配置されてもよい。音声ストリームに向けて移動させるか、またはその音声ストリームに焦点を合わせると、概念的に、（音量を増加または低下させるための）音量プロンプトを聞くことができる位置にユーザを移動させることができる。あるいは、空間モデルは、複数のより小さい空間を備えてもよく、空間の間のリンクまたはジャンプは、例えば、特定の選択肢の選択により、または空間モデル内の特定の位置への移動によりもたらされる。
【００８９】
発明者により認識されるように、本発明との使用に好適な広範囲の可能な入力デバイスが存在し、それぞれ、ユーザ入力（またはデバイスの一部である入力要素の起動）を、空間モデルにおける音声信号の配設または選択に影響し得る命令に平行移動させるように機能する対応する入力デコーダを有する。図８は、本発明のいくつかの実施形態による、指または親指で操作することができ、また図５に描写される入力デバイスと同様の様式で使用することができる追加的な入力デバイスを示す。
【００９０】
図に示される一例は、軸の周りを回転するホイールとを備えるサムホイール８１０であり、軸は、軸に垂直な方向にバネに対抗して動くことができる。典型的には、そのようなサムホイールは、ホイールが回転される回転数毎にある特定数の電気パルスを提供し、ある距離にわたって軸が押下されると１つ以上のパルスを提供する。そのようなデバイスの入力デコーダは、典型的には、パルスを計数し、最大移動量に対するサムホイールが押下された回転の度数または距離を決定することができる。そのような入力デコーダは、この情報を空間モデルマネージャに提供することができ、一方これは、空間モデルを回転させ、サムホイールの回転数により示される量だけ原点の周りで平行移させることができる。
【００９１】
入力デバイスの別の例は、タッチパッド８２０を備え、それによりユーザは、指を２次元に動かし、例えば検出器アレイにおける特定の検出器の抵抗または静電容量を変化させることができる。この入力デバイスのデコーダは、タッチパッドの相対的空間内のどこにユーザの指（複数を含む）があるかを決定し、この情報を空間モデルマネージャに提供することができる。次いで、空間モデルは、ユーザの指の動きの結果、２次元で平行移動され得る。
【００９２】
入力デバイスの第３の例は、電子回路基板上にプリントされた容量検出器等の三日月形、蹄鉄形、または半円形の接触感知表面８３０を備える。ユーザは、蹄鉄の周囲で、場合によっては中心へ、および中心から外へ指を動かすことができる。入力デコーダは、ユーザの指の位置を検出するためのアナログ−デジタル変換器を備える。三日月の周囲の動きを使用して空間モデルを回転させてもよく、中または外への動きが空間モデルを平行移動させてもよい。
【００９３】
例として、ユーザ入力空間内の位置情報が空間モデルにおける位置情報にマッピングされるように説明したが、他の種類のマッピングもまた可能であり、本発明の実施に使用され得ることを理解されたい。特に、入力デバイス空間内の位置情報は、空間モデルにおける音声信号の速度または加速度にマッピングされ得る（例えば、音がユーザに向かって、またはユーザから離れるように移動する速度）。いくつかの実施形態において、これは、音声信号上に重ねられたドップラー効果（すなわち、ピッチの上昇または降下）により示され得る。
【００９４】
何かに触れるまたは何かを押下するユーザの指により起動される入力デバイスに加えて、他の入力デバイスおよびその対応する入力検出器が可能であり、本発明の実施に使用され得る。図９は、ユーザの手の動きを空間モデルの変化にマッピングするために加速度計を使用する、可能な入力デバイス９１０を示す。
【００９５】
図９に示される入力デバイスは、例として、手持ち式筐体９３０に装着された２つの３次元加速度計９２０を備える。ユーザは、この入力デバイスを保持して、例えば左または右を指すように動かすことができる。入力デバイス９１０の入力デコーダは、２つの加速度計からの３次元の共通モードおよび差動モード信号を決定し、それにより（ユーザの手によりもたらされる）筐体の空間内の動きおよび回転の両方を決定する電子回路を備えることができる。これは、空間モデルの対応する平行移動および回転にマッピングされ得る。
【００９６】
図１０は、本発明のいくつかの実施形態において使用され得る別の入力デバイス１０１０を示し、入力デバイスは、ユーザの手の各側に取り付けられた加速度計１０１２を含む。この入力デバイスの入力デコーダは、図９を参照して説明された例示的入力デバイスに対して使用される入力デコーダに類似している。ユーザが左右に頭を動かすと、加速度計がこの動きを検出し、入力デコーダを介して空間モデルを回転、平行移動、またはその他の様式で変化させることができ、ひいてはユーザにより知覚される音声信号を変化させることができる。
【００９７】
入力デバイスのさらなる例示的実施形態において、ユーザは、エレクトロオプティグラムの形態で目の近くに取り付けられる電極を装着してもよい。この実施形態において、ユーザの目の動きは、入力デコーダによりデコードされるように、空間モデルの変換を生成する、またはモデルの要素の選択をもたらすように使用され得る。
【００９８】
例えば頭の動きの検出に基づくもの等のいくつかの入力デバイスの可能性のある問題は、ユーザが入力として使用することを意図した動きを、ユーザが通常のアクションの一部として起こした動きと区別することが困難となり得ることであることに留意されたい。例えば、頭の回転は、空間モデルを回転させるように意図した入力である可能性があり、または、ユーザが見たくない何かを見たことを意味する可能性がある。
【００９９】
この生じ得る問題に応じて、図１１は、図１０の入力デバイスの要素にタッチセンサ１１１０が追加されているユーザ入力デバイスを示す図である。ユーザ入力デバイスのこの実施形態において、入力デバイスは、ユーザがタッチセンサに触れているときだけ有効である（また、このときだけ入力デコーダが入力をデコードする）。したがって、ユーザは、頭の動きが空間モデルに影響するように使用されるためには、そのような頭の動きを起こしている間にタッチセンサに触れるか、またはそれを起動しなければならない。
【０１００】
いくつかの実施形態において、特定のユーザインターフェース要素に関して可能なアクションを示すために、またはユーザインターフェース要素から改善されたフィードバックを提供するために、空間音声効果プロセッサにより追加的な音声情報が提供され得る。例えば、いくつかの音声インターフェース要素は、「選択」されてもよい。例えば、ユーザは、「電話を切る」を選択して電話を終了することができるが、継続中の電話を選択することができない。空間音声効果プロセッサは、その要素に対し可能なユーザアクションを示すために、ユーザインターフェース要素に音声効果を提供し得る。例えば、選択アクションがユーザにより選択され得ることを示すユーザアプローチとして、「選択可能」な要素に追加の残響が提供されてもよい。
【０１０１】
以下は、ユーザ体験に関するさらなる情報および本発明のいくつかの例示的使用例を提供する。ユーザ体験の点では、典型的には、ユーザは「範囲内」にあるいかなる音声信号またはストリームも聞くことができるが、範囲内とは、音声信号がその現在のアプリケーションコンテンツ、またはアプリケーションもしくはデバイスの機能もしくは動作に関連することを示唆する。ユーザは、同時に２つ以上の音声信号を聞くことができるが、生成されているそれらの全てを聞く必要はないことに留意されたい。この意味では、信号のいくつかは、ユーザの知覚音声空間内で「可聴範囲外」であってもよい（少なくともそれらがアプリケーションオプションとして提供されるか、または音声空間内でより突出して発見可能な位置にナビゲートされるまで）。一実施形態において、以下のように、広範なナビゲーションメタファーを使用して「範囲内」であるものを決定することができる。
右に移動⇒次、
左に移動⇒前、
前方に移動⇒ユーザが現在注目している信号に関するさらなる詳細、および
後方に移動⇒より詳細ではない方に移動（すなわちペアレントに移動）、現在のソースのピアである新たなソースを含む。
ユーザは、音声空間内の複数の場所から来る複数の信号を知覚し得ることに留意されたい。いくつかの実施形態において、システムは、それぞれ異なる場所から順番に再生される異なる信号を有してもよい（最初は左の信号、２番目にまっすぐ前方の信号、三番目に右の信号）。しかしながら、一般に、同時に生じるソースを空間的に分離する人間の耳の能力を利用して、より高い実用性（より効率的にアクセスされるユーザインターフェース）を得ることが望ましい。
【０１０２】
本発明の空間的ユーザインターフェースの２つのさらなる例示的応用または使用例を、以下で説明する。
（ａ）ＭＰ３または音楽ライブラリインターフェース：
この場合、ユーザはヘッドセットを装着する。まず、ユーザは、例えば、左耳で「ヒップホップ」、まっすぐ前方で「レゲエ」、右側で「クラシック」等、いくつかのジャンルの名前またはサンプルを聞く。ユーザは、所望のジャンルを見付けるまで音声空間内で右（次）および左（前）に移動する。ユーザがさらに右に移動すると、追加のジャンルが現れ、現在最も右側にあるもの、例えば「ロック」、「カントリー」等が中心まで回転する。ユーザが所望のジャンルを正面で聞いたときに、ユーザは前方に移動してそのジャンル「内」に入る。ここで、ユーザは、左耳で「スティール・パルス」、中心で「ヘプトーンズ」、右側で「ボブ・マーリィ」等、異なるアーティストの名前を聞く。次いでユーザは、左／右に移動してアーティストをブラウズする。アーティストを選択するためには、ユーザは「前方」に移動する。ペアレント（すなわちジャンル）に戻るには、ユーザは戻るボタンを再び押下する。
【０１０３】
そのような例において、アプリケーションシステムは、ハードディスクドライブ等のローカルストレージデバイスまたはサーバ等の遠隔デバイスから利用可能なジャンル、アルバムおよびトラックを読み出すコードを実行しているマイクロプロセッサであってもよい。また、アプリケーションシステムは、所望のジャンル、アルバムまたはアーティストがじきに再生される可能性を維持するために、１つのジャンル、アルバムまたはアーティストからの音楽がどれ程の頻度で再生されているかを、ある期間にわたり追跡してもよい。そのようなアプリケーションシステムには、ユーザ入力デバイスとしてナビゲーションホイール（ユーザが左回転、右回転、およびデバイスの適切な部分を押下することにより選択することができるようにするシステム）が提供されてもよい。
【０１０４】
ストレージシステム上の利用可能なジャンルのリストから、およびジャンルが再生される頻度から、アプリケーションは、いくつかのユーザインターフェース要素を形成することができ、各ユーザインターフェース要素はユーザが選択し得るジャンルに対応する。各ユーザインターフェース要素に対して、再生の頻度から決定される特性優先度とともに、音声ストリーム、例えば、話されているジャンルの名前の事前に記録された音声ファイルがあってもよい。各ユーザインターフェース要素は、空間モデルマネージャの使用により、空間モデルに追加される。
【０１０５】
例えば、擬似コードでは、
ＳｐａｔｉａｌＭｏｄｅｌＭａｎａｇｅｒ．ＡｄｄＮｅｗＥｌｅｍｅｎｔ（ｎｅｗ  ＦｉｌｅＳｔｒｅａｍ（“ＨｉｐＨｏｐ．ｗａｖ”，５））；
ＳｐａｔｉａｌＭｏｄｅｌＭａｎａｇｅｒ．ＡｄｄＮｅｗＥｌｅｍｅｎｔ（ｎｅｗ  ＦｉｌｅＳｔｒｅａｍ（“ＨｉｐＨｏｐ．ｗａｖ”，２））；
ＳｐａｔｉａｌＭｏｄｅｌＭａｎａｇｅｒ．ＡｄｄＮｅｗＥｌｅｍｅｎｔ（ｎｅｗ  ＦｉｌｅＳｔｒｅａｍ（“ＨｉｐＨｏｐ．ｗａｖ”，３））；
ユーザインターフェース要素が空間モデルに追加されると、空間モデルマネージャはその配設を決定する。ユーザインターフェース要素が半径方向に等しく離間し、最高優先度がより左に、最低優先度が最も右にある例示的空間モデル、およびより高い優先度の要素がよりユーザ近くにあり、より低い優先度の要素がより遠くにある例示的空間モデルを考える。そのようなメカニズムは、より高い優先度の要素が共により近くに（したがってより音が大きく）およびより左に位置すること、したがってユーザは、異なる要素が位置し得る場所および要素の特性に対するより良好な感覚を有する（ユーザが最も重要であるとするものが、主としてより左側に存在しやすい、およびより音が大きくなりやすい）ことを確実にする。
【０１０６】
この例において、空間モデルマネージャは、ヒップホップのユーザインターフェース要素を左耳の極めて近くに配置し、レゲエのユーザインターフェース要素を中心のより少し離れた場所に配置し、クラシックのユーザインターフェース要素をずっと右側のさらにより遠く（より静か）に配置し得る。ここで、ユーザがナビゲーションスイッチを左に回転させることを想像する。この動きは、ユーザが頭を左に回転させることに相関し得る。ユーザが頭を左に回転させた場合、ユーザの左に向けられていた可聴信号は、ここでよりユーザの正面で聞こえるようになり、正面にあった可聴信号は、ここでより右で聞こえるようになる。同様のプロセスにより、ユーザが入力デバイスを左に回転させた場合、より左にあったユーザインターフェース信号は、ここでより正面で聞こえるようになり、ユーザの正面にあったユーザインターフェース信号は、ここで右で聞こえるようになる。ユーザは、選択肢の範囲を探索するための、単純、直感的および迅速なメカニズムを有し、より左にある選択肢がより可能性のある選択肢であり、入力デバイスを回転させることにより、ユーザがどの選択肢を選択すべきか決定できるように、選択肢の範囲はユーザの周りに回転するように配設される。入力デバイス上の選択ボタンを押下することにより、ユーザは現在正面にある選択肢を選択することができてもよい。
【０１０７】
このインターフェースは、ユーザが各選択肢を順番に（すなわち、前の選択肢の再生が終了した後に）聞く典型的なメニューシステムよりもはるかに効率的であり、自然な様式でナビゲートすることができ（ユーザが正面で聞くまでユーザインターフェース要素が聞こえる方向にダイヤルを回転させる）、次いで適切な要素を迅速に識別し選択するのを補助する各要素の品質の感覚を提供する（より可能性のあるものが左側にあり、多少音がより大きい）。
【０１０８】
（ｂ）電話会議システム：
この場合、ユーザはヘッドセットを装着する。ユーザは、周囲に配設した何人かの人が電話会議で話しているのを聞いており、１人目はずっと左、２人目は４５度左、３人目はまっすぐ前方、４人目は４５度右、および５人目は右耳に位置する。電話会議から退席するには、ユーザは、後ろに下がり、次いで全ての出席者がまっすぐ前方で話しているのを聞き、プロンプト「電話会議を退席する」を左耳で聞き、「電話会議をミュートにする」を右耳で聞く。再び電話会議に参加するには、再び前方を押す。参加者の１人と個人的な会話をしたい場合は、空間を回転して、その個人の音声を正面に配置する。次いで、再び前方を押す。ユーザには、選択された相手のみが聞こえる（おそらくは個人的な「部屋」にいることを示す音声信号を追加することにより）。これにより、ユーザは、会議の他の参加者には聞こえることなく１人の相手と会話することができる。終了したら、ユーザは戻るを押下し、再び会議の「部屋」に戻る。
【０１０９】
いくつかの実施形態において、上述の空間的ユーザインターフェースを生成および使用するための本発明の方法、プロセスまたは動作は、全体的または部分的に、プログラムされた中央演算処理装置（ＣＰＵ）またはマイクロプロセッサにより実行される一組の命令の形態で実装されてもよい。ＣＰＵまたはマイクロプロセッサは、ヘッドセット、音声ゲートウェイ、ＭＰ３プレーヤー、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、または他のコンピュータデバイスに組み込まれてもよい。命令は、コンピュータ可読媒体に埋め込まれたメモリもしくは他のデータストレージデバイス内に保存されるか、または任意の他の好適な様式で提供されてもよい。命令の実行は、１つ以上のプログラムされた中央演算処理装置（ＣＰＵ）またはマイクロプロセッサの間で共有されてもよい。
【０１１０】
上で説明した本発明は、モジュール式または統合的にコンピュータソフトウェアを使用した制御ロジックの形態で実装され得ることを理解されたい。本明細書に提供される開示および教示に基づき、当業者は、ハードウェア、ならびにハードウェアおよびソフトウェアの組み合わせを使用して、本発明を実装するための他の手法および／または方法を知り、認識するだろう。
【０１１１】
上述のように、本出願に記載されるソフトウェアコンポーネントまたは機能のいずれも、例えば従来の、またはオブジェクト指向型技術を使用して、任意の好適なコンピュータ言語、例えばＪａｖａ（登録商標）、Ｃ＋＋またはＰｅｒｌ等を使用するプロセッサにより実行されるソフトウェアコードとして実装され得る。ソフトウェアコードは、一連の命令またはコマンドとして、コンピュータ可読媒体、例えばランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードドライブもしくはフロッピー（登録商標）ディスク等の磁気媒体、またはＣＤ−ＲＯＭ等の光媒体上に保存されてもよい。そのようなコンピュータ可読媒体のいずれも、単一の計算装置上またはその中に存在してもよく、システムまたはネットワーク内の異なる計算装置上またはその中に存在してもよい。
【０１１２】
ある特定の例示的実施形態を詳細に説明し、付随する図面に示したが、そのような実施形態は、広範な発明の単なる例示であり、それを制限することを意図するものではないこと、ならびに、当業者は様々な他の修正を考案し得るため、本発明は示され説明された具体的配設および構造に制限されないことを理解されたい。
【０１１３】
本明細書において使用される場合、「ａ」、「ａｎ」または「ｔｈｅ」の使用は、具体的に逆の意味が指定されていない限り、「少なくとも１つ」を意味することが意図される。
【図１】
2014179123.tif 000010
【図２ａ】
2014179123.tif 000011
【図２ｂ】
2014179123.tif 000012
【図４】
2014179123.tif 000013
【図５】
2014179123.tif 000014
【図８】
2014179123.tif 000015
【図９】
2014179123.tif 000016
【図１０】
2014179123.tif 000017
【図１１】
2014179123.tif 000018
【図３】
2014179123.tif 000019
【図６】
2014179123.tif 000020
【図７】
2014179123.tif 000021