(57)【要約】【課題】  物標位置を音響によって操作者に通知する際、音響の利用者が複数存在しても正しくその位置を伝えられ、また物標が複数存在する場合でも操作者に分かりやすく伝えられること。【解決手段】  一または二以上の物標の座標データを入力する処理と、入力した座標データを音響で発信する音の仮想位置へ変換する仮想物標変換処理と、仮想位置にもとづいて各音源から音を出力する処理によって、ユーザに立体音響で物標位置を通知する。【選択図】      図１
2008021186.tif 000002
【特許請求の範囲】
【請求項１】
音響を利用して物標位置をユーザに通知する方法であって、
一または二以上の物標の座標データを入力する処理と、
入力した座標データを音響で発信する音の仮想位置へ変換する仮想物標変換処理と、
前記仮想位置にもとづいて各音源から音を出力する処理と、
を含むことを特徴とする音響による位置通知方法。
【請求項２】
前記物標が複数存在するとき、物標ごと又は所定の条件で分類された物標グループごとに異なる音源が割り付けられ、かつ、
自己がその位置を制御できる可制御物標は、自己がその位置を制御できない不可制御物標とは異なる音響の演出方法を割り付けられていることを特徴とする請求項１記載の音響による位置通知方法。
【請求項３】
前記音響の演出方法において、前記可制御物標は物標の位置の変化に基づいて発音し、前記不可制御物標は物標の位置に基づいて連続的または間欠的に発音することを特徴とする請求項２記載の音響による位置通知方法。
【請求項４】
前記可制御物標は、当該物標の移動可能範囲における位置を基準に立体音響の方向および音量を決定し、
前記不可制御物標は、前記可制御物標の位置を基準として、立体音響の方向および音量を決定することを特徴とする請求項２または３記載の音響による位置通知方法。
【請求項５】
前記可制御物標が前記不可制御物標の所定範囲に入ったときは、該不可制御物標を識別可能な音またはメッセージを出力することを特徴とする請求項２ないし４のいずれか一に記載の音響の位置通知方法。
【請求項６】
物標ごとに異なる発音タイミングを割付けられていることを特徴とする請求項１ないし５のいずれか一に記載の音響による位置通知方法。
【請求項７】
物標ごとに所定時間前からの位置情報をもとに現在に至るまでの移動経過を連続音または間欠音で通知する処理と、
前記移動経過に基づいて未来の移動経路を予測演算する処理と、
前記予測演算結果による未来の移動方向または移動経路を通知する処理と、
を含むことを特徴とする請求項１ないし６のいずれか一に記載の音響による位置通知方法。
【請求項８】
請求項２ないし５のいずれか一に記載の位置通知方法を用いて物標の位置を音響によって通知する情報処理システムであって、
コンピュータ実行可能なメニューをアイコンとして表示する手段と、
ポインタを移動させる入力装置と、
前記ポインタを可制御物標として設定する手段と、
コンピュータ画面上に表示された前記アイコンを不可制御物標として設定する手段と、
前記ポインタおよび前記アイコンの位置を音響で知らせる音響出力装置と、
を備えたことを特徴とする情報処理システム。
【請求項９】
複数のユーザ端末と、各ユーザ端末と通信ネットワークを介して繋がるサーバとを有する情報処理システムであって、
前記サーバは、制御可能なアイコンとしてユーザごとに選択されたアイコンを可制御物標として設定すると共に、制御可能なアイコン以外のアイコンを不可制御物標として設定する手段と、前記可制御物標と前記不可制御物標とを各ユーザ端末上に表示出力する手段と、を備え、
前記各ユーザ端末は、該ユーザの可制御物標の位置を基準にして前記不可制御物標の位置を演算する手段と、前記不可制御物標の位置を音響で通知する手段と、を備えたことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物標の位置を２次元あるいは３次元の立体音響で音源発生場所として示し、聴覚でユーザに所在位置を認知させることのできる位置通知方法、および同方法を用いた情報処理システムに関する。
【背景技術】
【０００２】
一般に、情報処理システムのユーザインタフェースは、ディスプレイ表示によって視覚を重視した手法が用いられている。たとえば、フォルダ、ディレクトリ、アプリケーションプログラムなど（以下、フォルダ等という。）を選択する際はポインタをそのフォルダ等のアイコンに重ねてクリックすることによって選択する。
【０００３】
しかしながら、このような視覚のみに頼ったインタフェースを採ると、視覚障害者にとっては甚だ不便であるのみならず、健常者にとってもディスプレイを注視するあまり疲労が蓄積したり、操作ミスを生じたりする原因となる。
【０００４】
従来、ユーザの操作性の向上、操作ミスの削減を目的として、音響によってユーザへ位置その他の情報を通知する技術が提案されている。たとえば、特許文献１では、運転者を好適に目的地へ誘導するために、車両の現在位置および進行方向を取得し、その現在位置および進行方向と地理情報とに基づいて経路誘導情報を生成し、この経路誘導情報が左折のときは運転者に左側から聞こえ，前記経路誘導情報が右折のときは運転者に右側から聞こえるように音場を形成して、メッセージ音声またはガイド音を発生する運転支援装置が提案されている。
【０００５】
また、特許文献２では、利用者が音声を聞いただけで、再生しているウィンドウの識別を可能にするため、音声に再生すべきウィンドウの位置情報を付加するという技術思想が開示されている。この文献には、変化が生じた場合ウィンドウＩＤおよび新しい表示位置を音声の方向計算部に通知するウィンドウ位置監視部と、聞こえてくる方向をウィンドウ表示位置にあわせて変換する音声の方向計算部と、変化の生じた場合に音声管理用レコード追加削除部を呼び出す音声状態監視部と、音声が発生した場合には、音声管理テーブルにレコードを追加し、音声が消滅した場合にはレコードの削除処理を行う音声管理用レコード追加削除部と、ウィンドウシステムの提供する立体音響システムの形式にあった方式に音声を変換する音声の出力命令発行部と、実際の音声出力を行う立体音響出力部とを有するウィンドウシステムの音声再生装置が記載されている。
【０００６】
しかしながら、上記の特許文献１に記載の技術は、常に運転手を左右の音源の中心において音声で通知を出力するものである。
【０００７】
一方、特許文献２に記載の技術は、操作者（ユーザ）の顔が画面の中心線上にあるとして各音源の音量を定めている。
【特許文献１】特開平９−３５１７７号公報
【特許文献２】特開平１１−１２６１５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、常に操作者を基準に物標の位置関係から立体的に配置された各音源の音量を定めるようにすると、その音源の用途によっては不都合が生じる。
【０００９】
たとえば、その操作者が飛行機の操縦士の場合、その状況を遠方で確認する管制官は、必ずしも操縦士の位置で音を認識できるとは限らない。たとえば、センサで検知した物体位置を音響で操縦士に通知するようにしていたとしても、モニタカメラが操縦士の後ろから撮られているような場合は、モニタ画面で見る映像と音響の方向は必ずしも一致しない。
【００１０】
また、画面上に表示されるものを音で認識しようとすると、画面上に複数の物標が存在する場合、音源が錯綜して操作者にとっては逆に混乱を招くという問題がある。
【００１１】
本発明は、上述のかかる事情に鑑みてなされたものであり、物標位置を音響によって操作者に通知する場合、音響の利用者が複数存在しても正しくその位置を伝えられ、また物標が複数存在する場合でも操作者に分かりやすく伝えることのできる音響による位置通知方法、および同方法を用いた情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、本発明に係わる音響による位置通知方法は、音響を利用して物標位置をユーザに通知する方法であって、一または二以上の物標の座標データを入力する処理と、入力した座標データを音響で発信する音の仮想位置へ変換する仮想物標変換処理と、前記仮想位置にもとづいて各音源から音を出力する処理と、を含むことを特徴とする。
【００１３】
本発明では、センサや入力装置等から入力した物標の座標データをコンピュータ上の空間位置に座標変換して音響出力する。
【００１４】
好ましくは、ユーザ（操作者）の周囲にスピーカ等の音響設備を配置し、３次元的な立体音響として通知するようにすると良い。
【００１５】
ここで述べる仮想とは、一般的にコンピュータの処理装置によって描かれてモニタ画面に表されるもの、もしくはコンピュータ内に存在する平面もしくは立体的空間配置であり、通常はコンピュータの画面出力において、この空間が表示されるものをいう。
【００１６】
また、情報処理システムとは、一般的にＣＰＵを搭載した電子演算機能を有するシステムを意味し、パーソナルコンピュータと言われるようなコンピュータシステムも含む趣旨である。
【００１７】
さらに、本発明に係わる音響による位置通知方法は、前記物標が複数存在するとき、物標ごと又は所定の条件で分類された物標グループごとに異なる音源が割り付けられ、かつ、自己がその位置を制御できる可制御物標は、自己がその位置を制御できない不可制御物標とは異なる音響の演出方法を割り付けられていることを特徴とする。
【００１８】
発音対象の物標が混在した場合、ユーザの認識が困難となる。このとき、音色とか音程を変えるのみでは、ユーザの物標識別が弱く、まず、その物標が自分で制御できるものか否かで音響の演出方法を替えるようにする。
【００１９】
ここで、音響の演出方法とは、イコライザー等を使って特別な音にするなどの音響技術のみならず、物標の位置に対して発音するのか、それとも物標の位置の変化に対して発音するのかというような出力の仕方も含む趣旨である。
【００２０】
特に、前記音響の演出方法において、前記可制御物標は物標の位置の変化に基づいて発音し、前記不可制御物標は物標の位置に基づいて連続的または間欠的に発音するようにすると良い。
【００２１】
可制御物標は、自己がその位置を制御できるものであるため位置が変化したときのみ発音されれば足りる。また、可制御物標の位置を認識したい場合は、その物標を動かせば音が出るため容易に認識できる。不可制御物標は、自己がその位置を制御できないため連続的ないし間欠的に常時発音するようにするのが良い。これによって、物標が複数存在しても自己が制御可能な物標位置を確実かつ容易に認識することができる。
【００２２】
好ましくは、前記可制御物標は、当該物標の移動可能範囲における位置を基準に立体音響の方向および音量を決定し、前記不可制御物標は、前記可制御物標の位置を基準として、立体音響の方向および音量を決定するのが良い。
【００２３】
特に可制御物標については、その位置を必要な場合のみに確認すれば良く、このときは全移動可能範囲に対してどの位置に有るかを知ることが重要となる。一方、不可制御物標については、可制御物標の位置（すなわちユーザ位置）を基準にして、その方向を音響で通知することによって、ユーザは不可制御物標へ容易にアクセスすることができる。
【００２４】
より好ましくは、前記可制御物標が前記不可制御物標の所定範囲に入ったときは、該不可制御物標を識別可能な音またはメッセージを出力するのが良い。これにより、ユーザは、不可制御物標に間違えなくアクセスできたことを知ることができる。
【００２５】
また、本発明に係わる音響による位置通知方法は、物標ごとに異なる発音タイミングを割付けられていることを特徴とする。
【００２６】
物標が複数存在するような場合、同時に発音するのではなく、タイミングをずらして、例えば距離が遠い物標から、各方位から順にユーザを包み込ませるように発音させるようにすれば、最も近い物標の認識が容易となり、かつ、ユーザの注意を促すことができる。
【００２７】
また、本発明に係わる音響による位置通知方法は、物標ごとに所定時間前からの位置情報をもとに現在に至るまでの移動経過を連続音または間欠音で通知する処理と、前記移動経過に基づいて未来の移動経路を予測演算する処理と、前記予測演算結果による未来の移動方向または移動経路を通知する処理と、を含むことを特徴とする。
【００２８】
これにより、ユーザは、過去の移動経路から将来の移動方向または経路を予測して、回避策を講じる等の対処を行うことができる。
【００２９】
本発明に係わる情報処理システムは、コンピュータ実行可能なメニューをアイコンとして表示する手段と、ポインタ（カーソルを含む。）を移動させる入力装置と、前記ポインタを可制御物標として設定する手段と、コンピュータ画面上に表示された前記アイコンを不可制御物標として設定する手段と、前記ポインタおよび前記アイコンの位置を立体音響で知らせる音響出力装置と、を備えたことを特徴とする。
【００３０】
本発明では、上述した音響による位置通知方法をコンピュータシステムのＯＳに適用することによって、ユーザインタフェースとしての利便性を向上させる。
【００３１】
また、本発明に係わる情報処理システムは、複数のユーザ端末と、各ユーザ端末と通信ネットワークを介して繋がるサーバとを有する情報処理システムであって、前記サーバは、制御可能なアイコンとしてユーザごとに選択されたアイコンを可制御物標として設定すると共に、制御可能なアイコン以外のアイコンを不可制御物標として設定する手段と、前記可制御物標と前記不可制御物標とを各ユーザ端末上に表示出力する手段と、を備え、  前記各ユーザ端末は、該ユーザの可制御物標の位置を基準にして前記不可制御物標の位置を演算する手段と、前記不可制御物標の位置を音響で通知する手段と、を備えたことを特徴とする。
【００３２】
本発明では、サーバから送られてくる物標座標を各ユーザ端末で補正して仮想物標座標を算出する。このとき、まず自己が制御可能な可制御物標の座標（仮想物標座標）を演算し、次にこの座標を基準として不可制御物標の座標を演算する。
【発明の効果】
【００３３】
本発明によれば、物標位置を音響によって操作者に通知する場合、仮想物標の概念を取り入れることによって、音響の利用者が複数存在しても、あるいは音響データと画像データとを通信によって遠方に送信する場合でも、画面と連動して正しく物標の位置を伝えることができ、また物標が複数存在する場合でも操作者に分かりやすく確実に物標位置を伝えることができる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態を説明する。
図１は、第１の実施の形態による情報処理システムのブロック図である。ここで情報処理システム１は、コンピュータなどの処理装置１０、音響出力装置６０、通信手段２を介して処理装置１０と繋がるマウスなどの入力装置７０と繋がっている。また、センサ７６を通して取り込んだ信号をセンサ処理装置８１で通信データに変換して、通信手段２を介して処理装置１０へ送っている。
【００３５】
なお、通信手段２は、インターネットなどの広域通信網でも良いし、ＬＡＮあるいはＵＳＢなどのローカルあるいは短距離用の通信手段であっても良い。また、必要により、入力装置７０とセンサ処理装置８１は、それぞれ異なる通信手段を介して処理装置１０と通信を行うようにしても良い。
【００３６】
音響出力装置６０は、立体音響としては従来の技術を使い、縦、横、奥行きなど３Ｄで表現ができ、発音手段としては、スピーカやヘッドフォンなどの一般的な再生装置を用いる。
【００３７】
ユーザは、これら再生装置のスピーカに対して同じ位置、もしくはヘッドフォンのようにユーザに装着されていて固定位置であることを前提とする。なお、聴衆するユーザが移動した際には、センサによってユーザの位置を算出し、再生装置から出力する音の定位に対して、ユーザの移動位置の加減をして、立体音響を再生するために最適な定位を表すようにしても良い。ユーザが移動をすることによって、各スピーカから再生される音のバランスが崩れるために、ユーザに正しい距離感が与えるために補正するものである。
【００３８】
一方、処理装置１０は、通信手段２を介して入力装置７０あるいはセンサ処理装置８１とデータの送受信を行う送受信部１１、受け取ったデータの処理を行う処理演算部１２、データを記憶する記録部１４、処理したデータを表示する表示部１６、また表示部１６へ表示する画面情報等を音響処理する音源部１３と処理したデータを音響出力装置６０へ出力する送受信部１５を有している。
【００３９】
さらに、処理装置１０の処理演算部１２は、入力装置７０やセンサ処理装置８１から受け取った信号を処理する入力信号処理手段２２、物標や音声に関する基本情報を記録部１４に登録する基本情報登録手段２1、入力した信号の座標をコンピュータ上の仮想物標座標へ変換する物標座標変換手段２３、物標の移動速度、移動距離停止判定などの物標の動きに関する処理を実行する物標運動演算手段２４、映像出力処理を行う物標映像出力手段２５、仮想物標座標をもとに立体音響として出力する音源部制御指示手段２６を備えている。各手段２１〜２６はＣＰＵのプログラムとして実行可能な機能である。
【００４０】
次に各装置の機能概要を説明する。
（１）入力装置７０、センサ７６、センサ処理装置８１の機能について
入力装置７０は、マウス、キーボード、ジョイスティック、タッチペン、ゲームコントローラ等であり、ｘ，ｙ，ｚ方向に動かした移動数値と、ユーザが操作するon/offの数値を処理装置１０へ伝達する機能を有する。入力装置７０から移動距離や移動方向、速度などの信号を発信することによって、上下左右や奥、手前など、モニタなどの空間内のカーソルを３次元的に移動させることができる。
【００４１】
入力装置７０の送信データの例を図２に示す。位置座標のほか、移動停止の状態、スイッチ状態を示す選択フラグなどで構成されている。
【００４２】
また、センサ７６は、赤外線センサ、音波レーダー(車、戦闘機、航空機)、光センサ、匂いセンサなどであり、これらのセンサによって検知された信号はセンサ処理装置８１によって処理され、通信手段２を介して処理装置１０へ送られてくる。このように、センサ７６とセンサ処理装置８１は、物標位置の距離や角度等のデータを処理装置１０に伝達する機能を有する。
【００４３】
図３にセンサ処理装置８１の送信データ例を示す。物標の座標、移動速度等の運動情報のほか、温度、角度、色、匂いなどのセンサの種類によって決まる種々のデータで構成されている。
【００４４】
仮想に存在する物標(たとえば、一般的にコンピュータのＯＳで使用するモニタ上のカーソル等)は、コンピュータすなわち処理装置１０の入力装置７０で移動させることができる。
【００４５】
（２）処理装置１０の機能
入力装置７０から入力された信号を入力信号処理手段２２により、仮想上の物標（たとえばカーソル）の位置を記録する。
【００４６】
処理装置１０の物標座標変換手段２３は、入力した物標座標をコンピュータ上の仮想物標座標へ変換する。
【００４７】
変換処理の仕方の例としては、たとえば入力装置については、以下の（１）式によって仮想物標座標へ変換する。
【００４８】
仮想物標座標＝仮想物標座標＋座標（x,y,z）            ・・・  （１）
センサについては、（２）式によって仮想物標座標へ変換する。
【００４９】
仮想物標座標＝物標座標＋（使用者位置―センサ位置）    ・・・  （２）
そして、物標運動演算手段２４は、この仮想物標座標および入力装置７０やセンサ処理装置８１から送信されてきた物標属性情報を取得し、物標位置を変化させるなどの処理を実行する。また、物標運動演算手段２４は、カーソルの移動中、もしくは停止した場所、あるいはその周辺に仮想の別の物標が存在するかを記録し、この情報を音響部１３に受け渡す。具体的には、カーソルの直下、付近にファイルやディレクトリが存在するかどうか等である。物標座標変換手段２３が示した座標に基づいて音源指示判定手段５１によって音源を選択すると共に音源発生手段５２へ座標、定位情報を引き渡す。音源発生手段５２は、ユーザに対して、立体音響にて移動したとおりに音の定位を動かす。その動かしているカーソル周辺、あるいは同じ位置に仮想の物標が存在する際には、仮想上の物標の存在を音響出力装置６０により立体音響で示す。
【００５０】
なお、ユーザが入力装置７０によって選択（たとえばクリック）をした場合は、その物標が示すものを実行するようにしてもよい。たとえばディレクトリを開くなどである。そしてその開いた物標上の仮想空間をさらにカーソルを示すべく、入力座標の記録を保存していき、その座標位置情報を音源発生手段５２に引き渡して、音響出力装置６０を通して発音をさせる。なお、物標をカーソルによって選択したまま移動、ドラッグさせるような場合には、その処理の状況を示す音を出すようにしても良い。
【００５１】
座標情報の変化が大きい時は（スピーディーにマウスを動かした時など）、発音の音程を変化させても良いし、音量を変化させても良い。また、右側や上方へ移動させた場合には、定位の出力を同じく右側から上方へ、明るい音色や音程を高くし、左方や下方へ移動をさせた場合には、定位の出力を同じく左方や下方へ暗い音色や低い音を発生させるなど座標位置によって音を変化させることである。奥や手前も、音程や音色を変化させる指示を出力側に指示を出す。
【００５２】
また、過去や将来にさかのぼって、音で物標の動きをプレビューしても良い。任意の時間前からの、物標の動きを読み出して、現在までの移動を音で連続的に示しても良いし、逆に、過去の移動データ、角度、速度から予測して、将来の時間分先の移動予測を音で示しても良い。
【００５３】
（３）音響出力装置６０の機能について
音響出力装置６０は、サラウンド機器、音響オーディオ機器、立体音響機器、仮想サラウンドなどである。
処理装置１０から引き渡された、座標情報(x,y,z)情報や、音色、音程の指示をもとに、音源から音波を発生し、立体音響の増幅機、スピーカ部、ヘッドフォン部を通して音を発生させる。
【００５４】
次に、上記の構成を有する情報処理システム１の動作を説明する。
まず、処理装置１０において、予め、カーソルやフォルダ等の音響出力の対象となる物標に関する種々の情報を属性情報および音響に関する基本情報を登録しておく。この情報の登録は、入力装置７０を介して行うようにしても良いし、別に設けた専用の入力装置（図示せず）を介して行うようにしても良い。
【００５５】
入力装置７０から入力された物標属性情報と音響基本情報は、基本情報登録手段２１によって、記録部１４に保存される。
図４、図５は、それぞれ記録部１４に保存されている音響基本情報と物標属性情報のテーブル構成例である。
【００５６】
ここで、音響基本情報は、音源の識別情報を格納する音源テーブル、イコライザのパラメータ情報を格納するイコライザテーブル、効果音方法を格納するエフェクターテーブルとして保存されている。
【００５７】
また、物標属性情報は、物標に対する操作と発音との関係を記憶する属性・状態テーブル、フォルダなどが階層構造になっている場合は階層と発音との関係を記憶する深さテーブル、物標の移動速度と音源、イコライザとの関係（演出情報）を記憶する誘導音テーブル、物標同士が重なったり特定の動きをしたりしたときの演出情報を記憶する発音テーブルとして保存されている。
【００５８】
情報処理装置１は、入力装置７０から通信手段２を介して送られてきた信号を送受信部１１で受け取ると、入力信号処理手段２２によって、その座標データを記録部１４に保存する。
【００５９】
ユーザは、制御対象機器を設定する。たとえば、汎用のコンピュータの場合は、デフォルトとしてカーソルを設定しておいても良い。ゲームなどの場合は、アプリケーションプログラムによって、戦車とかヘリコプターとか、あるいは、キャラクタなどを設定する。
物標の補正座標としては、そのキャラクタ等をもとに補正を行う。
【００６０】
以下、その補正処理について説明する。
まず、基本的な処理について説明する。（ステップ１）まず、あるトリガーによって仮想物標、属性の処理ルーチンを起動させる。トリガーとしては、たとえば、マウスを手で動かす、センサが物標を捉える、他人が物標の操作をオンラインで行う、ＣＰＵが物標の操作を行う、などがある。（ステップ２）このトリガーによって、仮想座標、属性の変化の記憶処理を開始する。具体的には、物標の座標位置の記録、属性記録、カーソル位置の記録などを行う。（ステップ３）そして、過去の仮想物標の座標との差分を算出する。この差分に基づいて、差が大きい場合は、速い操作と判定、移動をした方向によって、定位を決定する。物標と自己位置あるいはカーソルとの間に他の物標が無いか、などの処理判定を行う。このような処理を行うことによって、たとえば、ユーザが過去の秒数を指定することによって過去から今までの経路を音で知らせることができる。（ステップ４）次に音の定位、発音方法を決定し、音源回路へ指示出力する。
【００６１】
上記の基本処理によって以下の機能が可能となる。
（１）実際の入力装置から送られてきた情報を処理して、360度の仮想空間上の座標に適宜変換して、その移動距離や物体、移動方向、角度を算出し、また前の座標位置を仮想上に記録しておき、前と現在で差分を取り、変化量を計る。そして、それに応じて、再生する音の音程や音色、音量、定位（再生をする位置、上下左右奥行き）を変化させて、360度の立体音響によって再生させる。
【００６２】
たとえば、マウスを動かした時に、右上から右下に早く動かすと、立体音響上も右上から右下に、"キュイーン"と言う早そうな音で再生）
車の前方に、障害物がある場合、距離が近い場合は音が大きくなる、音程が高い。人だったら、"人です"、犬だったら"犬です"と出力する。
【００６３】
（２）センサが示す物標の種類や、属性で条件を判断して、仮想空間上の音響の種類や変化（音種類、ＥＱ、点滅など）を与える。
【００６４】
特定の範囲以上の大きい物体か、生命体か、非生命体か、明るいのか、小さいのか、匂いが多いのか、などセンサの属性によって、特定の音を発音し、変化を与える。
【００６５】
（３）過去の移動を音で示す。
５秒前の座標位置から、現在の座標位置までの変化を、立体音響で連続した発音で動かせる。自分が移動している際には、過去の座標位置に対して、自分の移動距離数を加算することで、相対的に聞くこともできる。
たとえば、コンピュータゲームにおいて、戦闘機の場合、0.5秒前の敵機（不可制御物標）の測定データを仮想上の位置として、現在の測定データを収得する。その差分を計って、もし自己がコントロールしている自機（可制御物標）に接近しているならば、危険であるので、音を大きく、音程の高い音を発音する。そして、5秒前の敵機の位置から、現在の位置まで仮想上を点で結び、この移動距離を立体音響で連続して再生する。
【００６６】
（４）将来の移動予測を音で示す。
現在までの移動データや、属性から判断して、これから移動をしようとしている数秒先の仮想物標座標までを、連続した発音で示す。自分が移動している際には、将来の座標位置に対して、自分の移動距離数を加算することで、相対的に聞くこともできる。
【００６７】
（５）当たり、接触判定
入力装置７０から送られてきた情報を処理して、360度の仮想空間上の座標に適宜変換して、その場所や付近に存在する別の仮想上の物標を検知し、その物標の種類や、物標との距離、関係によって、再生する音の音程や音色、音量、定位（再生をする位置、上下左右奥行き）を変化させて、360度の立体音響によって再生させる。
【００６８】
センサが示す物標の種類や、属性で条件を判断して、仮想空間上の音響の種類や変化（音種類、ＥＱ、点滅など）を与える。
【００６９】
特定の範囲以上の大きい物体か、生命体か、非生命体か、明るいのか、小さいのか、匂いが多いのか、などセンサの属性によって、特定の音を発音し、変化を与える。
【００７０】
また、仮想物標どうしが接近した際、もしくは、設定した範囲に含まれる場合、この仮想空間上の座標から、仮想空間上の音響の種類や変化（音種類、ＥＱ、点滅など）を発生させ、与える。
【００７１】
車のコーナーセンサが反応した場合、この方向から、警告音を発生させ、その距離から音量を変えたり、ＥＱで変化させるようにする。
【００７２】
たとえば、マウスを動かして、カーソルが移動したときに、何かファイル上を通過する時には、適当な音を出す。あるいは、戦闘機などで、あらかじめ設定しておいた仮想の座標位置に、最新データの仮想座標位置が重なった場合は、適当な音を出すようにする。
【００７３】
（６）物標との間、環境で音を変化させられる。
たとえば、物標（不可制御物標）と自分（可制御物標）との間に障害物の壁があったり、温度変化、酸素などの伝達物質（火災時）の量によって、音を変化する。
【００７４】
（実施例１）オペレーションシステム
コンピュータのオペレーションシステムにおいて、ファイルやディレクトリの所在を立体音響にて示すものである。例えば、ビジュアルを用いたＯＳの画面において、マウスなどの入力装置によって示されるカーソルの存在を、立体音響で仮想的にその位置から音を出す。ユーザは、モニタの前にいるものとする。画面の左下にカーソルがある場合は、左の下から音が出る。そして、入力装置を動かして、右上へ移動をさせた場合は、音が左下から右上へ移動する。さらに、３Ｄデスクトップ化により、奥の概念が加わった際には、奥や後ろの定位から音を発する。そのカーソルの位置、もしくは周辺に、何かファイルやディレクトリを示している際には、音や音声などでその詳細を示しても良い。既知の立体音響技術を使い、スピーカやヘッドフォンで実現する。視覚にハンディキャップを持つ人へのパーソナルコンピュータ（以下、パソコンあるいはＰＣともいう。）の使用の補助として活用できるが、ＰＣの通常の使用のサポートとして、視覚情報を使わないことから入力の補助ができ、円滑に操作ができる。
【００７５】
上記の機能を実現するための処理手順の例を図６を用いて説明する。
マウスの位置の変化を検知することによって起動するとマウスの位置座標を入力する。なお、カーソルなど仮想物標ごとに図７に例示する位置、音響データを持たせておき、逐次このデータを更新していく。そして、ユーザに対してカーソル位置に相応する場所から発音する（Ｓ１０１）。
【００７６】
次に、カーソル位置もしくはその周辺にファイルが存在するか否かを判定し（Ｓ１０２）、ファイルが存在する場合は、そのファイル名を読み上げるか、または、そのファイルに対応した音で知らせる（Ｓ１０３）。そして、クリックしたか（Ｓ１０４）、あるいはダブルクリックしたかによって（Ｓ１０６）、ファイル名の読み上げ、あるいはファイルの実行などのアプリケーション処理を行う（Ｓ１０５、Ｓ１０７）。
【００７７】
ステップ１０２でＮＯの場合は、次にカーソル位置もしくはその周辺にディレクトリが存在するかを否かを判定し（Ｓ１０８）、ディレクトリ名の読み上げなど、ディレクトリに対して上記のファイルと同様の処理を実行する（Ｓ１０９〜Ｓ１１３）。必要ならば、ファイル、ディレクトリ以外に体の物標に対して同様の処理を行う。
【００７８】
その後、マウスに関する処理を実行する。具体的には、クリックしたままか否かを判定し（Ｓ１１４）、ＹＥＳの場合は、さらに移動したか否かを判定し（Ｓ１１５）、ＹＥＳの場合は、発音したまま、音の定位を移動させる（Ｓ１１６）。ステップＳ１１５でＮＯの場合は、発音したままでカーソルの所在を表示する（Ｓ１１７）。
【００７９】
ステップＳ１１４でＮＯの場合は、速度に応じた音程あるいは音量で発音処理を実行する（Ｓ１１８〜Ｓ１２１）。
【００８０】
（実施例２）モバイル機器
ＰＣ以外にも、ポータブルオーディオ機器における、曲選択、使用操作のサポート、携帯電話などにも使用をすることができる。これらを所持操作している際に、処理の出力表示画面を見なくても、内部のファイル情報や階層を音で位置を確認して、項目を選択することができる。機能や電話番号、住所録、コンテンツのアプリケーションなどが仮想空間内に配置されており、これらを立体音響で確認し、操作ができる。洋服内に内包している際に、いちいち取り出さなくても、手元だけで操作ができる。
【００８１】
（実施例３）ゲーム
またこの技術を応用して、映像の無いコンピュータゲームとして、仮想空間の中、音だけでゲーム上の敵を探しえたりすることができる。過去の移動軌跡や、将来の予想も音響で示せる。
【００８２】
（実施例４）車、航空機
上記実施例１〜３は、ユーザによって入力装置を自発的に動かすものであったが、この入力装置を既知のセンサやレーダー波にした場合、これら入力装置が捉えた物標方向や距離などの位置情報を処理し、その情報によって一定の法則で音源の音色を変化させ、立体音響の出力へ変換すれば、ユーザに対して物標の位置を立体音響で示すことができる。  
【００８３】
たとえば、自動車のコーナーセンサやレーダー派による前方の障害物の感知装置の場合、自動車前方に存在する障害物の位置を、角度や距離を測り把握することが出来る。これらと、当発案をあわせれば、障害物がある場合に、運転者に対して、この障害物が存在する方向から、立体音響で警告音を発することが出来る。視覚的に確認しなくても、意識的に音が発生している方向、距離に障害物が存在することを認知できる。
【００８４】
コンピュータゲームにおいて、戦闘機のパイロットが、敵機が接近したり、ミサイルがロックした時に、その接近してくる方向から警告音も立体音響でなるので、視認することなく音で識別できる。ミサイルなのか、飛行機なのか、早いのか、遅いのか、これによって音色を変える。
【００８５】
また、車の運転者も、後退時に後方に障害物がある際に、その障害物がある方向から立体音響で音が発生される。なお、この場合の運転者の位置は、音を発生するスピーカから見て定位置であり、運転者の位置が変わったり、身長（耳の位置）が変わった際には、補正、調整を行う。対象物（物標）の過去の移動軌跡や、将来の予想も音響で示すことができる。
【００８６】
以上、本実施の形態によれば、ユーザはモニタを見なくても、カーソルを進めたい方向へ音響を頼りに操作することが可能となる。また、聴覚のサポートにより、ユーザの入力装置を操作する負担が低減する。
また、立体音響を使うことにより、前後左右、奥、手前などを音で出力できるために、実際に視認しなくても、音の発する方向を耳で意識をして確認することができる。
【００８７】
次に第２の実施の形態を説明する。
本実施の形態では、通信ネットワークを介して対戦するゲームの場合について説明する。図８において、本実施の形態における情報処理システム１は、ゲームのアプリケーションを実行するサーバ１００にユーザ端末２００ａ、２００ｂがインターネット等の通信ネットワーク５を介して繋がっている。ユーザ端末の数は、ゲームの内容によって異なってくる。
【００８８】
サーバ１００は、通信ネットワーク５とデータの授受を行う送受信部１１０と処理演算部１２０を有し、さらに、処理演算部１２０は、ＣＰＵにより実行される機能としてユーザ端末から送られてくるデータを受信する受信処理手段１２１、物標に関する基本情報を登録する物標基本情報登録手段１２２、アプリケーションプログラムを実行するアプリケーション実行手段１２３、実行結果をユーザ端末へ送信する送信処理手段１２２を備えている。
【００８９】
一方、ユーザ端末２００Ａ，２００Ｂは、通信ネットワーク５とのデータ授受を行う送受信部２１０、ＣＰＵによって種々の演算処理を行う処理演算部２２０、データを記憶する記憶部２４０、ゲームの制御指令などのデータを入力する入力装置２５０、ゲーム内容を表示する表示装置２７０、立体音響を実現するための音響出力装置２６０から構成されている。
【００９０】
また、処理演算部２２０は、入力装置２５０から入力されるデータを処理する入力処理手段２２４、入力データをサーバ１００へ送信する入力データ送信手段２２１、サーバ１００から送られてくるゲーム等のデータを受信する受信処理手段２２２、物標の属性を記憶部２４０に登録するユーザ別物標属性登録手段２２７、ゲーム画面の表示範囲を制御する画面表示制御手段２２８、表示範囲によってサーバ１００から送られてくる物標の座標を変換する物標座標変換手段２２３、物標を含むゲーム内容の表示出力処理を実行する物標映像出力手段２２５、および、物標の座標および属性に基づいて立体音響の出力処理を行う音響処理手段２２６を有している。各手段２２１〜２２８はＣＰＵの機能として、プログラムによって実現可能である。
【００９１】
いま、ゲームとして戦闘機と戦車とのバトルゲームを想定し、戦闘機はユーザＡが端末２００Ａを介して操縦し、戦車はユーザＢが端末２００Ｂを介してコントロールする場合を考える。
【００９２】
ユーザＡ、ユーザＢは、それぞれの端末２００ａ、２００ｂからサーバ１００にアクセスをして自己が操作する対象（戦闘機か戦車か）を設定する。この設定情報は、サーバ１００の物標基本情報登録手段１２２によって、物標基本情報テーブル１４１に保存される。
【００９３】
図９は、物標基本情報テーブル１４１のデータ構成例である。ユーザ識別情報ごとに操作対象の物標識別情報とが関連付けられて保存されている。
【００９４】
ユーザ端末２００ａまたは２００ｂからのゲーム開始指令によって、サーバ１００のアプリケーション手段１２３が実行される。そして、ゲームの進行に伴って、各物標の状態（移動中・移動方向、停止中、破壊、攻撃）や物標の位置が逐次基本情報テーブルに保存される。
【００９５】
送受信処理手段１２４は、この基本情報テーブル１４１のデータを随時、各ユーザ端末２００ａ、２００ｂに送信する。なお、送信の仕方は、テーブルの状態に変化が生じたときに行うようにすることによって、サーバや通信ネットワークの負荷を軽減することができる。
【００９６】
ユーザ端末２００ａ側では、まず受信処理手段２２２でサーバ１００から送られてきたサーバ１００における物標の基本情報データを受信すると、ユーザ別物標属性登録手段２２７によって、ユーザの制御できる物標（可制御物標）と制御できない物標（不可制御物標）に分けて物標管理テーブル２４１を作成して記憶部２４０に保存する。
【００９７】
図１０は、物標管理テーブル２４１のデータ構成例である。
ここで、ユーザＡの物標管理テーブル２４１は、可制御物標として、ユーザＡが操縦する戦闘機、不可制御物標として、ユーザＢの操縦する戦車が登録されている。
一方、ユーザＢの端末２００ｂ上での物標管理テーブル２４１では、ユーザＢの操縦する戦車が可制御物標として登録され、ユーザＡの操縦する戦闘機は不可制御物標として登録される。
【００９８】
再び、ユーザ端末２００ａに戻って、画面表示制御手段２２８は、ユーザＡが可制御物標である戦闘機３０１をコントロールしやすい位置に表示する。通常は、可制御物標がほぼ中央になるような表示位置に持ってくる。そして、この表示位置とサーバ１００から送られてくる座標との変換値を物標管理テーブル２４１に保存する。
【００９９】
図１１は、画面表示制御手段２２８の処理手順を示すフローチャートである。
画面表示制御手段２２８は、起動されるとまず、可制御物標の座標を入力して（Ｓ２０１）、それに補正値を加え、表示装置２７０に出力するための座標を計算する。そして、指定された倍率で全体を表示し、その中に、不可制御物標を同様の補正値を加え、指定された倍率における表示位置に表示出力するようにする。この演算結果は、物標映像出力手段２２５によって、表示装置２７０に表示出力される。
【０１００】
一方、音響処理手段２２６は、この座標をもとに可制御物標である戦車３０２の音源を抽出し、また、物標座標変換手段で変換処理された位置から音響出力する。このとき、通常は、無音またはユーザＡを周囲から包み込むように音響出力し、ユーザＡの操作によって、物標位置から効果音を発するようにする。
【０１０１】
また、不可制御物標である戦車位置も映像出力すると共に、音響処理手段２２６によって、立体音響の出力処理する。
【０１０２】
上記の処理の結果ユーザＡの端末２００ａの表示装置２７０では、図１２（ａ）のように表示され、効果音としては、可制御物標である戦闘機３０１の位置すなわちユーザ位置と、不可制御物標である戦車３０２の位置からそれぞれ出力される。
【０１０３】
一方、ユーザＢの端末２００ｂの表示装置２７０には、図１２（ｂ）のようにユーザＢが制御できる戦車３０２がほぼ中央位置に表示され、同様にこの位置に基づいて効果音が発せられる。なお、必要により表示方向や表示倍率を変えるようにしても良い。このとき、可制御物標と不可制御物標との相対的な座標位置が変わってくるので、立体音響の音源方向も変わる。
【０１０４】
そして、可制御物標の補正後の座標が所定範囲を超えたか否かを判定して（Ｓ２０２）、所定範囲を超えた場合は、可制御物標がほぼ中央に位置するように補正値（座標変換データ）を変更する（Ｓ２０３）。
【０１０５】
以上、本実施の形態によれば、サーバで管理する物標座標を各端末上でそれぞれの可制御物標に合わせた仮想物標座標に置き換えるので、ユーザは、自己の制御できる物標を中心に立体音響で他の物標の位置を知ることができ、より臨場感のあるゲームが可能となる。また、サーバにおいては、可制御物標、不可制御物標の不区別をせずに各物標座標の管理するので、サーバの負荷を軽減することができる。
【０１０６】
また、可制御物標の表示範囲を画面の中央付近等に制限し、不可制御物標の位置を可制御物標からの相対位置で音響報知することによって、ユーザは容易に可制御物標の方向や距離を把握することができる。また不可制御物標は表示装置への表示範囲に限定されずにその位置を報知させることによって、ユーザは画面表示に拘束されずに、不可制御物標の位置を認識することができる。
【０１０７】
なお、上記はネットワークゲームを例に挙げて説明したが、サーバ側でセンサで物体（匂い等も含む）を検知し、その物体の座標を複数の端末側に送り、夫々の端末で任意の物標を特定し（可制御物標に相当）、その特定した物標を基準にしてその他の物標（不可制御物標に相当）の相対位置を音響でユーザに報知するような事例にも適用できる。
【０１０８】
次に、第３の実施の形態について説明する。
本実施の形態では、コンピュータ上でカーソルを移動させ、フォルダやアプリケーションプログラムのアイコンを選択する場合について説明する。
【０１０９】
カーソルは、可制御物標とし、その他のアイコンは、不可制御物標として設定する。
フォルダ配置としては、２次元平面のみでなく、奥行きをもった３次元的に配置とすることができる。このような状態では、発音対象の物標座標は複数存在する。
【０１１０】
カーソル位置と夫々の物標座標との距離に基づいて各物標の発する音量を決定する。また、このときの不可制御物標の位置は、可制御物標であるカーソルを中心とした位置となる。
【０１１１】
物標については、即ち画面上の物標位置ではなく、カーソル位置を分離することによって、カーソルは、画面の右隅にあったとしても、フォルダが右上にある場合、フォルダの音は、右上から聞こえてくるのではなく、真上から聞こえてくる。
このようにすれば、カーソルが静止状態のときは、カーソルからの発音は無いが、フォルダを動かす方向は正確に認識可能である。
【０１１２】
一方、カーソルを動かすことによってカーソルからの発音がなされるので、画面上のどこにあるかを知ることができる。
【０１１３】
以上のごとく物標座標を補正値によって自由にコンピュータ上の仮想位置へ移動可能とし、可制御物標か不可制御物標かによってその補正値を可変にして、物標の発音位置座標を決定し、さらに物標属性や位置、速度などの運動情報によって決定する音源、演出方法で発音するので汎用性のある音響による位置指示処理が可能となる。
【０１１４】
本発明は、上述の実施の形態に係らずその要旨を逸脱しない範囲で種々変形して実施することができる。たとえば、不可制御物標の位置を可制御物標との相対的位置とせず、不可制御物標の移動可能範囲における位置によって音響で通知するようにしても良いし、可制御物標との相対的な位置を基準にするのか、移動可能範囲を基準にするのかをユーザの選択によって切替可能にしても良い。また、可制御物標の表示位置と音源の基準位置を予め調整可能な手段を設けるようにしても良い。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施の形態による情報処理システムの機能ブロック図である。
【図２】図１の入力装置７０の送信データ例である。
【図３】図１のセンサ処理装置８１の送信データ例である。
【図４】図１の記録部１４に保存されている音響基本情報テーブルである。
【図５】図１の記録部１４に保存されている物標属性情報テーブルである。
【図６】本発明の第１の実施の形態によるＯＳのカーソル処理手順を示すフローチャートである。
【図７】図１の記録部１４に保存されている物標情報テーブルである。
【図８】本発明の第２の実施の形態による情報処理ステムの機能ブロック図である。
【図９】図８の物標基本情報テーブル１４１のデータ構成例である。
【図１０】図８の物標管理テーブル２４１のデータ構成例である。
【図１１】図８の画面表示制御手段２２８の処理手順を示すフローチャートである。
【図１２】図１２（ａ）は、図８のユーザＡの端末２００ａの表示装置２７０上に表示される画面の説明図であり、図１２（ｂ）は、図８のユーザＢの端末２００ｂの表示装置２７０上に表示される画面の説明図である。
【符号の説明】
【０１１６】
１  情報処理システム                ２  通信手段
５  通信ネットワーク                １０  処理装置
１１、１５、６１、７５、８０、８２、８４  送受信部
１２、７２、７８、８３  処理演算部
１３  音源部                          １４  記録部
１６  表示部                          ２１  基本情報登録手段
２２  入力信号処理変換手段            ２３  物標座標変換手段
２４  物標運動演算手段                ２５  物標映像出力手段
２６  音源部制御指示手段              ４１  各手段記録ＤＢ
４２  音波波形ＤＢ                    ４３  音声合成ＤＢ
４４  音波形記録ＤＢ                  ５１  音源指示判定手段
５２  音源発生手段                    ６２  Ｄ／Ａ変換手段
６３  各チャンネル音声増幅器          ６４  スピーカ部
６５  ヘッドフォン部                  ７０  入力装置
７１  入力部                          ７３、７９  Ａ／Ｄ変換手段
７６  センサ                          ７７  センサ部
８５  物標種類データ                  ８６  物標位置座標データ
８７  物標明度データ                  ８８  物標色データ
８９  物標角度データ                  ９０  物標温度データ
９１  物標匂いデータ                １００  サーバ
１１０、２１０  送受信部              １２０、２２０  処理演算部
１２１  受信処理手段                  １２２  物標基本情報登録手段
１２３  アプリケーション実行手段      １２４  送信処理手段
１４１  物標基本情報テーブル          ２００ａ，２００ｂ  ユーザ端末
２２１  入力データ送信手段            ２２２  受信処理手段
２２３  物標座標変換手段              ２２４  入力処理手段
２２５  物標映像出力手段              ２２６  音源部制御指示手段
２２７  ユーザ別物標属性登録手段      ２２８  画面表示制御手段
２４１  物標管理テーブル              ２５０  入力装置
２６０  音響出力装置                  ２７０  表示装置
【図１】
2008021186.tif 000003
【図２】
2008021186.tif 000004
【図３】
2008021186.tif 000005
【図４】
2008021186.tif 000006
【図５】
2008021186.tif 000007
【図６】
2008021186.tif 000008
【図７】
2008021186.tif 000009
【図８】
2008021186.tif 000010
【図９】
2008021186.tif 000011
【図１０】
2008021186.tif 000012
【図１１】
2008021186.tif 000013
【図１２】
2008021186.tif 000014