(57)【要約】【課題】音響の状態を触覚によりユーザに提供する。【解決手段】仮想空間上における音源から出力される音響の可聴領域に収録点が進入したとき、音響情報生成処理部２０は、収録点において伝達された音響及びその状態に基づき音響情報を生成する。触覚情報生成処理部２２は、収録点において伝達された音響情報と、仮想空間における音源と収録点との距離及び方向に基づき触覚情報を生成する。呈示部位駆動部２４は、触覚情報に基づいて触覚情報呈示装置に配設された呈示部位を駆動する。呈示部位を指で触れているユーザは、呈示部位を通じて音響が伝達されてくる方向及びリズムや強さ等の音響の状態を触覚により得る。【選択図】図２
2005301827.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対して触覚により情報を提供する呈示部位と、
仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成処理手段と、
前記各音源から出力される音響情報と仮想空間における各音源と収録点との位置関係とに基づいて触覚情報を生成する触覚情報生成処理手段と、
前記触覚情報生成処理手段により生成された触覚情報に基づき前記呈示部位を駆動させる駆動手段と、
を有することを特徴とする音響情報処理装置。
【請求項２】
請求項１記載の音響情報処理装置において、
仮想空間における各音源と収録点との位置関係を画面表示する表示処理手段を有することを特徴とする音響情報処理装置。
【請求項３】
請求項１記載の音響情報処理装置において、
仮想空間における各音源と収録点との位置関係は、少なくとも距離及び方向で表されることを特徴とする音響情報処理装置。
【請求項４】
請求項１記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて前記呈示部位が駆動されるように触覚情報を生成することを特徴とする音響情報処理装置。
【請求項５】
請求項２記載の音響情報処理装置において、
前記表示処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて収録点に音響情報が到達したことを視認可能に表示することを特徴とする音響情報処理装置。
【請求項６】
請求項１記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音響情報の時間変化に応じて触覚情報を生成することを特徴とする音響情報処理装置。
【請求項７】
請求項１記載の音響情報処理装置において、
画面表示された仮想空間における音源又は収録点の位置を変更する操作手段を有することを特徴とする音響情報処理装置。
【請求項８】
請求項７記載の音響情報処理装置において、
前記触覚情報生成処理手段は、音源又は収録点の位置の変更を反映させて触覚情報を生成することを特徴とする音響情報処理装置。
【請求項９】
ユーザに対して触覚により情報を提供する呈示部位を有する触覚情報呈示装置が接続された情報処理装置において実施され、音響情報をユーザに提供する音響情報提供方法において、
仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成ステップと、
前記各音源から出力される音響情報と音響情報を出力した音源と収録点との位置関係に基づいて触覚情報を生成する触覚情報生成ステップと、
前記触覚情報生成ステップにより生成された触覚情報に基づき前記呈示部位を駆動させる駆動ステップと、
を含むことを特徴とする音響情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響情報の処理装置及び提供方法、特に音響情報をユーザに対して新たな形態にて提供する装置及び方法に関する。
【背景技術】
【０００２】
従来から楽曲や環境音など様々な音響がコンピュータにより処理され、音出力可能になっている。近年では、複数の音響を合成処理するなどして音響を生成し出力することができる。この従来における音響情報処理の一例を、図５に示した画面表示例を用いて説明する。
【０００３】
図５には、画面表示された仮想空間において音響の発信源となる音源２と、各音源２から出力された音響が聞こえる範囲である可聴領域４と、伝達された音響を入力する収録点６とが示されている。図５では、音源２を５箇所に設置している。また、可聴領域４は、各音源２を中心とした円形状で形成されるものとする。
【０００４】
図５に示したように、収録点６がいずれの可聴領域４にも含まれていないときには、何も聞こえない。ユーザがマウス操作等によって収録点６を例えば可聴領域４ａまで移動させると、その可聴領域４ａの中心に位置する音源２ａから出力される音響が内蔵スピーカもしくは外付けのスピーカから出力される。また、可聴領域４ａと可聴領域４とが重複した領域４ｃに収録点６を移動させると、その各可聴領域４ａ，４ｂの中心に位置する各音源２ａ，２ｂから出力される音響が合成されて出力される。このように、従来においては、１乃至複数の音源から出力される音響を聴覚にて確認できるようにユーザに提供している。
【０００５】
一方、従来から、情報を触覚にて提供する装置が提案されている。例えば、特許文献１では、音情報に基づき触覚情報を生成することで触覚にて音情報を提供する装置が開示されている。
【０００６】
【特許文献１】特開２００３−９９１７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来における情報処理装置では、音響の変化や合成した音響の状態を聴覚や視覚にて提供することはできても触覚にて提供していなかった。一方、特許文献１では、音声情報に基づき触覚情報を生成してユーザに情報提供することはできるが、音源と収録点との位置関係に基づき触覚情報を生成することに関しては言及していない。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、その目的は、音響の状態を触覚によりユーザに提供できる音響情報処理装置及び音響情報提供方法を提供することにある。
【課題を解決するための手段】
【０００９】
以上のような目的を達成するために、本発明に係る音響情報処理装置は、ユーザに対して触覚により情報を提供する呈示部位と、仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成処理手段と、前記各音源から出力される音響情報と、仮想空間における各音源と収録点との位置関係とに基づいて触覚情報を生成する触覚情報生成処理手段と、前記触覚情報生成処理手段により生成された触覚情報に基づき前記呈示部位を駆動させる駆動手段とを有することを特徴とする。
【００１０】
また、仮想空間における各音源と収録点との位置関係を画面表示する表示処理手段を有することを特徴とする。
【００１１】
また、仮想空間における各音源と収録点との位置関係は、少なくとも距離及び方向で表されることを特徴とする。
【００１２】
また、前記触覚情報生成処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて前記呈示部位が駆動されるように触覚情報を生成することを特徴とする。
【００１３】
また、前記表示処理手段は、音源と収録点との距離に応じて各音源からの音響情報出力時から遅れて収録点に音響情報が到達したことを視認可能に表示することを特徴とする。
【００１４】
また、前記触覚情報生成処理手段は、音響情報の時間変化に応じて触覚情報を生成することを特徴とする。
【００１５】
また、画面表示された仮想空間における音源又は収録点の位置を変更する操作手段を有することを特徴とする。
【００１６】
更に、前記触覚情報生成処理手段は、音源又は収録点の位置の変更を反映させて触覚情報を生成することを特徴とする。
【００１７】
本発明に係る音響情報提供方法は、ユーザに対して触覚により情報を提供する呈示部位を有する触覚情報呈示装置が接続された情報処理装置において実施され、音響情報をユーザに提供する音響情報提供方法において、仮想空間における１乃至複数の音源と収録点との位置関係に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成する伝達音響情報生成ステップと、前記各音源から出力される音響情報と音響情報を出力した音源と収録点との位置関係に基づいて触覚情報を生成する触覚情報生成ステップと、前記触覚情報生成ステップにより生成された触覚情報に基づき前記呈示部位を駆動させる駆動ステップとを含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、音響情報をユーザ対して触覚により呈示することができる。これにより、音響の楽しみ方の幅を拡げさせることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
【００２０】
図１は、本発明に係る音響情報処理装置の一実施の形態を示したハードウェア構成図である。本実施の形態における音響情報処理装置１０は、図１に示したように、ノート型パーソナルコンピュータ等表示画面１２を有する汎用的なコンピュータで実現でき、このコンピュータに触覚情報呈示装置１４を接続して構成される。触覚情報呈示装置１４は、例えば上記特許文献１に開示された触覚情報呈示装置と同じ構成で実現できる。触覚情報呈示装置１４は、端的に言うと既存のマウスに２次元若しくは３次元方向に移動可能な呈示部位１６を搭載した構造を有しており、指が触れられた状態の触呈示部位１６を駆動させることで音響情報等をユーザに対して触覚により提供することができる。
【００２１】
図２は、本実施の形態における音響情報処理装置１０のブロック構成図である。音響情報処理装置１０は、音響情報生成処理部２０、触覚情報生成処理部２２、呈示部位駆動部２４、操作受付部２６、位置検出部２８、仮想空間情報管理部３０、音出力処理部３２及び表示処理部３４を有している。また、本実施の形態では、ソース音源記憶部４０及び仮想空間情報記憶部４２を設けており、ソース音源記憶部４０には音響情報が、仮想空間情報記憶部４２には仮想空間に関する情報が予め登録されている。ソース音源記憶部４０に登録される音響情報というのは、仮想空間上における各音源から出力される音響情報である。本実施の形態では、音響情報生成処理部２０が生成する音響情報と区別するために「ソース音源」と称することにする。図５に示した表示画面例を用いて説明すると、仮想空間情報記憶部４２に登録される仮想空間に関する情報には、座標データによって表現される仮想空間と、その仮想空間上に移動可能に設置される各音源２及び収録点６の各位置情報とが含まれている。ソース音源記憶部４０及び仮想空間情報記憶部４２は、ハードディスクドライブ装置等の外部記憶装置で実現する。但し、仮想空間情報のうち音源２及び収録点６の各位置情報は、移動によって適宜更新されると共に高速に実施されるべき触覚情報生成処理等に利用されるため、位置情報を含む一部又は全部の情報は、メモリ等に記憶することが望ましい。また、音響情報及び触覚情報は、音源２及び収録点６の移動に伴い逐次更新されると共に高速に実施されるべき音出力処理等に利用されるため、後述する各記憶部４４，４６は、高速処理に適したメモリ等の記憶装置で実現することが望ましい。
【００２２】
音響情報生成処理部２０は、仮想空間情報記憶部４２に記憶された仮想空間情報に基づいて、仮想空間における各音源から出力される音響情報が収録点に伝達されたときの音響情報を生成して音響情報記憶部４４に保存する。触覚情報生成処理部２２は、ソース音源記憶部４０に登録された音響情報と仮想空間情報記憶部４２に記憶された仮想空間情報とに基づいて触覚情報を生成して触覚情報記憶部４６に保存する。呈示部位駆動部２４は、触覚情報記憶部４６に保存された触覚情報に基づき呈示部位１６を駆動させる。この呈示部位１６の駆動パターンを異ならせることで種々の音響情報を異なる触覚にてユーザに呈示できるようになる。ユーザは、操作手段として設けられたマウス兼用の触覚情報呈示装置１４若しくはキーボードを操作することで表示画面上の収録点６、あるいは音源２を移動させることができるが、操作受付部２６は、このユーザ操作の内容を受け付ける。操作内容というのは、主に仮想空間上における収録点６あるいは音源２の位置の変更であり、位置検出部２８は、ユーザ操作に応じて移動した仮想空間上における収録点６あるいは音源２の位置を検出する。仮想空間情報管理部３０は、位置検出部２８が検出した収録点６あるいは音源２の位置に基づき仮想空間情報記憶部４２に設定されている当該移動点の位置情報を更新する。音出力処理部３２は、装置内蔵のスピーカ、あるいは外部接続されたスピーカから音響情報を出力する。表示処理部３４は、ソース音源や音響情報、更に仮想空間情報それぞれから視覚可能な情報を生成して表示画面１２に表示する。なお、図１に示した表示画面１２には、仮想空間情報に基づく表示例を示している。
【００２３】
本実施の形態は、ソース音源を収録点６で聞いたときの音響を生成し、その音響を触覚にてユーザに提供することを特徴としている。以下、この特徴的な触覚による呈示処理について図３に示したフローチャートを用いて説明する。本実施の形態では、図５と同様の仮想空間を用いて説明する。
【００２４】
ユーザは、所定の操作を行うことで仮想空間を表示画面１２に表示する。仮想空間に表示された音源２からは、所定のソース音源が出力されている。図１に示したように、収録点６がいずれの可聴領域４にも含まれていないときにはソース音源は届かないため何も聞こえない。ここで、ユーザがマウス操作等によって収録点６を移動させて、いずれかの可聴領域内、例えば可聴領域４ａに進入させたとする（ステップ１０１，１０２）。このときの音源２ａと可聴領域４ａと収録点６の位置関係を図４（ａ）に示す。音響情報生成処理部２０は、音源２ａから出力される音響情報をソース音源記憶部４０から取得し、更に仮想空間情報、具体的には仮想空間における音源２ａと収録点６の各位置情報を仮想空間情報記憶部４２から取得する（ステップ１０３）。そして、音響情報生成処理部２０は、音源２ａと収録点６の各位置情報に基づいて音源２ａから収録点６までの距離及び方向を求める。なお、ここでの仮想空間は、室内などの狭い空間であって音源２ａと収録点６との距離は近く、音源２から発せられたソース音源が収録点６に届くタイムラグは無視できるものとする。従って、音響情報生成処理部２０は、ソース音源に、ソース音源が伝達されてきた時の音圧等の受信状態に関する情報を付加して音響情報として生成する（ステップ１０４）。そして、生成した音響情報を音響情報記憶部４４に登録する。
【００２５】
触覚情報生成処理部２２でも同様に音源２ａから出力される音響情報をソース音源記憶部４０から取得し、仮想空間における音源２ａと収録点６の各位置情報を仮想空間情報記憶部４２から取得する（ステップ１０３）。そして、触覚情報生成処理部２２は、取得した情報に基づき触覚情報を生成するが（ステップ１０６）、この生成処理について説明する前に、生成された触覚情報に基づき呈示部位駆動部２４により駆動される呈示部位１６の動作について説明する。
【００２６】
図４（ａ）に示したように、収録点６には、図面右上方向に位置する音源２ａから矢印Ａ方向の音響が伝達されてくる。従って、呈示部位駆動部２４は、図４（ｂ）に示したように触覚情報呈示装置１４に設けられた呈示部位１６を、ニュートラル位置から矢印Ａと同一方向の矢印Ｂ方向に駆動する。この駆動するタイミングを例えばリズムに合わせて矢印Ｂ方向に駆動する。なお、駆動しないタイミングでは、呈示部位１６はニュートラルの位置に戻るように動作する。呈示部位１６への駆動力は音圧によって決める。すなわち、呈示部位１６は、伝達されてきた音圧が強いと強い駆動力で駆動され、音圧が弱いと弱い駆動力で駆動される。このようにして、音圧の強弱を表現する。これにより、ユーザは、音源２から音響が伝達されてくるような触覚を得ることになる。なお、この呈示部位１６の駆動に関する内部処理については、追って説明する。
【００２７】
以上のように、触覚情報生成処理部２２は、仮想空間情報から得られる音源２ａの方向と音響情報から得られる音圧に基づいて触覚情報を生成し、生成した触覚情報を触覚情報記憶部４６に登録する。そして、前述したように、呈示部位駆動部２４は、生成された触覚情報に基づき呈示部位１６を駆動することで音響情報を触覚にてユーザに提供する（ステップ１０７）。
【００２８】
また、音響情報に基づいて呈示部位１６を駆動することに同時並行して聴覚により音響情報を提供する。すなわち、音出力処理部３２は、音響情報記憶部４４に登録された音響情報に基づいて音響をスピーカから出力する（ステップ１０５）。音出力処理部３２における音出力処理自体は従来と同じでよい。更に、可聴領域４への進入後、音響情報に基づき音源２から波紋が放射状に広がるように表示処理部３４に画面表示させるようにすれば、音響が伝達する様子を視覚にて確認させることができる。波紋が広がるスピードや波の位相の大きさや間隔は、音圧や音響の周波数や振幅等の音響情報又は音響情報の変化に応じて変化させる。
【００２９】
以上のようにして、音響情報処理装置１０は、音響情報をユーザに対して触覚により呈示することができる。ユーザは、音響を触覚により感じることができるが、音響を触覚と聴覚の両方で受けることでより楽しむことができる。更に音響に合わせて画面表示を変化させることで視覚を通じて音響を楽しませることができるのでより効果的である。
【００３０】
以上の処理（ステップ１０１〜１０７）を繰り返し実行することで、音響情報処理装置１０は、音響情報を触覚により継続して提供することになるが、例えば収録点６が音源２ａに近づく方向に移動されると、音源２と収録点６の距離が近づくため呈示部位１６が駆動される方向は同じＢ方向でも音圧が高くなる分その強く駆動される。これにより、ユーザは、収録点６が音源２ａに近づくという「移動」、換言すると「位置関係の変化」を触覚により得ることになる。
【００３１】
また、例えば収録点６が可聴領域４ｂの方向に動かされて可聴領域４ａと可聴領域４ｂとが重なり合った領域４ｃに移動されたとすると、音響情報生成処理部２０は、音源２ａ，２ｂから出力される各音響情報と、音源２ａ，２ｂと収録点６の各位置情報を仮想空間情報記憶部４２から取得し（ステップ１０３）、音源２ａに関する音響情報と、音源２ｂに関する音響情報とを生成する。単一の可聴領域４のみに含まれている場合には、上記説明したようにソース音源をそのまま音響情報に含めればよいが、複数の可聴領域４に含まれている場合には、各音響情報を合成することで、領域４ｃに位置する収録点６における音響情報を生成する（ステップ１０４）。合わせて触覚情報生成処理部２２でも各音源からの音響情報及び音響情報を出力した音源と収録点との位置関係に基づき触覚情報を生成するため、呈示部位駆動部２４は、収録点６に対して画面右下方向に位置する音源２ａからのソース音源により生成された触覚と、画面左上方向に位置する音源２ｂからのソース音源により生成された触覚とが合成された触覚をユーザに対して提供することになる。また、音出力処理部３２は、音源２ａ，２ｂからの各音響の合成音響をユーザに提供することになる。
【００３２】
ここで、触覚情報生成処理部２２における生成処理について説明する。触覚情報生成処理部２２は、入力した音響情報及び仮想空間情報に基づいて触覚情報を生成するが、まず、音響情報を音響情報記憶部４４から取り出して、その音響情報に含まれる音響データを周波数分割する。そして、特定周波数帯域の時間変化分を常時検出するようにし、検出された時間変化に応じて呈示部位１６が駆動されるように触覚情報を生成する。駆動するタイミング（駆動パターン）は、時間変化量によって決定する。前述した特定周波数帯域は、予め設定しておくことになるが、例えば、リズムベース音に反応させて呈示部位１６を駆動させたいときには、そのリズムベース音の周波数をサンプリングできるように設定しておく。もちろん、どの帯域を特定周波数帯域とするかは、変更できるようにしておいてもよい。なお、駆動力は、前述したように音響情報に含まれる音圧データによって決定する。
【００３３】
以上のようにして音響情報に基づき呈示部位１６の駆動パターン及び駆動力を決定することになるが、本実施の形態では、更に音源２と収録点６との距離に応じて駆動力を調整する。すなわち、触覚情報生成処理部２２は、入力した仮想空間情報から収録点６が含まれている可聴領域４を形成する音源２と収録点６との位置情報を取り出して、音源２と収録点６との距離を求める。そして、その距離に応じて上記決定した駆動力を増減する。より具体的に言うと、音源２と収録点６との距離に応じて音源２からの出力されるソース音源の減衰率を決定し、その減衰率に基づき駆動力を決定する。
【００３４】
次に、本実施の形態では、音源２と収録点６との位置関係によって呈示部位１６を駆動させる方向を決定する必要がある。すなわち、触覚情報生成処理部２２は、取り出した音源２と収録点６の各位置情報に基づき音源２から発せられる音響の収録点６への伝達方向を求める。この方向が呈示部位１６の駆動方向である。なお、複数の可聴領域４に含まれている場合には、前述したように各方向を合成した方向が駆動方向となる。
【００３５】
ところで、上記説明では、仮想空間を室内などの狭い空間と仮定したことによって音源２から発せられたソース音源が収録点６に届く際のタイムラグを無視した。ここでは、このタイムラグを考慮した場合について説明する。
【００３６】
例えば、どこかの屋外の広い場所でコンサートが行われた場合を想定してみる。この場合の仮想空間は、屋外の広い場所であり、音源２から発せられた音響が多少遅れて収録点６に到達するものとする。この場合、音響情報生成処理部２０は、仮想空間情報に基づいて音源２と収録点６との距離を求め、その距離に応じた遅れをもって音響情報を生成する。この結果、駆動部呈示部位１６は、ソース音源の出力から遅れをもって呈示部位１６を駆動させる。これにより、ソース音源から音響が発せられたときから遅れて、呈示部位駆動部２４は呈示部位１６を駆動し、音出力処理部３２はスピーカから音響を出力する。
【００３７】
但し、ソース音源から音響が発せられたタイミングをユーザが把握できなければ、タイムラグが発生している状態をユーザに認識させることはできない。そのために、表示処理部３４は、音源２からのソース音源の出力タイミングがわかるように画面表示する。これにより、ユーザは、視覚により音源からの音響出力タイミングを認識することができるので、触覚及び聴覚によりタイムラグの発生を認識することができる。
【００３８】
なお、タイムラグを考慮した場合と考慮しないで無視した場合とに分けて説明をしたが、処理自体は分ける必要はなく、音源２と収録点６との距離を常に考慮して触覚情報を生成するようにすればよい。仮想空間が室内などの狭い空間の場合には、タイムラグが触覚情報に反映されていても、そのタイムラグは極めて小さいため、ユーザはそのタイムラグを感じ取れないに過ぎない。
【００３９】
本実施の形態によれば、音響を聴覚及び視覚のみならず、触覚により提示することができるので、音響の楽しみ方の幅を拡大することができる。
【００４０】
本実施の形態は、以上説明したように、基本的には音源２から出力されるソース音源が収録点６にどのような音圧でどのような方向から伝達されているかと言う音響の状態を触覚により提供するものであるが、音響の状態のみならず仮想空間における各音源と収録点との位置関係に基づく情報も提供するようにしてもよい。例えば、上記においては、収録点６が音源２ａに近づくという「移動」（「位置関係の変化」）を触覚により提供すると説明した。つまり、収録点６の移動に伴う音圧の変化を触覚に反映させることにしたが、仮に音源２との距離を維持したまま音源２の周囲を移動した場合には、移動により位置が変化しているという情報を触覚により提供するようにしてもよい。また、収録点６の移動に限定することなく、音源２を移動させたときでも音源２と収録点６との相対的な位置関係は変化するので、この場合も何らかの駆動パターンによって呈示部位１６を駆動させるようにしてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る音響情報処理装置の一実施の形態を示したハードウェア構成図である。
【図２】本実施の形態おける音響情報処理装置のブロック構成図である。
【図３】本実施の形態における音響情報を触覚により呈示する処理を示したフローチャートである。
【図４】本実施の形態において音源と可聴領域と収録点の各位置関係を示した図である。
【図５】仮想空間上における音源と可聴領域と収録点の各位置関係を示した図である。
【符号の説明】
【００４２】
１０  音響情報処理装置、１２  表示画面、１４  触覚情報呈示装置、１６  呈示部位、２０  音響情報生成処理部、２２  触覚情報生成処理部、２４  呈示部位駆動部、２６  操作受付部、２８  位置検出部、３０  仮想空間情報管理部、３２  音出力処理部、３４  表示処理部、３６  音響情報記憶部、４０  ソース音源記憶部、４２  仮想空間情報記憶部、４４  音響情報記憶部、４６  触覚情報記憶部。
【図１】
2005301827.tif 000003
【図２】
2005301827.tif 000004
【図３】
2005301827.tif 000005
【図４】
2005301827.tif 000006
【図５】
2005301827.tif 000007