(57)【特許請求の範囲】
【請求項１】
送信装置および受信装置で、反射面を備えた仮想音響環境を処理する方法において、
前記送信装置において、仮想音響環境に含まれている反射面を、音響信号に対してパラメータに依存する影響を有するフィルタによって記述し、
前記フィルタに関連する前記パラメータを前記送信装置から前記受信装置へと伝送し、
前記受信装置において、前記パラメータに依存する影響を有するフィルタによって仮想音響環境を再構成することを特徴とする方法。
【請求項２】
各フィルタに関する前記パラメータは反射面の音響反射、および／または吸収、および／または伝達特性を表す係数であることを特徴とする請求項１に記載の方法。
【請求項３】
各フィルタに関する前記パラメータは、下記の比、
【数１】
0004684415.tif 000004
として表されるフィルタの伝達関数のＺ変換の係数〔ｂ０ ｂ１ ａ１ ｂ２ ａ２…〕であることを特徴とする請求項１に記載の方法。
【請求項４】
前記方法が、
送信装置が、各フィルタに関するパラメータに依存する音響信号に対する効果を有するフィルタによって表される、反射面を有するある仮想音響環境を創出するステップと、
各フィルタに関する前記パラメータについての情報を前記送信装置から前記受信装置に伝送するステップと、
仮想音響環境を再構成するために、受信装置が各フィルタに関するパラメータに依存する音響信号に対する効果を有するフィルタからなるフィルタ・バンクを生成し、かつ送信装置によって伝送された情報に基づいて各フィルタに関するパラメータを生成するステップと、
からなることを特徴とする請求項１に記載の方法。
【請求項５】
送信装置は、ＭＰＥＧ−４規格に基づくデータストリームの一部として、各フィルタに関するパラメータの情報を受信装置に伝送することを特徴とする請求項４に記載の方法。
【請求項６】
送信装置はＭＰＥＧ−４規格に従ったデータストリームに含まれるＢＩＦＳ部分の一部として各フィルタに関連するパラメータに関する情報を受信装置に伝送し、前記ＢＩＦＳ部分は音響パラメータを伝送するために使用する所定の欄を備えていることを特徴とする請求項５に記載の方法。
【請求項７】
送信装置が、各フィルタに関するパラメータに左右される音響信号に対する影響を及ぼすフィルタによって表わされる第１集合の反射面で或る仮想音響を創出するステップと、
送信装置が、前記第１集合の反射面内の或る反射面を表わす各フィルタに関連する前記パラメータに関する情報を受信装置に伝送するステップと、
仮想音響環境を再構成するために、受信装置が、前記第１集合の反射面の真部分集合である第２集合の反射面を記述するフィルタからなるフィルタ・バンクを形成するステップとからなり、前記第２集合の反射面内の反射面の数は受信装置の容量によって左右されることを特徴とする請求項４に記載の方法。
【請求項８】
各フィルタに関連する前記パラメータは一定数の標準的な反射面を含むデータベース内の標準的な反射面の識別子であり、前記データベースは受信装置のメモリ内に記憶され、かつ前記データベースに含まれる反射面を記述するように構成されたパラメータを含み、前記データベースの或る標準的な反射面の識別子が受信装置に伝送されると、受信装置はデータベースから対応するフィルタのパラメータを読み出すように構成されていることを特徴とする請求項１に記載の方法。
【請求項９】
前記フィルタの少なくとも１つは連続する３つの段からなっており、そのうちの第１のフィルタ段は送信媒体中での減衰を表わし、第２のフィルタ段は反射材料への吸収を表わし、第３のフィルタ段は音源の指向性を考慮に入れるように構成されており、前記第１の段は音源から反射面を経て聴取ポイントへと進行する距離と、湿度、気圧、および温度のような伝達媒体の特性の双方を考慮に入れるように構成されていることを特徴とする請求項１に記載の方法。
【請求項１０】
反射面を備えた仮想音響環境を処理するシステムにおいて、
送信装置と、受信装置と、双方の装置の間で電気的にデータ伝送するための手段と、
前記受信装置内に、仮想音響環境に含まれる反射面をモデル化するために、パラメータ化されたフィルタを備えたフィルタ・バンクを形成する手段と、
前記送信装置から前記受信装置に前記パラメータ化されたフィルタを記述する或るパラメータを伝送する手段と、
を備えていることを特徴とするシステム。
【請求項１１】
パラメータ化されたフィルタの特性を表わすパラメータをＭＰＥＧ−４規格に基づくデータストリームに添付するための送信装置内のマルチプレクサと、パラメータ化されたフィルタの特性を表わすパラメータをＭＰＥＧ−４規格に基づくデータストリームから検出するための受信装置内のデマルチプレクサとを備えたことを特徴とする請求項１０に記載のシステム。
【請求項１２】
送信装置において、反射面を備えた仮想音響環境を処理する方法であって、
前記送信装置において、仮想音響環境に含まれている反射面を、音響信号に対してパラメータに依存する影響を有するフィルタによって記述し、
前記送信装置は、受信装置内で仮想音響を再構成するために、前記フィルタに関するパラメータを前記受信装置に送信することを特徴とする方法。
【請求項１３】
受信装置が仮想音響環境を処理する方法であって、
仮想音響環境に含まれている反射面を記述するフィルタであって、音響信号に対してパラメータに依存する影響を有するフィルタに関連する前記パラメータを、送信装置から受信するステップと、
特性が前記パラメータに依存する複数のフィルタによって仮想音響環境を再構成するステップと、
を有することを特徴とする方法。
【請求項１４】
仮想音響環境に含まれている反射面を、音響信号に対してパラメータに依存する影響を有するフィルタによって記述する手段と、
受信装置内で仮想音響環境を再構成するために、前記フィルタに関するパラメータを受信装置に送信する手段と、
を有することを特徴とする送信装置。
【請求項１５】
仮想音響環境に含まれている反射面を記述するフィルタであって、音響信号に対してパラメータに依存する影響を有するフィルタに関する前記パラメータを、送信装置から受信する手段と、
特性が前記パラメータに依存する複数のフィルタによって仮想音響環境を再構成する手段と、
を有することを特徴とする受信装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は聴取者に対してある空間に対応する人工的な聴覚的印象を創出することができる方法とシステムとに関する。本発明は特に、ユーザーに提示される情報をディジタル的に伝送し、処理し、および／または圧縮するシステムでの前記のような聴覚的な印象の伝送に関する。
【０００２】
仮想音響環境とは、電気的に再生された音響を聴く人が自分がある空間にいるようにイメージできるような聴覚的な印象のことである。仮想音響環境を創出する簡単な手段は、聴取者がある空間の印象を受ける残響を加えることである。複雑な仮想音響環境はある現実空間を模倣しようとする場合が多く、しばしば前記空間のオーラリゼーション（音響化）と呼ばれる。このようなコンセプトは例えばＭ．クライナー、Ｂ．−Ｉ．ダレッバック、ＰＺスベンソン共著の論文「オーラリゼーション−その概要」（１９９３年、音響工学協会ジャーナル、第４１巻１１号、８６１−８７５ページ）に記載されている。オーラリゼーションは自然に仮想視覚環境の創出と組み合わせることができるので、適宜の表示装置、およびスピーカまたはイヤホーンを備えているユーザーは希望する現実、またはイメージ空間を知覚し、この空間内を“移動する”ことさえできるので、その聴覚−視覚的な印象はユーザーが知覚ポイントとして前記環境のどのポイントを選択するかによって異なってくる。
【０００３】
仮想音響環境の創出は３つの要因、すなわち音源のモデル化、空間のモデル化、および聴取者のモデル化に区分される。本発明は特に空間のモデル化に関するもので、その目的は音響がどのように伝搬し、前記空間でどのように反射され、かつ減衰されるかのアイデアを創出し、かつこのアイデアを視聴者が利用できる電気的な形式で伝達することである。空間の音響をモデル化する公知の方法はいわゆる音線追跡および虚音源方式である。前者の方法では、音源によって発生される音響は実質的に直線的に伝搬する“音線”からなる三次元の音束に分割され、次に各々の音線が処理される空間内をどのように伝搬するかの計算が行われる。聴取者が受ける聴覚的な印象は、一定期間中に、ある最大の反射数を経て聴取者が選択した聴取ポイントに到達する音線によって表される音響を加えることによって創出される。虚音源方式の場合は、オリジナルの音源ごとに複数の仮想の虚音源が生成されるので、このような仮想音響は点検される反射面に対する音源の鏡像である。点検される各々の反射面の背後には、聴取ポイントとの距離が、反射を介して測定されたオリジナルの音源と聴取ポイントとの距離に等しい１つの虚音源が配置されている。更に、虚音源からの音響は実際に反射される音響と同じ方向から聴取ポイントに到達する。聴覚的な印象は虚音源によって生成される音響を加えることによって得ることができる。
【０００４】
従来の方法では計算のための負荷が極めて大きい。仮想環境が例えばラジオ放送またはデータ・ネットワークを介して伝送されるものと想定すると、ユーザーの受信機は継続的に数万もの音線を追跡するか、または数千もの虚音源により発生される音響を付加しなければならない。その上、ユーザーが聴取ポイントの位置を変更することを決めるごとに絶えず計算のベースを変更しなければならない。現行の装置と従来の方法ではオーラライズされた音響環境を伝送することは実質的に不可能である。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、仮想音響環境を適切な計算負荷でユーザーに伝達できる方法とシステムとを提供することにある。
【０００６】
【課題を解決するための手段】
本発明の目的は、モデル化される環境を、パラメータ化された反射および／または吸収モデル、並びに伝達モデルが生成されるセクションに区分し、かつ主としてモデルのパラメータをデータ伝送で処理することによって達成される。
【０００７】
本発明の方法は、仮想音響環境中に含まれる反射面がフィルタによって表わされ、音響信号に対するそのフィルタの効果は各フィルタに関するパラメータに依存し、そのパラメータは送信装置から受信装置へと伝達されることを特徴とする。
【０００８】
本発明は更に、送信装置と、受信装置と、送信装置と受信装置との間で電子データの伝送を実現する手段とを含み、
仮想音響環境中に含まれる反射面をモデル化するためにパラメータ化されたフィルタを含むフィルタ・バンクを創出する手段と、
前記パラメータ化されたフィルタを記述する所定のパラメータを前記送信装置から受信装置へと伝送する手段とを含むことを特徴とするシステムに関する。
【０００９】
本発明に基づいて、空間の音響特性を、その原理が表面の視覚的モデル化から公知であるような方法でモデル化することができる。ここで表面とは極めて一般的に点検される空間のオブジェクトを意味しており、従ってオブジェクトの特性はその空間のために生成されるモデルに関しては比較的均質である。点検される各表面ごとに、（モデルに視覚的な特性が含まれている場合は、その視覚的特性に加えて）表面の音響特性を表わす複数の係数が定義され、このような係数は例えば反射率、吸収率、および伝達率である。より一般的には、表面についてあるパラメータ化された伝達関数が定義されると言ってもよい。生成される空間のモデルでは、前記表面は前記伝達関数を実現するフィルタのことである。システムへの入力として音源からの音響を用いる場合は、伝達関数によって生成される応答は、前記表面に当たった場合の音響のことである。空間の音響モデルは各々が空間内のある表面である複数のフィルタによって形成される。
【００１０】
フィルタの設定が表面の音響特性を表し、また、フィルタによって実現されるパラメータ化された伝達関数が判明している場合は、ある表面を表わすにはその表面を特徴付ける伝達関数のパラメータを付与するだけで充分である。仮想環境をデータストリームとして伝送することを意図するシステムでは、受信機および／または再生装置が備えられ、そのメモリにはシステムが使用するフィルタおよび伝達関数の種類（単数または複数）が記憶される。装置はその入力データとして機能するデータストリームを、例えばラジオまたはテレビ受信機によって受信し、インターネット・ネットワークのようなデータ・ネットワークからそれをダウンロードし、または記録手段から局部的に読み出すことによって獲得する。動作の開始時に、装置はデータストリームから、創出される仮想環境内の表面をモデリングするために使用されるパラメータを取り出す。これらのデータと記憶されたフィルタの種類および伝達関数の種類とを利用して、装置は創出される仮想環境の音響特性に対応するフィルタ・バンクを形成する。動作中、装置はユーザーに対して再生しなければならない音響をデータストリームから取り出し、それによって装置が形成したフィルタ・バンクへと音響を供給し、その結果、処理済みの音響を獲得し、この音響を聴くユーザーは希望の仮想環境の印象を知覚する。
【００１１】
ある標準的な表面からなるデータベースを作成し、かつ受信機／再生装置のメモリに記憶することによって、必要な伝送されるデータ量を更に削減することができる。データベースには、データベースによって定義される標準的な表面を記述することができるパラメータが含まれている。創出される仮想環境が標準的な表面だけを備えている場合は、データベース内の標準的な表面の識別子だけをデータベース内で伝送すればよいので、これらの識別子に対応する伝達関数のパラメータをデータベースから読み出すことができ、これらを別個に受信機／再生装置に伝送する必要はない。データベースは、システムで一般に使用されるフィルタの種類および伝達関数とは同一ではなく、必要時にデータストリームと共に伝送される場合には過剰なシステムのデータ伝送容量を消費することになる複雑なフィルタの種類および／または伝達関数に関する情報をも含むことができる。
【００１２】
【実施例】
次に本発明を例示された好適な実施例と、添付図面とを参照して詳細に説明する。対応する部品には同一の参照番号が付されている。
【００１３】
図１は音源１００と、反射面１０１および１０２と、聴取ポイント１０３とを含む音響環境を示している。更に、妨害音源１０４が音響環境に属している。音源から聴取ポイントに伝搬する音響は矢印で示されている。音響１０５は音源１００から聴取ポイント１０３に直接伝搬する。音響１０６は壁１０１から反射し、音響１０７は窓１０２から反射する。音響１０８は妨害音源１０４から発生する音響であり、この音は窓１０２を介して聴取ポイント１０３に到達する。全ての音響は反射の瞬間、および窓ガラスを通過する場合を除いて、点検される音響環境を満たす空気中を伝搬する。
【００１４】
空間のモデル化に関して、図示した音響は全て異なる性状を呈する。直接伝搬する音響１０５は音源と聴取ポイントとの距離および空気中の音速に起因する遅延と、空気に起因する減衰とによって影響される。壁から反射した音響１０６は、遅延および空気による減衰に起因する影響に加えて、音響の減衰、および障害物に当たった場合に生ずることがある位相ずれによっても影響される。同じ要因が窓から反射した音響１０７にも影響を及ぼすが、壁と窓ガラスの材料は音響的に性質が異なるので、音響はこれらの反射に際して異なる態様で反射し、減衰し、位相ずれする。妨害音源からの音響１０８は窓ガラスを通過するので、これを聴取ポイントで知覚する可能性は、遅延および空気による減衰による影響に加えて、窓ガラスの透過特性によって影響される。この例では壁は、妨害音源１０４により発生される音響が壁を透過して聴取ポイントに達しないような良好な遮音特性を有しているものと見なすことができる。
【００１５】
図２は一般にフィルタ、すなわちある伝達関数Ｈを有し、時間依存性の信号を処理するようにされた装置２００を示している。時間依存性の衝撃関数Ｘ（ｔ）はフィルタ２００内で時間依存性の応答関数Ｙ（ｔ）に変換される。時間依存性の関数を公知のように例えばＺ−変換で表わす場合は、伝達関数のＺ−変換Ｈ（ｚ）は下記のような比率として表現することができる。
【００１６】
【数２】
0004684415.tif 000002
【００１７】
それによって、任意の伝達関数のパラメータの形式で送信するには、Ｚ−変換の式で用いられる係数〔ｂ０ ｂ１ ａ１ ｂ２ ａ２ ．．．〕を送信することで充分である。
【００１８】
ディジタル信号処理を利用したシステムの場合は、フィルタ２００は例えば、公知のＩＩＲ（無限インパルス応答）フィルタ、またはＦＩＲ（有限インパルス応答）フィルタであってよい。本発明に関しては、フィルタ２００をパラメータ化されたフィルタとして定義できることが不可欠である。上記の伝達関数の定義に替わるより簡単な定義は、フィルタ２００内でインパルス信号を所望の表面特性を表わす係数の集合で乗算することであると定義することであり、そこでフィルタのパラメータは例えば信号の反射率、および／または吸収率、通過する信号の減衰率、信号遅延、および信号の位相ずれである。パラメータ化されたフィルタは伝達関数を実現することができ、これは常に同じ種類であるが、伝達関数の異なる部分の相対的な割当てはどのパラメータがフィルタに与えられるかに応じて応答が異なるように見える。係数だけで定義されたフィルタ２００の目的が音響を特に良く反射する表面をなすことである場合、およびインパルスＸ（ｔ）がある音響信号である場合は、フィルタにはパラメータとして１に近い反射率と、ゼロに近い吸収率とが付与される。高い音響と低い音響とは異なる態様で反射および吸収される場合が多いので、フィルタの伝達関数のパラメータは周波数依存パラメータであってよい。
【００１９】
本発明の好適な実施例では、モデル化される空間の表面はノードに区分され、不可欠な全てのノードには、フィルタに付与されたパラメータに応じてフィルタの伝達関数が反射、吸収、および伝達される音響を異なる比率で表わす独自のフィルタ・モデルが形成される。図１に示したモデル化される空間は、幾つかのノードしかない簡単なモデルによって表わすことができる。図３ａは各フィルタがモデル化される空間の表面を表わす３つのフィルタからなるフィルタ・バンクを示している。第１フィルタ３０１の伝達関数は図２では別個には示されていない反射を表わすことができ、第２のフィルタ３０２の伝達関数は壁からの音の反射を表わすことができ、また、第３のフィルタ３０３の伝達関数は窓ガラスからの音響の反射と、窓ガラスを経た音響の伝達の双方を表わすことができる。音源１００からの音響がインパルス関数Ｘ（ｔ）として作用する場合は、フィルタ３０１、３０２、および３０３のパラメータｒ（反射率）、ａ（吸収率）、およびｔ（伝達率）は、フィルタ３０１によって得られる応答が窓ガラスから反射した音響を表わすように設定されている。例えば壁が吸収率が高い材料からなり、窓ガラスが反射率が高い材料からなっているものと想定すると、図示した実施例では反射率ｒ２はゼロに近く、窓ガラスの反射率ｒ３は対応して１に近い。一般に、ある表面の吸収率と反射率とは互いに依存していると言うことができる。すなわち、吸収率が低いほど反射率が高く、逆の場合も同様である（数学的には依存関係は
【数３】
0004684415.tif 000003
の形式で表わされる）。
【００２０】
図１に示した妨害音響１０８を図３ａのフィルタ・バンクでモデル化したい場合は、フィルタ３０１と３０２の吸収率ａ１、ａ２が１に設定されることにより、妨害音響の反射成分は形成されない。フィルタ３０３では伝達率ｔ３は、それによってフィルタ３０３が窓ガラスを経て伝達された音響を表わすことができるような値に設定される。
【００２１】
図３ａは更に、異なる経路に沿って聴取ポイントへと伝搬する音響成分が相互に時間差を生ずるようにする遅延素子３０５を示している。直接伝搬する音響は最短時間で聴取ポイントに達し、このことは音響が遅延素子の第１段３０５ａだけで遅延されることで示されている。壁を経て反射した音響は遅延素子の最初から２つの段３０５ａおよび３０５ｂで遅延され、窓を経て反射した音響は遅延素子の全ての段３０５ａ、３０５ｂ、および３０５ｃで遅延される。図１では音響に包まれる距離は窓を経た場合と壁を経た場合で殆ど同一であるので、遅延手段３０５の異なる段は異なる長さの遅延を表わすものと演繹できる。第３の段３０５ｃでは音響はそれ以上は大幅に遅延することはできない。代替実施例として、図３ｂに記載の解決方法が考えられ、そこでは遅延手段の全ての段は同サイズであるが、所望のそれぞれの遅延に応じて異なるポイントで遅延素子からフィルタへと出力することができる。
【００２２】
図４は送信装置４０１と受信装置４０２とを有するシステムを示している。送信装置４０１は少なくとも１つの音源と少なくとも１つの空間の音響特性とを含むある仮想音響環境を形成し、これをある形式で受信装置４０２へと伝送する。伝送は、例えば、ラジオまたはテレビ放送としてディジタル形式で、またはデータ・ネットワークを介して行うことができる。伝送は更に、送信装置４０１によって創出された仮想音響環境に基づいて、受信装置のユーザーが入手するＤＶＤディスク（ディジタル汎用ディスク）のようなレコードを作製する。レコードとして伝送される代表的な用途は、音源が仮想楽器であるオーケストラであり、空間が電気的にモデル化された虚構の、または実際のコンサートホールであることにより、受信装置のユーザーはその装置で演奏がホールと異なるポイントでどのような音響を奏でるかを聴くことができるコンサートであってよい。このような仮想環境が音響−視覚環境である場合は、コンピュータ・グラフィックにより実現される視覚部分も含まれる。本発明では送信装置と受信装置とが別個の装置である必要はなく、ユーザーは１つの装置である仮想音響環境を創出することができ、その作品を吟味するために同じ装置を使用することができる。
【００２３】
図４に示した実施例では、送信装置のユーザーはコンピュータ・グラフィックのツール４０３でコンサートホールのようなある仮想環境、および対応するツール４０４で仮想オーケストラの楽士および楽器のようなビデオ・アニメーションを創出する。更に、ユーザーはキーボード４０５で、反射率ｒ、吸収率ａ、および伝達率ｔ、またはより一般的には表面を表わす伝達関数のような、ユーザーが創出する環境の表面の特定の音響特性を入力する。仮想楽器の音響はデータベース４０６からロードされる。送信装置はユーザーによって与えられた情報をブロック４０７、４０８、４０９、および４１０内のビットストリームへと処理し、ビットストリームをマルチプレクサ４１１内のデータストリームへと結合する。データストリームはある形式で受信装置４０２に伝送され、そこでデマルチプレクサ４１２が環境を表わすビデオ部分を抽出し、かつブロック４１３へと供給し、時間依存のビデオ部分、もしくはアニメーションをブロック４１４へと供給し、表面を表わす係数をブロック４１６へと供給する。ビデオ部分はディスプレー駆動ブロック４１７で結合され、ディスプレー４１８へと供給される。音源によって伝達された音響を表わす信号はブロック４１５からフィルタ・バンク４１９へと向けられ、そこではフィルタにブロック４１６から得られ、かつ表面の特性を表わすパラメータが付与されている。フィルタ・バンク４１９は異なる反射と減衰特性とを備え、イヤホーン４２０に向けられる音響を供給する。
【００２４】
図５ａおよび５ｂは本発明に基づく態様で仮想音響環境を実現できる受信装置のフィルタ構成をより詳細に示している。遅延手段３０５は図３ａおよび３ｂに示した遅延手段と対応しており、（例えば異なる経路に沿って反射した音響のような）異なる音響成分の相互の時間差を生成する。フィルタ３０１、３０２、および３０３は本発明に基づく態様であるパラメータが与えられたパラメータ化されたフィルタであることにより、フィルタ３０１、３０２、および３０３、および点だけで図示したその他の対応するフィルタの各々は仮想環境のある表面のモデルを提供する。前記フィルタによって得られる信号は一方ではフィルタ５０１、５０２、および５０３に、また他方では加算器および増幅器５０４を介して加算器５０５に分岐される。これらの部品は反響分岐５０６、５０７、５０８、および５０９、および加算器５１０、並びに増幅器５１１、５１２、５１３、および５１４と共に、ある信号内で反響を発生することができ、それ自体は公知である回路を構成する。フィルタ５０１、５０２、および５０３はそれ自体は公知である指向性フィルタであり、これは例えばＨＲＴＦモデル（ヘッド関連伝達関数）に基づいて異なる方向での聴取者の聴覚の差を考慮に入れるものである。最も好適には、フィルタ５０１、５０２、および５０３は更にいわゆるＩＴＤ遅延（聴覚間時間差）を含んでおり、これは異なる方向から到達する音響成分の相互時間差を表わすものである。
【００２５】
フィルタ５０１、５０２、および５０３内では各信号成分は左および右チャネルに分割され、またはマルチチャネル・システムではより一般的にＮ個のチャネルに分割される。あるチャネルに属する信号は全て加算器５１５または５１６内に組立てられて、加算器５１７または５１８に供給され、そこでそれぞれの反響が各チャネルの信号に追加される。線５１９および５２０はイヤホーンに続いている。図５ａでは、フィルタ３０２と３０３との間、およびフィルタ５０２と５０３との間の点は、本発明が受信装置のフィルタ・バンクに配置されるフィルタ数に制約がないことを意味している。モデル化される仮想音響環境の複雑さに応じて、数百、または数千個ものフィルタを配置してもよい。
【００２６】
図５ｂは反射面を表わすこのようにパラメータ化されたフィルタ３０１を実現する可能性の１つをより詳細に示している。図５ｂでは、フィルタ３０１は連続する３つのフィルタ段５３０、５３１、および５３２を備えており、そのうちの第１の段５３０は（一般には空気である）媒体内の伝搬の減衰を表し、第２の段５３１は反射性材料内で生ずる吸収を表し、第３の段５３２は音源の指向性を考慮に入れている。第１の段５３０では、音響が音源から反射面を経て聴取ポイントへと進行する距離と、空気の湿度、気圧、および気温のような媒体の特性の双方を考慮に入れることが可能である。距離を計算するために、段５３０は送信装置からモデル化される空間の座標系内での音源の位置に関する情報を取得し、また受信装置からユーザーが聴取ポイントとして選択した位置の座標に関する情報を取得する。媒体の特性を記述する情報は送信装置または受信装置のいずれかから第１段５３０によって取得される（受信装置のユーザーは媒体の所望の特性を設定することができる）。デフォールトとして、第２段５３１は送信装置から反射面の吸収率を表わす係数を取得するが、この場合も受信装置のユーザーはモデル化される空間の特性を変更することができる。第３段５３２は、音源から伝達された音響が音源からモデル化される空間内の異なる方向に向けられる態様と、フィルタ３０１によってモデル化される反射面をどの方向に配置するかを考慮するものである。
【００２７】
これまでパラメータを利用して仮想音響環境の特性を処理し、かつ１つの装置から別の装置へと伝送する態様を基本的に説明してきた。次に、本発明を特定の形式のデータ伝送に適用する態様を説明する。“マルチメディア”とはユーザーに音響−視覚オブジェクトを同期的に提示することを意味している。対話式のマルチメディア提示は、例えばエンターテイメントおよび電子通信会議の形式のように将来は広範に利用されるものと考えられる。先行技術ではマルチメディア・プログラムを電気的な形式で伝送する異なる方法を定義する多くの規格が公知である。本特許出願では、特にいわゆるＭＰＥＧ規格（動画エキスパート・グループ）に関して扱い、その中でも特に本出願が提出される時点で準備中であるＭＰＥＧ−４規格の目的は、伝送されるマルチメディア表現がリアルなオブジェクトと仮想オブジェクトとを含むことができ、それらが共にある音響−視覚環境を形成することにある。本発明は更に例えばＶＲＭＬ規格（仮想現実モデリング言語）に基づく場合にも適用することができる。
【００２８】
ＭＰＥＧ−４規格に基づくデータストリームは、（ある種の同期化された音響のような）時間的に連続している部分、および（モデル化される空間内の音源の位置のような）パラメータの双方を含むことができる多重化された音響−視覚オブジェクトを備えている。オブジェクトは階層的オブジェクトとして定義することができ、いわゆる原始オブジェクトは階層の低レベルにある。オブジェクトに加えて、ＭＰＥＧ−４規格に基づくマルチメディア・プログラムはいわゆる場面説明を含んでおり、これはオブジェクトの相互関係、および最も好適には実際のオブジェクトとは別個にエンコードおよびデコードされるプログラムの基本編成の構成に関する情報を含んでいる。場面の説明はＢＩＦＳ部分（場面説明のためのバイナリ形式）とも呼ばれている。本発明に基づく仮想音響環境の伝送は有利には、関連情報の一部がＢＩＦＳ部分で伝送され、一部がＭＰＥＧ−４規格によって定義される構造化音響オーケストラ言語／構造化音響スコア言語（ＳＡＯＬ／ＳＡＳＬ）を使用して伝送されるように実施される。
【００２９】
周知のように、ＢＩＦＳ部分は定義された表面記述（材料ノード）を含んでおり、これにはＳＦＦｌｏａｔ  周囲強度、ＳＦＣｏｌｏｒ  拡散カラー、ＳＦＣｏｌｏｒ  放射性カラー、ＳＦＦｌｏａｔ  シャイニネス、ＳＦＣｏｌｏｒ  化鏡面カラー、およびＳＦＦｌｏａｔ  透過性のような表面を視覚的に表わすパラメータを伝送するための欄が含まれている。前記記述に音響パラメータの伝送に適用できる以下の欄を追加することによって本発明を適用できる。
【００３０】
ＳＦＦｌｏａｔ  拡散音響（ｄｉｆｆｕｓｅＳｏｕｎｄ）
この欄に伝送される値は表面からの音響の反射の拡散性を決定する係数である。係数の値は０と１との間にある。
【００３１】
ＭＦＦｌｏａｔ  反射関数音響（ｒｅｆｆｕｎｃＳｏｕｎｄ）
この欄は問題の表面からの音響の反射をモデル化する伝達関数を決定する単数または複数のパラメータを含んでいる。簡単な係数モデルを用いる場合は、明解にするために、この欄の代わりに別名で反射係数音響と呼ばれる欄を伝送してもよく、その場合は伝送されるパラメータは最も好適には前述の反射係数ｒ、または各々がある所定の周波数帯域での反射を表わす係数の集合と同一である。より複雑な伝達関数を用いる場合は、例えば公式（１）に関連して前述したと同様に伝達関数を決定するパラメータの集合を利用する。
【００３２】
ＭＦＦｌｏａｔ  伝達関数音響（ｔｒａｎｓｆｕｎｃＳｏｕｎｄ）
この欄は以前のパラメータと匹敵する態様で前記表面を透過する音響透過をモデリングする伝達関数を決定する単数または複数のパラメータを伝送する。（各周波数帯域ごとに１つ、または複数の係数。従って明解にするために、欄の名称は伝達係数音響でもよい。または、伝達関数を決定するパラメータ）
【００３３】
ＳＦＩｎｔ  材料ＩＤ音響（ＭａｔｅｒｉａｌＩＤＳｏｕｎｄ）
この欄はその用途を前述したデータベース内のある標準的な材料を識別する識別子を伝送する。この欄によって記述された表面が標準的な材料製ではない場合は、この欄で伝送されるパラメータ値を例えば−１、またはその他の合意された値にすることができる。
【００３４】
欄は周知の材料ノードへの追加の可能性として前述した通りである。代替実施例は一例として音響材料ノードと呼んでもよい新たなノードを定義し、音響材料ノードの一部として上記の欄、または幾つかの同様の、または機能が同じ欄を使用することである。
【００３５】
前述のパラメータは常にある表面に関連している。空間の音響モデル化に関しては、空間全体に関連するあるパラメータを付与することも有利であるので、音響場面ノードを公知のＢＩＦＳ部分に追加することも可能であり、そこで音響場面ノードはパラメータ・リストの形式であり、例えば下記のパラメータを伝送する欄を含むことができる。
【００３６】
ＭＦ音響ノード（ＭＦＡｕｄｉｏＮｏｄｅ）
この欄は、音響場面ノードで与えられた定義によって他のどのノードが影響されるかを示す内容を含む表である。
【００３７】
ＭＦＦｌｏａｔ  反響時間（ｒｅｖｅｒｔｉｍｅ）
この欄は反響時間を指示するためにパラメータ、またはパラメータの集合を伝送する。
【００３８】
ＳＦＢｏｏｌ  空気利用アブストラクト（ｕｓｅａｉｒａｂｓ）
この欄は仮想音響環境のモデル化で空気に起因する減衰を利用すべきか否かを示すイエス／ノー式の欄である。
【００３９】
ＳＦＢｏｏｌ  材料利用（ｕｓｅｍａｔｅｒｉａｌ）
この欄は仮想音響環境のモデリングでＢＩＦＳ部分に与えられた表面の特性を利用すべきか否か示すイエス／ノー式の欄である。
【００４０】
反響時間を示すＭＦＦｌｏａｔ  反響時間の欄は例えば下記の方法で定義することができる。すなわち、この欄に１の値だけが付与された場合は、全ての周波数で反響時間が利用されることを表している。２番目の値がある場合は、連続する値（１番目と２番目の値、３番目と４番目の値、など）が一対の値を形成し、第１の値は周波数帯域を示し、第２の値は前記周波数帯域における反響時間を示す）。
【００４１】
ＭＰＥＧ−４規格の草案から、一般に音響処理を表し、かつモデリングされる空間内の聴取者の位置を表わす聴取ポイント・ノードが知られている。本発明を前記ノードに適用すれば、以下の欄を追加できる。
【００４２】
ＳＦＩｎｔ  空間化ＩＤ（ｓｐａｔｉａｌｉｚｅＩＤ）
この欄に与えられるパラメータは、ＨＲＴＦモデルのような特定の用途、またはユーザーに関する聴取ポイントに関連する関数を識別する識別子を示すものである。
【００４３】
ＳＦＩｎｔ  直接音響再現（ｄｉｒｓｏｕｎｄｒｅｎｄｅｒ）
この欄で伝送される値は反射せずに音源から直接聴取ポイントに達する音響にどのレベルの音響処理が適用されるかを示す。例えば、可能な３つのレベルが考えられ、いわゆる振幅パニング技術が最低レベルに適応される。更に、ＩＴＤ遅延が中間レベルで認められ、最高レベルでは、最も複雑な計算（例えばＨＲＴＦモデル）が適用される。
【００４４】
ＳＦＩｎｔ  反射音響再現（ｒｅｆｓｏｕｎｄｒｅｎｄｅｒ）
この欄は上記の欄に対応するが、反射を経て到達する音響に関するレベル選択を表わすパラメータを伝送する。
【００４５】
更にスケーリングは、仮想音響環境がＭＰＥＧ−４、またはＶＲＭＬ規格、または本発明に基づくその他の接続方法に基づいてデータストリーム内で伝送される場合に考慮に入れることができるもう一つの特徴である。全ての受信装置は必ずしも送信装置によって創出される仮想音響環境の全てを利用できる訳ではなく、その理由は、この仮想音響環境には定義された極めて多くの表面が含まれるので、受信装置におけるモデル処理には計算に関して負荷がかかり過ぎるからである。このことを考慮に入れるため、表面を表わすパラメータを、音響に関する最も重要な表面を受信装置によって分離することができるように構成することができ（表面は例えば表面が音響上の重要度に対応する順序で配列されているリスト内に定義される）、それによって容量に制約がある受信装置は可能な限り多くの表面を重要度の順に処理できる。
【００４６】
上記の欄とパラメータの命名は勿論一例に過ぎず、本発明を限定することを意図するものではない。
【００４７】
結論として、本発明の電話接続への、またはより正確には公衆通信網を介したビデオ電話接続への適用について説明する。図６を参照すると、送信電話機６０１と、受信電話機６０２と、公共通信網６０３を介した双方の通信接続とが示されている。一例として、双方の電話機はビデオ電話の用途のために装備され、すなわちマイクロフォン６０４と、音響再生システム６０５と、ビデオカメラ６０６と、ディスプレー６０７とから構成されている。加えて、双方の電話機にはコマンドやメッセージを入力するためのキーボード６０８を備えている。音響再生システムはスピーカ、スピーカ・セット、（例えば図６に示すような）イヤフォン、またはこれらの組合わせでよい。“送信電話機”、および“受信電話機”と言う用語については一方向での音響視覚式送信の下記の簡略な説明を参照されたい。標準的なビデオ電話接続は勿論双方向性である。公共通信網６０３はディジタル式セルラー・ネットワーク、公衆交換回線網、統合サービス・ディジタル・ネットワーク（ＩＳＤＮ）、インターネット、構内通信網（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはこれらの幾つかの組合わせでよい。
【００４８】
本発明を図６のシステムに応用する目的は、受信電話機６０２のユーザーに対して聴覚・視覚的な印象をできるだけ自然に近いように、またはできるだけある種の仮想目標の印象に近いように、送信電話機６０１のユーザーの聴覚・視覚的な印象を与えることにある。本発明の応用とは、送信電話機６０１がそれが現在位置している、または送信電話機のユーザーが提示したい音響環境のモデルを構成することを意味している。前記モデルはパラメータ化された伝達関数としてモデリングされる多数の反射面からなっている。モデルを構成する際に、送信電話機は多数の試験信号を発信し、それらに対する現在の動作環境の応答を測定することによって独自のマイクロフォンと音響再生システムを利用できる。通信接続のセットアップ中、送信電話機は受信電話機に対して構成されたモデルを記述するパラメータを送信する。受信電話機はこれらのパラメータを受信するとそれに応答して、パラメータ化されたそれぞれの伝達関数を有するフィルタからなるフィルタ・バンクを構築する。その後、送信電話機から入る全ての音響信号は、受信電話機の音響再生システムで対応する音響信号が再生される前に、構成されたフィルタ・バンクを通過するようにされ、ひいては必要な聴覚・視覚的印象の音響部分が再生される。
【００４９】
音響環境のモデルを構成する際に、幾つかの基本的な想定を行ってもよい。対人ビデオ電話接続を行うユーザーは通常は顔とディスプレーとの間に約４０−８０ｃｍの距離を置く。このように、対面通話するユーザーを記述しようとする仮想音響環境では、音源と聴取ポイントとの自然な距離は８０ｃｍから１６０ｃｍの間である。室内の壁からの反射を考慮できるように、ユーザーがビデオ電話装置と共に居る室のサイズの幾つかの基本的な想定を行うことも可能である。勿論、所望の音響環境のパラメータを手動的に送信電話機および／または受信電話機にプログラムすることも可能である。
【００５０】
【発明の効果】
以上説明したように、モデル化される環境を、パラメータ化された反射および／または吸収モデル、並びに伝達モデルが生成されるセクションに区分し、かつ主としてモデルのパラメータをデータ伝送で処理することによって、仮想音響環境を適切な計算負荷でユーザーに伝達できる。
【図面の簡単な説明】
【図１】  モデル化される音響環境を示す図。
【図２】  パラメータ化されたフィルタを示す図。
【図３】  ａはパラメータ化されたフィルタによって形成されたフィルタ・バンクを示す図、ｂはａの構成の修正形を示す図。
【図４】  本発明を適用するシステムを示す図。
【図５】  ａは図４の一部をより詳細に示す図、ｂはａの一部をより詳細に示している。
【図６】  本発明を適用するための別のシステムを示す図。
【符号の説明】
１００      音源
１０１      反射面
１０２      反射面
１０３      聴取ポイント
１０４      妨害音源
１０５      音響
１０６      反射音響
１０７      反射音響
２００      フィルタ
３０１      第１フィルタ
３０２      第２フィルタ
３０３      第３フィルタ
３０４      加算器
３０５      遅延素子
４０１      送信装置
４０２      受信装置
４０３      コンピュータ・グラフィック・ツール
４０４      ツール
４０５      キーボード
４０６      データベース
４０７      ブロック
４０８      ブロック
４０９      ブロック
４１０      ブロック
４１１      マルチプレクサ
４１２      デマルチプレクサ
４１３      ブロック
４１４      ブロック
４１５      ブロック
４１６      ブロック
４１７      ブロック
４１８      ディスプレー
４１９      フィルタ・バンク
４２０      イヤホーン
５０１      フィルタ
５０２      フィルタ
５０３      フィルタ
５０４      増幅器
５０５      加算器
５０６      エコー分岐
５０７      エコー分岐
５０８      エコー分岐
５０９      エコー分岐
５１０      加算器
５１１      増幅器
５１２      増幅器
５１３      増幅器
５１４      増幅器
５１５      加算器
５１６      加算器
５１７      加算器
５１８      加算器
５１９      線
５２０      線
５３０      フィルタ段
５３１      フィルタ段
５３２      フィルタ段
６０１      送信電話機
６０２      送信電話機
６０３      公衆通信網
６０４      マイクロフォン
６０５      音響再生システム
６０６      ビデオカメラ
６０７      ディスプレー
６０８      キーボード
【図１】
0004684415.tif 000005
【図２】
0004684415.tif 000006
【図３】
0004684415.tif 000007
【図４】
0004684415.tif 000008
【図５】
0004684415.tif 000009
【図６】
0004684415.tif 000010