(57)【要約】  オーディオ作品のオーディオファイルを、シーンをまたがり最適化された態様で記憶し（４）、波面合成システムの高度な使用を必要とするシーンのオーディオファイルを読み出す（１、２）際に、非常に短いメモリアクセス時間で済むようにする一方、波面合成システムのそれほど高度な使用を必要としないシーンについては、より長いアクセス時間を許容する。【選択図】図１ａ
2008537833.tif 000002
【特許請求の範囲】
【請求項１】
書き込み手段と読み出し手段（２）を備える記憶装置（１）にオーディオ作品のオーディオファイルを記憶するための装置であって、オーディオ作品は、波面合成システム（３）のレンダラによりレンダリングされることになっており、オーディオ作品がいくつかのシーンを含み、シーンごとにシーン記述が与えられ、かつシーンがそのシーンのオーディオオブジェクトの時間シーケンスを規定し、オーディオオブジェクトが、仮想音源に関する情報とオーディオオブジェクトに関連するオーディオファイルの識別情報とを含み、装置は、
シーン記述を調べかつ第２のシーンよりも波面合成システム（３）のより高い処理能力を必要とする第１のシーンを判別するための手段（４）と、
読み出し手段（２）が、第１のシーンのオーディオファイルが記憶装置（１）上にランダムに記憶されている場合よりも、第１のシーンのオーディオファイルを素早く読み出すことができるように、第１のシーンのシーン記述により識別されるオーディオファイルが記憶装置（１）上に書き込まれるよう、書き込み手段（２）を制御するための制御手段（５）とを備える、装置。
【請求項２】
第１のシーンのオーディオオブジェクトおよび第２のシーンのオーディオオブジェクトが、同じオーディオファイルを識別し、かつ
読み出し手段（２）が、第１のシーンにおいて識別されたオーディオファイルを読み出す際に、第２のシーンのオーディオファイルを読み出す際にオーディオファイルが読み出されるよりも短いアクセス時間で、オーディオファイルを読み出すことができるように、オーディオファイルが記憶装置（１）に記憶されるよう、制御手段（５）が書き込み手段（２）を制御するよう形成される、請求項１に記載の装置。
【請求項３】
記憶装置（１）が、トラック（７）を含み、そのトラックに沿って読み出し手段（２）が移動し、かつ
制御手段（５）は、第１のシーンのオーディオファイルがそのトラックに沿って書き込まれるように、書き込み手段を制御するよう形成される、請求項１または２に記載の装置。
【請求項４】
制御手段（５）は、記憶装置（１）が単一のアクセス媒体を有する並列記憶装置であり、レンダラによって並列にレンダリングされるべき第１のシーンのオーディオファイルが、異なる単一アクセス媒体上に記憶されるように、書き込み手段（２）を制御するよう形成される、請求項１〜３のいずれかに記載の装置。
【請求項５】
制御手段（５）は、第１のシーンのオーディオファイルが、オーディオファイルを識別する第１のシーンのオーディオオブジェクトの発生の時間的順序に従って、トラック（７）に沿って記憶されるように、書き込み手段（２）を制御するよう形成される、請求項３に記載の装置。
【請求項６】
記憶装置がトラックを含み、そのトラックに沿って読み出し手段（２）が移動し、かつ
制御手段（５）は、オーディオファイルが、オーディオファイルを識別するオーディオオブジェクトに並列にレンダラによりレンダリングされるオーディオオブジェクトを識別するもう１つのオーディオファイルの直前または直後のトラックに記憶されるように、書き込み手段（２）を制御するよう形成される、請求項２に記載の装置。
【請求項７】
チェックするための手段（４）は、他のシーンよりも、レンダラにより同時にレンダリングされるオーディオオブジェクトを数多く含むシーンを、第１のシーンとして、判別するよう形成される、請求項１〜６のいずれかに記載の装置。
【請求項８】
調べるための手段（４）は、波面合成システムのシーンを誘因とする使用が、予め定められた最大使用の割合に到達した場合にのみ、第１のシーンとしてシーンを判別するよう形成される、請求項１〜７のいずれかに記載の装置。
【請求項９】
制御手段（５）は、第１のシーンのオーディオファイルが、記憶装置（１）上に記憶された後、第２のシーンのオーディオファイルが、まだ空いたままになっている記憶装置（１）の位置に記憶されるように、書き込み手段（２）を制御するよう形成される、請求項１〜８のいずれかに記載の装置。
【請求項１０】
記憶装置（１）は、１つの記憶ディスクまたはいくつかの記憶ディスクを有するハードディスクであり、書き込み／読み出しヘッド（２）が記憶ディスクごとに設けられる、請求項１〜９のいずれかに記載の装置。
【請求項１１】
書き込み手段および読み出し手段は、同じ１つの物理的要素（２）として形成される、請求項１〜１０のいずれかに記載の装置。
【請求項１２】
制御手段（５）は、第１のシーンのオーディオファイルを読み出す際に、読み出し手段がジャンプする必要がないよう、第１のシーンのオーディオオブジェクトにより識別されるオーディオファイルが、記憶装置（１）に連続的に書き込まれるように、書き込み手段（２）を制御するよう形成される、請求項１〜１１のいずれかに記載の装置。
【請求項１３】
書き込み手段と読み出し手段（２）とを有する記憶装置（１）にオーディオ作品のオーディオファイルを記憶するための方法であって、オーディオ作品は、波面合成システム（３）のレンダラによりレンダリングされることになっており、オーディオ作品が、いくつかのシーンを含み、シーンごとに、シーン記述が与えられ、かつシーンがシーンのオーディオオブジェクトの時間シーケンスを規定し、オーディオオブジェクトが、仮想音源に関する情報と、オーディオオブジェクトに関連するオーディオファイルの識別情報とを含み、方法は、
シーン記述を調べかつ第２のシーンよりも波面合成システム（３）のより高い処理能力を必要とする第１のシーンを判別するステップ（４）と、
第１のシーンのオーディオファイルが記憶装置（１）上にランダムに記憶されている場合よりも、読み出し手段（２）が、第１のシーンのオーディオファイルを素早く読み出すことができるように、第１のシーンのシーン記述により識別されるオーディオファイルが記憶装置（１）上に書き込まれるよう、書き込み手段（２）を制御するステップ（５）とを備える、方法。
【請求項１４】
コンピュータ上で実行した際、請求項１６に記載の記憶方法を実行するための、プログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、波面合成の分野に関し、特に、処理すべきデータを用いた波面合成レンダリング手段の制御に関する。
【０００２】
本発明は、波面合成の概念に関し、特に、マルチレンダラシステムに関する効率的な波面合成の概念に関する。
【背景技術】
【０００３】
娯楽用電子機器の分野では、新しい技術および革新的な製品への需要がますます高まっている。最適な機能性および能力を提供することが、新たなマルチメディアシステム成功の重要な前提である。これは、デジタル技術、特にコンピュータ技術を採用することにより達成される。この例には、強化された現実に近い視聴覚印象を提供するアプリケーションがある。以前のオーディオシステムでは、自然な環境のみならず仮想環境の空間音声再生の品質にもかなり問題があった。
【０００４】
オーディオ信号のマルチチャネルラウドスピーカでの再生の方法については、何年も前から知られており標準化されている。通常技術はすべて、ラウドスピーカの場所とリスナの位置の両方がすでに送信形式上決まっているという問題がある。リスナに対してラウドスピーカを誤った位置に配置すると、オーディオ品質は著しく低下する。最適な音声は、いわゆるスイートスポットと呼ばれる再生空間の限られた面積でしか得られない。
【０００５】
よりよい自然な空間印象およびオーディオ再生におけるより優れたエンクロージャまたはエンベロープは、新しい技術を使い達成され得る。この技術、いわゆる波面合成（ＷＦＳ）の原則については、デルフト工科大学で研究され、８０年代後半に最初に発表された（バーカウト、エー・ジェイ；デヴリーズ、ディー；ヴォーゲル、ピー、「波面合成による音響制御」ＪＡＳＡ９３、１９９３年）（Berkout, A.J.; de Vries, D.; Vogel, P.: Acoustic control by Wave field Synthesis. JASA 93, 1993）。
【０００６】
この方法は、コンピュータの出力や転送速度に膨大な要求を課すので、波面合成は、現在まで実際にはほとんど採用されていない。今日、マイクロプロセッサ技術およびオーディオ符号化の分野における進歩があって初めて、この技術の具体的な応用が可能である。専門分野における最初の製品は、来年実現が予想される。消費者分野でも、最初の波面合成の応用は、数年のうちに市場に現れると予測されている。
【０００７】
ＷＦＳの基本的な考え方は、波面の理論に関するホイヘンスの原理の応用に基づく。
【０００８】
すなわち、波により捕らえられた各ポイントは、球面状または円形で伝播する要素波の開始点であるとする理論である。
【０００９】
音響学に応用すれば、入来波面の任意の形状はすべて、隣同士に配置された多数のラウドスピーカ（いわゆるラウドスピーカアレイ）によって、複製することができる。最も単純な場合、再生されるべき単一の点音源、線形配列のラウドスピーカおよび各ラウドスピーカのオーディオ信号には、個々のラウドスピーカの放射音場が正しく重なるように、時間遅延と振幅スケーリングとを与える必要がある。音源がいくつかある場合、各音源ごとに、各ラウドスピーカに対する貢献を別個に計算し、得られた信号を加算する。再生する音源が反射する壁を有する室内に存在する場合、反射についても、付加的な音源としてラウドスピーカアレイにより再生する必要がある。こうして、計算における支出は、音源の数と、録音室の反射特性と、ラウドスピーカの数とに強く依存する。
【００１０】
特に、この技術の効果は、再生空間の大きな面積にわたっての自然空間音声印象が可能な点である。既知の技術とは対照的に、音源の方向と距離が非常に正確な態様で再生される。ある限定された程度までは、実際のラウドスピーカアレイとリスナとの間に仮想音源を配置することさえ可能である。
【００１１】
波面合成は、その特性がわかっている環境でよく機能し、特性が変化するかまたは波面合成が環境の実際の特性に合致しない環境特性に基づいて実行される場合には、変則性が生じる。
【００１２】
周囲の特性も、周囲のインパルス応答により記述することができる。
【００１３】
これについては、次の例に基づいて、より詳細に説明する。ラウドスピーカが、壁に対して音声信号を送り、信号の反射が好ましくないと仮定する。この単純な例では、波面合成を利用する空間補償が、最初、この壁の反射を判定して、壁から反射された音声信号が再びラウドスピーカに到達した時期およびこの反射された信号が有する振幅を確認することにより構成される。この壁からの反射が望ましくない場合、波面合成で、対応の振幅で逆位相の信号をラウドスピーカ上の反射信号に押し付け、伝播する補償波が反射波を打ち消し、この壁からの反射を考えられる周囲から除去することで、この壁からの反射を除去できる可能性がある。これには、まず周囲のインパルス応答を計算してから、この周囲のインパルス応答に基づき、壁の特性および位置を決定することにより行われるが、ここで、壁はミラー音源、すなわち入来音声を反射する音源として解釈される。
【００１４】
まず、この周囲のインパルス応答を測定してから、オーディオ信号にかぶせる形でラウドスピーカに対し加える必要がある補償信号を計算し、この壁からの反射の消去が行われるが、それによりこの周囲にいるリスナが、この壁が全く存在しないという音声上の印象を持つことになる。
【００１５】
しかしながら、過補償または補償不足が生じないように、部屋のインパルス応答を正確に決定することが、反射波の最適補償には重要である。
【００１６】
こうして、波面合成により、広い再生領域にわたる仮想音源の正確なマッピングが可能となる。同時に、サウンドマスターやサウンドエンジニアに対し、より複雑な音声風景を創作する上で、新しい技術および創造的な可能性を提供する。８０年代の終わりにデルフト工科大学で開発されたような波面合成（ＷＦＳまたは音場合成とも呼ぶ）は、音声再生のホログラフによるアプローチを表す。キルヒホッフ-ヘルムホルツ積分方程式がこの基礎となる。これは、閉じられた容量の範囲での任意の音場を、この容量の表面上のモノポールおよびダイポール音源（ラウドスピーカアレイ）の分布により発生させることができることを示す。
【００１７】
波面合成において、ラウドスピーカアレイの各ラウドスピーカごとの合成信号を、仮想位置で仮想音源を送出するオーディオ信号から計算するが、ここで、ラウドスピーカアレイのラウドスピーカが出力する個々の音波の重なりから生じる波が、この仮想位置の仮想音源が真の位置を有する真の音源であるかのように、仮想位置の仮想音源によるものであると考えられる波に対応するように、合成信号を、振幅および位相に関して形成する。
【００１８】
一般に、いくつかの仮想音源がさまざまな仮想位置に存在する。合成信号の計算は各仮想位置の仮想音源ごとに行われ、典型的にはひとつの仮想音源が、いくつかのラウドスピーカの合成信号を生じる。ラウドスピーカから見ると、このラウドスピーカは、さまざまな仮想音源にさかのぼるいくつかの合成信号を受信する。これらの音源の重ね合わせは、線形重ね合わせ原理により可能になり、そして、ラウドスピーカから実際に送出される再生信号が得られる。
【００１９】
ラウドスピーカアレイが大きければ大きいほど、すなわち設置されるラウドスピーカの個数が多ければ多いほど、波面合成の可能性はよりよく利用できる。しかしながら、この場合、波面合成ユニットが必要とする計算出力も増大する。これは、一般にチャネル情報についても考慮する必要があるからである。詳細には、これは、原則として、各仮想音源から各ラウドスピーカへそれ自体の送信チャネルが存在することを意味し、かつ原則として、それが各仮想音源が各ラウドスピーカのための合成信号へ導き、かつ／または各ラウドスピーカが仮想音源の数に等しい数の合成信号を得るという事例かもしれないことを意味する。
【００２０】
波面合成の可能性は、仮想音源が移動も可能という点で、映画館関係の応用について特定的に利用されるならば、合成信号の計算、チャネル情報の計算およびチャネル情報と合成信号の結合による再生信号の生成により、かなり大きな計算出力を扱うことになることがわかる。
【００２１】
さらに、この点では、オーディオ再生の品質は、利用可能なラウドスピーカの数が増えれば向上する。これは、ラウドスピーカアレイに存在するラウドスピーカの数が増えれば増えるほど、オーディオ再生品質がますます向上しより現実感を増すことを意味する。
【００２２】
上記のシナリオでは、個々のラウドスピーカのための完全にレンダリングされかつアナログ−デジタル変換された再生信号は、たとえば、２ワイヤの配線を介して、波面合成中央ユニットから個々のラウドスピーカへ送信することができる。これは、すべてのラウドスピーカが同期して作動することがほとんど確実になり、同期目的のためにさらなる手段を必要としないという利点が考えられる。一方、波面合成中央ユニットは、常に、特定の再生室または決まった数のラウドスピーカでの再生のためにのみ製作され得る。これは、各再生室ごとに、かなり大きな計算出力を発揮するそれ専用の波面合成中央ユニットを製作する必要が生じ得ることを意味する。というのも、オーディオ再生信号の計算は、特に多くのラウドスピーカおよび／または多くの仮想音源に対して、少なくとも部分的に並列でかつリアルタイムで行わなう必要があるからである。
【００２３】
ドイツ特許ＤＥ１０２５４４０４Ｂ４は、図７に示すようなシステムを開示する。一方が、中央波面合成モジュール１０である。もう一方が、個々のラウドスピーカモジュール１２ａ、１２ｂ、１２ｃ、１２ｄ、および１２ｅであり、これらは、図１に示すような、実際の物理的なラウドスピーカ１４ａ、１４ｂ、１４ｃ、１４ｄおよび１４ｅに接続される。なお、ラウドスピーカ１４ａ〜１４ｅの数は、５０より多い範囲にあり、典型的な応用では一般に１００をかなり超える数である。それ自体のラウドスピーカが各ラウドスピーカに関連する場合、対応する数のラウドスピーカモジュールが必要である。しかしながら、応用に応じて、ラウドスピーカモジュールから隣接するラウドスピーカの小さなグループに対応することが好ましい。この点に関しては、４つのラウドスピーカに接続されたラウドスピーカモジュールがたとえば同じ再生信号をこの４つのラウドスピーカに供給するか、または対応する異なる合成信号がこの４つのラウドスピーカについて計算され、このラウドスピーカモジュールが、実際にはいくつかの個別のラウドスピーカモジュールからなるが、物理的にはひとつのユニットにまとめられているかは、任意である。
【００２４】
波面合成モジュール１０と各個々のラウドスピーカ１２ａ〜１２eとの間には、専用の伝送路１６ａ〜１６ｅが存在し、各伝送路が中央波面合成モジュールおよびそれ自体のラウドスピーカモジュールに結合される。
【００２５】
所謂ファイアワイヤ伝送方式またはＵＳＢデータ方式等の高いデータレートのシリアルな伝送方式が、波面合成モジュールからラウドスピーカモジュールへデータを送るためのデータ伝送モードとして好ましい。毎秒１００メガビットを超えるデータ転送速度が有利である。
【００２６】
波面合成モジュール１０からラウドスピーカモジュールへ伝送されたデータストリームは、こうして波面合成モジュールで選択されるデータ方式にしたがいフォーマットされかつ通常のシリアルデータ方式で同期情報を与えられる。この同期情報は、個々のラウドスピーカモジュールによりデータストリームから抽出され、かつ個々のラウドスピーカモジュールをそれらの再生について同期するために、すなわち、最終的に、この目的のために与えられたアナログラウドスピーカ信号およびサンプリング（再サンプリング）を得るためのアナログ-デジタル変換に関して使用される。中央波面合成モジュールは、マスターとして動作し、かつすべてのラウドスピーカモジュールがクライアントとして動作する。ここで、個別のデータストリームはすべて、さまざまな伝送路１６ａ〜１６ｅを介して中央モジュール１０から同じ同期情報を得る。これにより、すべてのラウドスピーカモジュールが確実に同期して、すなわちマスター１０と同期して動作し、このことはオーディオ再生システムがオーディオ品質を劣化させず、波面合成モジュールにより計算された合成信号が、対応のオーディオレンダリングの後、個々のラウドスピーカから時間的にずれた態様で放射されないようにする上で、重要である。
【００２７】
上記の概念は、まさに、波面合成システムに関して大きな融通性をもたらし、システムはさまざまな応用方法についてスケーラブルになる。しかしながら、それでも、実際の主なレンダリング、すなわち仮想音源の位置およびラウドスピーカの位置によりラウドスピーカの個々の合成信号を計算する中央波面合成モジュールが、システム全体の代表的「ボトルネック」であると言う問題がある。このシステムでは、「ポストレンダリング」、すなわちチャネル伝送関数等を合成信号に加えることは、分散化した対応ですでに行っており、したがって中央レンダラモジュールと個々のラウドスピーカモジュールとの間で必要なデータ伝送容量は、決定された閾値エネルギより少ないエネルギで合成信号を選択することによりすでに減じられているが、すべての仮想音源は、依然としてある意味全てのラウドスピーカモジュールのためにレンダリングされなければならず、すなわち合成信号に変換される必要がある。ここで、選択は、レンダリングの後に始めて行われる。
【００２８】
このことは、レンダリングが依然としてシステムの全体的容量を決定することを意味する。中央レンダリングユニットは、こうして、同時に３２の仮想音源をレンダリングすることができて、すなわちたとえばこれら３２個の仮想音源のための合成信号を同時に計算すれば、ひとつのオーディオシーンにおいて、一度に３２を超える数の音源が活性である場合、深刻な容量のボトルネックが生じる。単純なシーンについては、これで十分である。より複雑なシーン、特にイマーシブな音声印象、すなわちたとえば、雨が降っていて、多くの雨のしずくが個々の音源を表す場合などは、最大３２音源の容量では十分でないことは明らかである。これに相当する状況は、大人数のオーケストラで、実際にすべてのオーケストラ団員の演奏または少なくとも各楽器のグループをその位置でそれ自体の音源として処理することが望まれる場合などにも存在する。この場合、３２個の仮想音源は、たちまち足りなくなる。
【００２９】
一般的に、既知の波面合成の概念では、個々のオーディオオブジェクトがともに規定されるシーン記述を使用し、シーン記述におけるデータと個々の仮想音源のオーディオデータとを用いて、完全なシーンをレンダラーまたはマルチレンダリング構成によりレンダリングすることができる。ここでは、オーディオオブジェクトがどこで開始され、どこで終わるかを各オーディオオブジェクトについて、正確に規定する。さらに、オーディオオブジェクトごとに仮想音源が存在するべき、すなわち波面合成レンダリング手段に入れられる仮想音源の位置は、対応する合成信号がラウドスピーカごとに生成されるように、正確に表示される。これにより、個々のラウドスピーカから出力された音波を反応として合成信号に重ねることで、音源が、仮想音源の音源位置により規定される再生室または再生室の外にあるある位置に存在するかのような印象を、リスナは感じることになる。
【００３０】
一般に、波面合成システムの能力は限られている。このため、各レンダラの計算能力も限られる。一般に、レンダラは、同時に３２個のオーディオソースを同時に処理することができる。さらに、オーディオサーバからレンダラへの伝送路は、送信帯域幅が限られ、すなわち、秒あたりのビットで表す最大の転送速度を提供する。
【００３１】
たとえば仮想音源が２つしか存在しないような単純なシーンでは、背景雑音に加えてさらに仮想音源が存在する会話を考えると、たとえば同時に３２音源を処理することができるレンダラの処理能力は、問題にならない。さらに、この場合、レンダラへの伝送容量が小さいので、伝送路の容量は十分である。
【００３２】
しかしながら、より複雑なシーンを再生する場合、すなわち３２を超える数の仮想音源を有するシーンを再生する場合に問題が生じる。これは、雨のシーンを正確に再生する場合や、喝采のシーンを自然に再生する場合などに生じるが、３２個の仮想音源に限定されたレンダラの最大計算能力は、たちまち十分ではなくなる。これは、たとえば、聴衆において、喝采をおくる聴衆一人一人が原則的にそれ自体の仮想位置に存在するそれ自体の仮想音源と理解され得るので、大変多数の個別の仮想音源が存在するためである。この制限に対処するため、いくつかの可能性が存在する。すなわち、ひとつの可能性は、シーン記述を作り出す際に、まえもって、レンダラが同時に３２のオーディオオブジェクトを処理する必要がないようにしておくことである。
【００３３】
特に、波面合成処理の容量の増大、すなわち多くの数の仮想音源が個々のまたはいくつかのレンダラモジュールによってレンダリングされることを考えれば、ある時点で、容量のボトルネックに到達することになる。これは、典型的なレンダラが、ある最大数の仮想音源しか一度に処理できないという事実による。この数字は、たとえば３２が考えられる。しかしながら、レンダラの最大処理能力だけが、システムのボトルネックではない。たとえば、３２個の仮想音源を同時に処理するなら、レンダラもその３２個の仮想音源用の対応するオーディオファイルを同時に備える必要がある。一般に、レンダラが有する入力バッファは、実際、データ伝送のための要件を多少正すが、特にレンダラが同時に非常に多数の音源を処理しているとき、すなわち非常に多くのデータがバッファから取り出される場合には、応じてすばやく満たす必要がある。
【００３４】
データ伝送の基礎構造が、データ配信についていけないように設計されていれば、レンダラはある意味でレンダリングするデータがなくなってしまう。レンダラはそれでも、新たなデータが到着するまで、単純に最後のデータを繰り返すことにより、そのような状態を何とか補い得る。しかしながら、これは、データ管理において集中的であり、可聴アーティファクトが生じる原因になり得る。これらのアーティファクトは、仮想音源が、声、音楽等の決定性情報を有する音源の場合には、よりひどいものになる。この現在のデータを繰り返すという状態は、仮想音源が雑音源、または一般に音源と呼ばれるものであれば、それほど致命的ではない。しかし、ここで区別が問題であり、特に、レンダラにとってこのような「追加」の作業は、レンダラが最大使用（負荷）限界ですでに運用されているまさにそのときに実行しなければならないという場合には、特に問題である。つまり、結局のところ、これが、レンダリングするオーディオデータの「枯渇」の原因だからである。
【発明の開示】
【発明が解決しようとする課題】
【００３５】
本発明の目的は、より高品質で、より実施が容易な波面合成を可能にするオーディオファイルを記憶するための概念を提供することである。
【課題を解決するための手段】
【００３６】
この目的は、請求項１に記載のオーディファイルを記憶するための装置、請求項１３に記載のオーディオファイルを記憶するための方法および請求項１４に記載のコンピュータプログラムにより達成される。
【００３７】
本発明は、効率的なデータ構成が明白であれば、その使用限界で作動している場合でさえ、レンダラが十分なデータを供給されるという知見に基づく。一般に、レンダラが供給されるデータは、ＰＣやワークステーションのハードディスク等の記憶装置から読み出される。
【００３８】
しかしながら、オーディオファイルへのアクセス回数は、オーディオファイルがどのように記憶装置内の記憶媒体に記憶されたかに実質的に依存する。ハードディスクの書き込み／読み出しヘッドが連続的にジャンプを行っていると、メモリ装置の読み出し性能があまりに急激に落ちるので、ある種の状況においては、レンダラに十分なデータが供給されるという状態をもはや確保できない。さらに、この状況は、レンダラが使用限界または使用限界に近いレベルで作動するシーンに特に当てはまることがわかった。対照的に、レンダラがそれほど使用限界に近くない状態で作動する別のシーンでは、より問題は少なく、したがって、それほどのデータを必要とするわけではない。したがって、メモリ装置の書き込み／読み出しヘッドのジャンプは、この場合には十分許容可能である。
【００３９】
本発明によれば、ある意味において波面合成再生のための準備として、オーディオファイルの効率的な記憶が行われ、シーンにまたがるメモリ適正化が適用される。したがって、シーン記述を調査して、他の第２のシーンよりも波面合成システムの高い処理能力を必要とする第１のシーンを見つけ出す。そして、記憶装置の書き込み手段を、第１のシーンのシーン記述により識別されるオーディオファイルを記憶装置に書き込むように制御し、記憶装置の読み出し手段が、第１のシーンが記憶装置上で純粋にランダムに記憶される場合と比べてよりすばやく第１のシーンのオーディオファイルを読み出すことができるようにする。読み出しヘッドが現在存在するハードディスクに、すなわち、なんらかのランダムな態様で、ファイルが常に記憶される通常のハードディスク環境とは対照的に、波面合成システムに強く負荷をかけるシーンのためのオーディオファイルが、本発明にしたがい最適な態様で書き込まれる一方、当然他のシーンのオーディオファイルが最適な態様で書き込まれない事態を生じる。しかしながら、このことは問題ではない。というのも、他のシーンにおいては、他のシーンに求められるデータ転送速度がいずれにしてもそれほど高くはないため、またより少ない数の仮想音源が並列で処理されるため、記憶装置がより大きいアクセス時間を有し得るからである。
【００４０】
本発明の好ましい実施例では、特にいくつかのシーンにおいて使用されるオーディオファイルについては、記憶装置上のそのオーディオファイルの記憶は、波面合成システムの最も高度な使用を必要とするシーンについてのメモリアクセスが最適な態様で書き込まれる一方、同じオーディオファイルにアクセスする他のシーンについては多くのジャンプを許容するように、行われる。
【００４１】
ＲＡＩＤアレイのように並列に使用することができるいくつか個別の記憶媒体を有する記憶装置においては、並列の個別の記憶媒体上で並列に使用するためにオーディオファイルを記憶し、それらを容量の問題があるシーンについては、最大の速度で読み出すことができる一方、同時に処理される他のシーンのオーディオファイルは、別個のディスクではなく、利用についてそれほど重要ではなく、そこではそれほど高度に利用されないひとつの同じディスク上などにおかれている。
【発明を実施するための最良の形態】
【００４２】
本発明の好ましい実施例について、添付の図面を参照してより詳細に説明する。
【００４３】
図１は、図１ａに示す実施例における共通の書き込み／読み出しヘッド２として形成される、書き込み手段および読み出し手段を有する記憶装置内に、オーディオ作品のオーディオファイルを記憶するための発明の装置を示す。オーディオ作品は、波面合成システム３のレンダラによりレンダリングされることになる。特に、オーディオ作品は、いくつかのシーンを含み、各シーンについて、それ自体のシーン記述が与えられ、かつシーンがそのシーンのオーディオオブジェクトの時間シーケンスを含む。特に、オーディオオブジェクトが仮想音源に関する情報およびそのオーディオオブジェクトに関連するオーディオファイルの識別情報を含む。
【００４４】
本発明によれば、シーン記述を調査し、かつ波面合成システムに第２のシーンよりもより高い処理能力を要求する第１のシーンを判別するための手段４が設けられる。このために、図１ａに示すとおり、手段４には、波面合成システム３に関する情報、特に同波面合成システムにおけるレンダラの現在の使用についての情報が供給される。手段４が、制御手段５を制御する。読み出し手段２が、第１のシーンのオーディオファイルが記憶装置にランダムに記憶された場合よりも素早く第１のシーンのオーディオファイルを読み出すことができるように、制御手段５は、第１のシーンのシーン記述により識別されるファイル、すなわちより高度な使用のシーンのオーディオファイルが記憶装置１に書き込まれるように、書き込み／読み出しヘッド２を制御するよう形成される。オーディオファイルは、ＣＤやＤＶＤ等の別の記憶装置６からのものが好ましく、かつ制御手段を介して直接記憶装置に書き込まれるか、または記憶装置１の書き込み／読み出しヘッド２へ供給されるが、当然これは、別のメモリ６から直接制御手段により制御された態様で、制御手段５により決定された正しい順序で行われる。
【００４５】
特に、制御手段５は、ハードディスク等の記憶装置１に書き込みを行うよう形成され、それにより全てのオーディオファイルが連続して書き込まれるいずれの場合でも、フラクショニングは起きないようになっている。さらに、制御手段はハードディスクのある特定の場所にオーディオファイルを書き込むよう形成されている。こうして、記憶、すなわち物理的なハードディスクの実際の書き込みは、従来技術のハードディスクのように、ハードディスクコントローラ任せにされたり、偶然にゆだねられたりしない。その代わり、制御手段５は、オーディオファイルが、記憶装置上で、ある一定の順序および配列で記憶されるように、記憶装置１の書き込み／読み出しヘッド２を正確に制御するよう形成される。こうして、波面合成システムがオーディオ作品を再生しようとすると、読み出しヘッドが、少なくとも波面合成システムがその使用限界で作動しているシーンについては、確実に、出来る限りの速さで読み出しを行うことができる。すなわち、間でジャンプが起こらず、トラックに沿って次々にオーディオファイルを読み出し、それを波面合成システム３に供給することができる。これに対して、他のシーンについては、図１ｄを参照して説明するとおり、ジャンプを許容する。ただし、レンダラへ送信されるデータは、いずれにしてそれほど多量ではないので、これらのシーンについては、これはそれほど深刻な問題ではない。
【００４６】
ここで、本発明により処理される際のオーディオ作品の特に要求が高いオーディオシーンにおける固有のダイナミクスにより、波面合成システムの使用は全く一定ではない点を指摘する。その代わり、使用プロファイルは、きわめて高いダイナミクスより特徴付けられる。このように、使用が非常に低いシーンにおけるシーンや部分が存在する一方、その直後にただちに使用は最大限度に近づくかもしれない。このような状況は、楽器による音楽作品（１音源のみ）の音が消えて、直後に聴衆の喝采（非常に多くの異なる音源）が始まる場合などに考えられる。
【００４７】
本発明によれば、オーディオファイルは最適なかつシーンにまたがる態様で記憶される。このために、高度な使用を伴うシーンを再生する場合、どのオーディオファイルが必要かを調べ、これらのオーディオファイルを正確に最適な態様で記憶する。
【００４８】
図１ａに示すとおり、波面合成システム３は、中心要素としてのレンダラまたは複数のレンダラモジュールを備える。レンダラは、一般にスケジューラにより制御され、スケジューラは、おそらくはオーディオオブジェクト操作を用いてレンダラのためのデータストリームを生成するよう形成されることが好ましい。このように、スケジューラは、記憶装置１からデータを素早く読み出し、これを下流のレンダラに供給する役割を担い、このレンダラが、次にオーディオファイルから、ラウドスピーカアレイの個々のラウドスピーカへ供給される合成信号を生成する。
【００４９】
シーンにまたがる、最適化された態様でのオーディオファイルについての本発明の記憶法が、図１ａにおいて、「プレイング」とも呼ばれる実際の波面合成レンダリングの準備の役に立つ。発明のシーンにまたがり、最適化された記憶は、再生の際に、少なくともメモリインタフェースが、波面合成処理のボトルネックにならない速度ですばやいデータ読み出しが行われ得るという点で役に立つ。
【００５０】
図１ｂは、第１のシーンおよび第２のシーンを有するオーディオ作品の例を示す図であり、第１のシーンでは、４つの音源および／または４つのオーディオファイルＡＤ１、ＡＤ２、ＡＤ３およびＡＤ４を並列にレンダリングする必要があり、第２のシーンでは、並列でレンダリングすることが必要なのはせいぜい３つのオーディオファイル、すなわちＡＤ６、ＡＤ７およびＡＤ１である。
【００５１】
次に、本発明に従い、図１ｃに基づいて、いくつかの並列ディスクのためのメモリ最適化について説明する。このように、第１のシーンのオーディオファイルが最適な態様で記憶されることが優先順位となっていて、それによりオーディオファイルＡＤ１およびＡＤ２がディスク１に記憶されかつオーディオファイルＡＤ３およびＡＤ４がディスク２に記憶される。図１ｃからわかるとおり、この記憶は、第２のシーンにとって不利である。というのは、ＡＤ１およびＡＤ７は、相互に並列にレンダリングされるので、同時にそこに必要とされるからである。それにもかかわらず、両方のファイルが同じディスク１に記憶され、さらにその上オーディオファイルＡＤ２によって相互から分離されている。したがって、第２のシーンのためのオーディオファイルを読み出すために、ハードディスクは、数回ジャンプを行い、ディスク１および２が並列に配列されているという点からも利益を得ることができない。しかしながら、第２のシーンにおける波面合成システムの使用は、第１のシーンにおけるより低く、いずれにしても第１のシーンよりも第２のシーンにおけるデータ要件が低いので、これも問題ではない。
【００５２】
図１ｄは、ハードディスク等の記憶媒体上のトラック７上に配列されたオーディオファイルを示す図である。図１ｄは、図１cの並列の記憶媒体と異なり、単一の記憶媒体上のシリアルな配列例を示す。このように、第１のシーンのオーディオファイルが連続的に記憶されるため、読み出しヘッドがジャンプして第１のシーンのオーディオファイルを読み出す必要がないことがわかる。これにより、オーディオファイルＡＤ１〜ＡＤ４のデータを非常にすばやく準備することができる。
【００５３】
しかしながら、第２のシーンのオーディオファイルの読み出しについては、数回のジャンプが必要である。こうして、記憶装置の読み出しヘッドが、オーディオファイルＡＤ５を読み出した後、オーディオファイルＡＤ２へジャンプし、オーディオファイルＡＤ２が読み出された後再びオーディオファイルＡＤ６へジャンプして戻る必要がある。オーディオファイルＡＤ１をオーディオファイルＡＤ７の後に読み出す必要がある場合も状況は類似する。
【００５４】
このように、図１ｄに示す実施例においては、第１のシーンを読み出すために、読み出しヘッドがジャンプする必要は全くなく、一方第２のシーンを読み出すために読み出しヘッドはすでに４つのジャンプを必要としており、これが記憶装置におけるデータへのアクセスを遅らせていることがわかる。しかし、これは、第１のシーンに比べれば、第２のシーンでは実質的にさほど重要ではなく、データがスムーズに読み出されて、レンダラが第１のシーンをレンダリングするためのデータがなくならないという点が重要である。
【００５５】
本発明によれば、効率的なデータ出力のためにはデータ構成が決めてとなる点を考慮する。レンダラに供給する必要な転送速度を、ＣＤやＤＶＤなどのメディアからの多くの実施例において保証することはできない。したがって、ハードディスクに基づく管理が必要である。本発明によれば、複雑なシーンについてメモリレイアウトの最適化を行い、時間要件の観察を保障している。
【００５６】
本発明によれば、効率的なオーディオおよびメタデータの配信が行われる一方、他方ではこうした効率的なデータ構造が達成される。このように、オーディオデータの再生順を、オブジェクト指向のシーン記述に対応したメタデータを介して固定することができる。再生順がわかれば、再生の際のオーディオデータへのアクセスを最適化できる。コンピュータは、もはやハードディスク上の任意の場所や他の記憶媒体でオーディオデータを「探す」必要はなく、オーディオデータを連続して読み出すことができ、読み出しアクセスに対してメモリにおいて大きなジャンプを必要とすることもない。オーディオデータに対する読み出しアクセスにおける労力が減ることで、リソースをより効率的に利用し、リアルタイムで同時により多くのオーディオオブジェクトを処理することが可能となる。
【００５７】
データ構成においては、中央データベースを用いることが好ましい。オーディオおよびメタデータの一貫性を中心構造で保証する。さらに、データベースを採用することにより、波面合成シーンの作成をかなり容易にすることができる。このように、データベース中のある特定のデータを見つけるためのサーチ機構を可能にするデータベースを採用することが好ましい。これにより、オーディオオブジェクトのシーンをまたがる再使用の可能性が生まれる。たとえば、新しいシーンを作る際にオーディオデータを再び取り込む必要なしに、いくつかのシーンで等しく使用することができる。さらに、データベースの助けがあれば、オーディオおよびメタデータのバージョニングが実現できる。これにより、ユーザは、それらのシーン記述の古いバージョンにもアクセスでき、これにより製作プロセスがより容易になる。
【００５８】
ここで、記憶装置が必ずしも中央データベースである必要はなく、純粋に普通のファイルサーバとして実現することができる点を指摘する。しかしながら、オーディオデータベースを採用することが好ましいのは、様々な異なるシーンからのあるオーディオ素材を使用する場合に特に有利だからである。このように、オーディオデータベースは、すべてのシーンを把握し、どのシーンがどのオーディオ素材をいつ使用するかを把握する。さらに、オーディオデータベースは、オーディオデータにアクセスを有し、ハードディスク上のオーディオデータの記憶シーケンスを決定することができる。その上、オーディオデータベースは、オーディオデータについて、最適の、シーンをまたがる記憶順序を作ることができる。最後に、オーディオデータベースは、オーディオデータを記憶する際にボトルネックを発見し、これに応じて反応することもできる。
【００５９】
本発明によれば、これは、別のやりかたでは、すべてのシーンファイルを中央の位置に記憶し、すべてのシーンファイルを読み出すプログラムを実現し、そこからサーバ上のオーディオファイルの記憶順を生成することによっても実現できる。しかしながら、データベースでは、オーディオファイルの記憶順の最適化には、シーンファイルの中央記憶が好ましいということになる。
【００６０】
本発明によれば、オーディオ源の時間的かつ空間的配列およびにそれによって生じる記憶媒体上のオーディオファイルの記憶順の最適化が行われる。このために、データのシーンにまたがる最適化が使用され、これはシーンの中央記憶および管理を利用することが望ましい。
【００６１】
次に、図２を参照して、オーディオオブジェクトが有していれば有利な情報を指摘する。オーディオオブジェクトは、ある意味仮想音源のオーディオコンテンツを表すオーディオファイルを特定する。しかしながら、オーディオオブジェクトは、オーディオファイルを含む必要はなく、実際のオーディオファイルが記憶されるデータベースの規定された位置を指すインデックスを有していてもよい。
【００６２】
さらに、オーディオオブジェクトは、たとえば、音源の番号や意味のあるファイル名等、仮想音源の識別情報を含んでいることが好ましい。さらに、本発明においては、オーディオオブジェクトが仮想音源、すなわちオーディオファイルの始まりおよび／または終わりの時間スパンを特定する。始まりの時間スパンのみが特定される場合は、これは、このファイルのレンダリングの実際の開始時点がその時間スパン内でレンダラにより変更され得ることを意味する。終わりの時間スパンもさらに与えられると、これは、その時間スパンの範囲で終わりも変更できることを意味し、両方で、オーディオファイルが、実現例によっては、その長さに関して変化することを意味する。開始時点をずらすことができるように、オーディオファイルの始まり／終わりの時間を規定する等どのような実現例も可能であるが、いずれの場合も長さを変更してはいけないので、オーディオファイルの終わりも自動的にずれる。雑音については、特に、終わりを可変にしておくことが好ましい。というのも、たとえば風の音の開始または終了が少し早めか遅めかということは、一般に問題ではないためである。他の仕様が可能でかつ／または実現例に応じて望ましく、たとえば、開始時点は可変だが、終了時点が可変でないなどの仕様である。
【００６３】
オーディオオブジェクトは、位置についての位置スパンをさらに含むことが好ましい。こうして、あるオーディオオブジェクトについては、それらがたとえば前方左もしくは前方中央から来たかまたは再生室の参照ポイントに対して（小さな）角度だけずらされるかどうかということは重要にはならない。しかしながら、すでに述べたとおり、いずれか任意の場所に位置しかつ最大の位置スパンを有しうる、特に雑音領域からのオーディオオブジェクトも存在し、たとえば、そのオーディオオブジェクトの「任意の」コードまたはコードがないことにより（非明示的に）特定されてもよい。
【００６４】
オーディオオブジェクトは、レンダラモジュールが処理できる情報である限り、仮想音源が、音波の点音源か、平面波の音源かまたは任意の波面の音源を作り出す音源か等仮想音源のタイプの表示といった別の情報を含んでいてもよい。
【００６５】
図３は、様々なオーディオオブジェクトＡＯ１、．．．、ＡＯｎ＋１からなる時間シーケンスを示すシーン記述の模式図である。特に、オーディオオブジェクトＡＯ３については、図３に示すとおり、時間スパンが規定されている点を指摘する。こうして、図３のオーディオオブジェクトＡＯ３の開始時点と終了時点を両方とも時間スパンによりシフトさせることができる。しかしながら、オーディオオブジェクトＡＯ３の規定では、オーディオオブジェクトごとに可変に調節可能ではある、長さを変更してはならない。
【００６６】
こうして、時間的にプラスの方向へオーディオオブジェクトＡＯ３をシフトすることにより、オーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ２の後まで開始しないという状況になり得ることがわかる。オーディオオブジェクトが両方とも同じレンダラでプレイされるなら、起きたかもしれないショートオーバーラップ２０を、この方法により回避することができる。オーディオオブジェクトＡＯ２およびＡＯ１等のレンダラ上でそれまでに処理すべき他のオーディオオブジェクトにより、オーディオオブジェクトＡＯ３がすでに、先行技術のレンダラの能力の範囲を超えるオーディオオブジェクトとなっている場合、時間スパン２０が非常に小さいものであっても、本発明の技術がなければ、オーディオオブジェクトＡＯ３の完全な抑圧が起こると考えられる。本発明によれば、能力超過が起きず、したがってオーディオオブジェクトＡＯ３の抑圧も生じないように、オーディオオブジェクト操作手段３によってオーディオオブジェクトＡＯ３がシフトされる。
【００６７】
本発明の好ましい実施例では、相対的表示を有するシーン記述が使用される。
【００６８】
こうして、オーディオオブジェクトＡＯ２の開始がもはや時間における絶対的な時点として与えられるのではなく、オーディオオブジェクトＡＯ１に対する相対的な期間で示されるため、融通性が向上する。これに応じて、位置表示の相対的記述が好ましい。すなわち、オーディオオブジェクトが再生室のある位置ｘｙに配列されるのではなく、たとえば他のオーディオオブジェクトに対してまたは参照オブジェクトに対してオフセットするというベクトルによる表示等である。
【００６９】
こうして、時間スパン情報および／または位置スパン情報を非常に効率的に、適応させることができる。すなわち、オーディオオブジェクトＡＯ３が、オーディオオブジェクトＡＯ１開始後、２分と２分２０秒との間の期間に開始し得ると表現されるよう、時間スパンを固定するだけでよい。
【００７０】
たとえば、「マルチメディア・データベース・システムにおける出力制約のモデリング」、ティー・ハイムリッチ、第１回国際マルチメディア・モデリング会議、ＩＥＥＥ、２００５年１月２日から１月１４日、メルボルン（"Modeling Output Constraints in Multimedia Database Systems", T. Heimrich, 1thInternational Multimedia Modelling Conference, IEEE, January 2, 2005 to January 14, 2005, Melbourne）に記載されるように、空間および時間条件をこのように相対的に規定することで、制約という形でデータベース的に効率のよい表現がもたらされる。ここでは、データベースシステムにおける制約の使用を説明し、一貫したデータベースの状態を規定する。特に、時間的制約を、アレン関係を用い説明し、空間制約は、空間関係を用いて説明する。これにより、好ましい出力制約を同期目的で規定することができる。この出力制約は、オブジェクト間の時間的または空間的条件、制約に違反した場合の反応およびチェック時間、すなわちこのような制約についてチェックする時間を含む。
【００７１】
本発明の好ましい実施例においては、各シーンの空間／時間出力オブジェクトは、相互に相対的にモデリングされる。オーディオオブジェクト操作手段は、これらの相対的かつ可変の規定を絶対的空間および時間順序に変換する。
【００７２】
この順序は、図１に示すシステムの出力６ａで得られる出力スケジュールを表し、波面合成システムにおけるレンダラーモジュールに対し特定的に対処する態様を規定する。スケジュールは、したがって、出力条件に対応するオーディオデータにおいて構成される出力プランである。
【００７３】
次に、図４にしたがい、このような出力スケジュールの好ましい実施例を示す。図４は特に、図４の左から右へ、すなわち図１のオーディオオブジェクト操作手段３から図１の波面合成システム０の１つまたは複数の波面合成レンダラへ伝送されるデータストリームを示す。データストリームは特に、図４に示す実施例の各オーディオオブジェクトについて、まず、位置情報および時間情報が存在するヘッダＨと、図４において第１のオーディオオブジェクトについてはＡＯ１で示し、第２のオーディオオブジェクトについてはＡＯ２で示す、特定のオーディオオブジェクトの下流オーディオファイルとを含む。
【００７４】
そして、波面合成レンダラは、データストリームを取得しかつたとえば現在のおよび固定的に一致する同期情報から、ヘッダの到来を認識する。更なる同期情報に基づき、レンダラは、ヘッダが終了したことを認識する。または、ビットにおける固定長さを、各ヘッダについて一致させることが出来る。
【００７５】
ヘッダを受けた後、図４に示す本発明の好ましい実施例のオーディオレンダラは、次のオーディオファイル、たとえばＡＯ１がオーディオオブジェクト、すなわちヘッダにおいて識別される音源位置に属することを自動的に把握する。
【００７６】
図４は、波面合成レンダラへのシリアルデータ伝送を示す。当然、いくつかのオーディオオブジェクトは、レンダラで同時にプレイされる。このため、レンダラはデータストリームを構文解析するために、入力バッファとそれに先行するデータストリーム読み出し手段を必要とする。データストリーム読み出し手段は、ヘッダを解釈して、添付のオーディオファイルを応じて記憶し、あるオーディオオブジェクトをレンダリングする順番が来たとき、入力バッファから正しいオーディオファイルと正しい音源位置をレンダラが読み出すようにする。データストリームの他のデータももちろん可能である。時間／位置情報の両方および実際のオーディオデータを別々に伝送する方法も使用できる。しかしながら、位置／時間情報とオーディオファイルを連結することによりデータの一貫性の問題を排除できるので、図４に示す、一緒に送信するやりかたが好ましい。というのも、そうすれば、レンダラが、オーディオデータの正しい音源位置を有し、たとえば先の音源のオーディオファイルをまだレンダリングしていなくても、新しい音源の位置情報をすでにレンダリングに使用しているという状態が常に確実になるからである。
【００７７】
本発明は、このようにオブジェクト指向のアプローチに基づき、すなわち個々の仮想音源を、オーディオオブジェクトおよび空間における仮想位置ならびにおそらく音源のタイプ、すなわち、音波の点音源か、平面波の音源かまたは他の形状の音源用の音源かなどにより特徴付けられるオブジェクトとして理解する。
【００７８】
上記のとおり、波面の計算は、非常に時間がかかる計算であり、計算アルゴリズムの効率に関して、サウンドカードおよびコンピュータ等、使用するハードウエアの能力により制限される。したがって、要求の高い多くの音声事象を同時に表現しようとする場合、最高の装備のＰＣによる解法でも、すぐに波面合成の計算における限界に到達してしまう。したがって、使用するソフトウエアおよびハードウエアの能力の限界によって、ミキシングおよび再生における仮想音源の数に関する限界が決まる。
【００７９】
図６は、オーサリングツール６０、制御レンダラモジュール６２およびオーディオサーバ６４を備えるその能力が制限されるこのような既知の波面合成の概念を示し、制御レンダラモジュールが、ラウドスピーカアレイ６６にデータを供給するよう構成され、それによりラウドスピーカアレイ６６は、個々のラウドスピーカ７０の個々の波を重ね合わせることにより所望の波面６８を生成する。オーサリングツール６０により、ユーザはシーンを創作し編集し、かつ波面合成によるシステムを制御することができる。こうして、１つのシーンは、個々の仮想オーディオソースの情報とオーディオデータとによって構成される。オーディオソースの特性およびオーディオデータの参照はＸＭＬシーンファイルに記憶される。オーディオデータ自体は、オーディオサーバ６４上にファイリングされ、そこからレンダラモジュールへ伝送される。同時に、レンダラモジュールは、オーサリングツールから制御データを取得し、それにより、集中態様で実現される制御レンダラモジュール６２が、個々のラウドスピーカのための合成信号を生成することができる。
図６に示す概念は、「波面合成のためのオーサリングシステム」、エフ・メルキオール、ティー・ローダー、エス・ブリックス、エス・ウァブニクおよびシー・リーゲル、ＡＥＳ会議論文、第１１５回ＡＥＳ会議、２００３年１０月１０日、ニューヨーク（"Authoring System for Wave Field Synthesis", F. Melchior, T. Roder, S. Brix, S. Wabnik and C. Riegel, AES Convention Paper, 115th AES convention, October 10, 2003, New York）に記載される。
【００８０】
この波面合成システムをいくつかのレンダラモジュールで動作させると、たとえレンダラが、自身に関連するラウドスピーカの数が限られることによりそのデータを再生に必要とするか否かに関わらず、各レンダラに同じオーディオデータが供給される。現在のコンピュータの各々が３２のオーディオソースを計算できるので、これがシステムの限界を表す。一方、システム全体でレンダリングできる音源の数は、効率的な態様で大きく増加させることになる。これは、映画、雨や喝采などイマーシブな雰囲気を有するシーンや他の複雑なオーディオシーン等複雑な応用のための実質的前提条件のひとつである。
【００８１】
発明によれば、波面合成マルチレンダラシステムにおいて、冗長データ伝送プロセスおよびデータ処理プロセスの低減が達成され、それにより計算能力の向上および／または同時に計算可能なオーディオソースの数の増加がもたらされる。
【００８２】
マルチレンダラシステムの個々のレンダラへの、オーディオおよびメタデータの冗長伝送および処理の低減については、どのレンダラがどのオーディオおよびメタデータを必要とするかを判断できるデータ出力手段により、オーディオサーバが拡張される。おそらくデータマネジャにより支援されるデータ出力手段は、好ましい実施例においてはいくつかの情報を必要とする。まず、この情報は、オーディオデータであり、音源の時間および位置データであり、最後にレンダラの構成、すなわち接続されたラウドスピーカ、それらの位置、およびそれらの能力についての情報である。データ管理技術および出力条件の定義を使って、出力スケジュールが、オーディオオブジェクトの時間的かつ空間的配列を用いてデータ出力手段により生成される。空間的配列、時間的スケジュールおよびレンダラの構成から、データ管理モジュールは、ある瞬間にどの音源がどのレンダラにとって重要かを計算する。
【００８３】
好ましい全体的概念について、図５に示す。データベース２２は、出力側のデータ出力手段２４により補われており、データ出力手段はスケジューラとも呼ばれる。そして、このスケジューラが、その出力２０ａ、２０ｂおよび２０ｃにある様々なレンダラ５０のためのレンダラ入力信号を生成し、ラウドスピーカアレイの対応するラウドスピーカに供給される。
【００８４】
スケジューラ２４は、記憶マネジャ５２の支援を受けて、ＲＡＩＤシステムおよび対応のデータ構成デフォルトよりデータベース４２を構築することが好ましい。
【００８５】
入力側には、データ生成器５４が設けられる。これはたとえばオーディオシーンをオブジェクト指向の態様で、モデリングまたは記載するサウンドマスターやオーディオエンジニアでもよい。ここで、対応する出力条件５６を含むシーン記述が与えられ、そしてこれら条件が、必要ならば、変換５８を経て、オーディオデータとともにデータベース２２に記憶される。オーディオデータは、挿入／更新ツール５９により操作および更新を行ってもよい。
【００８６】
条件によって、発明の方法は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。特にフロッピーディスクやｃｄ等のデジタル記憶媒体上で、方法が実行されるようプログラマブルコンピュータシステムと協働可能な電子的に読み取り可能な制御信号を用いて実現してもよい。一般には、本発明は、コンピュータ上で実行される、方法を実行するための機械が読み取り可能な担体上に記憶されたプログラムコードを有するコンピュータプログラム製品においても実現される。言い換えれば、発明は、コンピュータプログラムとしても実現することができ、このコンピュータプログラムは、コンピュータ上で実行する際に、方法を実行するためのプログラムコードを有する。
【図面の簡単な説明】
【００８７】
【図１ａ】オーディオファイルを記憶するための発明の概念を示す回路ブロック図である。
【図１ｂ】様々な波面合成システム使用のシーンを有するオーディオ作品の例を示す図である。
【図１ｃ】最適化されたシーンにまたがる記憶の第１の例を示す図である。
【図１ｄ】最適化されたシーンにまたがる記憶の第２の例を示す図である。
【図２】オーディオオブジェクトの例を示す図である。
【図３】シーン記述の例を示す図である。
【図４】現在の時間データおよび位置データを有するヘッダが、各オーディオオブジェクトと関連するビットストリームを示す図である。
【図５】発明の概念を波面合成システム全体に組み込んだ例を示す図である。
【図６】既知の波面合成概念を示す模式図である。
【図７】既知の波面合成概念を示す他の図である。
【図１ａ】
2008537833.tif 000003
【図１ｂ】
2008537833.tif 000004
【図１ｃ】
2008537833.tif 000005
【図１ｄ】
2008537833.tif 000006
【図２】
2008537833.tif 000007
【図３】
2008537833.tif 000008
【図４】
2008537833.tif 000009
【図５】
2008537833.tif 000010
【図６】
2008537833.tif 000011
【図７】
2008537833.tif 000012
【手続補正書】
【提出日】平成20年5月26日(2008.5.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
コンピュータ上で実行した際、請求項１３に記載の記憶方法を実行するための、プログラムコードを有するコンピュータプログラム。
【国際調査報告】
2008537833.tif 000013
2008537833.tif 000014
2008537833.tif 000015
2008537833.tif 000016
2008537833.tif 000017
2008537833.tif 000018