マルチチャネル対話型オーディオシステムであって、複数のオーディオ成分を入力データフレーム72のシーケンスとして記憶するためのメモリであって、前記入力データフレームのそれぞれが、圧縮およびパックされたサブバンドデータ55、116およびそのスケールファクタ114を含む、メモリと、ユーザから入力を受け取るための人的入力装置HID36、38と、前記ユーザの入力に応答してオーディオ成分のリストを生成するアプリケーションプログラミングインタフェースAPI42と、オーディオレンダラ44であって、各チャネルのオーディオ成分のサブバンドデータおよびスケールファクタをアンパックおよび圧縮解除し、混合されたサブバンドデータのスケールファクタを計算し、各チャネルについて前記サブバンドの領域において前記オーディオ成分のサブバンドデータを混合し、各チャネルについて混合された前記サブバンドデータおよびそのスケールファクタを圧縮し、前記チャネルの圧縮されたサブバンドデータおよびスケールファクタを出力フレーム内にパックおよび多重化し、前記出力フレームをデコーダへ送信するためにキュー内に配置するオーディオレンダラ44と、を備えるマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、前記ユーザにとって可聴であると見なされる前記サブバンドデータのみを混合する、請求項1に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、リストされた前記オーディオ成分のスケールファクタを使用して、前記サブバンドにおけるマスキング効果を計算し、かつ、各サブバンドについて可聴でないオーディオ成分を破棄することによって、何れのサブバンドがユーザにとって可聴であるかを決定する、請求項2に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、まず、前記オーディオ成分のスケールファクタをアンパックおよび圧縮解除し56、可聴なサブバンドを決定し、次いで、前記可聴なサブバンドのサブバンドデータのみをアンパックおよび圧縮解除する64、請求項3に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、a.アンパックおよび圧縮解除された前記サブバンドデータを、左にシフトしたフォーマットで前記メモリへ記憶し64、前記メモリへの記憶において、Nビットの前記サブバンドデータの符号ビットが、Mビットのフォーマットの符号ビットと位置合わせされ、M-Nの最右ビットが、ノイズフロアより低いノイズを表すものであり、b.各サブバンドについて、可聴な前記サブバンドデータにそれぞれのスケールファクタを乗算し68、それらを足し合わせて合計を出し、c.各サブバンドについて、混合されたサブバンドデータを生成するために、可聴な前記サブバンドデータの最大スケールファクタの逆数を前記合計に乗算し、d.前記混合されたサブバンドデータが前記フォーマットをオーバーフローする場合に、最大スケールファクタを次に大きい値に増分して、ステップcを反復する、請求項4に記載のマルチチャネル対話型オーディオシステム。前記入力データフレームが、フレームごとに固定されているヘッダ110およびビット割付けテーブル112を更に含み、前記スケールファクタおよびサブバンドデータのみが変化する、請求項1に記載のマルチチャネル対話型オーディオシステム。圧縮された前記サブバンドデータが固定長のコードでコード化される、請求項6に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、Nがサブバンドにわたって変化するものであるNビットの前記サブバンドデータの各々をアンパックするものであって、a.FLCと固定ビット割付けとを使用して、前記入力オーディオフレームにおける前記サブバンドデータの位置を計算し、前記サブバンドデータを抽出し、それを、最左ビットが符号ビットであるMビットのワードとして前記メモリに記憶し、b.前記サブバンドデータを、その符号ビットが前記Mビットのワードの符号ビットと位置合わせされるまで、左にシフトし、最右のM-Nビットが前記Mビットのワードにノイズとして残るものである、ようにアンパックするものである、請求項7に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、固定ヘッダとビット割付けテーブルとに対してハードコードされており、前記オーディオレンダラが、速さを増すために、前記スケールファクタおよび前記サブバンドデータのみを処理する、請求項8に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、前記オーディオ成分の等化を提供するアプリケーションとインタフェースし、前記オーディオレンダラが、それぞれの前記オーディオ成分を、そのスケールファクタを変更することによって等化する、請求項1に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、前記オーディオ成分の横向きローカリゼーションを提供するアプリケーションとインタフェースし、前記オーディオレンダラが、200Hzから1200Hzの範囲にわたる前記サブバンドデータに位相位置決めフィルタを適用することによって、前記オーディオ成分の横向きローカリゼーションを行う、請求項1に記載のマルチチャネル対話型オーディオシステム。前記入力フレームおよび出力フレームが、ヘッダ110およびビット割付けテーブル112も含み、前記オーディオレンダラが、a.前記ヘッダと、前記ビット割付けテーブルと、可聴でない信号を表すスケールファクタおよびサブバンドデータとを含むヌル出力テンプレート74をキューに配置し、b.混合されたサブバンドデータとスケールファクタの次のフレームが準備されている場合には、混合された前記サブバンドデータおよびスケールファクタを以前の出力フレームに上書きして、その出力フレームを送信し、c.前記次のフレームが準備されていない場合には、前記ヌル出力テンプレートを送信することによって、デコーダの同期を維持するために出力フレームの継ぎ目のない生成に対して備えるものである、請求項1に記載のマルチチャネル対話型オーディオシステム。前記デコーダが、マルチチャネルオーディオをデコードすることができるデジタルサラウンドサウンドデコーダであり、前記オーディオレンダラが一連の前記出力フレームを送信し、該出力フレームは、前記マルチチャネルオーディオと同じフォーマットでリアルタイム対話型マルチチャネルオーディオを提供するものである、請求項1に記載のマルチチャネル対話型オーディオシステム。単一バンド制限コネクタを更に備え、前記オーディオレンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレームを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネクタを通じて前記デジタルサラウンドサウンドデコーダ12へ送信し、該デジタルサラウンドサウンドデコーダは、前記ビットストリームを、バンド幅が前記単一バンド制限コネクタのものを超える対話型マルチチャネルオーディオへとデコードする、請求項13に記載のマルチチャネル対話型オーディオシステム。単一バンド制限コネクタを更に備え、前記オーディオレンダラは、リアルタイムで、かつ前記ユーザの入力に応答して、前記出力フレームを統一され且つ圧縮されたビットストリームとして、前記単一バンド制限コネクタを通じて前記デコーダへ送信し、該デコーダは、前記ビットストリームを、バンド幅が前記単一バンド制限コネクタのものを超えるマルチチャネルオーディオへとデコードする、請求項1に記載のマルチチャネル対話型オーディオシステム。前記オーディオ成分の1つまたは複数のものが、開始の入力フレームと、該開始のフレームとの継ぎ目のない連結を保証するためにサブバンドデータが前処理されている終了の入力フレームとを有するルーピングされたデータを備える、請求項1に記載のマルチチャネル対話型オーディオシステム。マルチチャネル対話型オーディオシステムであって、複数のオーディオ成分を、固定長コードFLCでコード化されるビットストリームの入力データフレームのシーケンスとして記憶するメモリであって、各前記入力データフレームが、ヘッダ110と、ビット割付けテーブル112と、圧縮およびパックされたサブバンドデータ116およびスケールファクタ114とを含み、前記ヘッダおよびビット割付けテーブルが、成分ごと、チャネルごと、およびフレームごとに固定される、メモリと、ユーザから入力を受け取るための人的入力装置HID36、38と、前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーションプログラミングインタフェースAPI42と、固定された前記ヘッダおよびビット割付けテーブルに対してハードコードされるオーディオレンダラ44であって、各チャネルに対して前記オーディオ成分のスケールファクタ114をアンパックおよび圧縮解除し、混合された前記サブバンドデータのスケールファクタを計算し、前記スケールファクタを使用して、可聴な前記サブバンドデータを決定し、前記可聴なサブバンドデータのみをアンパックおよび圧縮解除し、各チャネルについて前記サブバンド領域において前記可聴なサブバンドデータを混合し、各チャネルについて前記混合されたサブバンドデータおよびそのスケールファクタを圧縮し、前記チャネルの圧縮されたサブバンドデータおよびスケールファクタを出力フレーム内にパックおよび多重化し、前記出力フレームを、デコーダへ送信するためにキューに配置するオーディオレンダラ44とを備えるマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、Nがサブバンドにわたって変化するものであるNビットの可聴の前記サブバンドデータの各々をアンパックするものであって、a.FLCと固定ビット割付けとを使用して、前記入力オーディオフレームにおける前記可聴のサブバンドデータの位置を計算し、前記可聴のサブバンドデータを抽出し、それを、最左ビットが符号ビットであるMビットのワードとして前記メモリに記憶し、b.前記可聴のサブバンドデータを、その符号ビットが前記Mビットのワードの符号ビットと位置合わせされるまで、左にシフトし、最右のM-Nビットが前記Mビットのワードにノイズとして残るものである、ようにアンパックするものである、請求項17に記載のマルチチャネル対話型オーディオシステム。前記デコーダが、マルチチャネルオーディオをデコードすることができるデジタルサラウンドサウンドデコーダ10、12、16である、請求項17に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、a.前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサブバンドおよびスケールファクタを含むヌル出力テンプレートを、デコーダへ送信するためにキューに配置し、b.混合されたサブバンドデータおよびスケールファクタの次のフレームが準備されている場合に、前記混合されたサブバンドデータおよびスケールファクタを以前の出力フレームに上書きし、その出力フレームを送信し、c.前記次のフレームが準備されていない場合に、前記ヌル出力テンプレートを送信することによって出力フレームの継ぎ目のないシーケンスを生成する、請求項17に記載のマルチチャネル対話型オーディオシステム。マルチチャネル対話型オーディオシステムであって、複数のオーディオ成分を入力データフレーム72のシーケンスとして記憶するメモリであって、それぞれの前記入力データフレームが、ヘッダ110、ビット割付けテーブル112、および圧縮およびパックされたオーディオデータ116を含む、メモリと、ユーザから入力を受け取る人的入力装置HID36、38と、前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーションプログラミングインタフェースAPI42と、出力フレームの継ぎ目のないシーケンスを生成するオーディオレンダラ44であって、a.前記ヘッダ、前記ビット割付けテーブル、および可聴でない信号を表すサブバンドデータおよびスケールファクタ114を含むヌル出力テンプレート74を、デコーダへ送信するためにキューに配置し、b.各チャネルについて前記オーディオ成分のデータを同時にアンパックおよび圧縮解除し、各チャネルについて前記オーディオ成分のデータを混合し、混合した前記データのスケールファクタを計算し、各チャネルについて前記混合したデータを圧縮し、前記チャネルの圧縮したデータをパックおよび多重化し、c.前記混合したデータの次のフレームが準備されている場合に、前記混合したデータを以前の出力フレームに上書きし、その出力フレームを送信し、d.前記次のフレームが準備されていない場合に、前記ヌル出力テンプレートを送信することによって継ぎ目のないシーケンスを生成するオーディオレンダラ44と、を備えるマルチチャネル対話型オーディオシステム。前記デコーダが、マルチチャネルオーディオをデコードすることができるデジタルサラウンドサウンドデコーダ10、12、16である、請求項21に記載のマルチチャネル対話型オーディオシステム。前記オーディオデータが、サブバンドデータおよびそのスケールファクタを備え、前記オーディオレンダラが、前記ユーザに対して可聴であると見なされる前記サブバンドデータのみを混合する、請求項21に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、リストされた前記オーディオ成分のスケールファクタを使用することによって、サブバンドにおけるマスキング効果を計算し、サブバンドの可聴でないオーディオ成分を破棄することによって、何れのサブバンドが前記ユーザにとって可聴であるかを決定する、請求項23に記載のマルチチャネル対話型オーディオシステム。前記オーディオレンダラが、まず、前記オーディオ成分のスケールファクタをアンパックおよび圧縮解除し、前記可聴なサブバンドを決定し、次いで、前記可聴なサブバンドの前記サブバンドデータのみをアンパックおよび圧縮解除する、請求項24に記載のマルチチャネル対話型オーディオシステム。マルチチャネル対話型オーディオシステムであって、複数のオーディオ成分を入力データフレーム72のシーケンスとして記憶するためのメモリであって、それぞれの前記入力データフレームは、ヘッダ110、ビット割付けテーブル112、圧縮およびパックされたサブバンドデータ116およびスケールファクタ114を含むものである、メモリと、ユーザから入力を受け取る人的入力装置HID36、38と、前記ユーザの入力に応答して、オーディオ成分のリストを生成し、前記リスト上の各オーディオ成分をデジタルサラウンドサウンド環境の各チャネルにマッピングするマッピング係数を計算するアプリケーションプログラミングインタフェースAPI42と、オーディオレンダラ44であって、各チャネルに対する前記オーディオ成分のサブバンドデータおよびスケールファクタをアンパックおよび圧縮解除し、混合した前記サブバンドデータのスケールファクタを計算し、各チャネルに対して前記サブバンドの領域において前記オーディオ成分のサブバンドデータを混合し、各チャネルに対して前記混合したサブバンドデータおよびそのスケールファクタを圧縮し、前記チャネルの圧縮したサブバンドデータおよびスケールファクタを出力フレームへとパックおよび多重化し、前記出力フレームをキュー内に配置するオーディオレンダラ44と、マルチチャネルオーディオを生成するために、既存の事前に記録したマルチチャネルデジタルオーディオと同じフォーマットを有する前記出力フレームをデコードするデジタルサラウンドサウンドデコーダとを備えるマルチチャネル対話型オーディオシステム。マルチチャネル対話型オーディオシステムであって、ユーザから入力を受け取る人的入力装置HID36、38と、コンソールであって、複数のオーディオ成分を入力データフレーム72のシーケンスとして記憶するためのメモリであって、それぞれの前記入力データフレームが圧縮およびパックされたサブバンドデータ116およびそのスケールファクタ114を含むものである、メモリと、前記ユーザの入力に応答して、オーディオ成分のリストを生成するアプリケーションプログラミングインタフェースAPI42と、オーディオレンダラ44と、を備えるコンソールと、前記オーディオレンダラが、各チャネルに対して前記オーディオ成分のサブバンドデータおよびスケールファクタをアンパックおよび圧縮解除し、混合した前記サブバンドデータのスケールファクタを計算し、各チャネルに対して前記サブバンドの領域において前記オーディオ成分のサブバンドデータを混合し、各チャネルに対して前記混合したサブバンドデータおよびそのスケールファクタを圧縮し、前記チャネルの圧縮した前記サブバンドデータおよびスケールファクタを出力フレームへとパックおよび多重化し、前記出力フレームを、前記圧縮したオーディオデータが継ぎ目のない統一されたビットストリームとして出力されるようにキュー内に配置するオーディオレンダラ44であることと、前記ビットストリームをマルチチャネルオーディオ信号にデコードするデジタルデコーダ10、12、16と、前記ビットストリームを前記デコーダへ送る単一バンド制限コネクタとを備えるマルチチャネル対話型オーディオシステム。ルーピングと互換性のある圧縮フォーマットで記憶するためにPCMオーディオデータを準備する方法であって、前記PCMオーディオデータがファイルに記憶され、圧縮フォーマットが、圧縮されたオーディオのシーケンスを含み、a.ルーピングされたセグメントを形成するために、圧縮されたオーディオフレームの全体の数によって定められた境界に適合するように、時間についてPCMオーディオデータをコンパクト化または拡張し、b.PCMオーディオデータのNのフレームを前記ファイルの終了部からルーピングされたセグメントの開始部へ添付し、c.ルーピングされた前記セグメントをビットストリームにエンコードし、d.エンコードされた前記ビットストリームの前記開始部からNの圧縮されたフレームを削除して、圧縮されたオーディオループシーケンスを生じるようにし、ルーピング中に、前記ループシーケンスの終了フレームにおける圧縮された前記オーディオデータが開始フレームとの継ぎ目のない連結を保証するものである、ステップを備える方法。マルチチャネルオーディオをレンダリングする方法であって、a.複数のオーディオ成分を、圧縮およびパックされたサブバンドデータ116およびスケールファクタ114をそれぞれが含む入力データフレーム72のシーケンスとして記憶し、b.ユーザの入力に応答して、オーディオ成分のリストを生成し、c.各チャネルに対して前記サブバンドデータおよびスケールファクタをアンパックおよび圧縮解除し、d.混合された前記サブバンドデータのスケールファクタを計算し、e.各チャネルに対して前記サブバンドデータを混合し、f.混合した前記サブバンドデータおよびそのスケールファクタを圧縮し、g.前記チャネルの圧縮した前記サブバンドデータおよびスケールファクタを出力フレームへとパックおよび多重化し、h.前記出力フレームをデコーダに送信するためにキューに配置するステップを備える方法。前記サブバンドデータをアンパックおよび圧縮解除することが、前記スケールファクタのみをアンパックおよび圧縮解除し、何れのサブバンドが可聴であるかを決定するために前記スケールファクタを使用し、可聴な前記サブバンドデータのみをアンパックおよび圧縮解除するステップを備える、請求項29に記載の方法。位相位置決めフィルタを、約200Hzから約1200Hzの範囲にわたる前記サブバンドデータに適用することによって、前記オーディオ成分の横向きローカリゼーションを行うことを更に備える、請求項30に記載の方法。a.ヘッダ110、ビット割付けテーブル112、および可聴でない信号を表すサブバンドデータ116およびスケールファクタ114を含むヌル出力テンプレート74をデコーダへ送信するためにキューに配置し、b.混合したサブバンドデータおよびスケールファクタの次のフレームが準備されている場合には、前記混合したサブバンドデータおよびスケールファクタを以前の出力フレームに上書きし、その出力フレームを送信し、c.前記次のフレームが準備されていない場合には、前記ヌル出力テンプレートを送信するステップを更に備える請求項29に記載の方法。現実的な合成環境を描写するために、バーチャルサウンドシステムは、複数のスピーカを必要とせずに、サラウンドなオーディオの錯覚を創出するために、バイノーラル技術と音響心理学的な手掛かりを使用する。これらのバーチャル化された3Dオーディオ技術の大半は、HRTF頭部関連伝達関数、HeadRelatedTransferFunctionの概念に基づいている。当初のデジタル化されたサウンドは、望ましい空間位置に対応する左耳および右耳のHRTFでリアルタイムにからみつき、聞いたときに、望ましい位置から来るように聞こえる、右耳および左耳のバイノーラル信号が生成される。サウンドを配置するために、HRTFは、望ましい新しい位置に対して変更され、プロセスが繰り返される。聞き手は、オーディオ信号が聞き手自身のHRTFでフィルタリングされる場合、ヘッドフォンを通してほぼ自由音場のリスニングを経験することができる。しかし、これは、しばしば非実用的であり、実験者は、広範な聞き手に対し良好な性能を有する、一般的なHRTFのセットを探求してきた。これは、前方後方混同という特定の障害のために実現することが困難であった。前方後方混同とは、頭の前または後のサウンドが同じ方向から来ているという感覚を表す。この欠点にも関わらず、HRTFの方法は、PCMオーディオと、はるかに少ない計算負荷で圧縮MPEGオーディオとの両方にうまく適用されてきた。HRTFに基づいたバーチャルサウンド技術は、完全なホームシアタのセットアップが実際的ではない状況において、大きな利点を提供するが、これらの現在の解決法は、特定のサウンドの対話型配置には、なんら手段を提供しない。ドルビーRサラウンドシステムは、位置的オーディオを実施する他の方法である。ドルビーRサラウンドは、ステレオ2チャネル媒体が4チャネルオーディオを搬送することを可能にするマトリクスプロセスである。このシステムは、4チャネルのオーディオを用い、左トータルLtおよび右トータルRtとして識別される2チャネルのドルビーRサラウンドのエンコードされた素材を生成する。エンコードされたマテリアル素材は、左チャネル、右チャネル、中央チャネル、およびモノサラウンドチャネルの4つチャネルの出力を生成する、ドルビーRプロロジックデコーダによってデコードされる。中央チャネルは、スクリーンに音声をつなぎ留めるように設計されている。左チャネルおよび右チャネルは、音楽およびいくつかのサウンド効果を意図しており、サラウンドチャネルは、主に、サウンド効果専用である。サラウンドサウンドトラックは、ドルビーRサラウンドフォーマットで事前にエンコードされ、従って、映画に最適であるが、ビデオゲームなどの対話型の応用には特に有用ではない。PCMオーディオは、より制御性の低い対話型オーディオの経験を提供するために、ドルビーRサラウンドサウンドオーディオにオーバーレイすることができる。残念ながら、PCMをドルビーRサラウンドサウンドと混合することは、内容に依存するものであり、PCMオーディオをドルビーRサラウンドサウンドオーディオにオーバーレイすることは、ドルビーRプロロジックデコーダを混乱させる傾向があり、これにより、望ましくないサラウンドアーティファクトおよびクロストークが創出されることがある。ドルビーRデジタルおよびDTSなど、チャネル分離デジタルサラウンドサウンド技術を改善することは、別々の左サラウンドリアスピーカ、右サラウンドリアスピーカ、およびサブウーファと共に、左、中央、および右のフロントスピーカの、6つの離散したデジタルサウンドのチャネルを提供する。デジタルサラウンドは、事前記録型の技術であり、従って、映画およびホームA/Vシステムのようなデコード待ち時間に対処することができるものには最適であるが、現在の形態では、ビデオゲームなどの対話型応用には特に有用ではない。しかし、ドルビーRデジタルおよびDTSは、忠実度の高い位置オーディオを提供し、ホームシアタデコーダの大きな据え付けられたベース、即ち、マルチチャネル5.1スピーカフォーマットの定義および市販の製品を有するので、PC、特に、コンソールを基にするゲームシステムに対しては、それらを完全に対話型にすることができる場合、非常に望ましいマルチチャネル環境を呈する。しかし、PCのアーキテクチャは、一般に、マルチチャネルのデジタルPCMオーディオを家庭用エンターテイメントシステムへ送ることができなかった。これは、主に、標準的なPCのデジタル出力が、ステレオをベースとするS/PDIFデジタル出力コネクタを通るということのためである。CambridgeSoundWorksRケンブリッジサウンドワークは、ハイブリッドデジタルサラウンド/PCMの手法を、デスクトップシアタR5.1DTT2500の形態で提供する。この製品は、事前にエンコードされたドルビーRデジタル5.1バックグラウンドマテリアルと対話型4チャネルデジタルPCMオーディオとを組み合わせるビルトインのドルビーRデジタルデコーダを搭載している。このシステムは2つの別々のコネクタ、即ち、ドルビーRデジタルを送る1つのものと、4チャネルデジタルオーディオを送る1つのものとを必要とする。ステップは進行するが、デスクトップシアタRは、ドルビーRデジタルデコーダの既存の据え付けられたベースとは互換性がなく、PCM出力の複数チャネルをサポートするサウンドカードを必要とする。サウンドは、既知の位置に配置されたスピーカから再生されるが、対話型3Dサウンドの分野における目標は、サウンドが、聞き手の回りの任意に選択された方向から発するように出現する信頼できる環境を創出することである。デスクトップシアタRの対話型オーディオの豊かさは、PCMデータを処理するために必要な計算要件によって、更に制限される。位置オーディオ環境の重要な成分である横向きローカリゼーション局所化は、フィルタリングおよび等化の演算のように、時間領域データに適用するには、計算にコストがかかる。ゲーム業界は、3Dゲームおよび他の対話型オーディオアプリケーションに適し、ゲームプログラマが、多数のオーディオ源を混合し、かつ正確にそれらを音場に配置することを可能にし、そして、ホームシアタデジタルサラウンドサウンドシステムの既存のインフラストラクチャと互換性のある、低コストで完全に対話型の待ち時間の短い没入型のデジタルサラウンドサウンド環境が必要である。上記の問題を考慮して、本発明は、3Dゲームおよび他の忠実度の高いオーディオアプリケーションに適し、デジタルサラウンドサウンドデコーダの既存のインフラストラクチャとの互換性を維持するように構成することができる、低コストで完全に対話型の没入型のデジタルサラウンドサウンド環境を提供する。これは、各オーディオ成分を、計算の容易さを優先してコード化と記憶の効率を犠牲にする圧縮フォーマットで記憶し、その成分を時間領域ではなくサブバンド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマットに再圧縮およびパックパッキングし、それをデコードおよび配布のために下流のサラウンドサウンドプロセッサへ渡すことによって、達成される。マルチチャネルデータは圧縮フォーマットになっているので、ステレオベースのS/PDIFデジタル出力コネクタを通過することができる。また、技術は、PCMオーディオを操作するゲームアプリケーションでは重要で標準的な特徴である、圧縮されたオーディオをルーピングするために提供される。更に、デコーダの同期性は、混合されたオーディオが処理の待ち時間またはゲームアプリケーションのために存在しないときにはいつでも、無音silenceのフレームを送信することによって保証される。より具体的には、成分は、サブバンド表現にエンコードされ、データフレームに圧縮およびパックされ、データフレームでは、スケールファクタとサブバンドデータのみがフレームごとに異なるようにすることが好ましい。この圧縮フォーマットが必要とするメモリは、標準的なPCMオーディオより著しく少ないが、ドルビーRAC-3またはMPEGにおいて使用されるような可変長のコード記憶によって必要とされるよりは多い。更に重要なことは、この手法は、アンパック/パック、混合ミックス、および圧縮解除/圧縮のオペレーションを非常に簡単にし、それにより、プロセッサの使用を低減することである。更に、固定長のコードFLCは、エンコードされたビットストリームを通じてのランダムアクセスナビゲーションを補助する。ソースオーディオと混合された出力チャネルとをエンコードするために、単一の事前定義されたビット割当てテーブルを使用することによって、高レベルのスループットを達成することができる。現在の好ましい実施形態では、オーディオレンダラrendererは、固定されたヘッダとビット割当てテーブルとに対してハードコードされており、従って、オーディオレンダラは、スケールファクタとサブバンドデータとを処理するだけでよい。混合ミキシングは、可聴であると考えられる成分からサブバンドデータのみを部分的にデコード圧縮解除し、それらをサブバンド領域において混合することによって達成される。サブバンド表現は、単純化した音響心理学的マスキング技術に役立ち、従って、処理の複雑さを増大させずに、または、混合された信号の質を落とさずに、多数のソースをレンダリングすることができる。更に、マルチチャネル信号は、送信前に圧縮フォーマットにエンコードされるので、豊かで忠実度の高い統一されたサラウンドサウンド信号を、単一の接続を通じてデコーダへ送ることができる。本発明のこれらおよび他の特徴と利点は、当業者には、添付の図面と好ましい実施形態の以下の詳細な記述とから明らかになるであろう。DTS対話型は、3Dゲームおよび他の忠実度の高いオーディオアプリケーションに適した低コストで完全に対話型インタラクティブの没入型のデジタルサラウンドサウンド環境を提供する。DTS対話型は、成分オーディオを圧縮およびパックされたフォーマットで記憶し、ソースオーディオをサブバンド領域において混合し、マルチチャネルの混合されたオーディオを圧縮フォーマットに再圧縮およびパックし、それをデコードおよび配布のために下流のサラウンドサウンドプロセッサへ渡す。マルチチャネルデータは、圧縮フォーマットになっているので、ステレオベースのS/PDIFデジタル出力コネクタを通すことができる。DTS対話型は、計算の負担を増大せずに、または、レンダリングしたオーディオの質を低下せずに、没入型のマルチチャネル環境において一緒にレンダリングすることのできるオーディオソースの数を非常に増大する。DTS対話型は、等化とフェーズ配置オペレーションを簡単にする。更に、技術は、圧縮されたオーディオをルーピングするために提供されており、デコーダの同期性は、ソースオーディオが存在しない場合に無音のフレームを送信することによって保証されるものであり、ここで無音とは真の無音または低レベルの雑音を含むものである。DTS対話型は、DTSサラウンドサウンドデコーダの既存のインフラストラクチャとの旧版互換性を維持するように設計される。しかし、記述したフォーマットおよび混合の技術を使用して、既存のデコーダとソース互換性および/または宛先互換性を維持することに限定されない専用のゲームコンソールを設計することができる。DTS対話型DTS対話型システムは複数のプラットフォームによってサポートされ、それには、DTS5.1マルチチャネルホームシアタシステム10が存在し、これは、図1a、1b、および1cに示したように、デコーダおよびAV増幅器、AV増幅器14を有するハードウエアDTSデコーダチップセットを備えたサウンドカード12、または、オーディオカード18およびAV増幅器20を有しソフトウエアが実装されたDTSデコーダ16を含む。これらのすべてのシステムは、左22、右24、左サラウンド26、右サラウンド28、中央30、およびサブウーファ32と命名したスピーカのセットと、マルチチャネルデコーダと、マルチチャネル増幅器とを必要とする。デコーダは、圧縮されたオーディオデータを供給するための、デジタルS/PDIFまたは他の入力を提供する。増幅器は、6つの個別のスピーカに電力を供給する。ビデオは、通常TVまたは他のモニタであるディスプレイまたは投影装置34の上でレンダリングされる。ユーザは、キーボード36、マウス38、位置センサ、トラックボール、またはジョイスティックなどのヒューマンインタフェース装置HIDを通じてAV環境と対話する。アプリケーションプログラミングインタフェースAPI図2および3に示したように、DTS対話型インタラクティブシステムは、アプリケーション40、アプリケーションプログラミングインタフェースAPI42、およびオーディオレンダラ44の3層からなる。ソフトウエアアプリケーションは、ゲーム、または、おそらくは音楽再生/作曲プログラムとすることができ、これらは成分オーディオファイル46を用い、それぞれの或るデフォルト位置キャラクタ48へ割り当てる。また、アプリケーションは、HID36/38を介して、ユーザから対話型データを受け取る。各ゲームレベルに対して、しばしば使用されるオーディオコンポーネントは、メモリにロードされるステップ50。それぞれのコンポーネント成分は、オブジェクトとして取り扱われるので、プログラマは、サウンドのフォーマットとレンダリングの詳細について気づかないままであり、プログラマは、聞き手に対する絶対的な位置と、望ましいて思われる効果処理を考慮するだけでよい。DTS対話型フォーマットにより、これらの成分は、低周波数効果LFEを有するまたは有していない、モノ、ステレオ、またはマルチチャネルとすることが可能になる。DTS対話型は、成分を圧縮フォーマットで記憶するので図6参照、そうでない場合により解像度の高いビデオレンダリング、より多くの色、またはより多くのテキスチャに使用することができる価値のあるシステムメモリを、節約する。また、圧縮フォーマットの効果としてファイルサイズが小さくなることにより、記憶媒体から迅速なオンデマンドのローディングが可能になる。サウンド成分は、位置、等化、ボリューム、および必要な効果を詳述するパラメータを備える。これらの詳細は、レンダリングプロセスの結果に影響することになる。API層42は、各サウンド効果を創出および制御するために、プログラマにインタフェースを提供し、また、オーディオデータの混合を扱う複雑なリアルタイムオーディオレンダリングプロセスからの分離をもたらす。オブジェクト指向のクラスは、サウンドの生成を創出および制御する。プログラマが自由にできるいくつかのクラスメンバが存在し、それは、ロード、アンロード、プレイ、休止ポーズ、停止ストップ、ルーピング、遅延、ボリューム、等化、3D位置、環境の最大および最小のサウンド次元、メモリの割付け、メモリのロッキングおよび同期化である。APIは、創出されてメモリにロードされた、または媒体からアクセスされた、すべてのサウンドオブジェクトの記録を生成するステップ52。このデータは、オブジェクトリストテーブルに記憶される。オブジェクトリストは、実際のオーディオデータを含まず、むしろ、圧縮されたオーディオストリーム内におけるデータポインタの位置、サウンドの位置座標、聞き手の位置までの方位および距離、サウンド生成の状況、およびデータの混合に必要な任意の特別な処理を示す情報などのような、サウンドの生成に重要な情報を追跡する。サウンドオブジェクトを創出するためにAPIが呼び出されるとき、そのオブジェクトに対する基準ポインタは、自動的にオブジェクトリストに入力される。オブジェクトが消去されるとき、オブジェクトリストにおける対応するポインタエントリは、ヌルに設定される。オブジェクトリストが一杯の場合、簡単な経時ベースのキャッシングシステムは、古い事象インスタンスを上書きすることを選択することができる。オブジェクトリストは、非同期アプリケーション、同期ミキサ、および圧縮オーディオ生成装置プロセスの間にブリッジを形成する。各オブジェクトによって引き継がれたクラスにより、開始、停止、休止、ロード、およびアンロードの機能が、サウンドの生成を制御することが可能になる。これらの制御により、プレイリストマネジャが、オブジェクトリストを検査し、その時点で実際にプレイしているそれらのサウンドのみのプレイリスト53を構築することが可能になる。マネジャは、サウンドが休止、停止、プレイを完了、またはプレイを開始するのに十分遅延されていない場合、プレイリストからそのサウンドを除くことを決定することができる。プレイリストの各エントリは、検査しなければならないサウンド内の個々のフレームに対するポインタであり、このサウンドは、必要であれば、混合前に区分的にアンパックされる。フレームのサイズは一定なので、ポインタの操作により、出力サウンドの再生の位置決め、ルーピング、および遅延が可能になる。このポインタの値は、圧縮されたオーディオストリーム内における現在のデコード位置を示す。サウンドの位置的ローカリゼーションは、サウンドを個々のレンダリングパイプラインに割り当てることを必要とするか、または、次にラウドスピーカの構成の上に直接マッピングする実行バッファに割り当てることを必要とするステップ54。これがマッピング機能の目的である。フレームリストのエントリに対する位置データは、どの信号処理機能を適用するかを決定し、聞き手に対する各サウンドの方位および方向を一新し、環境に対する物理的モデルに応じて各サウンドを変更し、混合係数を決定し、オーディオストリームを利用可能な最も適切なスピーカに割り付けるために、検査される。すべてのパラメータとモデルのデータとは、パイプラインに入る各圧縮オーディオフレームに関連付けられているスケールファクタに対する変更を導出するために組み合わされる。横向きローカリゼーションが望ましい場合、フェーズシフトテーブルからデータが示され、インデックスされる。オーディオレンダリング図2および3に示したように、オーディオレンダリング層44は、オブジェクトクラスによって設定された3Dパラメータ57に従って、望ましいサブバンドデータ55を混合する責務を担う。複数のオーディオ成分を混合するには、各成分を選択的にアンパックおよび圧縮解除し、相関のあるサンプルを合計し、各サブバンドに対して新しいスケールファクタを計算することを必要とする。レンダリング層のすべてのプロセスは、圧縮されたオーディオデータの滑らかで連続的な流れをデコードシステムへ送るために、リアルタイムで機能しなければならない。パイプラインは、プレイされているサウンドオブジェクトのリストと、各オブジェクト内からのサウンドを変更する指示とを受け取る。各パイプラインは、混合係数に従って成分オーディオを操作し、単一スピーカチャネルに対して出力ストリームを混合するように、設計される。出力ストリームは、統一出力ビットストリームへとパックおよび多重化される。より具体的には、レンダリングプロセスは、各成分のスケールファクタをフレームごとにメモリへとアンパックおよび圧縮解除するかステップ56、または、一度に複数のフレームをアンパックおよび圧縮解除する図7参照ことによって、開始される。この段階では、各サブバンドに対するスケールファクタの情報のみが、その成分または成分の部分がレンダリングされたストリームにおいて可聴である場合、評価することを必要とされる。固定長コード化が使用されるので、そのスケールファクタを含むフレームの部分のみをアンパックおよび圧縮解除することができ、それにより、プロセッサの使用を減らせる。SIMDの性能のために、各7ビットのスケールファクタの値は、バイトとしてメモリスペースに記憶され、32バイトのアドレス境界と位置合わせされて、キャッシュライン読み出しが1つのキャッシュ充填オペレーションにおいてすべてのスケールファクタを獲得し、かつキャッシュメモリの汚染を生じないことを保証するようにする。更にこのオペレーションを高速化するために、スケールファクタをバイトとしてソースマテリアルに記憶し、32バイトのアドレス境界上においてメモリ内で生じるように編成することが可能である。3D位置、ボリューム、混合、および等化によって提供された3Dパラメータ57は、抽出したスケールファクタを変更するために使用される各サブバンドに対する変更アレイを決定するために組み合わされるステップ58。各成分は、サブバンド領域において表されているので、等化は、スケールファクタを介して望ましいようにサブバンド係数を調整する自明なオペレーションである。ステップ60において、パイプラインのすべてのエレメントに対してインデックスされた最大スケールファクタが特定され、メモリスペースにおいて適切に位置合わせされている出力アレイへ記憶される。この情報を使用して、あるサブバンドの成分を混合する必要性を決定する。ステップ62というこの時点で、スピーカのパイプラインから可聴でないサブバンドを除去するために、他のパイプライン化されたサウンドオブジェクトとのマスキング比較が実施される詳細は図8および9を参照。マスキング比較は、高速化するために、各サブバンドに対して独立して実施されることが好ましく、また、マスキング比較は、リストによって参照されたオブジェクトのスケールファクタに基づいている。パイプラインは、単一のスピーカからの可聴である情報のみを含む。出力スケールファクタが、人間の聴覚の閾値スレッショルドより低い場合、出力スケールファクタは、ゼロに設定することが可能であり、そうすることにより、対応するサブバンドの成分を混合する必要性が除かれる。PCM時間領域オーディオの操作に対するDTS対話型の利点は、ゲームプログラマが、より多くの成分を使用でき、且つ過剰な計算をせずに任意の所与の時間に可聴なサウンドのみを抽出および混合するマスキングルーチンに依存することが可能なことである。望ましいサブバンドが識別された後、オーディオフレームは、更に、可聴なサブバンドデータのみを抽出するためにアンパックおよび圧縮解除されステップ64、これは、左シフトされたDWORDフォーマットとしてメモリに記憶される図10a~10c参照。この記述を通して、DWORDは、一般性を失わずに、32ビットに想定されている。ゲームの環境では、FLCを使用するために失われた圧縮に支払われる代償は、サブバンドデータをアンパックおよび圧縮解除するために必要な計算の数を減らすことによって補償されるよりも大きい。このプロセスは、すべての成分とチャネルに対し、単一の事前定義されたビット割付けテーブルを使用することによって、更に簡単になる。FLCにより、成分内の任意のサブバンドにおいて、読み出し位置をランダムに配置することが可能になる。ステップ66において、フェーズ位相位置決めフィルタリングが、バンド1および2のサブバンドデータに適用される。フィルタは、特有のフェーズ特性を有し、耳が位置の手掛かりとして最も敏感である200Hzから1200Hzの周波数領域に対してのみ適用されることを必要とする。フェーズ位置の計算は、32のサブバンドのうち最初の2つのバンドにのみ適用されるので、計算の数は、同等な時間領域オペレーションに必要な数の約16分の1である。横向きローカリゼーションが必要でない場合、または計算のオーバーヘッドが過剰であると見なされる場合、位相の修正は無視することができる。ステップ68において、サブバンドデータは、それに、対応する変更されたスケールファクタを乗算し、それを、パイプラインの他の適格のサブバンド成分のスケール化されたサブバンド産出物と合計することによって、混合される図11参照。ビット割り当て割付けによって指図される、ステップサイズによる通常の乗算は、ビット割付けテーブルをすべてのオーディオ成分に対して同じであると事前に定義することによって、回避される。最大スケールファクタのインデックスがルックアップされ、混合された結果へと除算または逆数を乗算される。除算と逆数オペレーションによる乗算とは数学的には同等であるが、乗算オペレーションは一桁高速である。混合された結果が1つのDWORDに記憶される値を超えるとき、オーバーフローが生じることがある。浮動小数点ワードを整数として記憶する試行により、影響を受けるサブバンドに適用されるスケールファクタを変更するためにトラップおよび使用される例外が創出される。混合のプロセス後、データは、左にシフトした形態で記憶される。出力データフレームのアセンブリおよびキューイング図4に示したように、コントローラ70は、出力フレーム72をアセンブルし、それらを、サラウンドサウンドデコーダに送信するためにキューに配置する。デコーダは、データストリーム内に埋め込まれている反復同期化マーカまたは同期化コードに位置合わせすることができる場合、有用な出力を生成するだけでよい。S/PDIFデータストリームを介してのコード化されたデジタルオーディオの送信は、元のIEC958仕様の修正であり、コード化されたオーディオフォーマットの識別に対する準備とはならない。マルチフォーマットデコーダは、まず、並行同期ワードを確実に検出することによってデータフォーマットを決定し、次いで、適切なデコード方法を確立しなければならない。同期条件の損失すると、デコーダが出力信号をミュートし、コード化されたオーディオフォーマットを再確立しようとするので、オーディオの再生に中断をもたらす。コントローラ70は、無音を表す圧縮されたオーディオを含むヌル出力テンプレート74を準備する。現在の好ましい実施形態では、ヘッダ情報はフレームごとの違いはなく、スケールファクタおよびサブバンドデータ領域のみを更新する必要がある。テンプレートのヘッダは、ストリームビット割付けのフォーマットに関する不変の情報と、情報をデコードおよびアンパックするための追加的情報とを搬送する。同時に、オーディオレンダラは、サウンドオブジェクトのリストを生成し、それをスピーカの位置へマッピングする。マッピングされたデータ内では、可聴なサブバンドデータは、上述したように、パイプライン82によって混合される。パイプライン82によって生成されたマルチチャネルサブバンドデータは、事前定義されたビット割付けテーブルに従って、FLCに圧縮されるステップ78。パイプラインは、並列に編成されており、それぞれは、特定のスピーカチャネルに特有である。ITU推奨BS.775-1は、マルチチャネルサウンド送信、HDTV、DVD、および他のデジタルオーディオ応用のための2チャネルサウンドシステムの限界を認識する。この推奨は、聞き手の回りに一定の距離の配列に構成された2つのリア/サイドスピーカと3つのフロントスピーカとを組み合わせることを推奨する。変更されたITUスピーカ構成が採用される或る場合には、左サラウンドチャネルおよび右サラウンドチャネルは、圧縮されたオーディオフレーム全体の数によって遅延84される。パッカ86は、スケールファクタおよびサブバンドデータをパックしステップ88、パックされたデータをコントローラ70へ渡す。出力ストリームの各チャネルに対するビット割付けテーブルが事前に定義されているので、フレームがオーバーフローする可能性は排除される。DTS対話型フォーマットは、ビットレート制限されておらず、線形およびブロックのエンコードの簡単で迅速なエンコード技術を適用することができる。デコーダの同期を維持するために、コントローラ70は、パックされたデータの次のフレームの出力準備ができているかを判定するステップ92。答えがイエスである場合、コントローラ70は、パックされたデータスケールファクタとサブバンドデータを以前の出力フレーム72に上書きしステップ94、それをキューに配置するステップ96。答えがノーである場合、コントローラ70は、ヌル出力テンプレート74を出力する。圧縮された無音をこの方法で送信することにより、同期を維持するために、デコーダへフレームを中断なしに出力することが保証される。即ち、コントローラ70は、データポンププロセスを提供する。この機能は、出力装置による継ぎ目のない生成のために、出力ストリームに中断またはギャップをもたらさずに、コード化オーディオフレームバッファを管理することである。データポンププロセスは、最も最近出力を完了したオーディオバッファをキューに入れる。バッファが出力を終了すると、それは出力バッファキューに再配置repostされ、空であるとフラグが立てられる。この空状態フラグにより、混合プロセスは、データを識別し、そして、キューの次のバッファが出力されるのと同時に且つ残りのバッファが出力を待機している間に、そのデータをその未使用のバッファにコピーすることが可能になる。データポンププロセスを準備するためには、キューのリストに、まず、ヌルオーディオバッファイベントを配置しなければならない。初期設定バッファのコンテンツは、コード化されているか否かに関わらず、無音または他の非可聴または意図した信号を表すべきである。キューのバッファの数と各バッファのサイズは、ユーザの入力に対する応答時間に影響を与える。待ち時間を短く維持し、より現実的な対話型経験を提供するために、出力キューは、2バッファの深度に制限され、一方、各バッファのサイズは、宛先デコーダとユーザが受け入れ可能な待ち時間とにより許容される最大のフレームサイズによって決定される。オーディオの質は、ユーザの待ち時間に対して、折り合いをつけることが可能である。小さなフレームサイズは、ヘッダ情報の反復的に送信することにより負担をかけられ、これにより、オーディオデータをコード化するのに利用可能なビット数が減少し、それにより、レンダリングされたオーディオの質が低下する。一方、大きなフレームのサイズは、ホームシアタのデコーダにおけるローカルDSPメモリの利用可能性により制限され、それにより、ユーザの待ち時間を増大させる。サンプルレートと組み合わされて、この2つの量は、圧縮されたオーディオ出力のバッファを更新するための最大リフレッシュ間隔を決定する。DTS対話型システムでは、これはタイムベースであり、サウンドのローカリゼーションをリフレッシュし、リアルタイム対話の錯覚を提供するために使用される。このシステムでは、出力フレームのサイズは、4096バイトに設定されており、最小限のヘッダサイズ、編集およびループ創出のための良好な時間分解能、およびユーザの応答に対する短い待ち時間を提供する。通常、4096バイトのフレームサイズに対しては69msから92msであり、2048バイトのフレームサイズに対しては34msから46msである。各フレーム時間において、聞き手の位置に対するアクティブのサウンドの距離および角度が計算され、この情報は、個々のサウンドをレンダリングするために使用される。例として、サンプルレートに依存する31Hzから47Hzの間のリフレッシュレートが、4096バイトのフレームサイズに対して可能である。圧縮されたオーディオのルーピングルーピングは、望ましいオーディオ効果を創出するために、同じサウンドビットが不確定にルーピングされる標準的なゲームの技術である。例えば、ヘリコプタサウンドの少数のフレームを記憶してルーピングし、ゲームに必要とされる長さだけリコプタを生成することができる。時間領域では、サウンドの終了位置と開始位置との間の遷移ゾーン中に、可聴なクリックまたはひずみは、開始と終了の振幅が相補的である場合には聞かれることはない。この同じ技術は、圧縮オーディオ領域では作用しない。圧縮されたオーディオは、PCMサンプルの固定されたフレームからエンコードされたデータのパケットに含まれており、そして、以前に処理されたオーディオに対する圧縮オーディオフレームの相互依存によって、更に複雑になっている。DTSサラウンドサウンドデコーダの再構築フィルタは出力オーディオを遅延させ、第1オーディオサンプルが、再構築フィルタの特性により、低レベルの過渡的な振舞いを呈するようにさせる。図5に示したように、DTS対話型システムにおいて実施されたルーピング解決法は、対話型ゲーム環境におけるリアルタイムのルーピングの実行とコンパチブルな圧縮フォーマットで記憶するためのコンポーネントオーディオを用意するように、オフラインで実施される。このルーピング解決法の第1ステップは、ルーピングされたシーケンスのPCMデータが、圧縮されたオーディオフレームの全体の数によって定められた境界内に精確にフィットするように、まず、時間についてコンパクト化または拡張されることを必要とするステップ100。エンコードされたデータは、エンコードされた各フレームからのオーディオサンプルの固定数を表す。DTSシステムでは、サンプルの持続期間は、1024サンプルの倍数である。開始するためには、圧縮されていない読み出しオーディオの少なくともNフレームが、ファイルの終端部から読み出されステップ102、ルーピングされるセグメントの開始へ一時的に添付されるステップ104。この例では、Nは値1を有するが、以前のフレームに対する再構築フィルタの依存性をカバーするのに十分な大きさの任意の値を使用することが可能である。エンコードステップ106の後、Nの圧縮されたフレームは、圧縮されたオーディオループシーケンスをもたらすために、エンコードされたビットストリームの始めから除去されるステップ108。このプロセスにより、終了フレーム中に再構築合成フィルタにある値が、開始フレームとの継ぎ目のない連結を保証するのに必要な値と一致することが保証され、そうすることにより、可聴なクリックまたはひずみが防止される。ルーピングされた再生の際に、読み出しポインタは、グリッチのない再生のために、ルーピングされたシーケンスの始めへと戻すように向けられる。DTS対話型フレームフォーマットDTS対話型フレーム72は、図6に示したように構成されたデータからなる。ヘッダ110は、オーディオペイロードをデコードするのに必要な、コンテンツのフォーマット、サブバンドの数、チャネルフォーマット、サンプリング周波数、およびテーブルDTS規格において定義されているを記述する。また、この領域は、ヘッダの始めを識別し、かつアンパックのために、エンコードされたストリームの位置合わせアライメントを提供するために、同期ワードを含む。ヘッダに続いて、ビット割付けセクション112は、どのサブバンドがフレームに存在するか、ならびに、サブバンドのサンプルあたりに割り付けられたビットの数の指示を示す。ビット割付けテーブルにおけるゼロのエントリは、関連するサブバンドがフレームに存在しないことを示す。ビットの割付けは、混合の速さについて、成分ごと、チャネルごと、フレームごと、および各サブバンドに対して固定されている。固定されたビットの割付けは、DTS対話型システムによって採用され、ビット割付けテーブルを検査、記憶、および走査する必要性を排除し、アンパック段階中におけるビット幅の規則的なチェックを排除する。例えば、以下のビット割付けは、使用に適している{15、10、9、8、8、8、7、7、7、6、6、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5、5}。スケールファクタセクション114は、例えば32サブバンドなどのように、サブバンドのそれぞれに対するスケールファクタを識別する。スケールファクタのデータは、対応するサブバンドデータと共に、フレームごとに異なる。最後に、サブバンドデータセクション116は、すべての量子化されたサブバンドデータを含む。図7に示したように、サブバンドのデータの各フレームはサブバンドあたり32のサンプルからなり、サイズ8の4つのベクトル118a~118dとして編成されている。サブバンドのサンプルは、線形コードまたはブロックコードによって表すことができる。線形コードは、符号ビットで始まり、それにサンプルデータが続く。一方、ブロックコードは、符号を含めたサブバンドサンプルの効率的にエンコードされたグループである。サブバンドデータ116とのビット割付け112およびスケールファクタ114の位置合わせについても記述されている。圧縮されたオーディオのサブバンド領域混合以前に説明したように、DTS対話型は、通常のPCMフォーマットではなく、圧縮されたフォーマットで、サブバンドデータなどの成分オーディオを混合し、大きな計算の柔軟性と忠実度の利益を実現する。これらの利益は、2段階においてユーザにとって可聴でないサブバンドを破棄することによって獲得される。第1に、ゲームプログラマは、特有のオーディオ成分の周波数コンテンツに関する以前の情報に基づいて、有用な情報を僅かに含むか又は全く含まない上部高周波数サブバンドを破棄することができる。これはオフラインで実施されるものであり、成分オーディオを記憶する前に、上部バンドビット割付けをゼロに設定することによって行われる。より具体的には、48.0kHz、44.1kHz、および32.0kHzのサンプルレートにはしばしばオーディオにおいて遭遇するが、高いサンプルレートは、メモリを費やして忠実度の高い完全なバンド幅のオーディオを提供する。これは、素材が音声などのような、僅かな高周波数を含むものである場合、リソースの浪費となることがある。より低いサンプルレートは、或る素材にはより適切であるが、異なるサンプルレートの混合の問題が生じる。ゲームのオーディオは、オーディオ品質とメモリ要件との妥当な妥協として、22.050kHzのサンプリングレートを頻繁に使用する。DTS対話型システムでは、すべての素材は、以前に記述した最高のサポートされるサンプルレートでエンコードされ、全オーディオスペクトルを完全に占有しない素材は、以下のように取り扱われる。例えば11.025kHzにおいてエンコードすることを意図した素材は、44.1kHzでサンプリングされ、高周波数コンテンツを記述するサブバンドの上部75は破棄される。この結果としてのエンコードされたファイルは、他のより高い忠実度の信号との互換性および混合の容易さを保持し、更にファイルのサイズを低減することを可能にするファイルである。この原理を拡張して、サブバンドの上部50を破棄することによって22.050kHzのサンプリングを可能にすることができる方法は、容易に理解される。第2に、DTS対話型は、スケールファクタをアンパックしステップ120、それらを簡略化した音響心理学的分析に使用して図9参照、マップ機能ステップ54によって選択されたオーディオ成分のどれが、各サブバンドにおいて可聴であるかを決定するステップ124。近傍のサブバンドを考慮に入れる標準的な音響心理学的分析を実施して、少し良好な性能を達成することができるが、速さを犠牲にすることになる。その後、オーディオレンダラは、可聴であるそれらのサブバンドのみをアンパックおよび圧縮解除するステップ126。レンダラは、サブバンド領域において、各サブバンドのサブバンドデータを混合しステップ128、それを再圧縮して、それを図4に示したようにパッキングのためにフォーマットするアイテム86。このプロセスの計算の利益は、可聴であるそれらのサブバンドのみをアンパック、圧縮解除、混合、再圧縮、およびパックしなければならないことから実現される。同様に、混合のプロセスは自動的に可聴でないデータをすべて破棄するので、ゲームプログラマには、量子化雑音フロアを上昇させずに、より多数のオーディオ成分を用いて豊かなサウンド環境を創出するためのすぐれた柔軟性を提供される。これらは、リアルタイム対話型環境において、即ち、ユーザの待ち時間が重要であり、豊かで忠実度の高い没入型のオーディオ環境が目標である環境において、非常に大きな利点である。音響心理学的マスキング効果音響心理学的な測定は、知覚的に不適切な情報を決定するために使用される。この情報は、人間の聞き手が聞くことができず、かつ、時間領域、サブバンド領域、またはいくつかの他の基盤において測定することができる、オーディオ信号の部分として定義される。2つの主なファクタが、音響心理学的な測定に影響を与える。一方は、人間に適用可能な聴覚の、周波数依存の絶対スレッショルドである。他方は、1つのサウンドと同時にプレイされた第2のサウンド、又は第1のサウンドの後の第2のサウンドを聞くための人間の能力に対しての、第1のサウンドが持つマスキング効果である。即ち、同じサブバンドまたは近傍のサブバンド内にある第1のサウンドは、我々が第2のサウンドを聞くことを妨げ、それをマスクアウトすると言う。サブバンドコーダでは、音響心理学的計算の最終結果は、そのインスタンスでの各サブバンドの可聴でないレベルの雑音を特定する数のセットである。この計算は、よく知られており、MPEG1圧縮規格、ISO/IECDIS11172Informationtechnology-Codingofmovingpicturesandassociatedaudiofordigitalstoragemediauptoabout1.5Mbits/s情報技術-約1.5Mビット/sまでのデジタル記録媒体のための動画および関連のオーディオのコード化、1992、に入れられている。これらの数は、オーディオ信号と共に動的に変化する。コーダは、これらのサブバンドにおける量子化雑音が可聴なレベル未満であるように、ビット割付けプロセスによって、サブバンドの量子化雑音フロアを調節することを試みる。DTS対話型は、現在、サブバンド間の依存を不能にすることによって、通常の音響心理学的マスキングオペレーションを簡単にする。最終分析では、スケールファクタからサブバンド内のマスキング効果を計算することにより、各サブバンドの可聴な成分を識別する。これは、サブバンドごとに同じである可能性も異なる可能性もある。完全な音響心理学的分析は、或るサブバンドではより多くの成分を提供し、他のサブバンド、最も高い可能性としては上部サブバンド、を完全に破棄する可能性がある。図9に示したように、音響心理学的なマスキングの機能は、オブジェクトリストを検査し、供給された成分ストリームの各サブバンドに対しての最大の変更されたスケール値を抽出するステップ130。この情報は、オブジェクトリストに存在する最も音の大きい信号に対する基準として、マスキング機能へ入力される。また、最大スケールファクタは、混合された結果をDTS圧縮オーディオフォーマットにエンコードするための基礎として、量子化器へ送られる。DTS領域のフィルタリングには、時間領域信号は利用できず、従って、マスキングのスレッショルドは、DTS信号のサブバンドのサンプルから推定される。マスキングスレッショルドは、最大スケールファクタと人間の聴覚応答とから、各サブバンドに対して計算されるステップ132。各サブバンドのスケールファクタは、そのバンドのマスキングスレッショルドと比較されステップ136、そのバンドに対して設定されたマスキングスレッショルド未満であることがわかった場合、そのサブバンドは可聴ではないと見なされ、混合プロセスから除去されるステップ138。そうでない場合、サブバンドは、可聴であると見なされ、混合プロセスのために維持されるステップ140。現在のプロセスは、同じサブバンドのマスキング効果のみを考慮し、近傍のサブバンドの効果は無視する。これにより、性能はいくらか落ちるが、このプロセスは簡単であり、従って、対話型リアルタイム環境において要求されるより遙かに高速である。ビット操作上述のように、DTS対話型は、オーディオ信号を混合およびレンダリングするために必要な計算の数を減らすように設計される。アンパックおよび再パックしなければならないデータの量を最小限に抑えるように最大の努力が払われるが、その理由は、これらおよび圧縮解除/再圧縮のオペレーションは計算的に集中するからである。それでも、可聴なサブバンドデータは、アンパック、圧縮解除、混合、圧縮、および再パックをしなければならない。従って、DTS対話型はまた、図10a~10cに示したようにデータをアンパックおよびパックし、図11に示したようにサブバンドデータを混合する計算の数を減らすために、データを操作する異なる手法を提供する。通常、デジタルサラウンドシステムは、圧縮を最適化するために、可変長のビットフィールドを使用してビットストリームをエンコードする。アンパックプロセスの重要な要素は、可変長ビットフィールドの符号付き抽出である。アンパックの手続きは、このルーチンを実行する頻度に起因して集中的である。例えば、Nビットのフィールドを抽出するために、まず32ビットDWORDのデータを左にシフトして、符号ビットを最も左のビットフィールドに配置する。次に、符号エクステンションを導入するために、この値を2の累乗によって除算するか、または、32-Nビットの位置だけ右にシフトする。多数のシフトオペレーションは、有限の時間で実行されるが、残念ながら、現代のペンティアムRプロセッサでは、他の命令と並行して実行することやパイプライン化することはできない。DTS対話型は、スケールファクタがビット幅サイズに関関連していることを利用し、これにより、最終的右シフトオペレーションを、以下の場合、即ち、aスケールファクタが、その場所において、しかるべく扱われ、bサブバンドデータを表すビットの数が十分であるので、32-Nの最右ビットによって表されたノイズが、再構築された信号のノイズフロアより低い場合において、無視する可能性を提供するということを実現する。Nはわずか数ビットとすることが可能であるが、これは、通常、ノイズフロアがより高い上部サブバンドでのみ生じる。非常に高い圧縮率を適用するVLCシステムでは、ノイズフロアを超えるであろう。図10aに示したように、通常のフレームは、サブバンドデータ140のセクションを含み、このセクションは、個々のNビットサブバンドデータ142を含み、ここにおいてNは、サブバンドにわたって変化することが許容されるが、サンプルにわたって変化することは許容されない。図10bに示したように、オーディオレンダラは、サブバンドデータのセクションを抽出して、それをローカルメモリに記憶するが、それは、通常は第1ビットが符号ビット146であり、次の31のビットがデータビットである32ビットのワード144として記憶する。図10cに示したように、オーディオレンダラは、サブバンドデータ142を左にシフトしており、従って、その符号ビットは、符号ビットン146と位置合わせされている。すべてのデータがVLCではなくFLCとして記憶されるので、これは、自明なオペレーションである。オーディオレンダラは、データを右にシフトすることはない。代わりに、スケールファクタは、2によってそれらを除算することによって事前スケール化され、32-Nの累乗へと上げられ、記憶され、そして、32-Nの最右ビット148は、可聴でない雑音ノイズとして取り扱われる。即ち、スケールファクタの1ビットの右シフトとサブバンドデータの1ビットの左シフトとを組み合わせても、その産物の値を変化させない。また、同じ技術をデコーダによって使用することができる。すべての混合産物の合計と量子化の後には、オーバーフローする値を識別することは簡単なことであるが、その理由は、記憶の限界が固定されるからである。これにより、サブバンドデータが左シフトオペレーションによって取り扱われていないシステムと比較して、非常に優れた検出速度が提供される。データが再パックされるとき、レンダリングされたオーディオは、各32ビットのワードから最左のNビットをつかみとり、それにより、32-Nの左シフトオペレーションを回避する。32-Nの右および左のシフトオペレーションを回避することは、それほど重要でないように見えるかも知れないが、アンパックおよびパックのルーチンを実行する頻度は非常に高いので、計算は著しく減ることになる。サブバンドデータの混合図11に示したように、混合のプロセスが開始され、可聴なサブバンドデータは、位置、等化、位相のローカリゼーションなどに対して調整された、対応するスケールファクタによって乗算されステップ150、和は、パイプラインの他の適格のアイテムの対応するサブバンド産物に付加されるステップ152。所与のサブバンドにおける各成分のビットの数は同じなので、ステップサイズファクタを無視することができ、従って、計算を減らすことができる。最大のスケールファクタのインデックスを探索しステップ154、その逆数を、混合の結果と乗算するステップ156。混合の結果が、1つのDWORDに記憶されている値を超えるとき、オーバーフローが生じ得るステップ158。浮動小数点のワードを整数として記憶する試行により例外が創出され、この例外は、すべての影響を受けるサブバンドに適用されるスケールファクタを修正するためにトラップおよび使用されるものである。例外が生じる場合、最大のスケールファクタは増分されステップ160、サブバンドデータは再計算されるステップ156。最大スケールファクタは開始点として使用されるが、その理由は、伝統的すぎるぐらいの方が良いからであり、また、信号のダイナミックレンジを低減するよりはスケールファクタを増分する方が良いからである。混合プロセス後、データは、再圧縮およびパックのために、スケールファクタのデータを変更することによって左シフトされた形態で記憶される。本発明の幾つかの例示的な実施形態について、図示および記述してきたが、当業者なら、多くの変更形態および代替形態を思いつくであろう。例えば、2つの5.1チャネル信号を混合し、および共にインタリーブして、高さの次元を追加した真の3D没入型のための10.2チャネル信号を生成することができる。更に、一度に1つのフレームを処理する代わりに、処理を組み合わせることによって、オーディオレンダラは、フレームのサイズを2分の1に小さくし、2つのフレームを一度に処理することができる。これにより、待ち時間は2分の1になるが、ヘッダ情報を2回反復するたびに、いくつかのビットを浪費するという犠牲を伴う。しかし、専用のシステムでは、ヘッダ情報の多くは除くことができる。そのような変更形態および代替形態が考慮され、それらは、特許請求の範囲において定義されている本発明の精神および範囲から逸脱せずに実施することができる。