(57)【要約】  オーディオエンコーダ又はエンコーディング方法であって、複数の入力チャンネルを受け取り、１以上の出力オーディオチャンネルと、この１以上の出力オーディオチャンネルから導くことのできる複数のオーディオチャンネル間の望ましい空間的関係を記述する１以上のパラメータとを出力し、そして、１以上の前記複数の入力チャンネルにおける時間に関する信号特性の変化を検出することにより、１以上の前記複数の入力チャンネルにおける時間に関する信号特性の変化が聴覚事象の境界として特定され、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成し、そして、前記１以上のパラメータのいくつかを、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた信号特性の変化の程度に応答して生成する。聴覚事象にすばやく応答するオーディオアップキミサ又はミキシング方法もまた開示している。
2009503615.tif 000002
【特許請求の範囲】
【請求項１】
エンコーダが複数の入力チャンネルを受け取り、１以上のオーディオ出力チャンネルと、該１以上のオーディオ出力チャンネルから導くことのできる複数のオーディオチャンネル間の望ましい空間的関係を記述する１以上のパラメータとを出力することを特徴とする、オーディオエンコーディング方法であって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出するステップと、
前記１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定するステップであって、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とするステップと、
前記１以上のパラメータの一部又は全部を、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成するステップと、
を具備することを特徴とするオーディオエンコーディング方法。
【請求項２】
オーディオの処理において、複数の入力チャンネルを受け取り、入力チャンネルの数よりも多い数のオーディオ出力チャンネルを生成することを特徴とする、オーディオの処理方法であって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出するステップと、
前記１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定するステップであって、連続する境界間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とするステップと、
前記オーディオ出力チャンネルを、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成するステップと、
を具備することを特徴とするオーディオの処理方法。
【請求項３】
聴覚事象は、別々の分離したものとして識別されるオーディオのセグメントであることを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記信号特性にはオーディオのスペクトル内容が含まれることを特徴とする請求項１乃至請求項３のいずれか１項に記載の方法。
【請求項５】
１以上のパラメータの一部又は全部は、少なくとも部分的には１以上の聴覚事象の存在又は不存在に応答して生成されることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項６】
前記特定するステップは、時間についての閾値を越える信号特性の変化を聴覚事象の境界として特定することを特徴とする、請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項７】
１以上のパラメータは、少なくとも部分的には優勢な入力チャンネルの特定に依存し、そのようなパラメータの生成において、優勢な入力チャンネルの特定は聴覚事象の境界でのみ変化することを特徴とする請求項１の従属項としての請求項６に記載の方法。
【請求項８】
前記１以上のパラメータの一部又は全部は、少なくとも部分的には前記聴覚事象の境界に関連する信号特性における変化の程度の連続的な指標に応答して生成されることを特徴とする請求項１、請求項３、又は請求項４のいずれか１項に記載の方法。
【請求項９】
１以上のパラメータは、少なくとも部分的には入力チャンネルの１以上のペアの共分散の推定値の時間変化に依存し、そのようなパラメータの生成において、該共分散は、時間とともに変化する聴覚事象の強さの変化に対応する平滑時定数を用いて時間的に平滑化されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記オーディオチャンネルの各々は、データブロック中のサンプルにより表現されることを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
前記信号特性は、ブロック中のオーディオのスペクトル内容であることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記時間についての信号特性の変化の検出は、ブロックとブロックとの間でのスペクトル内容の変化の検出であることを特徴とする請求項１１に記載の方法。
【請求項１３】
聴覚事象の時間的な開始と終了の境界はそれぞれ、データのブロックの境界に一致することを特徴とする請求項１２に記載の方法。
【請求項１４】
請求項１乃至請求項１３のいずれか１項に記載の方法を実施するようにした装置。
【請求項１５】
請求項１４に記載の装置をコンピュータに制御させるための、コンピュータが読み取り可能な媒体。
【請求項１６】
請求項１乃至請求項１３のいずれか１項に記載の方法をコンピュータに実行させるための、コンピュータが読み取り可能な媒体に記憶されたコンピュータプログラム。
【請求項１７】
請求項１乃至請求項１３のいずれか１項に記載の方法により生成されたビットストリーム。
【請求項１８】
請求項１乃至請求項１３のいずれか１項に記載の方法を実施するようにした装置により生成されたビットストリーム。
【請求項１９】
エンコーダが複数の入力チャンネルを受け取り、１以上のオーディオ出力チャンネルと、該１以上のオーディオ出力チャンネルから導くことのできる複数のオーディオチャンネル間の望ましい空間的関係を記述する１以上のパラメータとを出力することを特徴とする、オーディオエンコーダであって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出する手段と、
前記１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定する手段であって、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とする手段と、
前記１以上のパラメータの一部又は全部を、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成する手段と、
を具備することを特徴とするオーディオエンコーダ。
【請求項２０】
エンコーダが複数の入力チャンネルを受け取り、１以上のオーディオ出力チャンネルと、該１以上のオーディオ出力チャンネルから導くことのできる複数のオーディオチャンネル間の望ましい空間的関係を記述する１以上のパラメータとを出力することを特徴とする、オーディオエンコーダであって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出し、該１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定する手段であって、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とする検出器と、
前記１以上のパラメータの一部又は全部を、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成するパラメータジェネレータと、
を具備することを特徴とするオーディオエンコーダ。
【請求項２１】
プロセッサが複数の入力チャンネルを受け取り、入力チャンネルの数よりも多い数のオーディオ出力チャンネルを生成することを特徴とする、オーディオプロセッサであって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出する手段と、
前記１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定する手段であって、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とする手段と、
前記オーディオ出力チャンネルを、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成する手段と、
を具備することを特徴とするオーディオプロセッサ。
【請求項２２】
プロセッサが複数の入力チャンネルを受け取り、入力チャンネルの数よりも多い数のオーディオ出力チャンネルを生成することを特徴とする、オーディオプロセッサであって、
１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を検出し、該１以上の前記複数のオーディオ入力チャンネルにおける時間に関する信号特性の変化を聴覚事象の境界として特定する手段であって、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成することを特徴とする検出器と、
前記オーディオ出力チャンネルを、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた前記信号特性の変化の程度に応答して生成するアップミキサーと、
を具備することを特徴とするオーディオプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンコーダが複数のオーディオチャンネルをより少ない数のオーディオチャンネルと、このオーディオチャンネル同士の好ましい空間的関係を表す１以上のパラメータとにダウンミックスし、このパラメータの全て又は一部は、聴覚事象の関数として生成する、オーディオエンコーディング方法及び装置に関する。本発明はまた、複数のオーディオチャンネルを、聴覚事象の関数としての多数のオーディオチャンネルにアップミックスするオーディオについての方法及び装置に関する。本発明はまた、このような方法を実行するための、又は、このような装置を制御するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
［空間的コーディング］
限られたビットレートのデジタルオーディオコーディング技術によれば、入力マルチチャンネル信号を分析して、「ダウンミックス」コンポジット信号（入力信号より少ないチャンネルを有する信号）とサウンドフィールドのパラメトリックモデルを有するサイド情報が導き出される。このサイド情報とコンポジット信号はデコーダに送られ、デコーダで、適切な損失のあるデコーディング及び／又は無損失のデコーディングが適用され、その後、コンポジット信号を元のサウンドフィールドの近似を再現するより数の多いチャンネルに「アップミキシング」するために、パラメトリックモデルがこのデコードされたコンポジット信号に適用される。このような「空間的」コーディングシステム又は「パラメトリック」コーディングシステムの第１の目的は、非常に限られた量のデータでマルチチャンネルサウンドフィールドを再現することである。従って、このことは、元のサウンドフィールドをシミュレートするために用いられるパラメトリックモデルに制限を加える。このような空間的コーディングシステムの詳細は、以下に「参照としての編入」の表題で引用したものを含む、種々の文献に記載されている。
【０００３】
このような空間的コーディングシステムでは、元のサウンドフィールドをモデル化するために、チャンネル間較差又はレベル差（ＩＬＤ）、チャンネル間時間差又は位相差（ＩＰＤ）、及びチャンネル間相互相関（ＩＣＣ）のようなパラメータを、元のサウンドフィールドをモデル化するために一般に採用する。一般に、このようなパラメータは、コード化された各チャンネルの複数のスペクトル帯域を推定するものであり、時間についてダイナミックに推定される。
【０００４】
一般的な先行技術であるＭ＝１のＮ：Ｍ：Ｎ空間的コーディングシステムにおいて、マルチチャンネル入力信号は重複させたＤＦＴ（離散的周波数変換）を用いて、周波数領域に変換される。ＤＦＴスペクトルは、次に、耳の臨界帯域を近似する帯域に分割される。チャンネル間較差、チャンネル間時間差又は位相差、及び、チャンネル間相互相関の推定値を各帯域について計算する。これらの推定値は、元の入力チャンネルをモノラル信号又は２チャンネル立体音響コンポジット信号にダウンミックスするために用いられる。推定した空間的パラメータと共にこのコンポジット信号は、コンポジット信号が重複させたＤＦＴを用い臨界帯域の間隔で周波数領域に変換される。この空間的パラメータは、次いで、元のマルチチャンネル信号を近似させるために、対応する帯域に適用される。
【０００５】
［聴覚事象と聴覚事象の検出］
サウンドを別々の分離したものとして識別される単位又はセグメントに分割することはしばしば、「聴覚事象分析」又は「聴覚シーン分析」又は「オーディオ事象」と呼ばれる。聴覚シーン分析の広範囲にわたる説明については、Albert  S.  Bregmanが自分の本、聴覚シーン分析、「Auditory  Scene  Analysis--The  Perceptual  Organization  of  Sound」マサチューセッツ工科大学、１９９１年、第４刷、２００１年、MIT  Pressペーパバック第２版、で述べている。加えて、Bhadkamkar他による１９９９年１２月１４日の米国特許６，００２，７７６に１９７６年までの「聴覚シーン分析によるサウンド分離に関する先行技術」として引用されている。しかし、Bhadkamkar他の特許では、「人の聴覚処理のモデルの科学的な観点からは興味があるが、聴覚シーン分析を用いる技術は、現状はコンピュータへの要求が大きく専門的過ぎるので、抜本的な進展がなされるまでサウンドの実用的な分離技術は考えられない」と結論づけているので、聴覚シーン分析の実用的な利用の意欲はそがれている。
【０００６】
聴覚事象を特定する有益な方法は、以下に「参照としての編入」の表題で記載したCrockett  and  Crockett他による、種々の特許出願及び論文に述べられている。これらの書類によれば、オーディオ信号（又はマルチチャンネル信号内のチャンネル）は、時間についてのスペクトル成分（周波数の関数としての振幅）の変化を検出することにより、それぞれが別々の分離したものとして識別される聴覚事象に分けられる。これは例えば、オーディオ信号の連続する時間ブロックのスペクトル内容を計算し、オーディオ信号の連続する時間ブロック間での差異を計算し、このような時間ブロック間でのスペクトル内容の差異が閾値を越えたとき、連続する時間ブロック同士の境界を聴覚事象の境界と特定する。あるいは、時間に対するスペクトル内容の変化の代わりに又はそれに加えて、時間に対する振幅の変化をを計算してもよい。
【０００７】
計算における要求を最小限にする実施の形態において、そのプロセスでは、全周波数帯域（全帯域幅のオーディオ）又は実質的に全周波数帯域（実際の実施の形態では、スペクトルの端部で帯域を制限するフィルタをしばしば採用する）を分析し、最大音量のオーディオ信号成分に最大の重み付けを行うことによりオーディオを時間セグメントに分割する。このアプローチは、小さな時間スケール（２０ミリ秒（ｍｓ）以下）では、耳はその時間単一の聴覚事象に集中する傾向があるという、心理音響現象の利点を採用している。これは、同時に複数の事象が生じているとき、１つの成分が感覚的に突出している傾向があり、それを生じているただ１つの事象であるかのように処理することができることを意味する。この現象の利点を採用することで、聴覚事象の検出を処理中の複雑なオーディオに対応させることもできる。例えば、処理中の入力オーディオ信号が独奏楽器であるならば、特定されるオーディオ事象は、演奏中の個々の響きとなるであろう。音声信号の入力についても同様で、スピーチの個々の成分、例えば母音と子音とが、個々のオーディオ事象として特定されるであろう。ドラムビート又は複数の楽器と音声を伴う音楽のように、オーディオの複雑さが増すにつれて、聴覚事象の検出において、その瞬間の「最も突出した」（すなわち、音量の最も大きい）オーディオ要素を特定することになる。
【０００８】
計算を複雑にするという代償を払って、このプロセスで、全帯域幅ではなく離散周波数サブ帯域（固定サブ帯域又は動的に定めたサブ帯域又は、固定サブ帯域と動的に定めたサブ帯域の両方）における時間についてのスペクトル構成における変化を考慮してもよい。この代替的なアプローチでは、特定の時間で単一のオーディオストリームだけを想定するのではなく異なった周波数サブ帯域における１以上のオーディオストリームを考慮に入れる。
【０００９】
聴覚事象の検出は、時間領域のオーディオ波形を時間区間又は時間ブロックに分割し、ＦＦＴのような、フィルターバンク又は時間周波数変換のどちらかを使い、各ブロックのデータを周波数領域に変換することにより実行する。各ブロックのスペクトル成分の振幅は、振幅の変化による影響を削減又は減少させるために正規化してもよい。結果生じた周波数領域での表現で、特定のブロックにおけるオーディオのスペクトル内容を表示する。連続するブロックのスペクトル内容が比較され、変化が閾値より大きい場合は、聴覚事象の開始時又は終了時を示すものと捉える。
【００１０】
以下に説明するように、周波数領域のデータは正規化されていることが望ましい。周波数領域のデータが必要な正規化される程度から振幅の表示が得られる。従って、この程度が所定の閾値を越えたならば、これも事象の境界を示すものとみなすことができる。スペクトルの変化と振幅の変化から得られる事象の開始時及び終了時は、どちらのタイプの変化で得られたものからでも事象の境界を特定できるように、ＯＲ結合してもよい。
【００１１】
Crockett  and  Crockett他によるによる出願及び論文は、本発明の特徴に関連して特に有益であるが、聴覚事象と事象の境界を特定する他の技術を本発明に採用することもできる。
【発明の開示】
【００１２】
本発明の１つの特徴によれば、オーディオエンコーダは、複数の入力オーディオチャンネルを受け取り、１以上の出力オーディオチャンネルと、この１以上の出力オーディオチャンネルから導くことのできる複数のオーディオチャンネル間の望ましい空間的関係を記述する１以上のパラメータとを出力する。１以上の前記複数の入力チャンネルにおける時間に関する信号特性の変化が検出され、そして１以上の前記複数の入力チャンネルにおける時間に関する信号特性の変化が聴覚事象の境界として特定され、連続する境界と境界との間のオーディオセグメントがチャンネルにおける聴覚事象を構成する。前記１以上のパラメータの一部又は全部は、少なくとも部分的には聴覚事象及び／又は前記聴覚事象の境界に関連付けられた信号特性の変化の程度に応答して生成される。一般に、聴覚事象は、別々の分離したものとして識別されるオーディオのセグメントである。信号特性の１つの有用な尺度には、例えば、引用したCrockett  and  Crockett他の論文に記載されているような、オーディオの一定のスペクトル内容が含まれる。１以上のパラメータの一部又は全部は、少なくとも部分的には１以上の聴覚事象の存在又は不存在に応答して生成される。時間についての閾値を越える信号特性の変化を聴覚事象の境界として特定することができる。あるいは、前記聴覚事象の境界に関連する信号特性における変化の程度の連続的な指標に少なくとも部分的に応答して、前記１以上のパラメータの一部又は全部が生成される。原則として、本発明の特徴はアナログ領域及び／又はデジタル領域で実行することができるが、実際の実施の形態では、それぞれのオーディオ信号がデータブロック内でのサンプルとして表現されるデジタル領域で実施される場合が多い。この場合、信号特性はブロック内のオーディオのスペクトル内容とすることができ、時間についての信号特性の変化の検出が、ブロックからブロックへのオーディオのスペクトル内容の変化の検出とすることができ、時間的な聴覚事象の開始と終了の境界がデータブロックの境界と一致する。
【００１３】
本発明の他の特徴によれば、オーディオプロセッサは、複数の入力チャンネルを受け取り、１以上の複数のオーディオ入力チャンネルにおける時間についての信号特性の変化を検出し、前記１以上の複数のオーディオ入力チャンネルにおける時間についての信号特性の変化を聴覚事象の境界として特定し、ここで連続する境界と境界との間のオーディオセグメントはそのチャンネルにおける聴覚事象を構成し、少なくとも部分的に、聴覚事象及び／又は前記聴覚事象の境界に関連した信号特性の変化の程度に応答して、オーディオ出力チャンネルを生成することにより、入力チャンネル数よりも大きな数の前記オーディオ出力チャンネルを生成する。一般に、聴覚事象は、別々の分離したものとして識別されるオーディオのセグメントである。信号特性の１つの有用な尺度には、例えば、引用したCrockett  and  Crockett他の論文に記載されているような、オーディオの一定のスペクトル内容が含まれる。１以上のパラメータの一部又は全部は、少なくとも部分的には１以上の聴覚事象の存在又は不存在に応答して生成される。聴覚事象の境界は、時間についての閾値を越える信号特性の変化として特定することができる。あるいは、前記聴覚事象の境界に関連する信号特性における変化の程度連続的な指標に少なくとも部分的に応答して、前記１以上のパラメータの一部又は全部が生成される。原則として、本発明の特徴はアナログ領域及び／又はデジタル領域で実行することができるが、実際の実施の形態では、それぞれのオーディオ信号がデータブロック内でのサンプルとして表現されるデジタル領域で実施される場合が多い。この場合、信号特性はブロック内のオーディオのスペクトル内容とすることができ、時間についての信号特性の変化の検出が、ブロックからブロックへのオーディオのスペクトル内容の変化の検出とすることができ、時間的な聴覚事象の開始と終了の境界がデータブロックの境界と一致する。
【００１４】
本発明の特徴は、ここでは、他の発明の特徴を含む空間的コーディング環境において記載する。このような他の発明は、種々の出願中の本願発明の出願人であるドルビー・ラボラトリーズ・ライセンシング・コーポレーションの米国特許出願及び国際特許出に記載されており、これらの出願は本明細書中に明記されている。
【発明を実施するための最良の形態】
【００１５】
本発明の特徴を採用する空間的エンコーダの例を図１，２，及び３に示す。一般に、空間的コーダは、Ｎ個の元のオーディオ信号又はオーディオチャンネルを取り出し、Ｍ個の信号又はチャンネルを有するコンポジット信号にミキシングダウンする。ここでＭ＜Ｎである。一般にＮ＝６（５．１オーディオ）であり、Ｍ＝１又は２である。同時に、種々のチャンネル間で知覚的に無音の空間的手がかりを示す低データレートのサイドチェーン信号を元のマルチチャンネル信号から抽出する。次いで、このコンポジット信号は、ＭＰＥＧ‐２／４ＡＡＣエンコーダのような既存のオーディオコーダによりコード化することができる。前記デコーダにおいて、このコンポジット信号がデコードされ、アンパッケージ化されたサイドチェーン情報が、このコンポジットを元のマルチチャンネル信号に近似するようアップミックスするために用いられる。あるいは、前記デコーダは、このサイドチェーン情報を無視し、単にコンポジット信号を出力する。
【００１６】
最近の種々の技術論文（以下に引用するような）及びＭＰＥＧ標準化団体に提案されている空間的コーディングシステムは一般に、チャンネル間レベル差（ＩＬＤ）、チャンネル間位相差（ＩＰＤ）、及びチャンネル間相関（ＩＣＣ）のような元のサウンドフィールドにモデル化するためのパラメータを採用する。通常、このようなパラメータはコード化された各チャンネルの複数のスペクトル帯域を推定し、時間について動的に推定される。本発明の特徴には、このようなパラメータの１つ以上を計算する新しい技術が含まれている。本発明の特徴についての有用な環境を説明するために、本明細書には、デコリレーションフィルター及び元のマルチチャンネル信号の細かな時間構造を保存する技術を含む、このアップミックスされた信号をデコリレーションする方法の詳細な説明が含まれる。ここに記載した本発明の特徴についての他の有用な環境は、オーディオ素材を２チャンネルの内容から直接空間的デコーディングシステムと互換性のある素材に変換する「ブラインド」アップミキシング（補助的な制御信号なしにオーディオ信号のみに応答して動作するアップミキシング）を行うのに適したデコーダと連動して動作する空間的エンコーダの中である。このような有用な環境の特徴は、ドルビー・ラボラトリーズ・ライセンシング・コーポレーションの他の米国特許出願及び国際特許出の主題となっており、これらは知られている。
【００１７】
［コーダ概要］
本発明の特徴を採用する空間的エンコーダの例を図１，２，及び３に示す。図１のエンコーダの例において、Ｎチャンネルの元の信号（例えばＰＣＭフォーマットのデジタルオーディオ）は、装置又は機能（時間から周波数へ）２により、よく知られた短時間離散フーリエ変換（ＳＴＤＦＴ）のような適切な時間・周波数変換を用いて周波数領域に変換される。一般に、この変換は、１以上の周波数ビンが耳の臨界帯域を近似する帯域にグループ化されるようにして行われる。しばしば「空間的パラメータ」と称されるチャンネル間振幅差又はレベル差（ＩＬＤ）、チャンネル間時間差又は位相差（ＩＰＤ）、及びチャンネル間相関（ＩＣＣ）の推定値は、（空間的サイド情報の導出）機能４の装置により帯域毎に計算される。以下に詳細を説明するように、聴覚シーン分析装置又は分析機能（聴覚シーン分析）６はまた、Ｎチャンネルの元の信号を受け取り、この明細書の別の箇所で説明するように、装置又は機能４により空間的パラメータの生成に作用を及ぼす。聴覚シーン分析６は、Ｎチャンネルの元の信号におけるどんなチャンネルの組み合わせも採用することができる。説明を簡単にするために別に示したが、装置又は機能４及び６は単一の装置又は機能とすることができる。Ｎチャンネルの元の信号に対応するＭチャンネルコンポジット信号がまだ存在しない場合は（Ｍ＜Ｎ）、ダウンミキサー又はダウンミキシング機能（ダウンミックス）８にて、Ｎチャンネルの元の信号をＭチャンネルコンポジット信号にダウンミックスするために空間的パラメータを用いることができる。次いで、Ｍチャンネルコンポジット信号を、（周波数から時間へ）装置又は機能１０により、装置又は機能２とは逆の変換を行う適切な周波数・時間変換を用いて、時間領域に戻すことができる。装置又は機能４からの空間的パラメータ及び時間領域におけるＭチャンネルコンポジット信号は、次に、損失のあるビットリダクションエンコーディング及び／又は損失のないビットリダクションエンコーディングを含む装置又は機能（フォーマット）１２において、例えば、シリアルビットストリーム又はパラレルビットストリームの適切な形にフォーマットされる。フォーマット１２からの出力の形式は、本発明において重要ではない。
【００１８】
この明細書を通して、同じ参照番号は、同じ構成又は同じ機能を果たす装置又は機能に用いられる。装置又は機能が類似の機能構成であるが例えば、付加的な入力があるというように少し差異がある場合は、この少し違うが類似の装置又は機能は、プライムマーク（例えば４’）をつけて指定する。また、種々のブロック図は、単一の機能又は装置に種々の機能または全ての機能を統合した実際の実施の形態においても、機能を実行する機能又は装置を別々に示した、機能ブロック図であることは了解されよう。例えば、図１のようなエンコーダの実際の実施の形態では、コンピュータプログラムの一部が種々の機能を実行するコンピュータプログラムを動作させる、デジタル信号プロセッサにより実施することができる。以下の「実施」の表題をつけた部分を参照のこと。
【００１９】
あるいは、図２に示すように、Ｎチャンネルの元の信号と、それに関連するＭチャンネルコンポジット信号とが（それぞれが、例えば、複数チャンネルのＰＣＭデジタルオーディオである場合）エンコーダへの入力として利用可能である場合、これらは、時間から周波数への変換２（明確にするために２つのブロックで示されている）で同時に処理することができ、図４の装置又は機能と類似するが２組の入力信号を受け取る装置又は機能（空間的サイド情報の導出）４’により、Ｍチャンネルコンポジット信号の空間的パラメータに関して、Ｎチャンネルの元の信号の空間的パラメータを計算することができる。Ｎチャンネルの元の信号のセットが利用できない場合は、利用可能なＭチャンネルコンポジット信号を時間領域（不図示）でアップミックスし「Ｎチャンネルの元の信号」を生成することができる。マルチチャンネル信号はそれぞれ、図１の例において時間・周波数変換装置又は機能への入力のセットを提供する。図１のエンコーダ及び図２の代案の両方において、Ｍチャンネルコンポジット信号と空間的パラメータとは、図１の例に示すように、装置又は機能（フォーマット）１２により適切な形式にエンコードされる。図１のエンコーダの例に示すように、フォーマット１２からの出力の形式は、本発明において重要ではない。以下に詳細に説明するように、聴覚シーン分析装置又は機能
（聴覚シーン分析）６’は、Ｎチャンネルの元の信号とＭチャンネルコンポジット信号を受け取り、本明細書の別の箇所で説明するように、装置又は機能 ４’における空間的パラメータの生成に作用を及ぼす。説明を簡単にするために別に示したが、装置又は機能４’及び６’は単一の装置又は機能とすることができる。聴覚シーン分析６’は、Ｎチャンネルの元の信号及びＭチャンネルコンポジット信号におけるどんなチャンネルの組み合わせも採用することができる。
【００２０】
本発明の特徴を採用するエンコーダのさらに他の例では、適切なデコーダと共に、「ブラインド」アップミキシングを実行する、空間的コーディングエンコーダを用いることを特徴とする。このようなエンコーダは、２００６年５月２６日に、Seefeldt他により出願された、同時係属の国際出願ＰＣＴ／ＵＳ２００６／０２０８８２、表題「Channel  Reconfiguration  with  Side  Information」に記載されている。なおこの出願は参照として全文を本明細書に編入する。図１及び図２の空間的コーディングエンコーダは、空間的コーディングパラメータを生成する上で、既存のＮチャンネルの空間的イメージをここでは採用する。多くの場合、しかしながら、空間的コーディングのアプリケーションに対するオーディオコンテンツプロバイダは、豊富なステレオコンテンツを有するが、元のマルチチャンネルコンテンツを欠いている。この問題に対するひとつの方法は、空間的コーディングの前にブラインドアップミキシングシステムを用いて、２チャンネルのステレオコンテンツをマルチチャンネル（例えば、５．１チャンネル）コンテンツに変換することである。上述のように、ブラインドアップミキシングシステムは、元の２チャンネルのステレオ信号自身をマルチチャンネル信号に合成するためにのみ有用な情報を用いる。このようなアップミキシングシステムの多くは、例えばドルビープロロジック（Dolby  Pro  logic）ＩＩ（「Dolby」、「Pro  Logic」、及び「Pro  Logic  ＩＩ」はドルビー・ラボラトリーズ・ライセンシング・コーポレーションの登録商標である）。空間的コーディングエンコーダと結合されたとき、このコンポジット信号は、ここで図１のエンコーダの例で示したように、ブラインドアップミックスされた信号をダウンミキシングすることによりエンコーダにて生成することができ、又は、ここで図２エンコーダの例で示したように、既存の２チャンネルのステレオ信号を用いることができる。
【００２１】
代案として、図３の例に示したように、空間的エンコーダブラインドアップミキサーの一部として採用することができる。このようなエンコーダは、中間的なアップミックスされた信号を必要としないで２チャンネルのステレオ信号から直接、望ましいマルチチャンネルの空間的イメージのパラメトリックモデルを合成するために既存の空間的コーディングパラメータを利用する。結果生じたエンコードされた信号は、既存の空間的デコーダと互換性がある（このデコーダは、望ましいブラインドアップミックスを生成するためにサイド情報を用いてもよく、又は、リスナーに元の２チャンネルのステレオ信号を提供するためにこのサイド情報を無視してもよい）。
【００２２】
図３の例のエンコーダにおいて、Ｍチャンネルの元の信号（例えば、ＰＣＭフォーマットのデジタルオーディオの複数のチャンネル）はＮチャンネルの元の信号におけるどんなチャンネルの組み合わせも採用することができる（時間から周波数へ）装置又は機能２により、他のエンコーダの例で示したように、よく知られた短時間離散フーリエ変換（ＳＴＤＦＴ）のような適切な時間・周波数変換を用いて、１以上の周波数ビンが耳の臨界帯域を近似する帯域にグループ化されるようにして、周波数領域に変換される。一般に、この変換は、１以上の周波数ビンが耳の臨界帯域を近似する帯域にグループ化されるようにして行われる。空間的パラメータは、（空間的サイド情報としてのアップミックス情報の導出）装置又は機能４”により、帯域毎に計算される。以下に詳細を説明するように、聴覚シーン分析装置又は機能（聴覚シーン分析）６”は、Ｍチャンネルの元の信号を受け取り、本明細書の別の箇所で説明するように、装置又は機能
４”における空間的パラメータの生成に作用を及ぼす。説明を簡単にするために別に示したが、装置又は機能４”及び６”は単一の装置又は機能とすることができる。装置又は機能４”からの空間的パラメータ及びＭチャンネルコンポジット信号（まだ時間領域にある）は、次に、損失のあるビットリダクションエンコーディング及び／又は損失のないビットリダクションエンコーディングを含む装置又は機能（フォーマット）１２において、例えば、シリアルビットストリーム又はパラレルビットストリームの適切な形にフォーマットされる。図１と図２のエンコーダの例に示したように、フォーマット１２から出力された形式は本発明において重要ではない。さらに、図３のエンコーダの詳細は、以下に「ブラインドアップミキシング」の表題で説明する。
【００２３】
図４に示した空間的デコーダは、図１、図２、及び図３に示したエンコーダのようなエンコーダからコンポジット信号と空間的パラメータとを受け取る。ビットストリームは、空間的パラメータサイド情報と共にＭチャンネルコンポジット信号を生成するために、装置又は機能（フォーマット）２２によりデコードされる。コンポジット信号は、装置又は機能（時間から周波数へ）２４により周波数領域に変換され、そこで、デコードされた空間的パラメータが装置又は機能（空間的サイド情報の適用）２６に適用され、周波数領域にＮチャンネルの元の信号を生成する。少ない数のチャンネルからこのような数の多いチャンネルを生成することはアップミキシングである（装置又は機能２６は「アップミキサー」と位置付けることができる）。最後に、周波数から時間変換（周波数から時間へ）２８（図１、２、及び３の時間から装置への変換装置又は機能２の逆変換）がＮチャンネルの元の信号（もし、エンコーダが図１及び図２の例に示されたものである場合）の近似、又は、図３のＭチャンネルの元の信号のアップミックスの近似を生成するために適用される。
【００２４】
本発明の他の特徴は、オーディオシーン分析の機能としてのアップミキシングを行う「スタンドアローン」又は「シングルエンド」プロセッサに関する。このような本発明の特徴は以下に図５に示した例のの詳細説明として記載されている。
【００２５】
本明細書全体を通じて、本発明とその環境についての特徴をさらに規定するために、以下の記号を用いる：
【式１】
【００２６】
2009503615.tif 000003
コンポジット信号ｙを生成するためのアクティブダウンミキシングは、以下の式により帯域毎に周波数領域で行われる
【数１】
2009503615.tif 000004
【００２７】
ここで、ｋｂｂは帯域ｂの低い方のビンであり、ｋｅｂは帯域ｂの高い方のビンでであり、Ｄｉｊ［ｂ、ｔ］は、元のマルチチャンネル信号のチャンネルｊに関するコンポジット信号のチャンネルｉについての複素ダウンミックス係数である。
【００２８】
アップミックスされた信号ｚは、コンポジットｙから周波数領域で同様に計算する、
【数２】
2009503615.tif 000005
【００２９】
ここで、Ｕｉｊ［ｂ、ｔ］は、コンポジット信号のチャンネルｊに関するアップミックス信号のチャンネルｉについてのアップミックス係数である。ＩＬＤパラメータとＩＰＤパラメータは、アップミックス係数の振幅及び位相として得られる。
【数３】
2009503615.tif 000006
【式２】
【００３０】
2009503615.tif 000007
【数４】
2009503615.tif 000008
【式３】
【００３１】
2009503615.tif 000009
［ＩＬＤとＩＰＤ］
元の信号ｘのアクティブなダウンミックスｙの生成し、ダウンミックスｙをアップミックスして元の信号ｘの推定値ｚにする、ＩＬＤパラメータとＩＰＤパラメータの計算について考える。以下の説明において、パラメータはサブ帯域ｂと時間ブロックｔについて計算され、分かりやすくするために、この帯域と時間指標とは、はっきりとは示さない。加えて、ダウンミックス処理／アップミックス処理を表現するベクトルを採用する。まず、コンポジット信号中のチャンネル数がＭ＝１の場合を考え、次いで、Ｍ＝２の場合を考える。
【数５】
2009503615.tif 000010
【００３２】
最小２乗法において最適であるが、この手法では容認できない知覚可能なアーティファクトを持ち込むことがある。特に、元の信号の低いレベルのチャンネルの誤差を最小にするとき、この手法では低いレベルのチャンネルを「消去（zero  out）」してしまう傾向がある。知覚的に満足のできるように信号のダンウンミックスとアップミックスの両方を行う目的で、良好な手法は、ダウンミックスした信号が固定した量の元の各信号チャンネルを具備し、各アップミックスしたチャンネルが元のチャンネルと等しくなるようなものである。しかしながらチャンネル間での相殺を最小限にするために、ダウンミキシングの前に各チャンネルを回転する上で、最小２乗法の段階を用いるのは有益である。同様に、アップミックスにおいて最小２乗法の段階を用いることは、チャンネル同士の元の位相関係を復元するために役に立つ。好ましい手法でのダウンミキシングベクトルは以下のように表すことができる。
【数６】
2009503615.tif 000011
【式４】
【００３３】
2009503615.tif 000012
【数７】
2009503615.tif 000013
【式５】
【００３４】
2009503615.tif 000014
【数８】
2009503615.tif 000015
【式６】
【００３５】
2009503615.tif 000016
【数９】
2009503615.tif 000017
【式７】
【００３６】
2009503615.tif 000018
【数１０】
2009503615.tif 000019
【式８】
【００３７】
2009503615.tif 000020
【数１１】
2009503615.tif 000021
【式９】
【００３８】
2009503615.tif 000022
【数１２】
2009503615.tif 000023
【００３９】
［Ｍ＝２のシステム］
（１）に類似のマトリックス式は、Ｍ＝２のとき以下のように記述することができる。
【数１３】
2009503615.tif 000024
【００４０】
ここで、２チャンネルのダウンミックスされた信号は左右のチャンネルを有するステレオ対に対応し、これらのチャンネルは両方とも対応するダウンミックスベクトルとアップミックスベクトルを有する。これらのベクトルは、Ｍ＝１のシステムの場合と同様に以下のように表すことができる。
【数１４】
2009503615.tif 000025
【００４１】
５．１チャンネルの元の信号に対して、固定のダウンミキシングベクトルは、標準のＩＴＵダウンミックス係数と等しくなるよう設定することができる（チャンネルは、Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓ，ＬＦＥの順序であるとみなしている）。
【数１５】
2009503615.tif 000026
【００４２】
要素的な制限は、
【数１６】
2009503615.tif 000027
【００４３】
対応する固定のアップミックスベクトルは以下のようにして得られる。
【数１７】
2009503615.tif 000028
【００４４】
元の信号のイメージを２チャンネルのダウンミックスされたステレオ信号中に保持するためには、元の信号の左右のチャンネルの位相は回転させるべきでなく他のチャンネルの位相、特に中央の位相は、左右にダウンミックスした量と同じだけ回転すべきであることが分かった。これは、左チャンネルに関連する共分散マトリックスの要素と、右チャンネルに関連する共分散マトリックスの要素との間の、重み付けした合計の角として、以下のように、共通のダウンミックス位相回転を計算することにより実行する。
【数１８】
2009503615.tif 000029
【式１０】
【００４５】
2009503615.tif 000030
【数１９】
2009503615.tif 000031
【００４６】
しかし、式（１２）中の固定のアップミックスベクトルと共に、これらのパラメータのうちのいくつかは常にゼロであり、明示的にサイド情報として伝達する必要はない。
【００４７】
［デコリレーション技術］
ＩＬＤパラメータとＩＰＤパラメータとをコンポジット信号ｙに適用することにより、中間チャンネルレベル及びアップミックスされた信号ｚ中の元の信号ｘの位相関係を復元する。これらの関係が元の空間的イメージの有意な手がかりとなり、このアップミックスされた信号ｚは、そのそれぞれのチャンネルがコンポジットｙ中の同じ少数のチャンネル（１又は２）から導き出されたものなので、高い相関関係を維持している。その結果、ｚの空間的イメージは、元の信号ｘと比べて、しばしば崩れたサウンドとなる。だからこそ、チャンネル間の相関関係が元の信号ｘによく近似するよう信号ｚを修正することが好ましいのである。この目的を達成するための２つの技術について記載する。第１の技術では、ｚの各チャンネルに適用するデコリレーションの程度を制御するために、ＩＣＣの尺度を用いる。第２の技術、スペクトルウィナーフィルター（ＳＷＦ）、では、周波数領域で信号ｚをフィルターリングすることにより、ｘの各チャンネルの元の時間エンベロープを復元する。
【００４８】
［ＩＣＣ］
【式１１】
【００４９】
2009503615.tif 000032
【数２０】
2009503615.tif 000033
【式１２】
【００５０】
2009503615.tif 000034
【数２１】
2009503615.tif 000035
【式１３】
【００５１】
2009503615.tif 000036
【数２２】
2009503615.tif 000037
【式１４】
【００５２】
2009503615.tif 000038
【数２３】
2009503615.tif 000039
【式１５】
【００５３】
2009503615.tif 000040
【数２４】
2009503615.tif 000041
【式１６】
【００５４】
2009503615.tif 000042
【数２５】
2009503615.tif 000043
【００５５】
これが望ましい効果である。
【００５６】
本明細書で引用した国際公開ＷＯ０３／０９０２０６Ａ１において、単一の混合信号から、２チャンネルステレオが合成されるパラメトリックステレオコーディングシステムに対する、デコリレーション技術が提示されている。それ自体では、単一のデコリレーションフィルターだけが必要とされる。そこで提案されているフィルターは、周波数が増大するにつれて、時間遅れが最大値からゼロに直線的に減少する周波数により変化する時間遅れである。固定時間遅れと比べて、このようなフィルターは、式（１７）に示されるように、フィルターされた信号をフィルターされていない信号に加えたとき、知覚可能なエコーが入ることなく顕著なデコリレーションを行うことができるという好ましい特性を有する。加えて、この周波数により変化する時間遅れは、周波数と共に増加するスペースを持った刻み目をスペクトル中に導入する。これは、固定時間遅れにより、櫛型フィルターによる直線的なスペースより自然な音として知覚される。
【００５７】
前記書類ＷＯ０３／０９０２０６Ａ１において、提案されたフィルターに関する唯一チューニング可能なパラメータはその長さである。引用したSeefeldt他による、国際公開ＷＯ２００６／０２６４５２において開示された発明の特徴は、Ｎ個の必要なデコリレーションフィルターのそれぞれに対して、より柔軟性のある周波数により変化する時遅れを導入することである。各フィルターのインパルス応答は、瞬時周波数が、シーケンスの継続中にπからゼロに単調減少する、有限長の正弦曲線のシーケンスとして定めれられる。
【数２６】
2009503615.tif 000044
【式１７】
【００５８】
2009503615.tif 000045
【数２７】
2009503615.tif 000046
【００５９】
指定されたインパルス応答は、チャープ（鳥のさえずりのような音）のようなシーケンスを持ち、結果として、このようなフィルターでオーディオ信号をフィルターすると、トランジエントの位置に可聴の「チャーピング」アーティファクトを生じる。この効果は、フィルター応答の瞬時位相にノイズ項を負荷することにより軽減することができる。
【数２８】
2009503615.tif 000047
【００６０】
πの地位差は端数の分散を持つホワイトが薄ノイズと同等のこのノイズシーケンスＮi［ｎ］を作ることは、チャープというより十分ノイズに似たインパルス応答音を作る一方、周波数とωi（ｔ）により特定される時間遅れとの関係は広く維持される。式（２３）のフィルターは、３つのフリーパラメータすなわち、ωi（ｔ）、Ｌi（ｔ）、及びＮi［ｎ］を持つ。Ｎ個のフルターから相異なるこれらのパラメータを選択することにより、式（１９）における好ましいデコリレーション条件が満たされる。
【式１８】
【００６１】
2009503615.tif 000048
【数２９】
2009503615.tif 000049
【００６２】
ここでＮi［ｋ］は、ｈi［ｎ］のＤＦＴに等しい。厳密に言えば、この変換係数の乗算は時間領域における巡回畳み込みに対応するが、ＳＴＤＦＴ分析と合成窓とデコリレーションフィルターの長さを適切に選択することにより、この演算は通常の畳み込みと等価となる。図６は、適切な分析窓と合成窓のペアを示す。この窓は７５％重複するように設計され、デコリレーションフィルターを適用したとき、サーキュラーエイリアシング（ｃｉｒｃｕｌａｒ  ａｌｉａｓｉｎｇ）を避けるために、分析窓はメインローブに続いて顕著なゼロパッド（ｚｅｒｏ‐ｐａｄｄｅｄ）領域を有する。各デコリレーションフィルターの長さが、図６のＬmaxで示されるゼロパッド領域の長さ以下に選定される限り、式（３０）の乗算は時間領域における通常の畳み込みに対応する。ＩＬＤパラメータ、ＩＰＤパラメータ、及びＩＣＣパラメータの帯域を横切っての変化に伴う因果関係のない畳み込みの漏れに対応するために、分析窓のメインローブに続くゼロパッドに加えて、少量の先行ゼロパッドを適用してもよい。
【式１９】
【００６３】
2009503615.tif 000050
多くの信号に対してこれは非常にうまく働く。しかし、拍手のような信号に対しては、元のサウンドフィールドの発散性を再現させるためには、元の信号の個々のチャンネルの細かい時間構造を復元する必要がある。この細かい構造は、普通ダウンミキシングプロセスで壊されてしまい、採用されたＳＴＤＦＴホップサイズと変換長さにより、時間でのＩＬＤパラメータ、ＩＰＤパラメータ、及びＩＣＣパラメータが十分にそれを復元できない。引用したVinton等による国際出願ＷＯ２００６／０２６１６１に記載された、ＳＷＦ技術は、このような問題の場合に、ＩＣＣに基づく技術に有利に取って代わるものである。スペクトルウィナーフィルタリング（ＳＷＦ）と称される新しい方法は、周波数領域での畳み込みが時間領域での乗算と等価であるという、時間と周波数の双対性をうまく利用するものである。スペクトルウィナーフィルタリングにおいては、空間的デコーダの各出力チャンネルのスペクトルにＦＩＲフィルターを適用し、出力チャンネルの時間的エンベロープを修正して、元の信号の時間エンベロープにうまく一致させる。この技術は、スペクトル領域での畳み込みにより時間エンベロープを修正する点で、ＭＰＥＧ−２／４  ＡＡＣで採用されるノイズ整形（ＴＮＳ）アルゴリズムに類似する。しかし、ＳＷＦアルゴリズムは、ＴＮＳとは違って、単一の末端であり、デコーダにのみ適用される。さらに、ＳＷＦアルゴリズムでは、フィルターをコーディングノイズではなく信号の時間的エンベロープを調整するために設計しているので、違ったフィルター設計上の制約を受ける。この空間的エンコーダは、デコーダに元の時間的エンベロープを適用するために必要な時間領域における乗算的な変化を表す、スペクトル領域においてＦＩＲフィルターを設計しなければならない。このフィルターの問題は、しばしばウィナーフィルターデザインと称される最小２乗問題として定式化することができる。しかし、時間領域において設計され適用されるウィナーフィルターの一般的な応用例とは異なり、ここで提案されたこのフィルター処理は、スペクトル領域において設計され適用される。
【００６４】
スペクトル領域におけるフィルター設計の最小２乗問題は、以下の通りである。すなわちＸi［ｋ，ｔ］とフィルターされたＺi［ｋ，ｔ］との間の誤差を最小限にする１組のフィルター係数ａi［ｋ，ｔ］を以下の通り計算する。
【数３０】
2009503615.tif 000051
【００６５】
ここでＥは、スペクトルビンｋについての期待値演算子であり、Ｌは、設計したフィルターの長さである。ここで、Ｘi［ｋ，ｔ］とＺi［ｋ，ｔ］は、複素数なので、一般に、ａi［ｋ，ｔ］も複素数となる。式（３１）は、マトリックス表現を使って次のように書き換えることができる。
【数３１】
2009503615.tif 000052
【００６６】
ここで
【数３２】
2009503615.tif 000053
【００６７】
そして
【数３３】
2009503615.tif 000054
【００６８】
各フィルター係数について、式（３２）の偏導関数をゼロに設定することにより、この最小化問題の解は以下となる。
【数３４】
2009503615.tif 000055
【００６９】
ここで
【数３５】
2009503615.tif 000056
【式２０】
【００７０】
2009503615.tif 000057
【数３６】
2009503615.tif 000058
【００７１】
図７は、ＳＷＦ処理の性能を示す。最初の２つのプロットはＤＦＴ処理ブロック中の仮想の２つのチャンネル信号を示す。この２つのチャンネルを結合して１つのチャンネルにコンポジットしたものを３番目のプロットに示した。ここでダウンミックスプロセスにおいて、２番目のプロット中の信号の詳細な時間的構成がなくなっていることが明らかである。予想したとおり、元の２番目のチャンネルの詳細な時間的構成の推定値が置き換えられている。２番目のチャンネルがＳＷＦ処理を用いないでアップミックスされていた場合は、時間的エンベロープは、３番目のプロットに示したコンポジット信号のようにフラットとなっていたであろう。
【００７２】
［ブラインドアップミキシング］
図１の例と図２の例の空間的エンコーダは、既存のＮチャンネル（通常５．１）信号の空間的イメージのパラメトリックモデルの近似を考えており、これにより、このイメージの近似がＮより少ないチャンネルを有する関連のコンポジット信号から合成することができる。しかし、上述のように、多くの場合、コンテンツプロバイダは、元の５．１には足りないコンテンツを持つ。この問題に対応するひとつの方法は、最初に、空間的コーディングの前にブラインドアップミキシングシステムを用いることにより、既存の２チャンネルステレオコンテンツを５．１コンテンツに変換することである。このようなブラインドアップミキシングシステムでは、５．１信号を合成するために、元の２チャンネルステレオ信号自身でのみ有用な情報を用いる。多くのこのようなアップミキシングシステムは、例えばドルビープロロジック（Ｄｏｌｂｙ
Ｐｒｏ ｌｏｇｉｃ）ＩＩのように、商業的に利用可能となっている。空間的コーディングシステムと結合するとき、コンポジット信号は、図１に示すようにブラインドアップミックスされた信号をダウンミキシングすることにより、又は図２のように、既存の２チャンネルステレオ信号を用いることにより、エンコーダにて、生成される。
【００７３】
代替的に、引用したSeefeldt等による出願中の国際特許出願ＰＣＴ／ＵＳ２００６／０２０８８２の記載された空間的エンコーダがブラインドアップミキサーの一部として用いられる。この修正したエンコーダでは、中間的なブラインドアップミックスされた信号を生成することなく２チャンネルステレオ信号から望ましい直接５．１の空間的イメージのパラメトリックモデルを合成するために、既存の空間的コーディングパラメータを利用する。図３は、上記に概説した修正したエンコーダを示している。
【００７４】
結果として生じたエンコードされた信号は、その結果、既存の空間的デコーダと互換性を有することになる。このデコーダは、好ましいブラインドアップミックスを生成するためにサイド情報を用いることができ、あるいは、元の２チャンネルステレオ信号のリスナーであることを条件として、このサイド情報を無視してもよい。
【００７５】
先に説明した空間的コーディングパラメータ（ＩＣＣ，ＩＰＤ，及びＩＣＣ）は、以下の例に従い、２チャンネルステレオ信号の５．１ブラインドアップミックスを作り出すために用いることができる。この例では、左右のステレオペアから３つのサラウンドチャンネルのみを合成することを考えているが、この技術を、中央チャンネルとＬＦＥ（低周波数効果）チャンネルを合成するために拡張することもできる。この技術は、ステレオ信号の左右のチャンネルのスペクトル部分がレコーディングにおける環境に対応するようにデコリレートされ、サラウンドチャンネルに方向付けられるというアイデアに基づくものである。左右のチャンネルが相互に相関があるスペクトル部分は、直接的なサウンドに対応し、前方右チャンネルと前方左チャンネルのまま維持される。
【式２１】
【００７６】
2009503615.tif 000059
【数３７】
2009503615.tif 000060
【式２２】
【００７７】
2009503615.tif 000061
【数３８】
2009503615.tif 000062
【００７８】
ＩＬＤパラメータを用いて左右のチャンネルは、ρに比例する量だけ左右のサラウンドチャンネルに向けられる。もしρ＝０ならば、左右のチャンネルは完全にサラウンドチャンネルに向けられる。もしρ＝１ならば、左右のチャンネルは全て前方に残る。加えて、サラウンドチャンネルのＩＣＣパラメータは、より拡がった空間的イメージを作るためにこれらのチャンネルが完全なデコリレーションを受けるように、ゼロに設定される。この５．１ブラインドアップミックスを達成するために用いられる空間的パラメータの全セットは、以下のテーブルにリスト化される。
【００７９】
チャンネル１（左）
ＩＬＤ11［ｂ，ｔ］＝ρ［ｂ，ｔ］
ＩＬＤ12［ｂ，ｔ］＝０
ＩＰＤ11［ｂ，ｔ］＝ＩＰＤ12［ｂ，ｔ］＝０
ＩＣＣ1［ｂ，ｔ］＝１
チャンネル２（中央）
ＩＬＤ21［ｂ，ｔ］＝ＩＬＤ22＝ＩＰＤ21［ｂ，ｔ］＝ＩＰＤ22［ｂ，ｔ］＝０
ＩＣＣ2［ｂ，ｔ］＝１
チャンネル３（右）
ＩＬＤ31［ｂ，ｔ］＝０
ＩＬＤ32［ｂ，ｔ］＝ρ［ｂ，ｔ］
ＩＰＤ31［ｂ，ｔ］＝ＩＰＤ32［ｂ，ｔ］＝０
ＩＣＣ3［ｂ，ｔ］＝１
チャンネル４（左サラウンド）
ＩＬＤ41［ｂ，ｔ］＝√（１−ρ2［ｂ，ｔ］)
ＩＬＤ42［ｂ，ｔ］＝０
ＩＰＤ41［ｂ，ｔ］＝ＩＰＤ42［ｂ，ｔ］＝０
ＩＣＣ4［ｂ，ｔ］＝１
チャンネル５（右サラウンド）
ＩＬＤ51［ｂ，ｔ］＝０
ＩＬＤ52［ｂ，ｔ］＝√（１−ρ2［ｂ，ｔ］)
ＩＰＤ51［ｂ，ｔ］＝ＩＰＤ52［ｂ，ｔ］＝０
ＩＣＣ5［ｂ，ｔ］＝０
チャンネル６（ＬＦＥ）
ＩＬＤ61［ｂ，ｔ］＝ＩＬＤ62＝ＩＰＤ61［ｂ，ｔ］＝ＩＰＤ62［ｂ，ｔ］＝０
ＩＣＣ6［ｂ，ｔ］＝１
上記の単純なシステムで非常に説得力のあるサラウンド効果を合成するが、同じ空間的パラメータを用いたより洗練されたブラインドアップミキシング技術が可能である。特定のアップミキシング技術を用いることは本発明にとって重要ではない。
【００８０】
空間的エンコーダ及びデコーダと共に動作させるのではなく、代わりに、記載したブラインドアップミキシングシステムをシングルエンド方式で動作させることができる。つまり、２チャンネルステレオ信号のようなマルチチャンネルステレオ信号から直接アップミックスした信号を合成すると同時に、空間的パラメータを導き出すことができる。このような構成は、旧来の膨大な量の２チャンネルステレオコンテンツを例えばコンパクトディスクから演奏する、オーディオ／ビデオ受信器のような、消費者の持つ装置で役に立つ。消費者は、このようなコンテンツを、再生時に直接マルチチャンネル信号に変換することを望むであろう。図５は、このようなシングルエンドモードにおけるブラインドアップミキサーの例を示す。
【００８１】
図５のブラインドアップミキサーにおいて、Ｍチャンネルの元の信号（例えば、ＰＣＭフォーマットのマルチチャンネルデジタルオーディオ）は、先に例示したエンコーダの例のようによく知られた短時間離散フーリエ変換（ＳＴＤＦＴ）のような、適切な時間・周波数変換を用いて周波数領域に、（時間から周波数への）変換装置又は機能２により変換され、１以上の周波数ビンが耳の臨界帯域を近似する帯域にグループ化される。空間的パラメータ形式のアップミックス情報は、各帯域において（アップミックス情報の導出）機能の装置４”（この装置又は機能は、図３の空間的サイド情報の導出に対応する）により、計算される。上述の通り、聴覚シーン分析装置又は分析機能（聴覚シーン分析）６”もまた、Ｍチャンネルの元の信号を受信し、本明細書の別の所に記載したように、装置又は機能４”によりアップミックス情報の生成に関与する。説明を容易にするために、装置又は機能４”と６”とを別に表示したが、単一の装置又は機能としてもよい。装置又は機能４”からのアップミックス情報は、周波数領域におけるＮチャンネルアップミックス信号を生成するために、（アップミックス情報の適用）装置又は機能２６により、周波数領域におけるＭチャンネルの元の信号の対応する帯域に適用される。少ない数のチャンネルからより多くのチャンネルを生成することがアップミキシングである（装置又は機能２６は、アップミキサーとして特徴づけることができる）。最後に、周波数・時間変換（周波数から時間へ）２８（時間・周波数変換装置又は機能２の逆機能）が、ブラインドアップミックスを構成するＮチャンネルアップミックス信号を生成するために適用される。図５の例におけるアップミックス情報は、空間的パラメータの形式を取るが、聴覚事象及び／又は聴覚事象の境界と結びつく信号の特性の程度に少なくとも部分的に応答してオーディオ出力チャンネルを生成するスタンドアローンのアップミキサー装置又は機能におけるようなアップミックス情報は、空間的パラメータの形式を取る必要がない。
【式２３】
【００８２】
2009503615.tif 000063
コーダパラメータが好ましい空間的イメージの時間により変化する特徴を捉えるためには十分速く変化し、しかし、合成された空間的イメージに可聴な不安定性をもたらすほどには速く変化しないよう、対応する式（４）と（３６）から得られる関連の平滑パラメータの選択には十分注意を払わなくてはならない。特に厄介なのは、Ｍ＝１でありＩＣＣパラメータがＭ＝１とＭ＝２の両方となるシステムにおける、Ｎ：Ｍ：ＮシステムのＩＰＤに関係付けられた優勢な参照チャンネルｇの選定である。共分散推定値が時間ブロックを横切って顕著に平滑化されていたとしても、いくつかのチャンネルが同じ量のエネルギーを有する場合は、ブロックとブロックとの間で急速に変動することがある。ＩＰＤパラメータとＩＣＣパラメータとが急速に変化することにより、合成された信号中に可聴のアーティファクトが生じるという結果となる。
【００８３】
この問題を解決する１つの方法は、優勢なチャンネルｇを聴覚事象の境界でのみ更新することである。そうすることにより、このコーディングパラメータが各事象の継続期間中比較的安定し、各事象における知覚的完全性が保たれる。このオーディオのスペクトル形状の変化は、聴覚事象の境界を検出するために用いられる。このエンコーダの各時間ブロックｔにおいて、各チャンネルｉの聴覚事象の境界の強さは、正規化した現在のブロックとその前のブロックとの対数スペクトルの大きさの差の絶対値の総和として計算される。
【数３９】
2009503615.tif 000064
【００８４】
ここで
【数４０】
2009503615.tif 000065
【００８５】
任意のチャンネルｉにおいて、事象の強さＳi［ｔ］が固定の閾値Ｔsより大きい場合は、優勢なチャンネルｇは式（９）により更新される。それ以外の場合は、優勢なチャンネルは、その前の時間ブロックにおける値を保持する。
【００８６】
ここに記載の技術は、聴覚事象に基づく「厳しい決断」の一例である。事象は検出されるかされないかのどちらか一方であり、優勢なチャンネルの更新は、この２値的な検出に基づき行われる。聴覚事象はまた、「柔軟な決断」方法にも用いられる。
【式２４】
【００８７】
2009503615.tif 000066
Ｓi［ｔ］が大きい場合は、強い事象が生じ、この強い事象に関連するオーディオの新しい統計値を速く捉えるために、マトリックスは少し平滑化して更新すべきである。Ｓi［ｔ］が小さい場合は、オーディオは事象の範囲内にあり、比較的安定しているので、共分散マトリックスは、より強く平滑化されるべきである。最小（最小の平滑化）と最大（最大の平滑化）との間でλを計算するための１つの方法は、この原理に基づく。
【数４１】
2009503615.tif 000067
【００８８】
［実施の形態］
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。他に記載がない限り、本発明の１部に含まれるアルゴリズム又はプロセスは、特定のコンピュータ又は特定の装置に本質的に関連するようなものではない。とりわけ、種々の汎用機をここの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。
【００８９】
このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。
【００９０】
このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードすることが好ましい。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。
【００９１】
本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。
【００９２】
［参照としての編入］
以下の特許、特許出願、及び、刊行物は参照としてそのすべてを本明細書に編入する。
【００９３】
［空間的コーディング及びパラメトリックコーディング］
国際公開公報ＷＯ２００５／０８６１３９Ａ１、２００５年９月１５日公開、
国際公開公報ＷＯ２００５／０２６４５２、２００６年３月９日公開、
Seefeldt等による国際特許出願ＰＣＴ／ＵＳ２００６／０２０８８２、２００６年５月２６日出願、表題「Channel  Reconfiguration  with  Side  Information」、
米国特許出願公開公報ＵＳ２００３／００２６４４１、２００３年２月６日公開、
米国特許出願公開公報ＵＳ２００３／００３５５５３、２００３年２月２０日公開、
米国特許出願公開公報ＵＳ２００３／０２１９１３０（Baumgarte  &  Faller）、２００３年１１月２７日公開、
Audio  Engineering  Society  論文５８５２、２００３年３月、
国際公開公報ＷＯ０３／０９０２０７、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／０９０２０８、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／００７６５６、２００３年１月２２日公開、
国際公開公報ＷＯ０３／０９０２０６、２００３年１０月３０日公開、
Baumgarte他による、２００３年１２月２５日に公開された、米国特許出願公開公報ＵＳ２００３／０２３６５８３Ａｌ、
Faller他による、Audio  Engineering  Society  Convention  Paper  5574,  112th  Convention,  Munich,  May  2002、「Binaural  Cue  Coding  Applied  to  Stereo  and  Multi-Channel  Audio  Compression」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  5575,  112th  Convention,  Munich,  May  2002「Why  Binaural  Cue  Coding  is  Better  than  Intensity  Stereo  Coding」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  5706,  113th  Convention,  Los  Angeles,  October  2002、「Design  and  Evaluatin  of  Binaural  Cue  Coding  Schemes」、
Faller他による、IEEE  Workshop  on  Applications  of  Signal  Processing  to  Audio  and  Acoustics  2001,  New  Paltz,  New
York,  October  2001,  pp.199-202、「Efficient  Representation  of  Spatial  Audio  Using  Perceptual  Parametrization」、
Baumgarte他による、Proc.  ICASSP  2002,  Orlando,  Florida,  May  2002,  pp.II-1801-1804、「Estimation  of  Auditory  Spatial  Cues  for  Binaural  Cue  Coding」、
Faller他による、Proc.  ICASSP  2002,  Orlando,  Florida,  May  2002,  pp.II-1841II-1844、「Binaural  Cue  Coding:  A  Novel  and  Efficient  Representation  of  Spatial  Audio」、
Breebaart他による、Audio  Engineering  Society  Convention  Paper  6072,  116th  Convention,  Berlin,  May  2004、「High-quality  parametric  spatial  audio  coding  at  low  bitrates」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  6060,  116th  Convention,  Berlin,  May
2004、「Audio  Coder  Enhancement  using  Scalable  Binaural  Cue  Coding  with  Equalized  Mixing」、
Schuijers他による、Audio  Engineering  Society  Convention  Paper  6073,  116th  Convention,  Berlin,  May
2004、「Low  complexity  parametric  stereo  coding」、
Engdegard他による、Audio  Engineering  Society  Convention  Paper  6074,  116th  Convention,  Berlin,  May
2004、「Synthetic  Ambience  in  Parametric  Stereo  Coding」。
【００９４】
［聴覚事象の検出と使用］
米国特許出願公開公報ＵＳ２００４／０１２２６６２Ａ１、２００４年６月２４日公開、
米国特許出願公開公報ＵＳ２００４／０１４８１５９Ａ１、２００４年７月２９日公開、
米国特許出願公開公報ＵＳ２００４／０１６５７３０Ａ１、２００４年８月２６日公開、
米国特許出願公開公報ＵＳ２００４／０１７２２４０Ａ１、２００４年９月２日公開、
米国特許出願公開公報ＵＳ２００６／０１９７１９、２００６年２月２３日公開、
Brett  Crockett及びMichael  Smithersによる、Audio  Engineering  Society  Convention  Paper  6416,  118th  Convention,  Barcelona,  May
28-31,  2005、「A  Method  for  Characterizing  and  Identifying  Audio  Based  on  Auditory  Scene  Analysis」、
Brett  Crockettによる、Audio  Engineering  Society  Convention  Paper  5948,  New  York,  October  2003、「High  Quality  Multichannel  Time  Scaling  and  Pitch-Shifting  using  Auditory  Scene  Analysis」。
【００９５】
［デコリレーション］
Breebaartによる、２００３年１０月３０日に公開された、国際公開公報ＷＯ０３／０９０２０６Ａ１、表題「Signal  Synthesizing」、
２００６年３月９日公開された、国際公開公報ＷＯ２００６／０２６１６１、
２００６年３月９日公開された、国際公開公報ＷＯ２００６／０２６４５２。
【００９６】
［ＭＰＥＧ‐２／４、ＡＡＣ］
ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９、「Information  technology−very  low  bitrate  audio-visual  coding」、ＩＳＯ／ＩＥＣ  ＩＳ‐１４４９６（Ｐａｒｔ３、オーディオ）、１９９６、
１）ＩＳＯ／ＩＥＣ  １３８１８‐７  「MPEG-2  advanced  audio  coding,  AAC」International  Standard,  1997、
M.Bosi,  K.Brandenburg,  S.Quackenbush,  L.Fielder,  K.Akagiri,  H.Fuchs,  M.Dietz,  J.Herre,  G.Davidson,及びY.Oikawaによる、Proc.  of  the  101st  AES-Convention,  1996、「ISO/IEC  MPEG-2  Advanced  Audio  Coding」、
M.Bosi,  K.Brandenburg,  S.Quackenbush,  L.Fielder,  K.Akagiri,  H.Fuchs,  M.Dietz,  J.Herre,  G.Davidson,及びY.Oikawaによる、Journal  of  the  AES,  Vol.45,  No.10,  October  1997,  pp.789-814、「ISO/IEC  MPEG-2  Advanced  Audio  Coding」、
Karlheinz  Brandenburgによる、Proc.  of  the  AES  17th  International  Conference  on  High  Quality  Audio  Coding,  Florence,  Italy,  1999、「MP3  and  AAC  explained」、
G.A. Soulodre等による、J.  Audio  Eng.  Soc.,  Vol.46,  No.3,  pp164-177,  March  1998、「Subjective  Evaluation  of  State-of-the-Art  Two-Channel  Audio  Codecs」
【図面の簡単な説明】
【００９７】
【図１】空間的コーディングシステムにおいてデコーダで再生したいＮチャンネル信号をエンコーダが受け取る、空間的コーディングシステムにおけるエンコーダの一例を示す機能ブロック図である。
【図２】空間的コーディングシステムにおいてデコーダで再生したいＮチャンネル信号をエンコーダが受け取り、また、このエンコーダからデコーダに送られるＭチャンネルコンポジット信号もまた該エンコーダが受け取る、空間的コーディングシステムにおけるエンコーダの一例を示す機能ブロック図である。
【図３】空間的エンコーダがブラインドミキシング構成の一部をなす、空間的コーディングシステムにおけるエンコーダの一例を示す機能ブロック図である。
【図４】図１〜３のいずれか１つのエンコーダを用いるのに適した、空間的コーディングシステムにおけるデコーダの一例を示す機能ブロック図である。
【図５】シングルエンドのブラインドミキシング構成の機能ブロック図である。
【図６】本発明の特徴を実行する空間的エンコーディングシステムの有用なＳＴＤＦＴ分析及び合成窓の一例を示す。
【図７】時間に対する信号の時間領域での振幅のプロットである。最初の２つのプロットは、ＤＦＴ処理ブロック内で想定した２チャンネル信号を示す。３番目のプロットは、２つのチャンネル信号を１つのチャンネルに合成するダウンミキシングの効果を示し、４番目のプロットは、２番目のチャンネルにＳＷＦ処理を用いてアップミックスした信号を示す。
【図１】
2009503615.tif 000068
【図２】
2009503615.tif 000069
【図３】
2009503615.tif 000070
【図４】
2009503615.tif 000071
【図５】
2009503615.tif 000072
【図６】
2009503615.tif 000073
【図７】
2009503615.tif 000074
【国際調査報告】
2009503615.tif 000075
2009503615.tif 000076
2009503615.tif 000077