(57)【要約】音響空間を表現するＭ個のオーディオ入力チャンネルを同じ音響空間を表現するＮ個のオーディオ出力チャンネルに変換するオーディオチャンネル変換方法であって、各チャンネルはある方向からの音を代表するひとつの音響の流れであり、ＭとＮは正の整数であり、そしてＭは少なくとも２以上のものであり、１以上の出力チャンネルの組を生成し、各組は１以上の出力チャンネルを持つ。各組は２以上の空間的に隣り合う入力チャンネルに関連付けられ、組内の各出力チャンネルは、当該２以上の入力チャンネルの相関関係を定める手段の決定と、当該２以上の入力チャンネルの相互作用のレベルの決定を含むプロセスにより生成される。
2004526355.tif 000002
【特許請求の範囲】
【請求項１】
音響空間を表現するＭ個のオーディオ入力チャンネルを同じ音響空間を表現するＮ個のオーディオ出力チャンネルに変換するオーディオチャンネル変換方法であって、各チャンネルはある方向からの音を代表するひとつの音響の流れであり、ＭとＮは正の整数であり、そしてＭは少なくとも２以上のものであって、
１以上の出力チャンネルの組を生成し、各組は１以上の出力チャンネルを持つものであって、各組は２以上の空間的に隣り合う入力チャンネルに関連付けられ、組内の各出力チャンネルは、当該２以上の入力チャンネルの相関関係を定める手段の決定と、当該２以上の入力チャンネルの相互作用のレベルの決定を含むプロセスにより生成されることを特徴とするオーディオチャンネル変換方法。
【請求項２】
請求項１に記載のオーディオチャンネル変換方法であって、
２個の入力チャンネルに関連付けられた１組の出力チャンネルを有することを特徴とするオーディオチャンネル変換方法。
【請求項３】
請求項１に記載のオーディオチャンネル変換方法であって、
１以上の前記出力チャンネルの組は３以上の入力チャンネルと関連付けられていることを特徴とするオーディオチャンネル変換方法。
【請求項４】
請求項１に記載のオーディオチャンネル変換方法であって、
１以上の出力チャンネルの組は、他の１以上の出力チャンネルの組が関連付けられている入力チャンネルの数よりも多くの入力チャンネルに関連付けられ、
前記オーディオチャンネル変換方法は、出力チャンネルと関連付けられた入力チャンネルの数により各組が、入力チャンネルの数が多ければ多いほど高いランキングを持たせてランク付けされるような階層的な順位に従って、各出力チャンネルの組と関連付けられた入力チャンネルの相関を決定し、
前記処理手続の進行は、階層的な順位に従って定めることを特徴とするオーディオチャンネル変換方法。
【請求項５】
請求項４に記載のオーディオチャンネル変換方法であって、
前記方法は、より順位の高い組の処理結果を考慮することを特徴とするオーディオチャンネル変換方法。
【請求項６】
請求項１に記載のオーディオチャンネル変換方法であって、
前記、２以上の入力チャンネルの相関関係を定める手段の決定と、当該２以上の入力チャンネルの相互作用のレベルの決定、は周波数領域においてなされることを特徴とするオーディオチャンネル変換方法。
【請求項７】
請求項１に記載のオーディオチャンネル変換方法であって、
前記方法は、非線型の時定数を採用することを特徴とするオーディオチャンネル変換方法。
【請求項８】
請求項１又は３〜８に記載のオーディオチャンネル変換方法であって、同一直線上にない３以上の方向を示す入力チャンネルを有することを特徴とするオーディオチャンネル変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響シグナルの処理方法に関する。具体的には、音響空間を表現するＭ個のオーディオ入力チャンネルを同じ音響空間を表現するＮ個のオーディオ出力チャンネルに変換するものであって、各チャンネルは一方向からの音を代表するひとつの音響の流れであり、ＭとＮは正の整数であり、そしてＭは少なくとも２以上である。
【０００２】
技術的背景
人間は２つの耳しか持たないが、頭部伝達関数(HRTFs)や頭の動きなど、いくつかの位置測定のための手がかりにより、我々は音を３次元の存在として聞いている。したがって、完全に忠実な音の再現のためには、完全な３次元の音響空間を再現し維持すること、あるいは、少なくともそのための知覚的手がかりを必要とする。残念ながら、音響記録技術は３次元音響空間を捕捉する方向にも、２次元音響平面を捕捉する方向にも、１次元の音響直線を捕捉する方向にさえも向かっていない。現在の音響記録技術は、ゼロ次元の個別の音響チャンネルを厳密に捕捉し、保存しそして表現することを目指している。
【０００３】
エジソンの最初の蓄音機の発明以来、忠実度を向上させるための努力のほとんどは、彼が創作したアナログ変調のための溝がある円筒／円盤状の媒体の不完全性の改良に焦点が当てられていた。これらの不完全性には、制限され均一でない周波数応答、雑音、ワウ・フラッター、回転精度、磨耗、塵及び複写時に発生する損失が含まれていた。電子アンプ、テープレコーダ、ノイズリダクション、及び車数台分よりも高価なレコードプレーヤーを含む、個別的な改良のためのいくつかの断片的な試みにもかかわらず、伝統的な個別のチャンネルの質的な問題は、一般的にディジタルレコーディングの目覚しい発展があるまで、具体的には、オーディオコンパクトディスクの導入があるまで、最終的に解決することがなかったのは確かだった。それ以来、ディジタルレコーディングの質をさらに２４Ｂｉｔ／９６ｋＨｚサンプリングへと向上させようとするいくつかの努力は別として、音響を再現するための研究において、主要な取り組みは、主として、知覚的なコーダを使うことにより、各チャンネルの質を維持するために必要とするデータの量を減らすこと、及び、空間的な忠実度を上げることに焦点が当てられている。後者の問題が、この書面における（解決すべき）課題である。
【０００４】
空間的な忠実度を上げることの取り組みは、全空間における知覚的手がかりを伝達する試みと、実際に元の音響空間を近似させるような情報を伝達する試みとの２つの方向に沿って推進されている。前者のアプローチを採用するシステムの例は、両耳性の録音と２台のスピーカーに基づく仮想的な環境システムが含まれる。このようなシステムは、残念ながらいくつかの不完全さが示している。特に、音がある方向からに確実に局所化されること、および、ヘッドホンを使うこと、またはリスナーの位置が動かず一人であることが要求されている。
【０００５】
複数のリスナーに空間的な音を提供するために実現可能な選択肢は、居間であろうと、映画館のように営利目的で使用する会場であろうと、そこに実際に元の音響空間を近似させる試みであった。個々に独立した音声チャンネルの本質的な録音特性が与えられているので、古くからの多くの取り組みが、音声表現チャンネルの数を増加するという保守的と称される方法に関係していることは驚くにあたらない。音声表現システムには、５０年代始めの３スピーカーサウンドトラック、従来からのステレオサウンド、６０年代のquadraphonicシステム、７０ｍｍフィルムにおける５チャンネル・ディスクリート・マグネティック・サウンドトラック、９０年代のAC-3 5.1チャンネル・サウンド、及び最近の、Surround-EX6.1チャンネル・サウンドが含まれる。"Dolby"、"Pro Logic"及び"Surround EX"はDolby Laboratories Licensing Corporationの商標である。ある程度までは、これらのシステムは、単一音源による音声表現より空間的な再現性を高めるものであった。しかしながら、多数の音声チャンネルを混ぜることは、製作者に時間的コスト的不利益の増大を招き、概して連続体としての音響空間というより、個別の散らばった音声チャンネルのひとつとして認識される結果となった。Dolby Pro Logic decodingの特徴はU.S Patent 4,799,260に記載されており、この特許はここで言及することにより全体として組み入れられている。AC-3の詳細は"Digital Audio Compression Standard(AC-3)," Advanced Television SystemCommittee(ATSC), Document A/52, December 20, 1995にて公表されている。（インターネットワールド・ワイド・ウェブのwww.atsc.org/Standards/A52/a_52.docにて参照可能）。また、the Errata sheet of July 22, 1999（ワールド・ワイド・ウェブのwww.dolby.com/tech/ATSC_err.pdfにて参照可能）
【０００６】
本発明の特徴について
湧出源の無い媒体内における任意の分布を再現するための基礎は、領域の境界に沿って圧力の分布により、境界内の波の場を完全に決定することを保証するガウスの定理により与えられる。このことは、概念的には、居間と、音を透過しない壁とをコンサートホールに置き、壁の外に無限の数の無限に小さいマイクロホンを配置し、それらを各々アンプにつなぎ、さらに壁のちょうど内側にある対応するラウドスピーカに繋ぐことで、音声的に透明な壁を電子的に表現することで、居間という領域にコンサートホールの音響空間を再現することが可能となることを示唆している。適当な録音媒体をマイクロホンとスピーカーとの間に介入させることで、実用的ではないが、完全で厳密な３Ｄ音声再現システムが実現される。残る設計上の課題はこのシステムを実用的なものにすることである。
【０００７】
実用化へ向けての最初の取り組みは、関心のある信号のバンド幅は約２０ｋＨｚに制限されていることに注目し、空間のサンプリング定理と時間的なサンプリング定理の改良を受け入れることで、可能となる。後者は、帯域が制限された時間的に連続した波を、元の波の少なくとも２倍の周期で離散的にサンプリングしたとすれば、情報は失われないということを意味している。前者の定理は、情報の損失を避けるには、同様の考察により空間的なサンプリング間隔は最小波長の少なくとも２倍の密度でなければならないことを要求している。空気中において２０kHzの音波の波長は約3/8インチであるから、厳密な３Ｄサウンドシステムは3/16インチを超えない間隔でマイクロホンとラウドスピーカーを配置するというを条件とすることが示唆される。９フィート×１２フィートの典型的な部屋の表面に適用すると、これは２５０万チャンネルという結果になり、無限の数よりかなり改善されるものの、現時点ではやはり実用的ではない。なお、空間のサンプリングとして離散的なチャンネル配置を用いる基本的なアプローチは確立されており、これから適当な補間を用いることにより音響空間は再現される。
【０００８】
音響空間の特性が明らかにされると、原理的に、デコーダにとってどの出力スピーカーに対しても最適な出力を導き出すことが可能となる。このようなデコーダに供給するチャンネルは、ここでは「主要」チャンネル、「伝送」チャンネルあるいは「入力」チャンネルというようにさまざまに言及される。そして、主要チャンネルのひとつの位置に対応していない位置にあるどの出力チャンネルも「中間」チャンネルとして言及される。主要入力チャンネルの位置と一致して出力チャンネルが配置されることがある。
【０００９】
したがって、空間的サンプリングの離散的なチャンネルすなわち主要チャンネルの数は減らすことが望ましい。このためのひとつの根拠として、１５００Hz以上において、耳は各サイクルに追従できず、エンベロープ成分に追従するという事実がある。これにより９フィート×１２フィートの部屋での総チャンネル数を約６０００チャンネルに減少させる。最初の配置に比べて、約２４９万チャンネルを削減することは有効なことである。
【００１０】
いずれにせよ、音響心理学に訴えかけることにより、限られた場所に制限することによって、サンプリングするチャンネルの空間的な数をさらに削減することは、理論的には可能である。水平的な分解能は、中心に向かう音の場合、約１度の円弧である。対応する垂直的な分解能は、約５度である。もしこの密度を球面に対して適切に適用したとすると、それでも、結果は数百から数千チャンネルとなる。
【００１１】
発明の開示
本発明に係る方法は、音響空間を表現するＭ個のオーディオ入力チャンネルを同じ音響空間を表現するＮ個のオーディオ出力チャンネルに変換するものであって、各チャンネルはある方向からの音を代表するひとつの音響の流れであり、ＭとＮは正の整数であり、そしてＭは少なくとも２以上のものである。そして、１以上の出力チャンネルの組を生成し、各組は１以上の出力チャンネルを持つものであって、各組は２以上の空間的に隣り合う入力チャンネルに関連付けられ、組内の各出力チャンネルは、２以上の入力チャンネルの相関関係を定める手段、及び２以上の入力チャンネルの相互作用のレベル、を決定することを含むプロセスにより生成される。
【００１２】
本発明のひとつの特徴は、複数の組の出力チャンネルが２以上の入力チャンネルに関連し、本発明に係る方法により、各組が１または２以上の出力チャンネルが、関連する入力チャンネルの数に応じてランク付けられるような階層的な順序に従って、各組の出力チャンネルが関連する入力チャンネルの相関関係を決定することである。ここでは、入力チャンネルの数が多ければ多いほど、高いランキングを持ち、処理方法も階層的な順序に従って設定される。さらに、本発明に係る方法は、序列の高い組の処理手続の結果も考慮に入れて処理することを特徴とする。
【００１３】
本発明の再生や録音の局面では、一つの方向から到達したことを示すＭ個の音響入力チャンネルの各々は、各音源方向における近隣の振幅(amplitude-panned)をエンコードする受動的マトリックスにより（つまり、音源の方向は主として直近の主要チャンネルに関係しているとみなしている）、側鎖(side chain)情報を付け加えることを要求することなく（側鎖(side chain)情報、あるいは、補助的な情報を用いることはオプションである）、既存のミキシング技術やコンソールやフォーマットとコンパチブルに、生成されることを想定している。しかしながら、このような音源は、そのような音源を本質的に発生するごく普通の録音技術である受動的マトリックス（このようにして、「効果的なエンコーディングマトリックス」が構成される。）によるエンコードを用いて生成される可能性もある。本発明の再生や録音の局面では、起こりうる時間遅れを許容し、中間的な方向から来た音は本質的にその近くのマイクロフォンに情報伝達するので（一群のマイクロフォンを水平に配置した場合では、具体的にはその近くのマイクロフォンのペアに情報伝達するので）、あるいは５つの指向性マイクロフォンにより普通に録音した音源と、広い範囲でコンパチブルである。
【００１４】
本発明におけるデコーダあるいはデコーディング処理は、処理を行うペアとなったモジュールあるいはモジュール機能（以降「デコーディングモジュール」と称す）が格子状に連なったものにより実行される。デコーディングモジュールの各々は、空間的に最も近接し、デコーディングモジュールに関係する２以上の主要チャンネルから、１以上の出力チャンネルを生成するため（又は、１以上の出力チャンネルを生成するために用いることができるコントロール信号を生成するため）に用いられる。出力チャンネルは、特定のデコーディングモジュールに関係する主要チャンネルに空間的に最も近接した音声信号の構成比を表現する。以下に詳述するように、デコーディングモジュールは、ノードを共有し階層が存在するという意味で、お互いに緩やかに結合している。モジュールは、関係する主要チャンネルの数に応じて階層的に順序付けられる（関係する主要チャンネルの数が最も多いモジュールが最も高く階級付けされる）。監視ルーチン機能は、共通ノードの信号が公平に分配され、より序列の高いデコーダモジュールがより低いモジュールの出力に影響を与えるように、モジュールを統轄する。
【００１５】
各デコーダモジュールは、実質的に、出力信号を直接作り出すような、あるいは各デコーダモジュールが他のデコーダモジュールにより作られたコントロール信号とともに、可変マトリックスの係数、又は、すべての出力信号を発生させるための固定マトリックスへの入力又は出力のスケールファクターを変更するために用いるコントロール信号を発生させるような、マトリックスを含んでいてもよい。
【００１６】
デコーダモジュールは、人間の耳の働きを模擬し、知覚的に明白な再現性を与えることを試みる。各デコーダモジュールは、ワイドバンドとしてもマルチバンドの構成又は機能としてもどちらで実施しても良い。後者のケースでは、連続フィルターバンクあるいはブロック構造のどちらでも良く、例えば変換ベースのプロセッサを用いたり、各バンドにおいて同じ本質的要素を持つ処理を用いても良い。
【００１７】
本発明の基本は原則として、空間的にＭ個の入力チャンネルをＮ個の出力チャンネルに変換するものに関するものであり、ＭとＮは正の整数であり、そしてＭは少なくとも２以上であるというものであるが、本発明の他の特徴は、Ｎ個の出力チャンネルから受け取るスピーカーの数を、ラウドスピーカーが置かれた場所以外の空間に音響イメージを感じさせるような仮想的なイメージに注意深く依存させることで、現実的な数量にまで減らすことができることである。仮想的なイメージで最も良く使うのは、２つのスピーカーのチャンネル間でモノラル信号をパンニングさせることで、２つのスピーカーの間に音響イメージをステレオ再生することである。仮想イメージによる手法は、リスナーが２つのスピーカーから等距離あるいは、ほぼ等距離に居なければならないので、わずかなチャンネル数で多数の人を相手に実演するための、実行可能な技術とは考えられていない。映画館の中では、例えば、左と右の前面にあるスピーカーは、多くの観客に中心からの音であるとの有効な錯覚を与えるには遠く離れすぎている。従って、会話音源として、中央のチャンネルが重要となるので、代わりに、物理的に中央に置いたのスピーカーが使われている。
【００１８】
しかしながら、スピーカーの実装密度が上がって行くにつれて、多くの聴衆に対して、あらゆるスピーカーのペアの間における仮想的なイメージ作りが可能なところまで、少なくとも、滑らかに音のイメージを動かせるところまで、到達するであろう。十分なスピーカーにより、スピーカー同士のギャップはそれほど認識されなくなるからである。このようなスピーカーの配列は、先に導き出した２百万個の配列とほとんど区別がつかないほどの能力を持つ。
【００１９】
本発明の特徴をテストするために、我々は、水平方向の配置として各壁に５台のスピーカーを置き、コーナーのスピーカーを共通とすることにより合計１６台とした。さらに、聴衆の頭上に垂直角で４５度に６台のスピーカーをリング状に置き、真上に１つスピーカーを置いて、合計２３台とし、さらに、サブウーハー／ＬＦＥチャンネルを加えて２４台とし、すべて２４チャンネル再生用にセットしたＰＣから信号が送られることとした。最近の業界用語に従えば、このシステムは、２３．１チャンネルシステムとして良いかもしれないが、ここでは、簡単に２４チャンネルシステムと称することにする。
【００２０】
図１は、テスト配置として先に説明したような、デコーダの理想化された配置を示す概略平面図である。５台のワイドレンジの水平主要チャンネルは、外側の円の正方形１’，３’，５’，９’及び１３’で示される。５台のワイドレンジの水平主要チャンネル間の相互関係あるいは発生した反響音から導き出されるか、又は個別に供給された垂直チャンネル、中心に破線で示す正方形２３’で示される。２３台のワイドレンジの出力チャンネルは、１−２３の番号が記入された円で示される。１６台の出力チャンネルがある外側の円は水平面上にあり、内側の円の６台の出力チャンネルは、水平面の上部に４５度に置かれている。出力チャンネル２３は、一人以上のリスナーの上部に置かれる。５台の２入力デコーディングモジュールは、外側の円に描いた矢印２４−２８で表示され、水平面上の主要チャンネル上の各ペア毎に接続されている。５台の追加された２入力デコーディングモジュールは、矢印２９−３３で表示され、垂直チャンネルを各水平主要チャンネルに接続している。出力チャンネル２１は、中央後部チャンネルを強調したものであるが、出力チャンネル２１と主要チャンネル９，１３及び２３との間で矢印で描かれた３入力のデコーディングモジュールにより導き出される。このように、各モジュールはそれぞれ空間的に隣り合う主要チャンネルのペア又はトリオにより関連付けられる。図１に示されるデコーディングモジュールは３台，４台又は５台の出力チャンネルを持つが、デコーディングモジュールは、常識的な範囲でどんな数量にしても良い。出力チャンネルは１台以上の主要チャンネルの間、又は主要チャンネルと同じ位置に置いても良い。したがって、例えば図１においては、各主要チャンネルの位置が出力チャンネルの位置でもある。２台又は３台のデコーディングモジュールは各入力チャンネルを共有している。
【００２１】
これから説明するように、本発明の目的は再生用プロセッサーが任意の数及び配置のスピーカーに対しても機能するような概念を与えることである。したがって、図示したような２４チャンネルの配置が使えるが、これが本発明の特徴に従った、連続的に知覚された説得力のある音響空間を定める唯一の、数と配置を示すものではない。
【００２２】
多数の、できればユーザーが選択できる数の表現用チャンネルを使いたいとの要求は、離散的なチャンネルの数、及び／又は、再生用プロセッサーに伝達し、少なくとも１つの選択肢として、上述の２４の離散的なチャンネルに導くその他の情報、についての疑問が出てくる。明らかに、ひとつの可能な手段は、単に２４の離散的なチャンネルを伝達することである。しかし、コンテンツプロデューサー(content producers)にとって、別のチャンネルを混合しなければならないこと、伝達媒体にとって、それだけのチャンネルを伝達しなけらばならないことは煩わしいことだと思われるだけでなく、２４チャンネルの配置は単に一例に過ぎないので、そのようなことは、やらないで済むに越したことはない。また、共通の伝達信号の一群から、２４チャンネル以上又は以下の共通の表現用チャンネルの伝達を可能とするほうが望ましい。
【００２３】
出力チャンネルを再生する１つの方法は、チャンネルの数はこの方法を使うには十分であるとみなして、各出力チャンネルの重み付け和を用いて算出した空間的な補間を用いる方法である。しかしながら、この場合は、何千から何百万もの伝達チャンネルを必要とし、これは、信号の時間的な補間を実行する場合に何百ものタップ数を持つ有限インパルス応答を使うことに類似したものとなる。伝達チャンネルの数を現実的な数に減らすためには、音響心理学的な原理と、さらに少ないチャンネルからの効果的で動的な空間補間を用いる事を必要とするが、それは、完全な音響空間を知覚させるために必要なチャンネル数はいくつなのかという疑問に対する答えとはならない。
【００２４】
この疑問は、本発明の発明者が数年前に実施し、最近は他人からも模倣されている試みにより対応できる。これまでの試みは、少なくとも、従来の２チャンネルの２方向録音がリアルな右／左の音響イメージの広がりを再生する能力があることを観測した。しかし、採用された頭部伝達関数(HRTF)の不完全さ及び頭部の動きの要因に対する配慮不足により、前／後位置の特定には誤りがあった。かかる難点を回避するため、空間的に人間の頭の大きさに釣り合った場所に置かれた２組の指向性マイクロフォンを使って、二重２方向(4-channel)録音が採用された。１組は前面に、他の１組は後面に向けられた。このように録音された結果は音響的なクロスカップリング効果を緩和するため、頭の近くに配置された四つのスピーカーにより演奏された。この配置は、各組のスピーカーからの時間的及び振幅的に左右方向の位置を特定したリアルな音声に加えて、マイクロホン及びスピーカーからの前後方向に明確な情報を供給した。この結果は、非常に感動的なサラウンド音響を実演するものであり、高さの情報を正確に再現することができなかっただけであった。最近の他の試みでは、１つの中央前部のチャンネルと、２つの高さ方向のチャンネルを加えその結果、同様のリアルさの、そして恐らく高さの情報を加えることによりリアルさが増したとの報告がなされている。
【００２５】
従って、音響心理学的観点及び実験で確かめられた事項の両方から、このような知覚的な情報は、恐らく４から５の「両耳性風の(binaural-like)」の水平方向に置かれたチャンネルと、それに加えて、恐らく１つ又はそれ以上の垂直方向に置かれたチャンネルとにより、伝えられることがわかる。しかしながら、チャンネルの組に送られる両耳性の特性を持つ信号は、中音域と低音域での分離が不十分なので、ラウドスピーカーのグループに直接再生させるのには不向きなものとなっている。従って、エンコーダに（両耳性の１組としてとして）デコーダ内で再現するためだけに、送信するよりも、チャンネルを独立させたまま、近くの伝送チャンネルからの出力チャンネルを混ぜ合わせたほうが、単純で直接的な方法になる。このことは、同等の数のスピーカーにデコーダ無しで、あるいはもし望むなら、受動的なマトリックスデコーダによるより少ないチャンネルへの任意的な混合を追加することにより直接的な再生が可能となるのみならず、少なくとも、水平面上では、従来の５．１チャンネルの標準的な配置に対応するものとなる。これは、いくらかの時間遅れを許すので、中間的な方向から到着した音は本質的に最も近くのマイクロフォン（水平方向に並べた場合においては、最も近くのマイクロフォンの組に）に位置付けされる傾向にあり、従って、５台の指向性マイクロフォンから採取されたようなナチュラル録音と広く互換性がある。
【００２６】
このようにして、知覚する側の観点から、これは、チャンネル変換デコーダに標準的な５．１チャンネルプログラムを包含させることを可能とする。そして、先に述べたような、２４チャンネルによって１６台の水平方向のスピーカーを設置した場合を含む、任意の数の水平方向に並べたスピーカーを通じて納得できるような音声再現を可能とする。時々ディジタルシネマシステムに提案されるような垂直チャンネルを追加することによって、広い聴取位置において、連続的な音響空間を認識させるような、個々に導き出され知覚的に有効な信号を２４チャンネル群のすべてに送り込むことを可能とする。もちろん、エンコーディングの現場で粒子のような細かい音源チャンネルが利用可能であるならば、これらからの追加情報を、デコーダの制限をあらかじめ補償するものとして、エンコードマトリックスのスケールファクターを積極的に修正するために使うことが可能かもしれない。あるいは、恐らくAC-3(Dolby Digital)マルチチャンネルコーディングに用いられたカップリングコーディネイトと良く似た、追加の側鎖（補助の）情報として単に加えることが可能かもしれない。しかし、知覚的には、このような特別な情報は不必要で、実用面からは、このような情報を含ませることは、好ましくない。ここで用いるチャンネル変換デコーダは、５．１チャンネル音源の動作に限定されるものではなく、それ以上の音源にもそれ以下の音源に使っても良いが、少なくとも、確かな性能は５．１チャンネル音源から得られるという確信を正当化するものである。
【００２７】
ここで、伝達されたわずかなチャンネル群からの中間出力チャンネルをどのように展開するのかが未回答のまま残っている。本発明の１つの特徴として提案された解決手段は、垂直方向の音響イメージの概念を、少し違った方法で、再び活用することである。リスナーは各スピーカーからほぼ等距離に居なければならないので、少ないスピーカー群で垂直方向の音響イメージを作ることは、聴衆に対する演奏として実行可能ではない。しかし、隣り合う現実の出力チャンネル間に出現した信号と認識させる仮想の中間チャンネルの概念を持ちこむことによって、思いがけない場所に居るリスナーに対しても何とか機能させることはできる。従って、本発明の１つの特徴として、一連のモジュール化された信号補間プロセッサーから成り、各プロセッサーは最適な場所に位置するリスナーに対して効果的にエミュレートするものであり、振幅調整信号からの仮想イメージを抽出する人間の聴覚システムに類似の方法で機能し、これらを現実のラウドスピーカーに出力させるものを提案する。ここで、この一群のラウドスピーカーは、スピーカー間の空間を仮想イメージで埋めるのに十分な密度に成るよう配列されていることが望ましい。
【００２８】
一般的に、各デコーディングモジュールは最も近接した主要チャンネルから、例えば、上部に設けられた一群のスピーカに対しては、３以上の主要チャンネルから、入力を得る。２以上の主要チャンネルからの入力により出力チャンネルを生成する１つの方法として、ペア毎の機能を集合させたものを採用しても良い。例えば、あるペアを構成するデコーディングモジュールからの出力を、他のモジュールの入力とするのである。しかしながら、これには２つの欠点がある。１つは、次々に信号を伝送するデコーディングモジュールは累積された時定数を取り入れてしまい、そのため、ある出力チャンネルは他より速く応答する結果となり、可聴位置の認識に悪影響を与えるという点である。２番目の欠点は、ペア毎に関連付けするだけでは、中間すなわちペアを結ぶライン上に誘起された出力チャンネルを判別することができるだけという点である。この欠点は３以上の主要チャンネルを用いることにより除去される。それゆえ、一般的なペア毎の関連付けを拡張して３以上の出力信号を関連付けさせる技術が開発された。この技術を以下に述べる。
【００２９】
人間の耳での（音源の）水平的な位置の特定は２つの位置確定のための手がかり、すなわち相互の振幅及び相互の到達時間差、に基づく。後者の手がかりは信号のペアが時間的に近い場合、±６０ミリセカンド程度、の場合にのみ有効である。実際的な効果は、２つの実チャンネルに関連付け、あるいはほぼ関連付けさせた共通の信号内容を仮定すれば、左／右の振幅の差に対応する位置に、実体のない中間的な音響イメージが発生するだけである。（注記：２つの信号は相互の相関係数が＋１から−１のスパンを持つことができる。完全な相関関係がある信号（相関係数＝１）は、同一の波形と時間構成を持っているが、振幅は、音響イメージのずれに応じて違った値を持つことができる）。信号ペアの相関係数はＩ以下に減少するので、認識される音響イメージは、２つの相互に関係のない信号にまで広がる傾向にある。その場合は、中間における音響イメージではなくなり、単に距離を持った左と右の別々の音響イメージとなる。負の相関関係を持つ場合は、普通耳には、２つの音響イメージ間の距離は広がるものの、相関関係のない信号のペアの場合と同じように感じられる。関係付けは臨界帯域、そして約１５００Ｈｚ以上の帯域をベースに実行される。臨界帯域における信号波形は信号そのものとして使うのではなく、人的な計算能力（ＭＩＰＳ）を確保するために用いる。
【００３０】
垂直方向の位置決めは、頭部伝達関数(HRTF)の耳介による手がかりと頭の動きに伴う水平方向の動的な変調による手がかりに依存し、少し複雑となる。しかし、最終的な効果は、振幅をパンさせること、相互の関連付けを行うこと及び認識された音響イメージの位置と統合に対応させる点で、水平方向における位置決めと同様である。垂直方向の位置分解能は、しかしながら、水平方向の分解能より精度は低くなる。そして、適当な補完性能を確保するための主要チャンネル群の密度もそれほど必要ではない。
【００３１】
人間の耳の機能を模擬する方向性を持ったプロセッサーを使うことの利点は、信号処理におけるあらゆる不完全さや限界も、元々の完全に連続した音声とほとんど区別できないでシステムが認識する可能性を容認するような人間の耳の不完全さや限界と同じように、知覚的に隠されてしまうという点である。
【００３２】
本発明は、出力チャンネルの数がどんなに多くても少なくても（デコーディングのない入力信号の数と同じ数のラウドスピーカによる再生を含み、能動的に混合させ、モノラルやステレオやLt/Rtと等価なサラウンディングを含む少ないチャンネル減少させたものも含む）効果的に使用できるように設計したものであるが、出力チャンネルの数は、多くし、ある意味では自由裁量、とは言うものの、現実的な数の表現チャンネル／ラウドスピーカーで、既存の５．１チャンネルサウンドトラックや、次世代の１１又は１２チャンネルのディジタルシネマサウンドトラックを含んだものであって、エンコードチャンネルの数と同等か又は少ない数の音源を使うものを、採用できるようにすることが望ましい。
【００３３】
本発明の実施は、４つの原則を開示するものである。すなわち、誤差の抑制、ドミナントの管理、一定出力及び同期化された平滑化である。
【００３４】
誤差の抑制とは、デコーディング誤差の可能性があるとき、デコードされた各音源の位置は、意図する方向の真の値に近い妥当な値とするという概念を言うものである。これはデコーディング方法を変化させる度合いを制御するものである。空間的な差異を大きくする誤差の可能性を伴いながら、さらに積極的なデコーディングが見込まれるとき、普通は、空間的な管理を確かなものにするすることと引き換えに、少し精度の下がるデコーディングを行うことが望ましい。たとえもっと精度の高いデコーディングが確実に適用できる状況にあっても、もし、動的な信号の状況が、積極的なモードと通常のモードとの間においてデコーダを切り替えることを必要とし、聴覚に悪影響を与える結果となる可能性がある場合は、そうすることは賢明ではない。
【００３５】
ドミナントの管理とは、誤差の抑制をさらに変形させたもので、十分明瞭なドミナント（支配的な）信号は最も近い出力チャンネル(nearest neighbor output channels)に対してのみ、デコーダによりパンされるべきという要件である。この条件はドミナント信号の統合イメージを保持し、ために必要なものであり、マトリックスデコーダの不連続性に寄与する。ある信号がドミナントであれば、他の出力信号、関連する主要な信号から抽出されたもの又はドミナント信号を導き出すために使われる他の補完的な出力チャンネルマトリックス変数（「アンチドミナント変数／信号」）により、その信号は抑制される。
【００３６】
一定出力とは、デコードされた出力パワーの総計が、入力パワーに等しいのみならず、各チャンネルと主要チャンネル群により伝達されエンコードされた方向信号の入力と出力のパワーが一致することを言う。これはゲインポンピングの影響を最小化する。
【００３７】
同期化された平滑化は、信号に依存するような平滑時定数を持つシステムに適用され、どんな平滑ネットワークも、デコーディングモジュール内にある場合は、時定数は高速モードに切り替えられ、他のモジュール内の平滑ネットワークも同様に切り替えられる。これは、新たなドミナントな方向を持つ信号が以前のドミナントな方向からゆっくり現れ消えるように見えるのを防止する。
【００３８】
発明の最適な実施例
デコーディングモジュール
音源の方向をエンコードすることは、近接する主要チャンネル間の関連が見出されることを主要な前提としているので、チャンネルを変換しデコーディングすることは、特に、各々が曲がりなりにも人間の耳に近似した伝達チャンネルの一部をなしているような中間出力チャンネル、一般的な意味では出力チャンネルを再生する一連の半ば自律的なデコーディングモジュールにより行うことを基調としている。
【００３９】
デコーディングモジュールの操作は、できるだけ人間の耳に機能的に類似させて、名目的な現在の主要な方向と相互の相関関係をきめ、そのイメージの相対的な幅を決定するために、増幅係数の組合せに基づき行われる。
【００４０】
演算処理装置は、増幅係数と相互の相関関係から導き出された制御情報を用いて、出力チャンネルの音声信号を抽出する。これがリニアーベースでの限界なので、歪み成分の発生を避けるため、デコーダは関係ある信号を含んだ主要チャンネルの重み付き合計の集合を形成する。（以下に説明するように、重み付き合計の計算において、近傍に無い主要チャンネルの情報も含ませたほうが好ましい。）この限界はあるが動的な補間の形成は、もっと一般的にはマトリックスに委ねられる。もし、音源において、求める信号が近傍のＭ個の主要チャンネルに関連付けられた（選択的に増幅された）とすると、続いて、問題はＭ：Ｎマトリックスである。言い換えれば、出力チャンネルがインプットチャンネルと相対的に調和を保っていることである。
【００４１】
特に、２入力デコーディングモジュールの場合は、Lt/Rtエンコード信号に対応する一対のデコーディングモジュールを持つ、今や古典的なDolby Pro Logicマトリックス・デコーダのような、能動的２：Ｎマトリックス・デコーダで検討した問題に非常に似ている。
【００４２】
注意：２：Ｎマトリックス・デコーダからの出力は、時々主要チャンネルとして言及される。しかしながら、本明細書において、チャンネルを伝達するデコーダの入力チャンネルをいうときに「主要」という言葉を使う。
【００４３】
しかしながら、先行技術としての能動的２：Ｎデコーダと本発明に係るデコーディングモジュールの処理とでは少なくとも１つ明確な相違点がある。前者は、left/rightの位置を示すために、チャンネル伝達デコーダを前提とするleft/right増幅を用いているうえに、front/backの位置を示すため、Lt/Rtエンコードチャンネルの総和対偏差の比に明確に依存するような、チャンネル相互間の位相を用いている。
【００４４】
このような能動的２：Ｎデコーダによる処理には２つ問題がある。１つは、たとえば（正面）と完全に相関関係があるが、中心からずれている信号の場合、総和対偏差の比が、無限大より小さいという結果になり、正面の位置を正確に表さなくなる。（中心からずれた逆相関関係のある裏面の信号のようになる）。その結果は、いくぶん歪んだデコーディング空間となる。２番目の欠点は、位置的な関係が多数対１になっており、本来的にデコーディング時に誤差を持ち込むという点である。例えば、４：２：４のマトリックスシステムにおいて、Front-InとRear-Inの信号を含まず互いに相関関係のない一対のLeft-InのRight-Inの信号は、Left-InとRight-Inの信号を含まず互いに相関関係のない一対のFront-InのRear-Inの信号と同じく、相関関係のないLt/Rtの対に対する関数すなわち、相関関係のない４入力の関数となる。相関関係のないLt/Rtの対に直面した場合、このデコーダはマトリックスの制限を緩め、受動的マトリックスを用い、音声をすべての出力チャンネルに分配する以外に選択肢はない。このことは、Left-Out/Right-Outのみの信号配置、あるいは、Front-Out/Rear-Outのみの信号配置を同時にデコードすることを不可能にする。
【００４５】
潜在的な問題は、Ｎ：２：Ｎマトリックスシステムにおいて前後位置のコーディングにチャンネル相互間の位相を用いることは、前後位置の判断に位相を用いない人間の耳の動作、に反する動作を行ってしまうことである。本発明は、相対的な位相や極性に依存して方向の違いを割り当てることなしに、主要チャンネルの方向を想定することにより前後位置を表現するように、同一線上にない少なくとも３個の主要なチャンネルにより、良好に動作する。従って相関関係にない、あるいは逆相関関係にある主要な伝達信号のペアは、不明瞭さのない状態で、中間的な信号もなく、「後進」方向を示すこともなく、独立した主要な出力チャンネル信号にデコーディングされる。（ところで、これは、能動的２：Ｎデコーダにおいて、不適切な「センターパイルアップ」現象を避けることになる。この現象においては、デコーダが相関関係のないLeft-InとRight-Inの信号の総計と偏差を中央及び周囲のチャンネルに送り込むため、これら相関関係のないLeft-InとRight-Inの信号の分離性が弱められて表現される。）もちろん、２：Ｎデコーダ、Ｎ＝４または５、を段階的にＮ：Ｍチャンネルの変換システムに繋げることによって、Lt/Rt信号の対を空間的に拡張することは原理的に可能である。しかし、この場合、２：Ｎデコーダにおけるセンターパイルアップのようなすべての制限事項が、増やされた出力チャンネルに持ち越される。また、これらの機能を２チャンネルのLt/Rt信号を受け入れるように構成したチャンネル変換デコーダに組み込むこともできる。この場合、その動作を、他の処理手続を大きく損なわないようにしながら、逆相関関係にある信号を後進方向を持つものと解釈するよう修正することも可能である。しかしながら、この場合においても、２個の伝送された信号しかないことから、デコーディングにあいまいさが残ってしまう。
【００４６】
このように、各デコーディングモジュール、特に２入力チャンネルを持つものは、任意の出力チャンネルを持っており、前後検出が不可能あるいは修正される、先行技術の能動的２：Ｎデコーダと似ている。もちろん、少数のチャンネルからより多数のチャンネルをマトリックスを使って一意的に導き出すことは、ＭがＮより大きい場合において、Ｍ個の未知数をＮ個の一次方程式で解くようなこととなり、数学的に不可能である。従って、デコーディングモジュールは、多数の音源方向信号の存在の下で、完全な再現チャンネルより少なくすることが時々できなくなることが予期できる。しかしながら、人間の聴覚システムは、２つの耳の利用に制限され、同じの制限に従わなければない傾向にあるが、すべてのチャンネルを動作させても、別々のものと認識するシステムとなっている。独立したチャンネルの質は、他のチャンネルを消音させても、１つのスピーカーの近くにいるかもしれないリスナーにも対応できるようにするために配慮しなければならない事柄である。
【００４７】
確かに、耳は周波数に依存する土台で機能している。しかし多くの音声イメージはすべての周波数において同様な相関関係を持っているので、広帯域システムとして、Pro Logicデコーダにより経験的にうまく立証できたように、広帯域チャンネル変換システムはある応用分野では満足な結果が得られることが期待される。帯域対帯域を基礎とする同様の処理過程、及び各場合に同じエンコード信号を用いることによって、複数チャンネルをデーコードすることも可能であり、ここで、各帯域の数および帯域幅は開発者にフリーパラメーターとして残される。広帯域処理より高いMIPSが要求されるように思われるが、入力信号がデータブロックに分割され処理過程がブロックごとに実行されるとすれば、計算にかかる負担はそれほど大きくない。
【００４８】
本願発明におけるデコーディングモジュールによる有用なアルゴリズムを説明する前に、共有ノード(Shared Nodes)について説明する。
【００４９】
共有ノード(Shared Nodes)
もしデコーディングモジュールに用いられる主要なチャンネルがすべて独立であれば、デコーディングモジュール自体も自律的な存在として独立となる。しかしながら、このようなことは、通常は起こらない。任意の伝達されたチャンネルは一般に、２以上の近接する主要なチャンネルと別々の出力信号を共有する。もし、独立したデコーディングモジュールが、信号の一群のデコーディングに使われたとしたら、その各々は、隣接するチャンネルからの信号の影響を受け、重大なデコーディングエラーとなる可能性がある。実際に、両方の信号を持つ共通の主要接合点のレベルが上昇するため、隣り合うデコーディングモジュールの２つの出力信号が互いに引っ張り合う。もし、通常の場合ではあるが、信号が動的である場合、数々の相互作用により、好ましくない性質をもつ信号に依存する動的なエラーが起こりうる。このような問題は、単一の互いに独立したチャンネルのペアをデコーダの入力として用いるので、Pro Logicや他の能動的２：Ｎデコーディングでは起こらない。
【００５０】
かくして、「共有ノード(Shared Node)」効果に対する補償が必要となる。そのためのひとつの可能な方法は、コモンノードを共有し、隣に位置するデコーディングモジュールの出力信号を再生しようとする前に、コモンノードから再生信号を差し引くことである。これは、フォールバックが起こって、しばしばうまく行かない。すなわち、各デコーディングモジュールが、インプットチャンネルにおいて存在するコモン出力信号エネルギーを推定し、スーパーバイザールーチンが各モジュールに隣接するモジュールの出力推定値を各モジュールに伝達してしまうのである。
【００５１】
ペア単位での共有エネルギーの計算
たとえば、互いに独立な信号Ｙ及びＺに加え共通の信号Ｘを含む主要チャンネルのペアＡ／Ｂを仮定する。
【００５２】
A = 0.707X+Y
B = 0.707Y+Z
ここで、スケールファクター０．７０７＝√０．５は、隣接する主要チャンネルに対する関数を保持するための乗数を与える。
【００５３】
【数１】
2004526355.tif 000003
ＸとＹは相関関係がないから
XY = 0
従って、
【数２】
2004526355.tif 000004
これは、ＸとＹは相関関係がなく、主要チャンネルＡのトータルエネルギーは信号ＸとＹのエネルギーの和だからである。
【００５４】
同様に、
【数３】
2004526355.tif 000005
Ｘ，Ｙ及びＺは互いに相関関係はないので、ＡとＢの外積は、
【数４】
2004526355.tif 000006
【００５５】
従って、独立で相関関係のない信号を含むことのある２つの隣接する主要チャンネルで同等に共有された出力信号の場合について言うと、信号の外積値を平均したものは、各チャンネルにおける共通信号成分のエネルギーに等しい。もし、共通信号が等しく共有されていない場合は、すなわち、主要チャンネルの一方に偏っていた場合は、外積値を平均したものは、Ａ及びＢにおける共通成分のエネルギーの幾何平均となる。Ａ及びＢから、そのチャンネルの増幅係数を２乗平均により正規化することで、各チャンネルにおける共通成分の推定値を得る。実際の時間平均は、継続的に状態を反映させるために、最適な減衰時定数を持つ積分器（leaky integrator)により計算される。時定数による平滑化は、非線形化や減衰時間にオプションを持たせることにより、さらに精密に行うことができる。また、マルチバンドシステムにおいては、周波数により計量しても良い。
【００５６】
共通エネルギーの高次数での計算
３以上の入力をもつデコーディングモジュールの共通エネルギーを導き出すには、すべての入力信号の外積値の平均値を計算することが必要である。単純に入力のペア毎に計算を進めたのでは、入力の各ペアと全体の共通信号との間での別々の出力信号を区別することができなくなる。
【００５７】
例えば、互いに相関のない信号Ｗ，Ｙ，Ｚと、共通する信号Ｘからなる３個の主要チャンネル、Ａ，Ｂ及びＣを考えてみる。
【００５８】
A = X + W
B = X + Y
C = X + Z
平均外積値を計算すると、Ｗ，Ｙ及びＺの組合せとなる項はキャンセルされ、２次の計算により、Ｘ３の平均値が残る。
【００５９】
【数５】
2004526355.tif 000007
【００６０】
しかしながら、期待した通り、もしＸの時間平均がゼロならば、その３乗平均もゼロになる。ゼロ以外のＸの値の場合はすべて正となるＸ２を平均する場合とは異なり、Ｘ３はＸと同じ符号を持つので、正と負の寄与分はキャンセルされてしまう。モジュールの入力数が奇数の場合に対応して、Ｘが奇数乗となる場合はすべてこのことが当てはまるのは、明らかである。しかし指数が２以上の場合でも、間違った結果を導き出す。例えば、成分が（Ｘ，Ｘ，−Ｘ，−Ｘ）となる４入力の場合は、平均外積値は（Ｘ，Ｘ，Ｘ，Ｘ）の場合と同じとなる。
【００６１】
この問題は、積の平均値を算出する手法に変更を加えることにより解決されている。平均化する前に、積の絶対値を採用することにより各積の符号を捨て去る。積の各項の符号は調べられる。もし、すべての符号が同じであれば、その積の絶対値を平均演算に用いる。もし、いずれかの符号が他と違っていた場合、積の絶対値の負の値を平均する。同じ符合の組みあわせが起こり得る数と、違う符合が起こり得る数とが違っているので、その補正のため、同じ符号の組み合わせの数に対する違う符合の組合せの数の比からなる重み係争を、積の絶対値を無効にするため適用する。例えば、３入力のモジュールは同じ符号となる組合せが、８通りの組合せから、６通りの違う符合の組み合わせを引くと、２通りあり、その結果、スケールファクターは２／６＝１／３となる。この補正は、デコーディングモジュールのすべての入力に共通入力信号成分がある場合にのみ、積算または加算された積を正の方向に増大させる結果となる。
【００６２】
しかしながら、違った系列のモジュールの平均値を比較可能なものとするため、それらはすべて、同じ次数を持たなければならない。従来の２次の相関は２入力の積つまりエネルギーまたはパワーの次元を持つ量を生じる。従って、より高次の相関において平均化する項目は、パワーの次元を持つよう修正されなければならない。従って、ｋｔｈの次数の相関に対しては、平均化する前に各積の絶対値は２／ｋのパワーに次数を上げておかなくてはならない。
【００６３】
もちろん、次数を考えないで、必要ならモジュールの各入力ノードのエネルギーを対応するノードの信号の２乗平均として計算することもできる。そうすれば、最初にｋｔｈパワーに次数を上げ、続いて２次の値に下げる必要はない。
【００６４】
共有ノード(Shared Nodes)：隣接レベル(Neighbor levels)
２乗平均値及び主要チャンネル信号の修正された外積値を用いることにより、共通出力チャンネルの信号エネルギーの量は計算することができる。上記例では一次補間処理を必要とするが、もし、Ａ／Ｂ（／Ｃ）の内の１つ以上のノードは、共通の信号成分を持ち、それが他のどの信号とも相関関係を持たないような他のモジュールと共通していたとすると、計算は本質的にどんなイメージ伸張効果も受けないため、上述の外積の平均値は影響を受けないであろう（注記：２出力信号が、非相関でない場合は、これらはいくらかのデコーダーを伸張する傾向をもつ。しかし人間の耳にも同じような効果があるので、それでもシステムの動作は人間の聴覚に忠実でありつづける。）。
【００６５】
いったん、各デコーディングモジュールが各々その主要ノードで共通出力チャンネル信号のエネルギーの推定値を算出してしまうと、監視機能により、隣接するモジュールにお互いの共通エネルギーを伝達する。そしてその共通エネルギーのポイントで、下記に記すような過程で出力チャンネルの信号の抽出を行うことができる。ノードでモジュールにより用いられる共通エネルギーの計算は、異なる次数を持ったモジュールと重複する可能性を持つ階層構造を考慮しておき、同じノードを共有するあらゆる低次数のモジュールの共通エネルギーの算定値から、高次数のモジュールの共通エネルギーを減算する必要がある。
【００６６】
例えば、信号エネルギーとしてＸ２を持ち、２つの隣り合う主要チャンネルで２つの水平方向を代表するＡとＢとに加えて、垂直方向を代表する主要チャンネルＣと、さらに、内部に向かい（すなわち、Ａ，Ｂ及びＣの制限内に置かれ）、中間的あるいは派生的な出力チャンネルの存在を考える。３個の入力モジュールの共通エネルギーは、入力（Ａ，Ｂ，Ｃ）と共に、Ｘ２となる。しかし、２個の入力モジュール（Ａ，Ｂ），（Ｂ，Ｃ）及び（Ａ，Ｃ）も同じとなる。もしＡに関連するモジュール（Ａ，Ｂ，Ｃ），（Ａ，Ｂ）及び（Ａ，Ｃ）を単純に加えると、Ｘ２とはならないで３Ｘ２という結果になる。共通ノードのエネルギーの計算が正しくなるように、より高い次数のモジュールは、重複する低次数のモジュールの共通エネルギーの算定値から、最初に減算される。したがって、高次数のモジュール（Ａ，Ｂ，Ｃ）の共通エネルギーＸ２は、２個の入力モジュールにおける共通エネルギーの算定値から減算され、その結果各々０となり、ノードＡにおける共通エネルギーはＸ２＋０＋０＝Ｘ２と算定される。
【００６７】
出力チャンネル信号の抽出
すでに注記したように、伝達されてきたチャンネルから線形的な方法で出力チャンネルの総体を回復させる過程は、基本的には出力チャンネルを導き出すための重み付けされた主要チャンネルの総計を成すマトリックスを形成することである。マトリックスにおけるスケールファクターの最適の選択は、一般的には信号に依存する。実際に、もし現在動作中の出力チャンネルの数が伝達されてきたチャンネル（ただし、違う方向を表している）の数と同じであれば、システムは正確に決まってしまい、数学的に効果的なマトリックスを解読することが可能となり、信号源とは独立した信号を再生する。動作中の出力チャンネルの数が、主要チャンネルの数より大きいときであっても、擬似的に逆変換するマトリックスを計算することは可能である。
【００６８】
残念ながら、この取り組み方法には問題がある。この取り組み方法において、特にマルチバンドをベースとする場合で、高い精度の浮動小数点を実現しようとする場合の計算をする上での負荷は決して些細な問題ではない。中間信号は最も近傍にある主要チャンネルに向けられると想定されているにもかかわらず、数学的な逆変換すなわち効果的なマトリックスの擬似的な読解は、一般的には、ノード共有効果のため、すべての主要チャンネルから各出力チャンネルへの寄与を伴う。もしデコーディングに不完全さがあるならば、そしてそれは実際には避けられないことではあるが、空間的に遠くに隔てられた出力チャンネルから主要なチャンネルが再現される可能性があり、それは決して望ましいことではない。加えて、擬似的な逆変換の計算は、最低２乗平均エネルギーの解(minimam-RMS-energy solutions)を導く傾向にあり、これは、分離を最低限に押さえて、音声を最大限に拡散させるもので、本来の意図に反するものである。
【００６９】
そこで、実用的で、空間的なデコーディング誤差が本質的に内在することを認容するデコーダを実現するため、信号を検出するために用いたのと同じモジュール構成を信号再生に採用する。
【００７０】
以下は、出力信号がデコーディングモジュールにより再現される再生手順の詳細である。ここで、モジュールにつながる各出力チャンネルの効果的な位置は、信号を物理的な位置に向けさせること、すなわち、その方向に関連する効果的なマトリックスエンコード係数の比の算出のために必要とする増幅係数、により表示されると仮定されることに注意しなければならない。ゼロで除算される問題を避けるため、係数は、入力チャンネルのマトリックス係数（普通は１）のすべての２乗平均（ＲＭＳ）に対する１つのチャンネルのマトリックス係数の比として計算される。例えば、ＬとＲの入力を持つ２入力モジュールにおいて、用いられるエネルギー比は、ＬとＲのエネルギーに対するＬのエネルギー("L-ratio")であり、これは０から１の間に収まる行儀の良いものである。もし２入力デコーディングモジュールが、（１．０，０），（０．８９，０．４５），（０．７１，０．７１），（０．４５，０．８９）及び（０，１．０）のエンコーディングマトリックスのペアからなる５個の出力チャンネルを持っていたとすると、各スケールファクターのペアが２乗平均値１．０をとるから、対応するL-ratiosは、１．０，０．８９，０．７１，０．４５及び０となる。
【００７１】
デコーディングモジュールの各入力ノード（主要チャンネル）の信号エネルギーから、隣接するデコーディングモジュールからの要求により、ノードを共有するすべての信号エネルギーが減算され、その結果が、残った計算に使うための正規化された入力信号レベルとなる。
【００７２】
主要(dominant)な方向の指標は主要方向のベクトル和として計算され、相対的なエネルギーで重み付けされる。２入力モジュールに対しては、これは、正規化された入力信号レベルであるL-ratioに単純化される。
【００７３】
主要方向(dominant direction)を区分する出力チャンネルは、ステップ２の主要方向のL-ratioと比較することで決定される。例えば、上記５出力デコーディングモジュールの入力のL-ratioが０．７５であれば、０．８９＞０．７５＞０．７１なので、２番目と３番目の出力チャンネルが主要な信号方向となる。
【００７４】
主要信号(dominant signal)を直近の区分されたチャンネルと関連付けるパンニングスケールファクターはチャンネルの反主要信号(anti-dominant signal)レベルとの比から計算される。特別な出力チャンネルと結びついた、この反主要信号(anti-dominant signal)は、対応するデコーディングモジュールの入力信号が出力チャンネルの反主要マトリックス(anti-dominant matrix)のスケールファクターと共に行列に組み込まれたときに答えとして出てくる信号である。出力チャンネルからの反主要マトリックス(anti-dominant matrix)のスケールファクターは、１つの主要信号(dominant signal)が該当する出力チャンネルへ送られるときゼロ出力となるような２乗平均和(RMS sum)＝１．０を含むスケールファクターである。ここで、出力チャンネルのエンコードマトリックスのスケールファクターが（Ａ，Ｂ）であれば、このチャンネルの反主要スケールファクター(anti-dominant scale factors)はちょうど（Ｂ，−Ａ）となる。
【００７５】
証明
もし、１つの主要信号(dominant signal)が、エンコードスケールファクター（Ａ，Ｂ）を持つ出力チャンネルに送られたとすると、信号は（ｋＡ，ｋＢ）に増幅される。ここで、ｋは全体としての信号増幅係数である。従って、このチャンネルの反主要信号(anti-dominant signal)は（ｋＡ＊Ｂ−ｋＢ＊Ａ）＝０となる。
【００７６】
従って、もし、主要信号(dominant signal)が、２乗平均(RMS)＝１となるよう正規化された入力増幅係数をもつ２入力のモジュールの入力信号（x(t),y(t))からなるとすると、展開された主要信号(dominant signal)はdom(t)=Xx(t)+Yy(t)となる。もし、信号のポジションが、各々（Ａ，Ｂ）と（Ｃ，Ｄ）のマトリックススケールファクターを持つ出力チャンネルとして区分された場合は、主要信号(dominant signal)のスケールファクターの前者のチャンネルに対するスケーリングdom(t)は：
SF(A,B)=sqr((DX-CY)/((DX-CY)+(BX-AY)))
一方、後者のチャンネルに対応する主要信号(dominant signal)のスケールファクターは：
SF(C,D)=sqr((BX-AY)/((DX-CY)+(BX-AY)))
主要方向(dominant direction)は１つの出力チャンネルから他の出力チャンネルへ送られるので、これらの２つのスケールファクターはパワーの合計を一定に保ちながらゼロから１までの間で互いに反対方向に動く。
【００７７】
反主要信号(anti-dominant signal)が算出され、適切なゲインスケーリング(gain scaling)と共に、非主要チャンネル(non-dominant channels)に送られる。反主要信号(anti-dominant signal)は、あらゆる主要信号(dominant signal)が除かれたマトリックスの信号である。もし、デコーディングモジュールへの入力が、正規化された振幅（X,Y)を持つ（x(t),y(t))であるとすると、非主要出力チャンネル(non-dominant output channels)の位置とは無関係に、主要信号(dominant signal)はdom(t)=Xx(t)+Yy(t)となり、反主要信号(anti-dominant signal)はdom(t)=Yx(t)-Xy(t)となる。
【００７８】
主要信号／反主要信号(dominant/anti-dominant signal)の分配に加えて、基本的にはすでに議論した出力マトリックスのスケールファクターであって、パワーを保持するために倍率を定めた受動(passive)マトリックスを用いて、２番目の信号分配が計算される。
【００７９】
デコーディングモジュールの入力信号相互間の相関は入力信号の外積値を平均したものを入力レベルを正規化してものの平方根で除算することで算出される。
【００８０】
展開処理の過程に戻ると、最終的な出力信号は、クロスフェードファクターを導くためのデコーディングモジュールの入力信号の相関係数を使って、主要受動信号(dominant passive signal)の分配での重み付けされたクロスフェードの和として算出される。相関係数＝１のときは、主要信号／反主要信号(dominant/anti-dominant signal)の分配が排他的に用いられる。相関係数が小さくなるにつれて、出力信号の一群はクロスフェードにより受動的な配置にまで広げられて、小さな正の相関関係を持つにいたる。この値は、デコーディングモジュールに接続された出力チャンネルの数に依存するが、０．２から０．４の間の値を典型とする。さらに相関係数がゼロに向かって下がっていくと、受動的な振幅の出力配分はだんだん減少し、そのような信号に対する人間の耳を模擬しながら、出力チャンネルのレベルを下げる。
【００８１】
垂直方向の処理
これまで述べてきた処理のほとんどは、出力と主要チャンネルの方向とを考慮しないで、近接する主要チャンネルから出力チャンネルを展開するのに適用するものであった。しかしながら、耳は水平に配置しているので、チャンネル間での相関について、水平方向より垂直方向に対してより鈍感になっている。耳における機能の忠実性を維持するために、最初にひずみ機能(warp function)を適用する相関信号の処理のような、垂直方向の入力に用いる処理装置の、補間における制約の相関関係を緩和させることが望ましいであろう。しかしながら、このことは、水平チャンネルに対する処理と同じ処理を使うことが、聴覚に対して悪影響を与えることではない。同じ処理を使うことは、全体としてデコーダの構成を単純にするであろう。
【００８２】
厳密に言うと、垂直方向の情報は上部からと下部からの両方の音声が含まれる。そして、デコーダの構成はどちらにも同様に作用する。しかし、実際には、普通は、ほんの少しの自然な音声が下部からくるだけである。従って、このような下部からの信号に対する処理やチャンネルは、システムの空間的な認識の忠実度を損なうことなく省略できるであろう。
【００８３】
この概念は、従来からある５．１チャンネルのサラウンドに対するチャンネル変換の適用に対して、もちろん、垂直チャンネルが欠けているが、実用的な意義を持っている。しかしながら、これは、多数またはすべての水平チャンネルを横切って出力するフライオーバー効果のように、垂直方向の情報を含むこともできる。従って、隣り合わないチャンネルやチャンネルのグループの相関を探すことで、このような信号源から仮想的な垂直チャンネルを展開することは可能である。このような相関関係の存在下で、これらは、リスナーの下からより、上部からの垂直方向の情報の存在を表現している。ある場合は、恐らく対象とするリスナーの環境に調和させることで、残響発生装置から仮想的な垂直方向の情報を導き出すことが可能となる。一度５．１チャンネル源から仮想的な垂直チャンネルを展開しあるいは導き出せば、先に説明した２４チャンネル配置のような大きな数のチャンネルに対しても、あたかも垂直チャンネルが供給されているかのように、展開が可能となる。
【００８４】
方向性メモリー
以上に述べたデコーディングモジュールの制御はPro Logicデコーダーのような能動的２：Ｎデコーダーに似ているという１つの観点がある。それは、その処理においてメモリーだけが、基本的なコントロール信号を導き出す平滑化されたネットワーク内にある、という観点である。いずれかの時点で、ただ１つの主要方向(dominant direction)と入力相関の値があり、これらの値によって信号の展開処理がなされるというものである。
【００８５】
しかしながら、（典型的なカクテルパーティーのような）特に複雑な音響環境において、人間の耳は、一定の位置記憶または位置に対する慣れがあることが明らかになっており、そのため、明らかに特定された位置から与えらた簡潔な主要音が違ったもの、つまり、同じ音源から来るときに認識される概略の方向と比べて、はっきり位置が特定できないようなものとして認識される。
【００８６】
デコーディングモジュールに（現にPro Logicデコーディングにおいても）この効果を模擬することは、最新の主要方向のトラックを保持する明白な機構を付け加え、方向的に紛らわしい信号の状況の合間に、最新の主要方向に向けて出力信号の配分に重み付けすることで、可能である。このことで、音の再現の認識において、複雑な信号群の分離性と安定性を強めることができる。
【００８７】
信号相関の修正とチャンネルミキシングの選択
説明した通り、各デコーディングモジュールの拡散の決定は、入力信号の相互相関を基礎としている。これでは、ある条件の下で、出力信号の内容の量を小さく見積もってしまうことがある。このことは、例えば、到達時間が少し異なり、中央に向かわず同じ振幅でない、自然な信号の場合に相関値を下げてしまう、という結果になるというような形で起こる。この効果は、チャンネル間の遅れを相応に引き伸ばし、間隔を広く開けてマイクロフォンを用いた場合に、より強調される。これを補償するために、処理のための要求MIPSを少し高めるという負担を生じるが、相関計算をチャンネル相互の時間遅れのレンジをカバーするよう拡張してもよい。さらに、聴覚神経における神経細胞は約１msecの実効的な時定数を持っているので、１msecの時定数の平滑回路で整形した音声の一次的な平滑作用により、もっと現実的な相関値を得てもよい。
【００８８】
さらに、コンテントのプロデューサーが、ほとんど相関のないチャンネルと共に既存の５．１チャンネルプログラムを持っている場合、チャンネル変換デコーダにより処理されるとき拡散の等価性は、隣り合うチャンネルを少し混合することにより向上し、そのことで、相関が上がり、チャンネル変換デコーディングモジュールが、中間出力チャンネル間でより平等に拡散するようになる。このような混合は、例えば、ダイアログトラックをコンパクトに維持するために中央正面のチャンネルの信号は混合しないでおくというように、選択的に行うことができる。
【００８９】
ラウドネスの圧縮と拡張
エンコーディング処理は、多数のチャンネルを混ぜて、少数のチャンネルにすることを伴う、これは、何らかの形でゲイン補償がない場合は、エンコードされた信号を省略してしまう可能性を示している。この問題は、従来のマトリックスエンコーディングにおいても同様に存在していた。しかし、混合され出力チャンネルに与えられる数がより大きいため、チャンネル変換の場合は潜在的により大きな問題となる。このような場合において、信号の省略をなくすため、全般的なゲインスケールファクターをエンコーダから導き出し、デコーダのコード化されたビットストリームに移送する。普通は、この値は０dBであるが、信号の省略を避けるため、デコーダがゲイン補正と等価な量を供給し、エンコーダによりゼロでない減衰値が与えられる場合がある。
【００９０】
もし、デコーダが、このようなスケールファクタープログラムが無い既存の多チャンネル（例えば、既存の５．１チャンネルサウンドトラック）にこの処理を行うために用いられるとするならば、想定される値（０dBと推定）を持つ固定スケールファクターをオプション的に用いても良く、または、シグナルレベル及び／又はダイナミクスをベースとした拡張機能を適用しても良い。あるいは、ダイアローグを正規化する値のような、有効なメタデータをデコーダゲインの調整のために使用することも可能であろう。
【００９１】
本発明及びその種々の形態は、アナログ回路として、あるいは、さらに高い可能性で、ディジタルシグナルプロセッサ、プログラムを組み込んだ汎用ディジタルコンピュータ及び／又は特殊用途のディジタルコンピュータにより形成されたソフトウエアファンクションとして実現される。アナログ信号とディジタル信号との信号の流れのインターフェースは、それに適したハードウェア及び／又はソフトウエアにおける機能及び／又はファームウエアで実行される。
【図面の簡単な説明】
【００９２】
【図１】図１は、デコーダの理想化された配置を示す概略平面図である。
【国際公開パンフレット】
2004526355.tif 000008
2004526355.tif 000009
2004526355.tif 000010
2004526355.tif 000011
2004526355.tif 000012
2004526355.tif 000013
2004526355.tif 000014
2004526355.tif 000015
2004526355.tif 000016
2004526355.tif 000017
2004526355.tif 000018
2004526355.tif 000019
2004526355.tif 000020
2004526355.tif 000021
2004526355.tif 000022
2004526355.tif 000023
2004526355.tif 000024
2004526355.tif 000025
2004526355.tif 000026
2004526355.tif 000027
2004526355.tif 000028
2004526355.tif 000029
2004526355.tif 000030
2004526355.tif 000031
2004526355.tif 000032
2004526355.tif 000033
2004526355.tif 000034
2004526355.tif 000035
2004526355.tif 000036
2004526355.tif 000037
2004526355.tif 000038
2004526355.tif 000039
2004526355.tif 000040
2004526355.tif 000041
2004526355.tif 000042
2004526355.tif 000043
【国際調査報告】
2004526355.tif 000044
2004526355.tif 000045