(57)【要約】      （修正有）【課題】任意のデジタル化及び圧縮化オーディオ信号記憶若しくは送信アプリケーション及びオーディオ再生アプリケーションのためのレンダリングにて、用いられ得るオーディオ信号の符号化及び復号化するための装置、方法を提供する。【解決手段】サラウンドオーディオ信号をデコードする装置は、ビットストリームを空間パラメータ及びコアパラメータに解凍するビットストリームデマルチプレクサと、コアパラメータをコア信号のセットにデコードするコアデコーダのセットと、空間パラメータと再生スピーカのレイアウト情報を用いてレンダリングマトリクスを導出するマトリクス導出ユニットと、レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器とを含む。【選択図】図１
2018196133.tif 000002
【特許請求の範囲】
【請求項１】
サラウンドオーディオ信号をデコードする装置であって、
プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、コアパラメータ、及びレンダリングフラグをインプットするインプットユニットと、前記レンダリングフラグは、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示し、
コアパラメータをコア信号のセットにデコードするコアデコーダのセットと、
チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと、
プレドミナントサウンドパラメータと再生スピーカのレイアウト情報を用いてプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと、
アンビエンスパラメータと再生スピーカのレイアウト情報を用いてアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと、
プレドミナントサウンドレンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と、
アンビエンスレンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と、
レンダリングされたプレドミナントサウンド及びレンダリングされたアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；
を含む、装置。
【請求項２】
前記コアデコーダは、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩ、ＡＡＣ、ＨＥ−ＡＡＣ、Ｄｏｌｂｙ  ＡＣ−３、若しくはＭＰＥＧ  ＵＳＡＣ標準に対応する、請求項１に記載の装置。
【請求項３】
前記サラウンドオーディオ信号は、高次のアンビソニック信号である、請求項１に記載の装置。
【請求項４】
前記空間パラメータは、主成分解析（ＰＣＡ）、特異値分解（ＳＶＤ）、ＱＲデコンポジション、若しくはカルフネン−ロエベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）変換（ＫＬＴ）のパラメータを含む、請求項１に記載の装置。
【請求項５】
前記マトリクス導出は、ターゲットスピーカの数、スピーカの位置、球面モデリングの位置（水平及び仰角）、ＨＯＡオーダ、及び、ＨＯＡデコンポジションパラメータから成るパラメータ群の、一部または全てを用いて、為される、請求項１に記載の装置。
【請求項６】
サラウンドオーディオ信号をエンコードする装置であって、
インプット信号のオーディオシーン分析結果に基づいて、インプット信号を、複数のプレドミナントサウンドと対応するプレドミナントサウンドパラメータ、及び複数のアンビエンスサウンドと対応するアンビエンスパラメータに、エンコードする、空間エンコーダと、
コアデコーダを割り当ててプレドミナントのサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと、
デコーダ側内で用いられるレンダリングフラグを決定するレンダリングフラグ決定ユニットと、前記レンダリングフラグは、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示し、
プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、生成されたオーディオ信号をエンコードするコアエンコーダのセットと、レンダリングフラグ、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをアウトプットするアウトプットユニットと、
を含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サラウンドオーディオ信号処理システムに関し、特に、任意のデジタル化及び圧縮化オーディオ信号記憶若しくは送信アプリケーションにて、及びオーディオ再生アプリケーションのためのレンダリングにて、用いられ得るオーディオ信号の符号化及び復号化に関する。
【背景技術】
【０００２】
音楽を聴くときや音声付きの映像を見るとき、オーディオ／及びビデオシーンのより良い感覚を得られるので、高程度のオーディオエンベロップメントを有することが聴衆（観衆）にとって望ましい。オーディオエンベロップメントの意味は、没入型３Ｄオーディオ、及び正確なオーディオ定位を含む。没入型３Ｄオーディオとは、オーディオシステムが空間の任意の位置にてサウンドソースを仮想化できるということを意味する。正確なオーディオ定位とは、オーディオシステムが方向と距離との両方の観点でオリジナルのオーディオシーンと正確に調整してサウンドソースを配置することができるということを意味する［１］。
【０００３】
オーディオエンベロップメントの感覚は、３Ｄオーディオシステムにより提供され得るのであり、該３Ｄオーディオシステムは、多数のラウドスピーカを使用する。スピーカは聴衆（観衆）を取り囲み，かつ，高、中、低の鉛直位置に配置され得る。
【０００４】
三つのタイプのインプット信号及びフォーマットが３Ｄオーディオシステムで共通して用いられる：チャネルベースのインプット、オブジェクトベースのインプット、及び高次アンビソニックスである。
【０００５】
チャネルベースのインプットは、今日の２Ｄ及び３Ｄオーディオ信号生成処理及びメディア（例えば、２２．２、９．１、８．１、７．１、５．１など）で共通して用いられ、個々の生成されるオーディオ信号チャネルは、指定位置のラウドスピーカを直接駆動するように意図されている。
【０００６】
オブジェクトベースのインプットに対しては、個々の生成されるオーディオ信号チャネルは、実際に利用可能なラウドスピーカの数や位置とは無関係に、指定の空間位置にてレンダリングされるように意図されるオーディオソースを、表す。
【０００７】
高次アンビソニックス（ＨＯＡ）に対しては、個々の生成されるオーディオ信号チャネルは、実際に利用可能なラウドスピーカの数や位置とは無関係に、サウンドシーン全体の全般的描写の一部である。
【０００８】
三つのフォーマットの間で、ＨＯＡフォーマットは、非標準のスピーカレイアウトを含む、任意の再生セットアップへアンビソニック信号をレンダリングできるオーディオシーンの表現である。
【０００９】
ＭＰＥＧ−Ｈ  ３Ｄオーディオ標準化のためのモデルなどの、先行技術では、ＨＯＡフォーマットに対しては、デコーダサイドで、ＨＯＡ信号は、まずデコードされたコア信号から再構築され、続いてスピーカセットアップにレンダリングされる。
【００１０】
図１は、ＨＯＡフォーマットのための、ＭＰＥＧ−Ｈ  ３Ｄオーディオ標準化のモデル内のデコーダを示す。
【００１１】
まず、インプットビットストリームは、ＡＡＣ−ファミリモノエンコーダにより本来生成されるＮビットストリームと、加えてこれらのビットストリームから全体のＨＯＡ表現を組み立て直すのに必要とされるパラメータとに、デマルチプレスクされる（１０１）。
【００１２】
マルチチャネル知覚復号コンポーネント（１０２、１０３及び１０４）では、Ｎビットストリームは、ＡＡＣ−ファミリモノデコーダにより個別にデコードされてＮ信号を生成する。
【００１３】
後続の空間復号化コンポーネントでは、まず、これらの信号の実際値の範囲が逆ゲインコントロール処理（１０５）により再構築される。次のステップでは、Ｎ信号が再分配され、Ｍのプレドミナント信号と、よりアンビエントなＨＯＡコンポーネント（１０５）を表す（Ｎ−Ｍ）のＨＯＡ係数信号を提供する。
【００１４】
（Ｎ−Ｍ）のＨＯＡ係数信号の固定のサブセットは再相関される。これはＨＯＡ符号化ステージにおける脱相関を反対にすることである（１０７）。
【００１５】
次に、（Ｎ−Ｍ）のＨＯＡ係数信号の全ては、アンビエントなＨＯＡコンポーネント（１０７）を作成するのに用いられる。
【００１６】
プレドミナントのＨＯＡコンポーネントは、Ｍのプレドミナントの信号及び対応するパラメータから、合成される。
【００１７】
最後に、プレドミナント及びアンビエントのＨＯＡコンポーネントは、所望の完全なＨＯＡ表現（１０８）に組み立てられ、更に所与のラウドスピーカセットアップ（１０９）にレンダリングされる。
【００１８】
プレドミナントサウンド合成、アンビエンス合成、ＨＯＡコンポジション及びレンダリングの詳細なプロセスを、以下説明する。
【００１９】
プレドミナントサウンド合成（ＰＳＳ）ブロック（１０６）では、プレドミナントコンポーネントのＨＯＡ表現は、二つの方法のいずれかから計算される。これらの方法は、「方向ベースの」及び「ベクトルベースの」と称される。
【００２０】
ベクトルベースのＰＳＳでは、プレドミナントのサウンドは、ベクトルベースの信号ＸＶＥＣ（ｋ）から計算される。ＸＶＥＣ（ｋ）信号は、それらの空間特性からデカップルされた時間領域オーディオ信号を表す。再構築されたＨＯＡ係数は、ベクトルベースの信号ＸＶＥＣ（ｋ）を対応する複数の変換ベクトル（ＭＶＥＣ（ｋ）の多重ベクトルにより表される）と乗じることにより計算される。よってＭＶＥＣ（ｋ）は、対応するＸＶＥＣ（ｋ）の時間領域オーディオ信号の（指向性や幅などの）空間特性を含む。計算は以下のようになる。
【００２１】
【数１】
2018196133.tif 000003
ここで、
ＸＶＥＣ（ｋ）は、デコードされたベクトルベースの、プレドミナントサウンドを示す。
ＭＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドからＨＯＡ係数を再構築するマトリクスを示す。
ＣＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
【００２２】
方向ベースのＰＳＳでは、ＨＯＡ係数は、全ての方向ベースのプレドミナントのサウンド信号ＸＰＳ（ｋ）から計算される。タプルセットＭＤＩＲ（ｋ）を用いて、計算は以下のようになる。
【００２３】
【数２】
2018196133.tif 000004
ここで、
ＸＰＳ（ｋ）は、デコードされた方向ベースの、プレドミナントサウンドを示す。
ＭＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドからＨＯＡ係数を再構築するマトリクスを示す。
ＣＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
【００２４】
アンビエンス合成では、アンビエントＨＯＡコンポーネントフレームＣＡＭＢ（ｋ）は、参考文献［２］によると、以下のように得られる。
【００２５】
１）アンビエントＨＯＡコンポーネントの第１のＯＭＩＮ係数は以下で得られる。
【数３】
2018196133.tif 000005
ここで、
ＯＭＩＮは、アンビエントＨＯＡ係数の最小数を示す。
ΨＭＩＮは、ある固定の所定方向に関するモードマトリクスを示す。
ｃＩ，ＡＭＢ，ｎ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
【００２６】
２）アンビエントＨＯＡコンポーネントの残りの係数のサンプル値は、以下に従って計算される。
【数４】
2018196133.tif 000006
【００２７】
最後に、ＨＯＡコンポジション内で、アンビエントＨＯＡコンポーネント及びプレドミナントＨＯＡコンポーネントは、重ね合わされて、デコードされたＨＯＡフレームを提供する。方向ベースのプレドミナント合成に対して予測が作動していなければ、デコードされたＨＯＡフレームＣ（ｋ）は以下により計算される。
【数５】
2018196133.tif 000007
（方向ベースの合成に対するもの）
【数６】
2018196133.tif 000008
（ベクトルベースの合成に対するもの）
ここで、
ＣＶＥＣ（ｋ）は、ベクトルベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＤＩＲ（ｋ）は、方向ベースのプレドミナントサウンドから再構築されたＨＯＡ係数を示す。
ＣＡＭＢ（ｋ）は、アンビエント信号から再構築されたＨＯＡ係数を示す。
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
【００２８】
近距離補償が適用されないならば、デコードされたＨＯＡ係数Ｃ（ｋ）は、レンダリングマトリクスＤによる乗算により、ラウドスピーカ信号Ｗ（ｋ）の表現に変換される。
【数７】
2018196133.tif 000009
ここで、
Ｃ（ｋ）は、最終的な再構築されたＨＯＡ係数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄｈａ、レンダリングマトリクスを示す。
【００２９】
上記処理の複雑さを計算するために、以下の注記を記載する。
１）ＨＯＡ信号のオーダはＯＨＯＡであり、ＨＯＡ係数の数は（ＯＨＯＡ＋１）２である。
２）再生スピーカの数はＬである。
３）コア信号チャネルのトータル数はＮである。
４）プレドミナントサウンドチャネルの数はＭである。
５）アンビエントサウンドチャネルの数はＮ−Ｍである。
【００３０】
プレドミナントのサウンド合成のためのコンプレキシティ（演算量）は
【数８】
2018196133.tif 000010
ここで、
ＣＯＭＰＳＳは、プレドミナントサウンド合成のための演算量を示す。
Ｍは、プレドミナントサウンドチャネルの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
【００３１】
レンダリングのための演算量は
【数９】
2018196133.tif 000011
ここで、
ＣＯＭＲＥＮＤＥＲは、レンダリングのための演算量を示す。
Ｌは、再生スピーカの数を示す。
ＯＨＯＡは、ＨＯＡのオーダを示す。
Ｆｓは、サンプリング周波数を示す。
【００３２】
ＨＯＡ係数の数は、通常のＨＯＡフォーマットにて非常に大きく、例としてＯＨＯＡ＝４ならば、ＨＯＡ係数の数は（４＋１）２＝２５である。
【００３３】
また、３Ｄオーディオのより良好な感覚を有するために、再生チャネルの数も非常に大きく、例えば、２２．２セットアップは、２４スピーカの全体で有する。
【００３４】
オーディオ信号のためのサンプリング周波数は、通常、４４．１ｋＨｚ若しくは４８ｋＨｚである。
【００３５】
例として、Ｍ＝４、ＯＨＯＡ＝４、Ｌ＝２４及びＦｓ＝４８ｋＨｚに対して、プレドミナントサウンド合成及びレンダリングのための演算量を見積もると、
【数１０】
2018196133.tif 000012
【数１１】
2018196133.tif 000013
【発明の概要】
【発明が解決しようとする課題】
【００３６】
例から、合成及びレンダリングプロセスの両方が非常に複雑であることが分かり、よって複雑性（演算量）を削減することが望ましい。
【課題を解決するための手段】
【００３７】
ＨＯＡコンポジションプロセス（式（１）及び（２））に示すように、プレドミナントサウンド合成は、以下に従って為される。
【数１２】
2018196133.tif 000014
（ベクトルベースの合成に対するもの）
【数１３】
2018196133.tif 000015
（方向ベースの合成に対するもの）
【００３８】
アンビエントサウンド合成は、以下に従って為される。
【数１４】
2018196133.tif 000016
【００３９】
レンダリングは、（式（７））に従って為される。
【数１５】
2018196133.tif 000017
【００４０】
ＨＯＡコンポジション及びレンダリングプロセスはチャネルコンバージョン＊の一つのプロセスに組み合わされる。
【数１６】
2018196133.tif 000018
（ベクトルベースの合成に対するもの）
【００４１】
【数１７】
2018196133.tif 000019
（方向ベースの合成に対するもの）
【００４２】
例として、ＯＨＯＡ＝４、Ｍ＝４、Ｎ＝８、Ｌ＝２４及びＦｓ＝４８ｋＨｚに対して、プレドミナントサウンド合成及びレンダリングのための演算量を見積もると、
【数１８】
2018196133.tif 000020
【００４３】
上例から、本発明のアイデアを実装することにより、演算量は大きく削減することができる。
【００４４】
ＭＰＥＧ−Ｈ  ３Ｄ  オーディオモデルでは、インプットシーケンスの一部に対する予測コンポーネントと、一部条件のためのレンダリング前の近距離補償がある。本発明は、予測コンポーネントが存在するときの、若しくは近距離補償が実施されるときの、条件には適合されない。
【００４５】
ＭＰＥＧ−Ｈ  ３Ｄ  オーディオモデルでは、連続するフレーム間の（方向ベースの合成のための）方向の変化によるアーチファクトを回避するために、方向信号からのＨＡＯ表現の計算は、重複加算のコンセプトに基づく。
【００４６】
よって、アクティブの方向信号のＨＯＡ表現ＣＤＩＲ（ｋ）は、フェードアウトコンポーネントとフェードインコンポーネントとの合計として計算される。
【数１９】
2018196133.tif 000021
【００４７】
ＨＯＡドメインにてフェードイン及びフェードアウトが為される際、本発明の方法に対してどれが課題をもたらすか。この課題を解決するために、以下のアイデアが想到される。
１）Ｘ’ＰＳ（ｋ−１）＝ＸＰＳ（ｋ−１）ｗｏｕｔ；Ｘ’ＰＳ（ｋ）＝ＸＰＳ（ｋ）ｗｉｎを規定する。
２）式（１１）を以下のように修正する：
【数２０】
2018196133.tif 000022
【００４８】
上記原理は、フェードイン及びフェードアウトがベクトルベースの合成に対してＨＯＡドメインで為されるならば、ベクトルベースの合成に適用され得る。
【００４９】
フェードイン及びフェードアウトがベクトルベースの合成に対してベクトルドメインで為されるならば、以下の通りとなる。
１）Ｘ’ＶＥＣ（ｋ）＝ｗｏｕｔＸＶＥＣ（ｋ−１）＋ｗｉｎＸＶＥＣ（ｋ）を規定する。
２）式（１０）を以下のように修正する：
【数２１】
2018196133.tif 000023
【図面の簡単な説明】
【００５０】
【図１】図１は、ＨＯＡインプットのＭＰＥＧ−Ｈ  ３Ｄオーディオ標準のデコーダ図である。
【図２】図２は、本発明の実施の形態１のデコーダ図である。
【図３】図３は、本発明の実施の形態２のデコーダ図である。
【図４】図４は、本発明の実施の形態３のデコーダ図である。
【図５】図５は、本発明の実施の形態４のデコーダ図である。
【図６Ａ】図６Ａは、本発明の実施の形態５の一つのデコーダ図である。
【図６Ｂ】図６Ｂは、本発明の実施の形態５の別のデコーダ図である。
【図７Ａ】図７Ａは、本発明の実施の形態６の一つのデコーダ図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態６の別のデコーダ図である。
【図８】図８は、本発明の実施の形態７のビットストリームの例を示す。
【図９】図９は、本発明の実施の形態７のデコーダ図である。
【図１０】図１０は、本発明の実施の形態８のエンコーダ図である。
【図１１】図１１は、本発明の実施の形態９のエンコーダ図である。
【図１２】図１２は、本発明の実施の形態１０のエンコーダ図である。
【発明を実施するための形態】
【００５１】
以下の実施形態は、種々の進歩性の原理のための例示に過ぎない。当然ながら、本明細書の詳細な説明の変形例は当業者には明白なものであろう。当業者は、本発明の精神から乖離すること無く本発明を修正して適用することができるものである。
【００５２】
１．実施の形態１
本発明の実施の形態１として、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器と；を含む。
【００５３】
図２は、実施の形態１に係る前述のデコーダを示す。
【００５４】
ビットストリームデマルチプレクサ（２００）は、ビットストリームを空間パラメータ及びコアパラメータに解凍する。
【００５５】
コアデコーダのセット（２０１、２０２、２０３）は、コアパラメータをコア信号のセットにデコードするが、デコーダは、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ  ＡＣ−３やＭＰＥＧ  ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
【００５６】
マトリクス導出ユニット（２０４）は、空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。レンダリングは、以下のパラメータの一部若しくはすべてを用いて導出され得る。
ターゲットスピーカの数（５．１、７．１、１０．１若しくは２２．２．．．）、
スピーカの位置（スイートスポットからの距離、水平角及び仰角）、
球面モデリングの位置（水平及び仰角）、
ＨＯＡオーダ（一次（４のＨＯＡ係数）、二次（９のＨＯＡ係数）若しくは三次（１６のＨＯＡ係数）．．．．）、及び、
ＨＯＡデコンポジションパラメータ（方向ベースのデコンポジション若しくはＰＣＡまたはＳＶＤ）。
【００５７】
ＶＢＡＰ（ベクトルベースの振幅パニング）［３］、若しくはＤＢＡＰ（方向ベースの振幅パニング）［４］、又はＨＯＡフォーマットのためのＭＰＥＧ−Ｈ  ３Ｄに対する公表参照モデルに記載された方法［２］などの、所望のスピーカレイアウトへの再構築されたインプット信号から、レンダリングマトリクスを導出するのに利用可能な技術がある。
【００５８】
例として、インプット信号が四次ＨＯＡであるならば、球面空間の２５の方向を覆うための２５のＨＯＡ係数を有し、再生スピーカセットアップはスタンダード２２．２チャネルセットアップである。レンダリングマトリクスは、２５のＨＯＡ係数を２４のスピーカチャネルにマップする。
【００５９】
ＶＢＡＰがレンダリングマトリクスを導出するのに用いられると、ＶＢＡＰは、２２．２スピーカセットアップのラウドスピーカを指示する２４の単位ベクトルｌ，．．．，ｌ２４のセットを用い、三角形のメッシュがラウドスピーカ間で形成される。２５のＨＯＡ球面方向ｐの各々に対しては、スピーカにより形成される三角形の一つの中にある。三角形を形成する三つのスピーカは、アクティブのスピーカであるように選択され、球面方向ｐは、それらラウドスピーカの線形の組み合わせにより計算され得る。
【数２２】
2018196133.tif 000024
ここで、
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
【００６０】
Ｒ３では、ベクトル空間は、３のベクトルベースにより形成される。このことにより以下の解が導かれる。
【数２３】
2018196133.tif 000025
ここで、
ｐは、ＨＯＡ球面方向を示す。
ｌｎは、ラウドスピーカベクトルを示す。
ｇｎは、ｌｎに適用される倍率を示す。
｛ｎ１，ｎ２，ｎ３｝は、アクティブのラウドスピーカの三重項を示す。
【００６１】
上述の手順は、２５のＨＯＡ球面方向の全てに対して繰り返され、個々の球面方向に対する全てのゲインパラメータが導出可能であり、レンダリングマトリクスＤを形成し得る。
【００６２】
ＨＯＡ係数からラウドスピーカアウトプットへのレンダリングは、以下の式で説明可能である。
【数２４】
2018196133.tif 000026
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
【００６３】
しかしながら、本発明では、完全再構築されたオーディオ信号は利用可能ではない。再構築されるオーディオ信号が以下の式に従って導出され得ることを仮定する。
【数２５】
2018196133.tif 000027
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、デコードされた信号を示す。
Ｍは、変換マトリクスを示す。
【００６４】
式（１７）と式（１８）とを組み合わせることにより以下のようになる。
【数２６】
2018196133.tif 000028
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍは、変換マトリクスを示す。
Ｄ’は、新しいレンダリングマトリクスを示す。
【００６５】
上述のアプローチ以外に、デコードされたコア信号及びスピーカレイアウト情報を直接用いて、レンダリングマトリクスを導出することが可能である。
【００６６】
上述の手順及び式は、本発明をいかに実装するかに関する例として示すものであり、当業者であれば、発明の精神から乖離することなくこの発明を修正して適用することができるであろう。
【００６７】
最後に、レンダリング器（２０５）は、レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングする。
【００６８】
効果：この実施の形態では、サラウンドサウンド信号が、単独のステップで所望のスピーカレイアウトに再構築されてレンダリングされるのであり、このことにより、効率性は改善され演算量は大きく削減される。
【００６９】
２．実施の形態２
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
【００７０】
図３は、実施の形態２に係る前述のデコーダを示す。
【００７１】
ビットストリームデマルチプレクサ（３００）は、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍する。
【００７２】
コアデコーダのセット（３０１、３０２、３０３）は、コアパラメータをコア信号のセットにデコードするが、デコーダは、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ  ＡＣ−３やＭＰＥＧ  ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
【００７３】
プレドミナントサウンド／アンビエンススイッチ（３０４）は、チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド又はアンビエンスに割り当てる。
【００７４】
レンダリングマトリクス計算ユニット（３０５）は、プレドミナントサウンドパラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。本実施の形態では、詳細な導出は省略し、プレドミナントサウンドから導出されるレンダリングマトリクスはＤ’であると、仮定する。
【００７５】
プレドミナントサウンドレンダリング器（３０６）は、ＰＳレンダリングマトリクスを用いて、デコードされたプレドミナントサウンドを再生信号に変換する。
【数２７】
2018196133.tif 000029
ただし、
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
【００７６】
レンダリングマトリクス計算ユニット（３０７）は、アンビエンスパラメータと再生スピーカのレイアウトとからレンダリングマトリクスを計算する。本実施の形態では、詳細な導出は省略し、アンビエントサウンドから導出されるレンダリングマトリクスはＤＡＭＢであると、仮定する。
【００７７】
アンビエントサウンドが、エンコーディング前に或る他のフォーマットに変換されるか他の方法で処理されたならば、レンダリング前に、信号を後処理して元のアンビエントサウンドを再構築するようにしてもよい。
【００７８】
アンビエンスレンダリング器（３０８）は、アンビエンスレンダリングマトリクスを用いて、デコードされたアンビエントサウンドを再生信号に変換する。
【数２８】
2018196133.tif 000030
ただし、
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
ＣＡＭＢ（ｋ）は、デコードされたアンビエントサウンド信号を示す。
ＤＡＭＢは、アンビエンスレンダリングマトリクスを示す。
【００７９】
アウトプット信号構成ユニットは、レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成する。
【数２９】
2018196133.tif 000031
ただし、
ＷAMB（ｋ）は、アンビエントサウンドから導出された再生信号を示す。
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｗ（ｋ）は、最終的な再生信号を示す。
【００８０】
効果：この実施の形態では、プレドミナントサウンド信号が、たった一つのステップで所望のスピーカレイアウトに再構築されてレンダリングされるのであり、このことにより、効率性は改善され演算量は大きく削減される。
【００８１】
３．実施の形態３
本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのデコードされたコア信号に関してウインドウイングを実行するウインドウイングユニットと；ウインドウされた前フレームのデコードされたコア信号及びウインドウされた現フレームのデコードされたコア信号を、導出された平滑化コア信号に合計する総和ユニットと；レンダリングマトリクスを用いて、平滑化コア信号を再生信号にレンダリングするレンダリング器と；を含む。
【００８２】
フレーム境界に亘る人工音を避けるために、オーディオ信号処理でウインドウイングを適用することが一般的である。
【００８３】
図４に示すように、ウインドウイングはデコードされたコア信号（４０４）に適用され、式（１７）及び式（１８）は以下のように修正される。
【数３０】
2018196133.tif 000032
ここで、
Ｃ’（ｋ）は、完全再構築されたオーディオ信号を示す。
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｍは、変換マトリクスを示す。
【００８４】
【数３１】
2018196133.tif 000033
ここで、
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄ’は、レンダリングマトリクスを示す。
【００８５】
効果：この実施の形態では、ウインドウイングは、フレーム境界に亘る人工音を回避するために適用される。
【００８６】
４．実施の形態４
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；前フレームと現フレームのプレドミナントサウンド信号に関してウインドウイングを実行するウインドウイングユニットと；レンダリングマトリクスを用いて、平滑化されたプレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエンスサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
【００８７】
図５に示すように、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングがプレドミナントサウンドに適用される（５０６）。
【００８８】
ウインドウイングがプレドミナントサウンドに適用されるので、式（２０）は以下のように修正される：
【数３２】
2018196133.tif 000034
ただし、
Ｗｐｓ（ｋ）は、プレドミナントサウンドから導出された再生信号を示す。
Ｃｐｓ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃｐｓ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｄ’は、ＰＳレンダリングマトリクスを示す。
【００８９】
効果：この実施の形態では、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングが適用される。
【００９０】
５．実施の形態５
図６Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダ（６０１、６０２及び６０３）のセットと；空間パラメータと再生スピーカのレイアウトとから現状のフレームのデコードされた信号に対するレンダリングマトリクスを導出するマトリクス導出ユニット（６０４）と；レンダリングマトリクスを用いて、現状のフレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０５）と；レンダリングマトリクスを用いて、前フレームのデコードされたコア信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（６０６）と；前フレームの再生信号と現フレームの再生信号とを加えて最終的な再生信号を形成する加算ユニット（６０７）と；を含む。
【００９１】
フレーム境界に亘る人工音を避けるために、オーディオ信号処理でウインドウイングを適用することが一般的である。
【００９２】
実施の形態１において、前フレーム及び現フレームのデコードされたコア信号は異なる空間方向を有するので，ウインドウイングはデコードされたコア信号に適用され得ないとすると、ウインドウイングは再構築されたＨＯＡ係数に適用されなければならない。
【００９３】
すると式（１８）は以下のように修正される：
【数３３】
2018196133.tif 000035
ただし、
Ｓ’（ｋ）は、現フレームに対するデコードされた信号を示す。
Ｓ’（ｋ−１）は、前フレームに対するデコードされた信号を示す。
Ｓ’’（ｋ）は、現フレームに対するウインドウイングされた信号を示す。
Ｓ’’（ｋ−１）は、前フレームに対するウインドウイングされた信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
Ｗ（ｋ）は、ラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、完全再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、完全再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
【００９４】
図６Ａに示すように、ウインドウイングとレンダリングは、最初に、現フレームのデコードされたコア信号及び前フレームのデコードされたコア信号に関して、独立して（６０５及び６０６）為され、続いて前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なアウトプットを形成する（６０７）。
【００９５】
前フレームのデコードされたコア信号に対するウインドウイング＆レンダリングに対しては、前フレームのレンダリングマトリクスが利用可能であるならば／格納されているならば、前フレームの計算から拾い上げることが可能である。利用可能でないならば／格納されていないならば、レンダリングマトリクスは、（６０４）と同じやり方にしたがって計算され得るが、但し前フレームの空間パラメータ及びスピーカレイアウト情報を用いる。
【００９６】
別の方法を図６Ｂに示す。最初に、レンダリングが、現フレームのデコードされた信号（６１５）に関して為され、続いてウインドウイングが、前フレームのレンダリングされた信号及び現フレームのレンダリングされた信号に関して為され、最終的に、ウインドウイングされた前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なアウトプットを形成する（６１６）。
【００９７】
効果：この実施の形態では、ウインドウイングは、フレーム境界に亘る人工音を避けるために適用される。
【００９８】
６．実施の形態６
図７Ａに示すように、本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサ（７００）と；コアパラメータをコア信号のセットにデコードするコアデコーダ（７０１、７０２及び７０３）のセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチ（７０４）と；プレドミナントサウンドパラメータと再生スピーカのレイアウトとから現フレームのプレドミナントサウンド信号に対するプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニット（７０５）と；現フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０６）と；前フレームのプレドミナントサウンド信号に関してウインドウイングとレンダリングを実行するウインドウイング及びレンダリングユニット（７０７）と；前フレームのレンダリングされたプレドミナントサウンドと現フレームのプレドミナントサウンドとを加えてレンダリングされたプレドミナントサウンドを形成する加算ユニット（７０８）と；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニット（７０９）と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器（７１０）と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニット（７１１）と；を含む。
【００９９】
実施の形態２では、前フレーム及び現フレームのプレドミナントサウンド信号は異なる空間方向を有するので、デコードされたプレドミナントサウンド信号にウインドウイングを適用できないとすれば、再構築されたＨＯＡ係数にウインドウイングを適用しなければならない。
【０１００】
すると式（１９）は以下のように修正される：
【数３４】
2018196133.tif 000036
ただし、
Ｃ’ＰＳ（ｋ）は、現フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’ＰＳ（ｋ−１）は、前フレームに対するデコードされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ）は、現フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
Ｃ’’ＰＳ（ｋ−１）は、前フレームに対するウインドウイングされたプレドミナントサウンド信号を示す。
ｗｉｎｃｕｒは、現フレームに対するウインドウイング関数を示す。
ｗｉｎｐｒｅは、前フレームに対するウインドウイング関数を示す。
ＷＰＳ（ｋ）は、プレドミナントサウンドからのラウドスピーカ信号を示す。
Ｄ’ｃｕｒは、現フレームに対する新しいレンダリングマトリクスを示す。
Ｄ’ｐｒｅは、前フレームに対する新しいレンダリングマトリクスを示す。
Ｃ’（ｋ）は、現フレームに対する、再構築されたオーディオ信号を示す。
Ｃ’（ｋ−１）は、前フレームに対する、再構築されたオーディオ信号を示す。
Ｄは、レンダリングマトリクスを示す。
Ｍｃｕｒは、現フレームに対する変換マトリクスを示す。
Ｍｐｒｅは、前フレームに対する変換マトリクスを示す。
【０１０１】
図７Ａに示すように、ウインドウイングとレンダリングは、最初に、現フレームのデコードされたプレドミナントサウンド信号及び前フレームのデコードされたプレドミナントサウンド信号に関して、独立して（７０６及び７０７）為され、続いて前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なプレドミナントサウンドのアウトプットを形成する（７０８）。
【０１０２】
前フレームのプレドミナントサウンドに対するウインドウイング＆レンダリングに対しては、前フレームのＰＳマトリクスが利用可能であるならば／格納されているならば、前フレームの計算から拾い上げることが可能である。利用可能でないならば／格納されていないならば、ＰＳレンダリングマトリクスは、（７０５）と同じやり方にしたがって計算され得るが、但し従前の前フレームの空間パラメータ及びスピーカレイアウト情報を用いる。
【０１０３】
別の方法を図７Ｂに示す。最初に、レンダリングが、現フレームのデコードされたプレドミナントのサウンド信号（７１６）に関して為され、続いてウインドウイングが、前フレームのレンダリングされた信号及び現フレームのレンダリングされた信号に関して為され、最終的に、ウインドウイングされた前フレームのレンダリングされた信号と現フレームのレンダリングされた信号とが共に加えられて、最終的なプレドミナントサウンドのアウトプットを形成する（７１７）。
【０１０４】
効果：この実施の形態では、フレーム境界に亘ってサウンドフィールドの連続且つ平坦な発生を保証するために、ウインドウイングが適用される。
【０１０５】
７．実施の形態７
本発明に係るサラウンドサウンドデコーダは、ビットストリームをレンダリングフラグ、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；チャネル割り当てパラメータに従って、デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；レンダリングフラグにより特定される計算方法を利用してプレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエントサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
【０１０６】
この実施の形態では、ビットストリームに、発明されたアイデアの実装を実用的でなくする何らかの他のデータがビットストリーム内に存在するかどうかを示すレンダリングフラグがある。
【０１０７】
図８は、例として一つのビットストリームを示す。
【０１０８】
ビットストリームに、ＰＳパラメータデータ、アンビエンスパラメータデータ、チャネル割り当てパラメータデータ、及びコアコーダデータのみが在るとき、低演算量の構成及びレンダリングを達成するために発明されたアイデアを使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１にセットされる。
【０１０９】
ビットストリームに、予測データ及び近距離補償データが在るとき、発明されたアイデアを使用することが実用的ではなくなり、従来のデコード化、構成及びレンダリングのツールを使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０にセットされる。
【０１１０】
図９は、この実施の形態の前述のデコーダを示す。
【０１１１】
ビットストリームデマルチプレクサ（９０１）は、ビットストリームをＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧ及び他のパラメータに解凍する。
【０１１２】
ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１に等しいならば、本発明のデコーダ（９０２）は、低演算量の解法を完成するために、デコード化、構成及びレンダリングを実行するように選択される。
【０１１３】
ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０に等しいならば、従来のデコーダ（９０３）は、デコード化、構成及びレンダリングを実行するように選択される。
【０１１４】
効果：この実施の形態では、ビットストリームの非互換性の課題が解決される。
【０１１５】
８．実施の形態８
この実施の形態では、エンコーダは、インプット信号を分析してインプット信号を空間パラメータ及びＮ生成信号にエンコードする空間エンコーダと；Ｎ生成信号をコアパラメータのセットにエンコードするコアエンコーダのセットと；空間パラメータ及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
【０１１６】
本発明に係るサラウンドサウンドデコーダは、ビットストリームを空間パラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；空間パラメータと再生スピーカのレイアウトとからレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、デコードされたコア信号を再生信号にレンダリングするレンダリング器と：を含む。
【０１１７】
図１０は、この実施の形態の前述のエンコーダ及びデコーダを示す。
【０１１８】
空間エンコーダ（１００１）は、インプット信号を分析し、インプット信号を空間パラメータ及びＮ生成信号にエンコードする。
【０１１９】
空間エンコーディングは、オーディオシーンの分析に基づいて、インプットオーディオシーン内にてどれだけ多くのサウンドソース若しくはオーディオオブジェクトが在るか決定し、サウンドソース若しくはオーディオオブジェクトをどのように抽出してエンコードするか判別し得る。例として、サウンドソース若しくはオーディオオブジェクトを抽出するのに主成分解析（ＰＣＡ）が用いられＮサウンドソースが抽出されてエンコードされるようにしても良い。このプロセスの間に、ＰＣＡパラメータ及びＮオーディオ信号が導出される。ＰＣＡパラメータ及びＮ生成オーディオ信号がエンコードされてデコーダ側に送られる。
【０１２０】
生成信号は、以下の式に従って導出され得る。
【数３５】
2018196133.tif 000037
ここで、
Ｃ（ｋ）は、インプットオーディオ信号を示す。
Ｓ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
【０１２１】
コアエンコーダのセット（１００２、１００３、１００４）は、Ｎ生成信号をコアパラメータのセットにエンコードするが、エンコーダは、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ  ＡＣ−３やＭＰＥＧ  ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
【０１２２】
ビットストリームマルチプレクサ（１００５）は、空間パラメータ及びコアパラメータをビットストリームにパックする。
【０１２３】
対応するデコーダは、図２に示すデコーダであってもよい。
【０１２４】
９．実施の形態９
本発明の実施の形態９では、エンコーダは、インプット信号を分析して、インプット信号を、複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする、オーディオシーン分析及び空間エンコーダと；コアデコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと；プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、Ｎチャネルオーディオ信号をエンコードするコアエンコーダのセットと；プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
【０１２５】
本発明に係るサラウンドサウンドデコーダは、ビットストリームをプレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当てパラメータ、及びコアパラメータに解凍するビットストリームデマルチプレクサと；コアパラメータをコア信号のセットにデコードするコアデコーダのセットと；デコードされたコア信号をプレドミナントサウンド及びアンビエンスに割り当てる、プレドミナントサウンドアンビエンススイッチと；プレドミナントサウンドパラメータと再生スピーカのレイアウトとからプレドミナントサウンドのレンダリングマトリクスを導出するマトリクス導出ユニットと；アンビエンスパラメータと再生スピーカのレイアウトとからアンビエンスレンダリングマトリクスを導出するマトリクス導出ユニットと；レンダリングマトリクスを用いて、プレドミナントサウンドを再生信号にレンダリングするプレドミナントサウンドレンダリング器と；レンダリングマトリクスを用いて、アンビエンスを再生信号にレンダリングするアンビエンスレンダリング器と；レンダリングされたプレドミナントサウンド及びアンビエンスサウンドを用いて、再生信号を構成するアウトプット信号構成ユニットと；を含む。
【０１２６】
図１１は、第２の実施の形態の、前述のエンコーダを示す。
【０１２７】
エンコーダは、インプット信号を分析して、インプット信号を複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする、オーディオシーン分析及び空間エンコーダと；コアデコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードするチャネル割り当てユニットと；プレドミナントサウンドとアンビエンスサウンドとの両方をコアパラメータのセットにエンコードすることを含む、Ｎチャネルオーディオ信号をエンコードするコアエンコーダのセットと；プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックするビットストリームマルチプレクサと；を含む。
【０１２８】
オーディオシーン分析及び空間エンコーダ（１１０１）は、インプット信号を分析して、インプット信号を複数のプレドミナントサウンド及び複数のアンビエンスサウンドに、更に、対応するプレドミナントサウンドパラメータ及びアンビエンスパラメータに、エンコードする。
【０１２９】
オーディオシーン分析及び空間エンコーディングは、オーディオシーンの分析を行い、インプットオーディオシーン内にてどれだけ多くのサウンドソース若しくはオーディオオブジェクトが在るか決定し、サウンドソース若しくはオーディオオブジェクトをどのように抽出してエンコードするか判別する。例として、サウンドソース若しくはオーディオオブジェクトを抽出するのに主成分解析（ＰＣＡ）が用いられＭサウンドソースが抽出されてエンコードされるようにしても良い。このプロセスの間に、ＰＣＡパラメータ及びＭプレドミナントのサウンド信号が導出される。ＰＣＡパラメータ及びＭプレドミナントのオーディオ信号がエンコードされてデコーダ側に送られる。
【０１３０】
生成信号は、以下の式に従って導出され得る。
【数３６】
2018196133.tif 000038
ここで、
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＰＳ（ｋ）は、生成されたオーディオ信号を示す。
Ｍは、変換マトリクスを示す。
【０１３１】
オーディオシーン分析及び空間エンコーダは、アンビエント信号と名付け得る、インプット信号とプレドミナントサウンド信号からの合成信号との間の残余を、抽出しエンコードするようにしても良い。空間エンコードは、インプット信号とプレドミナントサウンド信号からの合成信号との間の差分から、アンビエント信号を抽出する。プレドミナントサウンドの合成は、以下の式に従って為され得る。
【数３７】
2018196133.tif 000039
ここで、
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
ＣＰＳ（ｋ）は、デコードされたプレドミナントサウンド信号を示す。
Ｍは、変換マトリクスを示す。
【０１３２】
アンビエント信号は、以下の式に従って導出され得る。
【数３８】
2018196133.tif 000040
ここで、
Ｃ’（ｋ）は、プレドミナントサウンドから、再構築されるオーディオ信号を示す。
Ｃ（ｋ）は、インプットオーディオ信号を示す。
ＣＡＭＢ（ｋ）は、アンビエンス信号を示す。
【０１３３】
全てのアンビエント信号のうち、アンビエント信号のどれがエンコードされるべきかが決定された。アンビエント信号は、より効率的にエンコードされ得るように、他のフォーマットに処理されても若しくは変換されてもよい。
【０１３４】
チャネル割り当てユニット（１１０１）は、コアエンコーダを割り当ててプレドミナントサウンド及びアンビエンスサウンドをエンコードする。送信されるアンビエントＨＯＡ係数のシーケンスの選択、それらの割り当て、及び、所与のＮチャネルへのプレドミナントサウンド信号の割り当てについての情報は、デコーダ側に送られる。
【０１３５】
コアエンコーダのセット（１１０２、１１０３、１１０４）は、Ｍプレドミナントサウンド信号及び（Ｎ−Ｍ）アンビエント信号をコアパラメータのセットにエンコードするが、エンコーダは、ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩやＡＡＣやＨＥ−ＡＡＣやＤｏｌｂｙ  ＡＣ−３やＭＰＥＧ  ＵＳＡＣスタンダードなどの、任意の現存の若しくは新しいコーデックであればよい。
【０１３６】
ビットストリームマルチプレクサ（１１０５）は、プレドミナントサウンドパラメータ、アンビエンスパラメータ、チャネル割り当て情報、及びコアパラメータをビットストリームにパックする。
【０１３７】
対応するデコーダは、図３に示すデコーダであってもよい。
【０１３８】
１０．実施の形態１０
図１２は、この実施の形態の、前述のエンコーダを示す。
【０１３９】
オーディオシーン分析及び空間エンコーダ（１２０１）は、インプット信号を分析してインプット信号をエンコードする。
【０１４０】
オーディオシーン分析及び空間エンコーディングは、オーディオシーンの分析を行い、生成されたパラメータが発明されたアイデアと互換性があるか判別し、ＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧを送信することにより前記判別を反映する。
【０１４１】
ＰＳパラメータデータ、アンビエンスパラメータデータ、チャネル割り当てのパラメータデータ、及びコアコーダデータなどの、全ての生成されたパラメータが、発明されたアイデアと互換性があるならば、低演算量の構成及びレンダリングを達成するために、発明されたアイデアをデコーダ側内で使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが１にセットされる。
【０１４２】
全ての生成されたパラメータが、発明されたアイデアと互換性があるというわけではないならば、発明されたアイデアを使用することが実用的ではなく、従来のデコーディング、構成及びレンダリングのツールをデコーダ側内で使用することが推奨され、従って、レンダリングフラグＬＣ＿ＲＥＮＤＥＲ＿ＦＬＡＧが０にセットされる。
【０１４３】
効果：この実施の形態では、ビットストリーム非互換性の課題が解決される。
【０１４４】
参考文献
［１］ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１  “Ｃａｌｌ  ｆｏｒ  Ｐｒｏｐｏｓａｌｓ  ｆｏｒ  ３Ｄ  Ａｕｄｉｏ”
［２］ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１４２６４    “ＷＤ１−ＨＯＡ  Ｔｅｘｔ  ｏｆ  ＭＰＥＧ−Ｈ  ３Ｄ  Ａｕｄｉｏ”
［３］Ｖ．  Ｐｕｌｋｋｉ，  ”Ｖｉｒｔｕａｌ  Ｓｏｕｎｄ  Ｓｏｕｒｃｅ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｕｓｉｎｇ  Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ，”  Ｊ．  Ａｕｄｉｏ  Ｅｎｇ．  Ｓｏｃ．，  ｖｏｌ．  ４５，  １９９７
［４］Ｔ．  Ｌｏｓｓｉｕｓ，  Ｐ．  Ｂａｌｔａｚａｒ，  ａｎｄ  Ｔ．  ｄ．  ｌ．  Ｈｏｇｕｅ，  ”ＤＢＡＰ  -  Ｄｉｓｔａｎｃｅｂａｓｅｄ  ａｍｐｌｉｔｕｄｅ  ｐａｎｎｉｎｇ，”  ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｕｓｉｃ  Ｃｏｎｆｅｒｅｎｃｅ  （ＩＣＭＣ）．  Ｍｏｎｔｒｅａｌ，  ２００９．
【図１】
2018196133.tif 000041
【図２】
2018196133.tif 000042
【図３】
2018196133.tif 000043
【図４】
2018196133.tif 000044
【図５】
2018196133.tif 000045
【図６Ａ】
2018196133.tif 000046
【図６Ｂ】
2018196133.tif 000047
【図７Ａ】
2018196133.tif 000048
【図７Ｂ】
2018196133.tif 000049
【図８】
2018196133.tif 000050
【図９】
2018196133.tif 000051
【図１０】
2018196133.tif 000052
【図１１】
2018196133.tif 000053
【図１２】
2018196133.tif 000054