(57)【要約】  時間領域のダウンミックス信号を受信する段階と、ダウンミックス信号がモノラル信号に該当する場合、ダウンミックス信号をバイパスする段階と、ダウンミックス信号のチャネル数が２以上に該当する場合、ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いてサブバンド信号を処理する段階と、を含み、ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものである、オーディオ信号処理方法が開示される。
2010511909.tif 000002
【特許請求の範囲】
【請求項１】
時間領域のダウンミックス信号を受信する段階と、
前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスする段階と、
前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理する段階と、
を含み、
前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されることを特徴とする、オーディオ信号処理方法。
【請求項２】
前記ダウンミックス信号のチャネル数は、前記処理されたダウンミックス信号のチャネル数と同一であることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記オブジェクト情報は付加情報に含まれており、前記付加情報は、オブジェクトが２チャネル以上のオブジェクトの一部分であるか否かを表す相関性フラグ情報を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記オブジェクト情報はオブジェクトレベル情報及びオブジェクト相関情報のうちの一つ以上を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記ダウンミックスのチャネル数が２以上に該当する場合、前記ダウンミックスプロセシング情報は、オブジェクトパニングを制御するための情報に該当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項６】
前記ダウンミックスプロセシング情報は、オブジェクトゲインを制御するための情報に該当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項７】
前記処理されたサブバンド信号を用いてマルチチャネル信号を生成する段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項８】
前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階をさらに含み、
前記マルチチャネル信号は、前記マルチチャネル情報に基づいて生成されたものであることを特徴とする、請求項７に記載のオーディオ信号処理方法。
【請求項９】
前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックス信号をモノラル信号にダウンミキシングする段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうちの一つ以上を用いて生成されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１１】
前記ダウンミックス信号は、放送信号として受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１２】
前記ダウンミックス信号はデジタル媒体を介して受信されたものであることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１３】
時間領域のダウンミックス信号を受信する段階と、
前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスする段階と、
前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理する段階と、
を含み、
前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものであり、
プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体。
【請求項１４】
時間領域のダウンミックス信号を受信する受信ユニットと、
前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスし、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理するダウンミックス処理ユニットと、
を含み、
前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されることを特徴とする、オーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理方法及び装置に関するもので、より具体的には、デジタル媒体または放送信号を通じて受信したオーディオ信号のデコーディング方法及び装置に関する。
【背景技術】
【０００２】
数個のオーディオオブジェクトを一つまたは二つの信号にダウンミックスする過程で、個別オブジェクト信号からパラメータを抽出することができる。これらのパラメータは、オーディオ信号デコーダーで用いられることができ、個別ソースのリポジショニング（repositioning）及びパニング（panning）は、ユーザの選択により制御することができる。
【０００３】
個別オブジェクト信号の制御において、ダウンミックス信号に含まれた個別ソースのリポジショニング及びパニングは自由に行なわれなければならない。
【０００４】
しかしながら、チャネル基盤デコーディング方法（例：MPEG surround）に関する下位互換性（backward compatibility）のためには、オブジェクトパラメータが、アップミキシングプロセスに要求されるマルチチャネルパラメータに自由に変換されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、本発明は、上記のように関連技術の制限及び欠点から発生する問題点を実質的に回避するオーディオ信号処理方法及び装置を指向する。
【０００６】
本発明は、オブジェクトゲイン及びパニングを自由に制御するためのオーディオ信号処理方法及び装置を提供する。
【０００７】
本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御するためのオーディオ信号処理方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、時間領域のダウンミックス信号を受信する段階と、前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスする段階と、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理する段階と、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものである。
【０００９】
本発明によれば、前記ダウンミックス信号のチャネル数は、前記処理されたダウンミックス信号のチャネル数と同一である。
【００１０】
本発明によれば、前記オブジェクト情報は、付加情報に含まれており、前記付加情報は、オブジェクトが２チャネル以上のオブジェクトの一部分であるか否かを表す相関性フラグ情報を含む。
【００１１】
本発明によれば、前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうちの一つ以上を含む。
【００１２】
本発明によれば、前記ダウンミックスのチャネル数が２以上に該当する場合、前記ダウンミックスプロセシング情報は、オブジェクトパニングを制御するための情報に該当する。
【００１３】
本発明によれば、前記ダウンミックスプロセシング情報は、オブジェクトゲインを制御するための情報に該当する。
【００１４】
本発明によれば、前記処理されたサブバンド信号を用いてマルチチャネル信号を生成する段階をさらに含む。
【００１５】
本発明によれば、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成する段階をさらに含み、前記マルチチャネル信号は、前記マルチチャネル情報に基づいて生成される。
【００１６】
本発明によれば、前記ダウンミックス信号がステレオ信号に該当する場合、前記ダウンミックス信号をモノラル信号にダウンミキシングする段階をさらに含む。
【００１７】
本発明によれば、前記ミックス情報は、オブジェクト位置情報及び再生設定情報のうちの一つ以上を用いて生成される。
【００１８】
本発明によれば、前記ダウンミックス信号は、放送信号として受信される。
【００１９】
本発明によれば、前記ダウンミックス信号は、デジタル媒体を介して受信される。
【００２０】
本発明のさらに他の側面によれば、時間領域のダウンミックス信号を受信する段階と、前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスする段階と、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理する段階と、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定されたものであり、プロセッサが実行される時、前記プロセッサにより前記動作が行なわれる命令が記憶されている、コンピュータ読み取り可能媒体が提供される。
【００２１】
本発明のさらに他の側面によれば、時間領域のダウンミックス信号を受信する受信ユニットと、前記ダウンミックス信号がモノラル信号に該当する場合、前記ダウンミックス信号をバイパスし、前記ダウンミックス信号のチャネル数が２以上に該当する場合、前記ダウンミックス信号をサブバンド信号に分析し、ダウンミックスプロセシング情報を用いて前記サブバンド信号を処理するダウンミックス処理ユニットと、を含み、前記ダウンミックスプロセシング情報は、オブジェクト情報及びミックス情報に基づいて推定される、オーディオ信号処理装置が提供される。
【発明の効果】
【００２２】
本発明は、下記のような効果と利点を奏する。
【００２３】
第一に、本発明は、オブジェクトゲイン及びパニングを制限なく制御できるオーディオ信号処理方法及び装置を提供することができる。
【００２４】
第二に、本発明は、ユーザ選択を基盤にオブジェクトゲイン及びパニングを制御できるオーディオ信号処理方法及び装置を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする基本概念を説明するための図である。
【図２】第１方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。
【図３】第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。
【図４】第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。
【図５】第２方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。
【図６】第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。
【図７】第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。
【図８】第３方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。
【図９】レンダリングユニットの基本概念を説明するための図である。
【図１０Ａ】図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。
【図１０Ｂ】図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。
【図１０Ｃ】図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。
【図１１】図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。
【図１２】図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。
【図１３】図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。
【図１４】本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。
【図１５】本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。
【図１６】本発明の第３実施例による圧縮されたオーディオ信号のビットストリーム構造を例示する構成図である。
【図１７】本発明の第４実施例によるオーディオ信号処理装置を例示する構成図である。
【図１８】様々なタイプのオブジェクトの伝送方式を説明するための例示的な構成図である。
【図１９】本発明の第５実施例によるオーディオ信号処理装置を例示する構成図である。
【発明を実施するための形態】
【００２６】
本願の‘パラメータ’は、値（values）、狭義のパラメータ（parameters）、係数（coefficients）、成分（elements）等を含む情報を意味する。以下、パラメータ（parameter）という用語は、オブジェクトパラメータ、ミックスパラメータ、ダウンミックスプロセシングパラメータなどのように、情報（information）を代用することができるが、本発明はこれに限定されない。
【００２７】
数個のチャネル信号または数個のオブジェクト信号をダウンミックスする際に、オブジェクトパラメータ及び空間パラメータを抽出することができる。デコーダは、ダウンミックス信号及びオブジェクトパラメータ（または空間パラメータ）を用いて出力信号を生成することができる。出力信号は、再生設定（playback configuration）及びユーザコントロールを基盤にレンダリングすることができる。レンダリングプロセスを、図１を参照しつつ以下に詳細に説明する。
【００２８】
図１は、再生設定及びユーザコントロールを基盤にダウンミックスをレンダリングする基本概念を説明するための図である。図１を参照すると、デコーダ１００は、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含むか、レンダリング情報生成ユニット１１０及びレンダリングユニット１２０を含む代わりに、レンダラ１１０ａ及び合成１２０ａを含むことができる。
【００２９】
レンダリング情報生成ユニット１１０は、エンコーダからオブジェクトパラメータまたは空間パラメータを含む付加情報（side information）を受信し、また、装置設定またはユーザインタフェースから再生設定またはユーザコントロールを受信する。オブジェクトパラメータ（object parameter）は、一つ以上のオブジェクト信号をダウンミックスする過程で抽出されるパラメータに該当することができ、空間パラメータ（spatial parameter）は、一つ以上のチャネル信号をダウンミックスする過程で抽出されるパラメータに該当することができる。さらに、各オブジェクトのタイプ情報及び特性情報が上記付加情報に含まれることができる。タイプ情報及び特性情報は、楽器名、演奏者名などを記述することができる。再生設定は、スピーカ位置及びアンビエント情報（ambient information）（スピーカの仮想位置）を含むことができ、ユーザコントロールは、オブジェクト位置及びオブジェクトゲインを制御するためにユーザにより入力される情報に該当することができ、再生設定のための制御情報に該当することもできる。一方、再生設定及びユーザコントロールは、ミックス情報として表現されることもできるが、本発明はこれに限定されない。
【００３０】
レンダリング情報生成ユニット１１０は、ミックス情報（再生設定及びユーザコントロール）及び受信された付加情報を用いてレンダリング情報を生成することができる。レンダリングユニット１２０は、オーディオ信号のダウンミックス（“ダウンミックス信号”とも略す。）が伝送されない場合、レンダリング情報を用いてマルチチャネルパラメータを生成でき、オーディオ信号のダウンミックスが伝送される場合、レンダリング情報及びダウンミックスを用いてマルチチャネル信号を生成することができる。
【００３１】
レンダラ１１０ａは、ミックス情報（再生設定及びユーザコントロール）及び受信した付加情報を用いてマルチチャネル信号を生成することができる。合成１２０ａは、レンダラ１１０ａで生成されたマルチチャネル信号を用いてマルチチャネル信号を合成することができる。
【００３２】
前述したように、デコーダは、再生設定及びユーザコントロールを基盤にダウンミックス信号をレンダリングする。一方、個別的なオブジェクト信号を制御するために、デコーダは付加情報としてオブジェクトパラメータを受信することができ、伝送されたオブジェクトパラメータに基づいてオブジェクトパニング及びオブジェクトゲインを制御することができる。
【００３３】
１．オブジェクト信号のゲイン及びパニング制御
【００３４】
個別オブジェクト信号を制御するための様々な方法を提供することができる。第一、デコーダがオブジェクトパラメータを受信し、オブジェクトパラメータを用いて個別オブジェクト信号を生成する場合、デコーダはミックス情報（再生設定、オブジェクトレベル等）を基盤に個別オブジェクト信号を制御することができる。
【００３５】
第二、デコーダが、マルチチャネルデコーダに入力されるマルチチャネルパラメータを生成する場合、マルチチャネルデコーダは、マルチチャネルパラメータを用いて、エンコーダから受信するダウンミックス信号をアップミキシングすることができる。この第二の方法は、次の３種類の方式に分類することができる。具体的に、１）従来のマルチチャネルデコーダを利用する方式、２）マルチチャネルデコーダを修正する方式、３）マルチチャネルデコーダに入力される前に、オーディオ信号のダウンミックスを処理する方式を提供することができる。従来のマルチチャネルデコーダは、チャネル基盤の空間オーディオコーディング（例：MPEG Surroundデコーダ）に該当することができるが、本発明はこれに限定されない。これら３種類の方式を具体的に説明すると、下記の通りである。
【００３６】
１.１ マルチチャネルデコーダを利用する方式
【００３７】
この第１方式は、従来のマルチチャネルデコーダを修正せずにそのまま利用することができる。まず、オブジェクトゲインを制御するためにＡＤＧ（任意的ダウンミックスゲイン：arbitrary downmix gain）を利用する場合、オブジェクトパニングを制御するために５−２−５構成（configuration）を用いる場合が、図２を参照しながら説明される。次いで、シーンリミキシングユニット（scene remixing unit）と関連する場合は、図３を参照しながら説明される。
図２は、第１方式の本発明の第１実施例によるオーディオ信号処理装置の構成図である。図２を参照すると、オーディオ信号処理装置２００（以下、デコーダ２００）は、情報生成ユニット２１０及びマルチチャネルデコーダ２３０を含むことができる。情報生成ユニット２１０は、エンコーダからオブジェクトパラメータを含む付加情報を、ユーザインタフェースからミックス情報を受信することができ、任意的ダウンミックスゲインまたはゲイン変形ゲイン（以下では、“ＡＤＧ”と略す。）を含むマルチチャネルパラメータを生成することができる。ＡＤＧは、ミックス情報及びオブジェクト情報に基づいて推定された第１ゲインと、オブジェクト情報に基づいて推定された第２ゲインとの比率（ratio）である。具体的に、ダウンミックス信号がモノラル信号である場合、情報生成ユニット２１０は、ＡＤＧのみを生成することができる。マルチチャネルデコーダ２３０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット２１０からマルチチャネルパラメータを受信し、ダウンミックス信号及びマルチチャネル信号を用いてマルチチャネル出力を生成する。
【００３８】
マルチチャネルパラメータは、チャネルレベル差（channel level difference）（以下、“ＣＬＤ”と略す）、チャネル間の相関関係（inter channel correlation）（以下、“ＩＣＣ”と略す）、チャネル予測係数（channel prediction coefficient）（以下、“ＣＰＣ”と略す）を含むことができる。
【００３９】
ＣＬＤ、ＩＣＣ、及びＣＰＣは、強度差（intensity difference）または２チャネル間の相関関係（correlation between two channels）を記述し、オブジェクトパニング及び相関関係を制御することができる。ＣＬＤ、ＩＣＣなどを用いてオブジェクト位置やオブジェクトの鳴り響きの度合（diffusenessまたはsonority）を制御可能である。一方、ＣＬＤは、絶対レベルではなく相対的なレベル差を記述し、分離された２チャネルのエネルギーは維持される。したがって、ＣＬＤなどを調節することによってオブジェクトゲインを制御することは不可能である。言い換えると、ＣＬＤなどを用いて特定オブジェクトを無音（mute）化したりボリュームを上げたりすることができない。
【００４０】
さらに、ＡＤＧは、ユーザによる相関性ファクタを調整するための時間及び周波数従属ゲインを表す。相関性ファクタが適用されると、マルチチャネルをアップミキシングする前にダウンミックス信号の変形（modification）を操作することができる。したがって、ＡＤＧパラメータを情報生成ユニット２１０から受信する場合、マルチチャネルデコーダ２３０は、ＡＤＧパラメータを用いて特定時間及び周波数のオブジェクトゲインを制御することができる。
【００４１】
一方、受信したステレオダウンミックス信号がステレオチャネルとして出力される場合は、下記の式１で定義することができる。
【００４２】
【数１】
2010511909.tif 000003
ここで、ｘ［］は入力チャネル、ｙ［］は出力チャネル、ｇxはゲイン、ｗxxは重み値を表す。
【００４３】
オブジェクトパニングのために、左側チャネル及び右側チャネル間のクロストーク（cross-talk）を制御する必要がある。具体的に、ダウンミックス信号の左側チャネルの一部を出力チャネルの右側チャネルとして出力することができ、ダウンミックス信号の右側チャネルの一部を出力チャネルの左側チャネルとして出力することができる。上記の式１でｗ12及びｗ21は、クロストーク成分（すなわち、クロスターム）に該当することができる。
【００４４】
上述した場合は、２−２−２構成に該当できるが、２−２−２構成とは、２チャネル入力、２チャネル伝送、２チャネル出力を意味する。２−２−２構成が行なわれるためには、従来のチャネル基盤の空間オーディオコーディング（例：MPEG surround）の５−２−５構成（５チャネル入力、２チャネル伝送、５チャネル出力）を使用することができる。まず、２−２−２構成のための２チャネルを出力するために、５−２−５構成の５出力チャネルのうちの特定チャネルを、不能チャネル（フェークチャネル）に設定することができる。２伝送チャネル及び２出力チャネル間のクロストークを与えるために、上述のＣＬＤ及びＣＰＣを調節することができる。要するに、上記の式１におけるゲインファクタｇxをＡＤＧを用いて獲得し、上記の式１における重み値ｗ11〜ｗ22はＣＬＤ及びＣＰＣを用いて獲得することができる。
【００４５】
５−２−５構成を用いて２−２−２構成を具現するにあたり、複雑度を下げるために、従来の空間オーディオコーディングのデフォルト（default）モードを適用することができる。デフォルトＣＬＤの特性は、２チャネルを出力するようになっており、デフォルトＣＬＤが適用される場合、演算量を減らすことができる。具体的に、フェークチャネルを合成する必要がないため、演算量を大きく減少させることができるわけである。したがって、デフォルトモードを適用することが適切である。具体的に、３つのＣＬＤ（MPEG Surroundで０、１、２番に対応）のデフォルトＣＬＤのみがデコーディングに用いられる。一方、左側チャネル、右側チャネル及びセンターチャネルのうちの４つのＣＬＤ（MPEG surround標準で３、４、５及び６番に対応）、及び二つのＡＤＧ（MPEG surround標準で７、８番に対応）は、オブジェクト制御のために生成される。この場合、３番及び５番に対応するＣＬＤは、左側チャネル＋右側チャネル、及びセンターチャネル間のチャネルレベル差（(l+r)/c）を表すが、センターチャネルを無音化させるために１５０ｄＢ（ほぼ無限大）にセッティングされることが好ましい。また、クロストークを具現するために、エネルギー基盤アップミックス（energy based up−mix）またはプレディクション基盤アップミックス（prediction based up−mix）が行なわれることができるが、これは、ＴＴＴモード（MPEG surround標準における‘bsTttModeLow’）がエネルギー基盤モード（減算（with subtraction）、マトリクス互換性可能）（３番目のモード）またはプレディクションモード（１番目のモードまたは２番目のモード）に該当する場合に行なわれる。
【００４６】
図３は、第１方式の本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図３を参照すると、本発明の他の実施例によるオーディオ信号処理装置３００（以下、“デコーダ３００”と略す）は、情報生成ユニット３１０、シーンレンダリングユニット（scene rendering unit）３２０、マルチチャネルデコーダ３３０、及びシーンリミキシングユニット（scene remixing unit）３５０を含むことができる。
【００４７】
情報生成ユニット３１０は、ダウンミックス信号がモノラルチャネル信号（すなわち、ダウンミックスチャネルの数が１である場合）に該当する場合、オブジェクトパラメータを含む付加情報をエンコーダから受信することができ、付加情報及びミックス情報を用いてマルチチャネルパラメータを生成できる。ダウンミックスチャネルの数は、付加情報に含まれているフラグ情報の他に、ダウンミックス信号及びユーザ選択に基づいて推定することができる。情報生成ユニット３１０は、上記の情報生成ユニット２１０と同じ構成を有することができる。マルチチャネルパラメータは、マルチチャネルデコーダ３３０に入力され、マルチチャネルデコーダ３３０は、マルチチャネルデコーダ２３０と同じ構成を有することができる。
【００４８】
シーンレンダリングユニット３２０は、ダウンミックス信号がモノラルチャネル信号でない場合（すなわち、ダウンミックスチャネルの数が２以上である場合）、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックス情報を受信し、これら付加情報及びミックス情報を用いてリミキシングパラメータを生成する。リミキシングパラメータは、ステレオチャネルをリミックスし、２チャネル以上の出力を生成するためのパラメータに該当する。シーンリミキシングユニット３５０は、ダウンミックス信号が２チャネル以上の信号である場合、ダウンミックス信号をリミックスすることができる。
【００４９】
要するに、２種類の経路は、デコーダ３００で分離された応用のための分離された具現として考慮することができる。
【００５０】
１.２ マルチチャネルデコーダを修正する方式
【００５１】
この第２方式は、従来のマルチチャネルデコーダを修正することができる。まず、オブジェクトゲインを制御するための仮想出力を利用する場合、オブジェクトパニングを制御するための装置設定を修正する場合が、図４に基づいて説明される。次いで、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう場合は、図５に基づいて説明される。
【００５２】
図４は、第２方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図４を参照すると、第２方式の本発明の一実施例によるオーディオ信号処理装置４００（以下、“デコーダ４００”と略す。）は、情報生成ユニット４１０、内部マルチチャネル合成４２０、出力マッピングユニット４３０を含むことができる。内部マルチチャネル合成４２０及び出力マッピングユニット４３０は、合成ユニットに含まれることができる。
【００５３】
情報生成ユニット４１０は、エンコーダからオブジェクトパラメータを含む付加情報を受信し、ユーザインタフェースからミックスパラメータを受信することができる。情報生成ユニット４１０は、付加情報及びミックス情報を用いてマルチチャネルパラメータ及び装置設定情報を生成することができる。マルチチャネルパラメータは、前述したマルチチャネルパラメータと同一に構成することができる。したがって、マルチチャネルパラメータの具体的な説明は省略する。装置設定情報は、バイノーラル（binaural）プロセシングのためのパラメータ化されたＨＲＴＦに該当することができ、これについては‘１.２.２ 装置設定情報を利用する方法’で後述する。
【００５４】
内部マルチチャネル合成４２０は、マルチチャネルパラメータ及び装置設定情報を、パラメータ生成ユニット４１０から受信し、エンコーダからダウンミックス信号を受信する。内部マルチチャネル合成４２０は、仮想出力を含む一時的マルチチャネル信号を生成できる。これについて、下記の‘１.２.１ 仮想出力を利用する方法’で説明する。
【００５５】
１.２.１ 仮想出力を利用する方法
【００５６】
マルチチャネルパラメータ（例：ＣＬＤ）は、オブジェクトパニングを制御できるため、従来のマルチチャネルデコーダによりオブジェクトパニングの他にオブジェクトゲインを制御することは難しい。
【００５７】
一方、オブジェクトゲインのために、デコーダ４００（特に、内部マルチチャネル合成４２０）は、オブジェクトの相対的エネルギーを仮想チャネル（例：センターチャネル）にマッピングさせることができる。オブジェクトの相対的エネルギーは、減少されるエネルギーに該当する。例えば、特定オブジェクトを無音化させるために、デコーダ４００は、オブジェクトエネルギーの９９．９％以上を仮想チャネルにマッピングさせることができる。すると、デコーダ４００（特に、出力マッピングユニット４３０）は、オブジェクトの残りのエネルギーがマッピングされた仮想チャネルを出力させない。結論的に、オブジェクトの９９．９％以上が出力されない仮想チャネルにマッピングされることで、所望のオブジェクトはほとんど無音化することができる。
【００５８】
１.２.２ 装置設定情報を利用する方法
【００５９】
デコーダ４００は、オブジェクトパニング及びオブジェクトゲインを制御する目的で装置設定情報を調節することができる。例えば、デコーダは、MPEG surround標準におけるバイノーラルプロセシングのためのパラメータ化されたＨＲＴＦを生成できる。パラメータ化されたＨＲＴＦは、装置設定によって様々なものが存在することができる。下記の式２によってオブジェクト信号が制御されると仮定することができる。
【００６０】
【数２】
2010511909.tif 000004
【００６１】
ここで、ｏｂｊkはオブジェクト信号、Ｌnew及びＲnewは所望のステレオチャネル、ａk及びｂkはオブジェクト制御のための係数を表す。
【００６２】
オブジェクト信号ｏｂｊkのオブジェクト情報は、伝送された付加情報に含まれたオブジェクトパラメータから推定することができる。オブジェクトゲイン及びオブジェクトパニングによって定義される係数ａk及びｂkは、ミックス情報から推定することができる。所望のオブジェクトゲイン及びオブジェクトパニングは係数ａk、ｂkを用いて調節することができる。
【００６３】
係数ａk、ｂkは、バイノーラルプロセシングのためのＨＲＴＦパラメータに該当するように設定することができ、その詳細は後述される。
【００６４】
MPEG surround標準（５−１−５1構成）（from ISO/IEC FDIS 23003-1: 2006(E), Information Technology MPEG Audio Technologies Part 1: MPEG Surround）において、バイノーラルプロセシングは下記の通りである。
【００６５】
【数３】
2010511909.tif 000005
【００６６】
ここで、ｙBは出力、マトリクスＨはバイノーラルプロセシングのための変換マトリクスを表す。
【００６７】
【数４】
2010511909.tif 000006
【００６８】
マトリクスＨの成分は、下記のように定義される。
【００６９】
【数５】
2010511909.tif 000007
【００７０】
【数６】
2010511909.tif 000008
【００７１】
【数７】
2010511909.tif 000009
【００７２】
【数８】
2010511909.tif 000010
【００７３】
１.２.３ マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行う方法
【００７４】
図５は、第２方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。図５は、マルチチャネルデコーダのＴＢＴ機能を例示する構成図である。図５を参照すると、ＴＢＴモジュール５１０は、入力信号及びＴＢＴ制御情報を受信し、出力チャネルを生成する。ＴＢＴモジュール５１０は、図２のデコーダ２００（または、具体的にはマルチチャネルデコーダ２３０）に含まれることができる。マルチチャネルデコーダ２３０は、MPEG surround標準に従って具現することができるが、本発明はこれに限定されない。
【００７５】
【数９】
2010511909.tif 000011
【００７６】
ここで、xは入力チャネル、yは出力チャネル、wは重み値を表す。
【００７７】
出力y1は、第１ゲインw11が乗じられたダウンミックスの入力x1と、第２ゲインw12が乗じられた入力x2との組合せに該当することができる。
【００７８】
ＴＢＴモジュール５１０に入力されるＴＢＴ制御情報は、重み値w(w11、w12、w21、w22)を合成できる構成要素を含む。
【００７９】
MPEG surround標準において、ＯＴＴ（One-To-Two）モジュール及びＴＴＴ（Two-To-Three）モジュールは、入力信号をアップミックスすることはできるが、入力信号をリミックスするのには適合していない。
【００８０】
入力信号をリミックスするために、ＴＢＴ（２×２）モジュール５１０（以下、“ＴＢＴモジュール５１０”と略す。）を提供することができる。ＴＢＴモジュール５１０は、ステレオ信号を受信し、リミックスされたステレオ信号を出力する。重み値wは、ＣＬＤ及びＩＣＣを用いて合成することができる。
【００８１】
ＴＢＴ制御情報として重み値タームw11〜w22を受信すると、デコーダは、受信した重み値タームを用いてオブジェクトパニングの他にオブジェクトゲインも制御することができる。重み値wの伝送においては様々な方式が用いられることができる。第一、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含むことができる。第二、ＴＢＴ制御情報は、w12及びw21のようなクロスタームを含まない。第三、ＴＢＴ制御情報としてタームの数が適応的に変化できる。
【００８２】
第一、入力チャネルの左側信号が出力信号の右側信号に行くオブジェクトパニングを制御するために、w12及びw21のようなクロスタームを受信する必要がある。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ×Ｍ個のタームをＴＢＴ制御情報として伝送することができる。このタームは、MPEG surround標準で提供されたＣＬＤパラメータ量子化テーブルを基盤に量子化することができるが、本発明はこれに限定されない。
【００８３】
第二、左側オブジェクトが右側位置に移動しなければ（左側オブジェクトがより左側位置またはセンター位置に近い左側位置に移動したり、オブジェクトの位置のレベルのみが調整される場合）、クロスタームが使用される必要がない。この場合、クロスターム以外のタームが伝送されることが好ましい。Ｎ入力チャネル及びＭ出力チャネルの場合、Ｎ個のタームのみ伝送することができる。
【００８４】
第三、ＴＢＴ制御情報のビットレートを下げるために、ＴＢＴ制御情報の個数がクロスタームの必要に応じて適応的に変化できる。クロスタームが現在存在するか否かを指示するフラグ情報‘cross_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘cross_flag’の意味は、下記の表に示す通りである。
【００８５】
【表１】
2010511909.tif 000012
【００８６】
‘cross_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみが存在する。そうでない場合（すなわち、‘cross_flag’が１の場合）、ＴＢＴ制御情報はクロスタームを含む。
【００８７】
なお、クロスタームまたはノンクロスタームが存在するか否かを指示する‘reverse_flag’がＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘reverse_flag’の意味を、下記の表２に示す。
【００８８】
【表２】
2010511909.tif 000013
【００８９】
‘reverse_flag’が０の場合、ＴＢＴ制御情報は、クロスタームを含まず、w11及びw22のようなノンクロスタームのみを含む。そうでない場合（すなわち、‘reverse_flag’が１の場合）、ＴＢＴ制御情報はクロスタームのみを含む。
【００９０】
さらに、クロスタームが存在するか、ノンクロスタームが存在するかを指示するフラグ情報‘side_flag’が、ＴＢＴ制御情報として伝送されるように設定することができる。フラグ情報‘side_flag’の意味を、下記の表３に示す。
【００９１】
【表３】
2010511909.tif 000014
【００９２】
表３は、表１及び表２の組合せに該当するから、具体的な説明は省略する。
【００９３】
１.２.４ バイノーラルデコーダを修正することによって、マルチチャネルデコーダにおけるＴＢＴ（２×２）機能を行なう方法
【００９４】
‘１.２.２ 装置設定情報を利用する方法’の場合は、バイノーラルデコーダを修正せずに行なわれることができる。以下、図６を参照しながら、MPEG surroundデコーダに採用されたバイノーラルデコーダを変形（modifying）することによってＴＢＴ機能を行なう方法について説明する。
【００９５】
図６は、第２方式の本発明のさらに他の実施例によるオーディオ信号処理装置を例示する構成図である。具体的に、図６に示すオーディオ信号処理装置６３０は、図２のマルチチャネルデコーダ２３０に含まれたバイノーラルデコーダ、または図４の合成ユニットに該当することができるが、本発明はこれに限定されない。
【００９６】
オーディオ信号処理装置６３０（以下、“バイノーラルデコーダ６３０”）は、ＱＭＦ分析６３２、パラメータ変換６３４、空間合成６３６、及びＱＭＦ合成６３８を含むことができる。バイノーラルデコーダ６３０の構成要素は、MPEG surround標準におけるMPEG surroundバイノーラルデコーダと同じ構成を有することができる。例えば、空間合成６３６は、下記の式１０によって、２×２（フィルタ）マトリクスを構成することができる。
【００９７】
【数１０】
2010511909.tif 000015
【００９８】
ここで、y0はＱＭＦ領域入力チャネル、yBはバイノーラル出力チャネル、kはハイブリッドＱＭＦチャネルインデックス、iはＨＲＴＦフィルタタップインデックス、nはＱＭＦスロットインデックスを表す。
【００９９】
バイノーラルデコーダ６３０は、‘１.２.２ 装置設定情報を利用する方法’の節で説明された上記の機能を行なうように構成することができる。構成要素hijは、マルチチャネルパラメータ及びＨＲＴＦパラメータの代わりに、マルチチャネルパラメータ及びミックス情報を用いて生成することができる。この場合、バイノーラルデコーダ６３０は、図５でのＴＢＴモジュールの機能を果たすことができる。バイノーラルデコーダ６３０の構成要素についての具体的な説明は省略する。
【０１００】
バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’に基づいて動作することができる。具体的に、バイノーラルデコーダ６３０は、フラグ情報‘binaural_flag’が０の場合にはスキップすることができ、そうでない場合（‘binaural_flag’が１の場合）には下記のように動作することができる。
【０１０１】
【表４】
2010511909.tif 000016
【０１０２】
１.３ マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する方式
【０１０３】
従来のマルチチャネルデコーダを利用する第１方式は、上の‘１.１’節で説明されており、マルチチャネルデコーダを修正する第２方式は、上の‘１.２’節で説明された。マルチチャネルデコーダに入力される前にオーディオ信号のダウンミックスを処理する第３方式ついては、以下に説明する。
【０１０４】
図７は、第３方式の本発明の一実施例によるオーディオ信号処理装置を例示する構成図である。図８は、第３方式による本発明の他の実施例によるオーディオ信号処理装置を例示する構成図である。まず、図７を参照すると、オーディオ信号処理装置７００（以下、“デコーダ７００”と略す。）は、情報生成ユニット７１０、ダウンミックス処理ユニット７２０、マルチチャネルデコーダ７３０を含むことができる。図８を参照すると、オーディオ信号処理装置８００（以下、“デコーダ８００”と略す。）は、情報生成ユニット８１０、及びマルチチャネルデコーダ８３０を有するマルチチャネル合成ユニット８４０を含むことができる。デコーダ８００は、デコーダ７００の他の側面になりうる。すなわち、情報生成ユニット８１０は情報生成ユニット７１０と同一に構成され、マルチチャネルデコーダ８３０はマルチチャネルデコーダ７３０と同一に構成され、マルチチャネル合成ユニット８４０は、ダウンミックス処理ユニット７２０及びマルチチャネルデコーダ７３０の構成と同一にすることができる。したがって、デコーダ７００の構成要素については詳細に説明するが、デコーダ８００の構成要素の詳細についての説明は省略する。
【０１０５】
情報生成ユニット７１０は、オブジェクトパラメータを含む付加情報をエンコーダから、ミックス情報をユーザインタフェースから受信し、マルチチャネルデコーダ７３０に出力するマルチチャネルパラメータを生成することができる。このような点で、情報生成ユニット７１０は、図２の情報生成ユニット２１０と同じ構成を有する。ダウンミックスプロセシングパラメータは、オブジェクト位置及びオブジェクトゲインを制御するためのパラメータに該当することができる。例えば、オブジェクト信号が左側チャネル及び右側チャネルの両方に存在する場合、オブジェクト位置またはオブジェクトゲインを変化させることが可能である。オブジェクト信号が左側チャネル及び右側チャネルのいずれか一方に位置する場合、オブジェクト信号を反対位置に位置するようにレンダリングすることが可能である。これらの場合を行なうために、ダウンミックス処理ユニット７２０は、ＴＢＴモジュール（２×２マトリクスオペレーション）になりうる。オブジェクトゲインを制御するために、情報生成ユニット７１０が、図２で説明したようにＡＤＧを生成する場合に、ダウンミックスプロセシングパラメータは、オブジェクトゲインではなくオブジェクトパニングを制御するためのパラメータを含むことができる。
【０１０６】
なお、情報生成ユニット７１０は、ＨＲＴＦデータベースからＨＲＴＦ情報を受信し、マルチチャネルデコーダ７３０に入力されるＨＲＴＦパラメータを含む追加マルチチャネルパラメータ（extra multi−channel parameter）を生成することができる。この場合、情報生成ユニット７１０は、同じサブバンド領域でマルチチャネルパラメータ及び追加マルチチャネルパラメータを生成し、互いに同期してマルチチャネルデコーダ７３０に伝達できる。ＨＲＴＦパラメータを含む追加マルチチャネルパラメータは、‘３.バイノーラルモード処理’の節で詳細に後述される。
【０１０７】
ダウンミックス処理ユニット７２０は、エンコーダからオーディオ信号のダウンミックスを、情報生成ユニット７１０からダウンミックスプロセシングパラメータを受信し、サブバンド分析フィルタバンクを用いてサブバンド（subband）領域信号を分析する。ダウンミックス処理ユニット７２０は、ダウンミックス信号及びダウンミックスプロセシングパラメータを用いて処理されたダウンミックス信号を生成することができる。このような処理で、オブジェクトパニング及びオブジェクトゲインを制御する目的にダウンミックス信号をあらかじめ処理（pre−process）することが可能である。処理されたダウンミックス信号は、マルチチャネルデコーダ７３０に入力されてアップミックスすることができる。
【０１０８】
なお、処理されたダウンミックス信号は出力され、また、スピーカを通して再生することができる。処理された信号をスピーカから直接出力するために、ダウンミックス処理ユニット７２０は、処理されたサブバンド領域信号を用いて合成フィルタバンクを行い、時間領域のＰＣＭ信号を出力することができる。ユーザ選択により、ＰＣＭ信号が直接出力されるか、マルチチャネルデコーダに入力されるかを選択することが可能である。
【０１０９】
マルチチャネルデコーダ７３０は、処理されたダウンミックス及びマルチチャネルパラメータを用いてマルチチャネル出力信号を生成することができる。処理されたダウンミックス信号及びマルチチャネルパラメータがマルチチャネルデコーダ７３０に入力される時、マルチチャネルデコーダ７３０はディレイを生じることがある。処理されたダウンミックス信号は、周波数領域（例：ＱＭＦ領域、ハイブリッドＱＭＦ領域等）で合成され、マルチチャネルパラメータは時間領域で合成することができる。MPEG surround標準で、ＨＥ−ＡＡＣと連結されるためのディレイ及び周期が生じる。したがって、マルチチャネルデコーダ７３０は、MPEG surround標準にしたがってディレイを生じることがある。
【０１１０】
次に、ダウンミックス処理ユニット７２０の構成を、図９〜図１３を参照しながら詳細に説明する。
【０１１１】
１.３.１ ダウンミックス処理ユニットの一般的な場合及び特別な場合
【０１１２】
図９は、レンダリングユニットの基本コンセプトを説明するための図である。図９を参照すると、レンダリングモジュール９００は、Ｎ入力信号、再生設定、及びユーザコントロールを用いてＭ出力信号を生成することができる。Ｎ入力信号は、オブジェクト信号またはチャネル信号に該当することができる。なお、Ｎ入力信号は、オブジェクトパラメータまたはマルチチャネルパラメータに該当することができる。レンダリングモジュール９００の構成は、図７のダウンミックス処理ユニット７２０、図１のレンダリングユニット１２０、及び図１のレンダラ１１０ａのうちの一つとすれば良いが、本発明はこれに限定されない。
【０１１３】
レンダリングモジュール９００が、特定チャネルに該当する個別オブジェクト信号を合計せずに、Ｎ個のオブジェクト信号を用いてＭ個のチャネル信号を直接生成できるように構成される場合、レンダリングモジュール９００の構成は、下記の式１１のように表現することができる。
【０１１４】
【数１１】
2010511909.tif 000017
【０１１５】
ここで、Ciはｉ番目のチャネル信号、Ojはｊ番目の入力信号、Rijはｊ番目の入力信号がｉ番目のチャネルにマッピングされるマトリクスを表す。
【０１１６】
ここで、マトリクスＲがエネルギー成分Ｅと無相関化成分とに分離される場合、下記の式１１は、下記のように表現することができる。
【０１１７】
【数１２】
2010511909.tif 000018
【０１１８】
エネルギー成分Ｅを用いてオブジェクト位置を制御でき、無相関化成分Ｄを用いてオブジェクト拡散性（diffuseness）を制御できる。
【０１１９】
ｉ番目の入力信号のみが入力されて、ｊ番目のチャネル及びｋ番目のチャネルを通じて出力されると仮定する場合、式１２は下記のように表現することができる。
【０１２０】
【数１３】
2010511909.tif 000019
【０１２１】
αj_iは、ｊ番目のチャネルにマッピングされるゲインポーション、βjk_iは、ｋ番目のチャネルにマッピングされるゲインポーション、θは拡散性レベル（diffuseness）、及びD(Oi)は無相関化出力を表す。
【０１２２】
無相関化が省略されると仮定すれば、上記の式１３は、次のように簡略化することができる。
【０１２３】
【数１４】
2010511909.tif 000020
【０１２４】
特定チャネルにマッピングされる全ての入力に対する重み値が、上述の方法によって推定されると、下記の方式により各チャネルに対する重み値を獲得することができる。
【０１２５】
１）特定チャネルにマッピングされる全ての入力に対する重み値を合計する。例えば、入力１（O1）及び入力２（O2）が入力され、左側チャネル（Ｌ）、センターチャネル（Ｃ）、右側チャネル（Ｒ）に対応するチャネルが出力される場合、総重み値αL(tot)、αC(tot)、αR(tot)は、次のように獲得することができる。
【０１２６】
【数１５】
2010511909.tif 000021
【０１２７】
ここで、αL1は、左側チャネル（Ｌ）にマッピングされる入力１に対する重み値で、αC1は、センターチャネル（Ｃ）にマッピングされる入力１に対する重み値で、αC2は、センターチャネル（Ｃ）にマッピングされる入力２に対する重み値で、αR2は、右側チャネル（Ｒ）にマッピングされる入力２に対する重み値である。
【０１２８】
この場合、入力１のみが左側チャネルにマッピングされ、入力２のみが右側チャネルにマッピングされ、入力１及び入力２が共にセンターチャネルにマッピングされる。
【０１２９】
２）特定チャネルにマッピングされる全ての入力に対する重み値を合計し、その和を最もドミナントなチャネル対（pair）に分け、無相関化された信号をサラウンド効果のために他のチャネルにマッピングする。この場合、特定入力が左側とセンターとの間に位置する場合、ドミナントチャネル対は左側チャネル及びセンターチャネルに該当することができる。
【０１３０】
３）最もドミナントなチャネルの重み値を推定し、減殺されたコリレート信号を他のチャネルに付与するが、ここで、この値は、推定された重み値の相対的な値である。
【０１３１】
４）各チャネル上の重み値を用いて、無相関化された信号を適切に組み合わせた後、各チャネルに対する付加情報を設定する。
【０１３２】
１.３.２ ダウンミックス処理ユニットが２×４マトリクスに対応するミキシングパートを含む場合
【０１３３】
図１０Ａ〜図１０Ｃは、図７に示すダウンミックス処理ユニットの第１実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第１実施例７２０ａ（以下、“ダウンミックス処理ユニット７２０ａ”と略す。）は、レンダリングモジュール９００の具現でありうる。
【０１３４】
まず、Ｄ11＝Ｄ21＝ａＤ及びＤ12＝Ｄ22＝ｂＤとすれば、上記の式１２は、次のように簡単になる。
【０１３５】
【数１６】
2010511909.tif 000022
【０１３６】
上記の式１５によるダウンミックス処理ユニットは、図１０Ａに示されている。図１０Ａを参照すると、ダウンミックス処理ユニット７２０ａは、モノラル入力信号（ｍ）である場合には入力信号をバイパスし、ステレオ入力信号（Ｌ，Ｒ）である場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ａは、無相関化パート７２２ａ及びミキシングパート７２４ａを含むことができる。無相関化パート７２２ａは、入力信号を無相関化できる無相関化器ａＤと無相関化器ｂＤを含む。無相関化パート７２２ａは、２×２マトリクスに該当することができる。ミキシングパート７２４ａは、入力信号及び無相関化信号を各チャネルにマッピングさせることができる。ミキシングパート７２４ａは、２×４マトリクスに該当することができる。
【０１３７】
第二に、Ｄ11＝ａＤ1、Ｄ21＝ｂＤ1、Ｄ12＝ｃＤ2及びＤ22＝ｄＤ2と仮定すれば、式１２は、次のように簡単になる。
【０１３８】
【数１７】
2010511909.tif 000023
【０１３９】
式１５−２によるダウンミックス処理ユニットは、図１０Ｂに示されている。図１０Ｂを参照すると、二つの無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２’は、無相関化器信号Ｄ1(a*O1+b*O2)、Ｄ2(c*O1+d*O2)を生成することができる。
【０１４０】
第三に、Ｄ11＝Ｄ1、Ｄ21＝０、Ｄ12＝０及びＤ22＝Ｄ2と仮定すれば、式１２は、次のように簡単になる。
【０１４１】
【数１８】
2010511909.tif 000024
【０１４２】
式１５−３によるダウンミックス処理ユニットが、図１０Ｃに示されている。図１０Ｃを参照すると、無相関化器Ｄ1，Ｄ2を含む無相関化パート７２２"は、無相関化された信号Ｄ1(Ｏ1)、Ｄ2(Ｏ2)を生成することができる。
【０１４３】
１.３.２ ダウンミックス処理ユニットが２×３マトリクスに対応するミキシングパートを含む場合
【０１４４】
上記の式１５は、次のように表現することができる。
【０１４５】
【数１９】
2010511909.tif 000025
【０１４６】
マトリクスＲは２×３マトリクス、マトリクスＯは３×１マトリクス、Ｃは２×１マトリクスを表す。
【０１４７】
図１１は、図７に示すダウンミックス処理ユニットの第２実施例を示す構成図である。前述のように、ダウンミックス処理ユニットの第２実施例７２０ｂ（以下、“ダウンミックス処理ユニット７２０ｂ”と略す。）は、ダウンミックス処理ユニット７２０ａと同様、レンダリングモジュール９００の具現になりうる。図１１を参照すると、ダウンミックス処理ユニット７２０ｂは、モノラル入力信号（ｍ）である場合には入力信号をスキップし、ステレオ入力信号（Ｌ，Ｒ）の場合には入力信号を処理することができる。ダウンミックス処理ユニット７２０ｂは、無相関化パート７２２ｂ及びミキシングパート７２４ｂを含むことができる。無相関化パート７２２ｂは、入力信号Ｏ1、Ｏ2を無相関化し、無相関化された信号Ｄ(Ｏ1＋Ｏ2）として出力できる無相関化器Ｄを有する。無相関化パート７２２ｂは、１×２マトリクスに該当することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された信号を各チャネルにマッピングすることができる。ミキシングパート７２４ｂは、式１６に表現されたマトリクスＲで表現された２×３マトリクスに該当することができる。
【０１４８】
さらに、無相関化パート７２２ｂは、両入力信号（Ｏ1，Ｏ2）の共通信号として差分信号（Ｏ1−Ｏ2）を無相関化することができる。ミキシングパート７２４ｂは、入力信号及び無相関化された共通信号を各チャネルにマッピングすることができる。
【０１４９】
１.３.３ ダウンミックス処理ユニットが、数個のマトリクスを有するミキシングパートを含む場合
【０１５０】
特定オブジェクト信号は特定位置に位置せずに、とこでも類似な影響として聞こえることができ、これは‘空間音響信号（spatial sound signal）’と呼ばれる。例えば、コンサートホールの拍手または騒音が空間音響信号の一例である。空間音響信号は、全てのスピーカから再生される必要がある。もし、空間音響信号が全てのスピーカから同一信号として再生される場合、高い相互関連性（inter−correlation：ＩＣ）のために信号の空間感（spatialness）を感じにくい。したがって、無相関化された信号を各チャネル信号の信号に追加する必要がある。
【０１５１】
図１２は、図７に示すダウンミックス処理ユニットの第３実施例を示す構成図である。図１２を参照すると、ダウンミックス処理ユニットの第３実施例７２０ｃ（以下、“ダウンミックス処理ユニット７２０ｃ”と略す。）は、入力信号Ｏiを用いて空間音響信号を生成できるが、ダウンミックス処理ユニットは、Ｎ個の無相関化器を有する無相関化パート７２２ｃ及びミキシングパート７２４ｃを含むことができる。無相関化パート７２２ｃは、入力信号Ｏiを無相関化できるＮ個の無相関化器Ｄ1、Ｄ2、…、ＤNを含むことができる。ミキシングパート７２４ｃは、入力信号Ｏi及び無相関化された信号ＤX(Ｏi)を用いて出力信号Ｃj，Ｃk，…，Ｃlを生成できるＮマトリクスＲj，Ｒk，…，Ｒlを含むことができる。マトリクスＲjは、下記の式のように表現することができる。
【０１５２】
【数２０】
2010511909.tif 000026
【０１５３】
ここで、Ｏiはｉ番目の入力信号、Ｒjは、ｉ番目の入力信号Ｏiがｊ番目のチャネルにマッピングされるマトリクス、Ｃj_iはｊ番目の出力信号を表す。θj_i値は、無相関化比率（rate）である。
【０１５４】
θj_i値は、マルチチャネルパラメータに含まれたＩＣＣに基づいて推定することができる。なお、ミキシングパート７２４ｃは、情報生成ユニット７１０を介してユーザインタフェースから受信した無相関化比率θj_iを構成する空間感情報（spatialness）を基盤にして出力信号を生成できるが、本発明はこれに限定されない。
【０１５５】
無相関化器の数（Ｎ）は、出力チャネルの数と同一にすることができる。一方、無相関化された信号は、ユーザにより選択された出力チャネルに追加することができる。例えば、空間音響信号を左側、右側、センターに位置させ、左側チャネルスピーカから空間音響信号として出力することができる。
【０１５６】
１.３.４ ダウンミックス処理ユニットが追加ダウンミキシングパート（further downmixing part）を含む場合
【０１５７】
図１３は、図７に示すダウンミックス処理ユニットの第４実施例を示す構成図である。ダウンミックス処理ユニットの第４実施例７２０ｄ（以下、“ダウンミックス処理ユニット７２０ｄ”と略す。）は、入力信号がモノラル信号（ｍ）に該当する場合にはバイパスすることができる。ダウンミックス処理ユニット７２０ｄは、入力信号がステレオ信号に該当する場合、ダウンミックス信号をモノラル信号にダウンミックスできる追加ダウンミキシングパート７２２ｄを含むことができる。追加にダウンミックスされたモノラルチャネル（ｍ）は、マルチチャネルデコーダ７３０に入力されて使用することができる。マルチチャネルデコーダ７３０は、モノラル入力信号を用いてオブジェクトパニング（特に、クロストーク）を制御することができる。この場合、情報生成ユニット７１０は、MPEG surround標準の５−１−５1構成を基盤にしてマルチチャネルパラメータを生成できる。
【０１５８】
なお、上述した図２の任意的ダウンミックスゲイン（ＡＤＧ）のようなモノラルダウンミックスに対するゲインが適用されると、オブジェクトパニング及びオブジェクトゲインをより容易に制御することが可能である。ＡＤＧは、ミックス情報を基盤にして情報生成ユニット７１０により生成することができる。
【０１５９】
２．チャネル信号のアップミキシング及びオブジェクト信号の制御
【０１６０】
図１４は、本発明の第２実施例による圧縮されたオーディオ信号のビットストリーム構造を例示するブロック図である。図１５は、本発明の第２実施例によるオーディオ信号処理装置を例示する構成図である。図１４の（ａ）を参照すると、ダウンミックス信号（α）、マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）が、ビットストリーム構造に含まれている。マルチチャネルパラメータ（β）は、ダウンミックス信号をアップミキシングするためのパラメータである。一方、オブジェクトパラメータ（γ）は、オブジェクトパニング及びオブジェクトゲインを制御するためのパラメータである。図１４の（ｂ）を参照すると、ダウンミックス信号（α）、デフォルトパラメータ（β'）、オブジェクトパラメータ（γ）がビットストリーム構造に含まれている。デフォルトパラメータ（β'）は、オブジェクトゲイン及びオブジェクトパニングを制御するためのプリセット情報を含むことができる。プリセット情報は、エンコーダ側の製作者により提案された例に該当することができる。例えば、プリセット情報は、ギター（guitar）信号が左側及び右側間の地点に位置し、ギターのレベルが特定ボリュームに設定され、その時に出力チャネルの数が特定チャネルにセッティングされるということを記述することができる。各フレームまたは特定フレームに対するデフォルトパラメータがビットストリームに存在することができる。現フレームに対するデフォルトパラメータが以前フレームのデフォルトパラメータと異なるか否かを指示するフラグ情報が、ビットストリームに存在することができる。ビットストリームにデフォルトパラメータを含むことによって、オブジェクトパラメータを有する付加情報がビットストリームに含まれる場合よりも少ないビットレートで済むことができる。なお、ビットストリームのヘッダ情報は図１４では省略する。ビットストリームの順序は再整列することができる。
【０１６１】
図１５を参照すると、本発明の第２実施例によるオーディオ信号処理装置１０００（以下、“デコーダ１０００”と略す。）は、ビットストリームデマルチプレクサ１００５、情報生成ユニット１０１０、ダウンミックス処理ユニット１０２０、及びマルチチャネルデコーダ１０３０を含むことができる。デマルチプレクサ１００５は、マルチプレクシングされたオーディオ信号を、ダウンミックス信号（α）、第１マルチチャネルパラメータ（β）、オブジェクトパラメータ（γ）に分離することができる。情報生成ユニット１０１０は、オブジェクトパラメータ（γ）及びミックスパラメータを用いて第２マルチチャネルパラメータを生成できる。ミックスパラメータは、第１マルチチャネル情報（β）が、処理されたダウンミックスに適用されるか否かを指示するモード情報を含む。モード情報は、ユーザによる選択のための情報に該当することができる。モード情報に応じて、情報生成情報１０２０は、第１マルチチャネルパラメータ（β）を伝送するか、或いは、第２マルチチャネルパラメータを伝送するかを決定する。
【０１６２】
ダウンミックス処理ユニット１０２０は、ミックス情報に含まれたモード情報に基づいてプロセシング方式を決定することができる。さらに、ダウンミックス処理ユニット１０２０は、決定されたプロセシング方式によってダウンミックス（α）を処理することができる。そして、ダウンミックス処理ユニット１０２０は、処理されたダウンミックスをマルチチャネルデコーダ１０３０に伝達する。
【０１６３】
マルチチャネルデコーダ１０３０は、第１マルチチャネルパラメータ（β）または第２マルチチャネルパラメータを受信することができる。デフォルトパラメータ（β'）がビットストリームに含まれた場合には、マルチチャネルデコーダ１０３０は、マルチチャネルパラメータ（β）の代わりに、デフォルトパラメータ（β'）を用いることができる。
【０１６４】
マルチチャネルデコーダ１０３０は、処理されたダウンミックス信号及び受信したマルチチャネルパラメータを用いてマルチチャネル出力を生成する。マルチチャネルデコーダ１０３０は、上記したマルチチャネルデコーダ７３０と同じ構成を有することができるが、本発明はこれに限定されない。
【０１６５】
３．バイノーラルプロセシング
【０１６６】
マルチチャネルデコーダはバイノーラルモードで動作することができる。これは、頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）フィルタリングによってヘッドホンにおいてマルチチャネル効果を可能にする。バイノーラルデコーディング側において、ダウンミックス信号及びマルチチャネルパラメータは、デコーダに提供されるＨＲＴＦフィルタと組み合わせて使用される。
【０１６７】
図１６は、本発明の第３実施例によるオーディオ信号処理装置を例示する構成図である。図１６を参照すると、オーディオ信号処理装置の第３実施例（以下、“デコーダ１１００”と略す。）は、情報生成ユニット１１１０、ダウンミックス処理ユニット１１２０、及び同期マッチングパート１１３０ａを有するマルチチャネルデコーダ１１３０を含むことができる。
【０１６８】
情報生成ユニット１１１０は、動的ＨＲＴＦを生成するもので、図７の情報生成ユニット７１０と同じ構成を有することができる。ダウンミックス処理ユニット１１２０は、図７のダウンミックス処理ユニット７２０と同じ構成を有することができる。上の構成要素のように、同期マッチングパート１１３０ａを除いてマルチチャネルデコーダ１１３０は、上の構成要素と同一な場合である。したがって、情報生成ユニット１１１０、及びダウンミックス処理ユニット１１２０、及びマルチチャネルデコーダ１１３０の具体的な説明は省略する。
【０１６９】
動的ＨＲＴＦは、ＨＲＴＦ方位角（azimuth）及び仰角（elevation angles）に対応する、オブジェクト信号と仮想スピーカ信号との関係を記述するもので、実時間ユーザコントロールに対応する時間従属（time dependent）情報である。
【０１７０】
マルチチャネルデコーダがＨＲＴＦフィルタセット全体を含む場合、動的ＨＲＴＦは、ＨＲＴＦフィルタ係数それ自体、パラメータ化された係数情報、及びインデックス情報のうちいずれか一つに該当することができる。
動的ＨＲＴＦの種類によらず、動的ＨＲＴＦ情報はダウンミックスフレームとマッチングされる必要がある。ＨＲＴＦ情報とダウンミックス信号とのマッチングのために、次のような３種類の方式を提供することができる。
【０１７１】
１）各ＨＲＴＦ情報及びビットストリームダウンミックス信号にタグ情報を挿入し、この挿入されたタグ情報に基づいてＨＲＴＦにビットストリームダウンミックス信号をマッチングさせる。この方式で、タグ情報は、MPEG surround標準における補助フィールド（ancillary filed）に挿入されることが好ましい。タグ情報は、時間情報、計数器（counter）情報、インデックス情報などで表現することができる。
【０１７２】
２）ＨＲＴＦ情報をビットストリームのフレームに挿入する。この方式で、現在フレームがデフォルトモードに該当するかどうかを指示するモード情報を設定することが可能である。現在フレームのＨＲＴＦ情報が以前フレームのＨＲＴＦ情報と同一か否かを表すデフォルトモードが適用されると、ＨＲＴＦ情報のビットレートを低減させることができる。
【０１７３】
２−１）さらに、現在フレームのＨＲＴＦ情報が既に伝送されたか否かを表す伝送情報（transmission information）を定義することが可能である。もし、現在フレームのＨＲＴＦ情報が、伝送されたＨＲＴＦ情報と同じであるか否かを指示する伝送情報が適用される場合、ＨＲＴＦ情報のビットレートを低減させることができる。
【０１７４】
２−２）まず、いくつかのＨＲＴＦ情報を伝送した後、既に伝送されたＨＲＴＦのうちどのＨＲＴＦであるかを指示する識別情報をフレームごとに伝送する。
【０１７５】
なお、ＨＲＴＦ係数が突然に変わる場合、歪が生じることがある。この歪を減らすために、係数またはレンダリングされた信号のスムージングを行なうことが好ましい。
【０１７６】
４．レンダリング
【０１７７】
図１７は、本発明の第４実施例によるオーディオ処理装置を例示する構成図である。第４実施例によるオーディオ信号処理装置１２００（以下、“プロセッサ１２００”と略す。）は、エンコーダ側１２００Ａにおいてエンコーダ１２１０を含み、デコーダ側１２００Ｂにおいてレンダリングユニット１２２０及び合成ユニット１２３０を含むことができる。エンコーダ１２１０は、マルチチャネルオブジェクト信号を受信し、オーディオ信号のダウンミックス信号及び付加情報を生成することができる。レンダリングユニット１２２０は、エンコーダ１２１０から付加情報を、装置設定またはユーザインタフェースから再生設定及びユーザコントロールを受信し、付加情報、再生設定、ユーザコントロールを用いてレンダリング情報を生成する。合成ユニット１２３０は、レンダリング情報及びエンコーダ１２１０から受信したダウンミックス信号を用いてマルチチャネル出力信号を合成する。
【０１７８】
４.１ エフェクトモード（effect mode）適用
【０１７９】
エフェクトモード（effect mode）は、リミックスされた信号または復元された信号についてのモードである。例えば、ライブモード（live mode）、クラブバンドモード（club band mode）、カラオケモード（karaoke mode）などが存在できる。エフェクトモード情報は、製作者または他のユーザにより生成されたミックスパラメータセットに該当できる。エフェクトモード情報が適用されると、ユーザが、あらかじめ定義されたエフェクトモード情報から一つを選択できるため、最終ユーザは全体的にオブジェクトパニング及びオブジェクトゲインを制御する必要がない。
【０１８０】
エフェクトモード情報を生成する方法は、２種類に区別することができる。その一つは、エフェクトモード情報を、エンコーダ１２００Ａで生成されてデコーダ１２００Ｂに伝送することができる。他の一つは、エフェクトモード情報を、デコーダ側で自動的に生成することができる。この２種類の方式を以下に詳細に説明する。
【０１８１】
４.１.１ エフェクトモード情報をデコーダ側に伝送
【０１８２】
エフェクトモード情報は、製作者によりエンコーダ１２００Ａで生成することができる。この方法によると、デコーダ１２００Ｂは、エフェクトモード情報を含む付加情報を受信し、ユーザがエフェクトモード情報からいずれかを選択できるようにユーザインタフェースを出力する。デコーダ１２００Ｂは、選択されたエフェクトモード情報を基盤にして出力チャネルを生成することができる。
【０１８３】
一方、エンコーダ１２００Ａが、オブジェクト信号の品質を高めるために信号をダウンミックスする場合、聴取者がダウンミックス信号をそのまま聞くことは適切でない。しかし、エフェクトモード情報がデコーダ１２００Ｂで適用されると、最高の品質でダウンミックス信号を再生することが可能である。
【０１８４】
４.１.２ 効果情報をデコーダ側で生成
【０１８５】
エフェクトモード情報をデコーダ１２００Ｂで生成することができる。デコーダ１２００Ｂは、ダウンミックス信号に対して適切なエフェクトモード情報を検索することができる。そして、デコーダ１２００Ｂは、検索されたエフェクトモードの中から一つを自分で選択したり（自動調節モード:automatic adjustment mode）、それらのモードから一つをユーザに選択させることができる（ユーザ選択モード:user selection mode）。デコーダ１２００Ｂは、付加情報に含まれたオブジェクト情報（オブジェクトの数、楽器名など）を獲得し、選択されたエフェクトモード情報及びオブジェクト情報に基づいてオブジェクトを制御することができる。
【０１８６】
一方、類似なオブジェクトを一括して制御することが可能である。例えば、リズムに関連する楽器は、リズム強調モード（rhythm impression mode）において互いに類似なオブジェクトになりうる。‘一括して制御する’ということは、同一パラメータを用いてオブジェクトを制御するというよりは、各オブジェクトを同時に制御するということを意味する。
【０１８７】
一方、デコーダ設定または装置環境（ヘッドホンまたはスピーカを含む）を基盤にオブジェクトを制御できる。例えば、装置のボリューム設定が低い場合、メインメロディに該当するオブジェクトを強調することができ、装置のボリューム設定が高い場合、メインメロディに該当するオブジェクトは抑えられることができる。
【０１８８】
４.２ エンコーダへの入力信号のオブジェクトタイプ
【０１８９】
エンコーダ１２００Ａに入力される入力信号は、下記の３通りに分類することができる。
【０１９０】
１）モノラルオブジェクト（モノラルチャネルオブジェクト）
【０１９１】
モノラルオブジェクトは、オブジェクトの一般的なタイプである。オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて内部ダウンミックス信号を合成することも可能である。内部ダウンミックス信号を生成するにおいて、オブジェクト特性、ユーザ入力、オブジェクトと一緒に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。
【０１９２】
外部ダウンミックス信号が存在する場合、外部ダウンミックス及びオブジェクトとの関係を指示する情報を抽出して伝送することができる。
【０１９３】
２）ステレオオブジェクト（ステレオチャネルオブジェクト）
【０１９４】
上記モノラルオブジェクトの場合と同様に、オブジェクトを単純に結合することによって内部ダウンミックス信号を合成することが可能である。ユーザコントロール及び提供された情報のうちの一つになりうるオブジェクトゲイン及びオブジェクトパニングを用いて、内部ダウンミックス信号を合成することも可能である。ダウンミックス信号がモノラル信号に該当する場合、エンコーダ１２００Ａは、ダウンミックス信号を生成するためにモノラル信号に変換されたオブジェクトを用いることが可能である。この場合、モノラル信号への変換において、オブジェクトと関連した情報（例：各時間−周波数領域でのパニング情報）を抽出して伝達することができる。上のモノラルオブジェクトと同様に、内部ダウンミックス信号の生成において、オブジェクト特性、ユーザ入力、及びオブジェクトと共に提供された情報のうち一つ以上を用いてレンダリング情報を生成することも可能である。上記モノラルオブジェクトと同様に、外部ダウンミックスが存在する場合、外部ダウンミックス及びオブジェクト間の関係を指示する情報を抽出して伝達することも可能である。
【０１９５】
３）マルチチャネルオブジェクト
【０１９６】
マルチチャネルオブジェクトの場合、モノラルオブジェクト及びステレオオブジェクトと一緒に上に言及された方法を行なうことができる。なおさら、MPEG surroundの形態としてマルチチャネルオブジェクトを入力することが可能である。この場合、オブジェクトダウンミックスチャネルを用いてオブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を生成することが可能であり、マルチチャネル情報及びレンダリング情報を生成するためにマルチチャネル情報（例：MPEG Surroundの空間情報）を利用することが可能である。したがって、MPEG surroundの形態として存在するマルチチャネルオブジェクトは、オブジェクト基盤のダウンミックス（例：ＳＡＯＣダウンミックス）を用いてデコーディングされたりエンコーディングされる必要がなく、よって、演算量を減らすことができる。オブジェクトダウンミックスがステレオに該当し、オブジェクト基盤ダウンミックス（ＳＡＯＣダウンミックス）がモノラルに該当する場合、ステレオオブジェクトと一緒に上述した方法を適用することが可能である。
【０１９７】
４）様々なタイプのオブジェクトに対する伝送方式
【０１９８】
前述したように、様々なタイプのオブジェクト（モノラルオブジェクト、ステレオオブジェクト、及びマルチチャネルオブジェクト）は、エンコーダ１２００Ａからデコーダ１２００Ｂに伝送される。様々なタイプのオブジェクトを伝送する方式は、下記の通りである。
【０１９９】
図１８を参照すると、ダウンミックスが複数のオブジェクトを含む時、付加情報は各オブジェクトに関する情報を含む。例えば、複数のオブジェクトがＮ番目のモノラルオブジェクト（Ａ）、Ｎ＋１番目のオブジェクトの左側チャネル（Ｂ）、Ｎ＋１番目のオブジェクトの右側チャネル（Ｃ）で構成される場合、付加情報は、３個のオブジェクト（Ａ、Ｂ、Ｃ）に対する情報を含む。
【０２００】
上記付加情報は、オブジェクトがステレオまたはマルチチャネルのオブジェクトの一部分（例えば、モノラルオブジェクト、ステレオオブジェクトのいずれかのチャネル（ＬまたはＲ）、等）であるか否かを表す相関性フラグ情報（correlation flag information）を含むことができる。例えば、モノラルオブジェクトが存在する場合、相関性フラグ情報が‘０’であり、ステレオオブジェクトのいずれかのチャネルが存在する場合、相関性フラグ情報が‘１’である。ステレオオブジェクトの一部分とステレオオブジェクトの他の部分が連続して伝送される場合、ステレオオブジェクトの他の部分に対する相関性情報はいずれの値（例：０、１、またはその他）になっても良い。なお、ステレオオブジェクトの他の部分に対する相関性フラグ情報は伝送されなくて良い。
【０２０１】
なお、マルチチャネルオブジェクトの場合、マルチチャネルオブジェクトの一部分に対する相関性フラグ情報は、マルチチャネルオブジェクトの個数を記述する値でありうる。例えば、５．１チャネルオブジェクトの場合、５．１チャネルの左側チャネルに対する相関性情報は‘５’になることができ、５．１チャネルの他のチャネル（Ｒ、Ｌｒ、Ｒｒ、Ｃ、ＬＦＥ）に対する相関性情報は‘０’になるか、伝送されない。
【０２０２】
４.３ オブジェクト属性
【０２０３】
オブジェクトは、下記のような３種類の属性を有することができる。
【０２０４】
ａ）シングルオブジェクト（single object）
【０２０５】
シングルオブジェクトはソースとして構成することができる。ダウンミックス信号を生成したり再生したりするにあたり、オブジェクトパニング及びオブジェクトゲインを制御するために、一つのパラメータをシングルオブジェクトに適用することができる。この‘一つのパラメータ’は、あらゆる時間及び周波数領域に対して一つという意味だけでなく、各時間周波数スロットに対して一つのパラメータであるという意味を有する。
【０２０６】
ｂ）グルーピングされたオブジェクト（grouped object）
【０２０７】
シングルオブジェクトは、２以上のソースで構成することができる。グルーピングされたオブジェクトが２以上のソースとして入力されても、オブジェクトパニング及びオブジェクトゲインを制御するためにグルーピングされたオブジェクトに対して一つのパラメータを適用することができる。グルーピングされたオブジェクトについて図１９を参照して詳細に説明する。図１９を参照すると、エンコーダ１３００は、グルーピングユニット１３１０及びダウンミックスユニット１３２０を含む。グルーピングユニット１３１０は、グルーピング情報に基づき、入力されたマルチオブジェクト入力のうち２以上のオブジェクトをグルーピングする。グルーピング情報はエンコーダ側で製作者により生成することができる。ダウンミックスユニット１３２０は、グルーピングユニット１３１０により生成されたグルーピングされたオブジェクトを用いてダウンミックス信号を生成する。ダウンミックスユニット１３２０は、グルーピングされたオブジェクトに対する付加情報を生成することができる。
【０２０８】
ｃ）組合せオブジェクト（combination object）
【０２０９】
組合せオブジェクトは、一つ以上のソースと組み合わせられたオブジェクトである。組み合わせられたオブジェクト間の関係は変化させずに、オブジェクトパニング及びオブジェクトゲインを一括して（in a lump）制御することが可能である。例えば、ドラムの場合、バスドラム（bass drum）、タムタム（tam-tam）、シンボル（symbol）間の関係を変化させずに、ドラムを制御することが可能である。例えば、バスドラムが中央に位置し、シンボルが左側地点に位置する時、ドラムが右側方向へ移動する場合、バスドラムは右側地点に位置させ、シンボルは中央と右側との中間地点に位置させることが可能である。
【０２１０】
組み合わせられたオブジェクト間の関係情報は、デコーダに伝送することができ、デコーダは、組合せオブジェクトを用いて上記の関係情報を抽出することができる。
【０２１１】
４.４ 階層的にオブジェクトを制御
【０２１２】
オブジェクトを階層的に制御することが可能である。例えば、ドラムを制御した後に、ドラムの各サブ−エレメント（sub‐element）を制御できる。階層的にオブジェクトを制御するために、下記の３通りの方式が提供される。
【０２１３】
ａ）ＵＩ（ユーザインタフェース）
【０２１４】
全てのオブジェクトをディスプレイするのではなく、代表的なエレメントのみをディスプレイすることができる。もし、ユーザにより代表エレメントが選択されると、全てのオブジェクトがディスプレイされる。
【０２１５】
ｂ）オブジェクトグルーピング
【０２１６】
代表エレメントを表すためにオブジェクトをグルーピングした後に、代表エレメントとしてグルーピングされた全てのオブジェクトを制御する目的に代表エレメントを制御することが可能である。グルーピングする過程で抽出された情報は、デコーダに伝送することができる。また、グルーピング情報がデコーダで生成されても良い。一括した制御情報の適用は、各エレメントに対するあらかじめ決定された制御情報に基づいて行なわれることができる。
【０２１７】
ｃ）オブジェクト構成（object configuration）
【０２１８】
上述した組合せオブジェクトを利用することが可能である。組合せオブジェクトのエレメントに関する情報は、エンコーダまたはデコーダで生成することができる。エンコーダにおけるエレメントに関する情報は、組合せオブジェクトに関する情報とは異なる方式で伝送することができる。
【産業上の利用可能性】
【０２１９】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【図１】
2010511909.tif 000027
【図２】
2010511909.tif 000028
【図３】
2010511909.tif 000029
【図４】
2010511909.tif 000030
【図５】
2010511909.tif 000031
【図６】
2010511909.tif 000032
【図７】
2010511909.tif 000033
【図８】
2010511909.tif 000034
【図９】
2010511909.tif 000035
【図１０Ａ】
2010511909.tif 000036
【図１０Ｂ】
2010511909.tif 000037
【図１０Ｃ】
2010511909.tif 000038
【図１１】
2010511909.tif 000039
【図１２】
2010511909.tif 000040
【図１３】
2010511909.tif 000041
【図１４】
2010511909.tif 000042
【図１５】
2010511909.tif 000043
【図１６】
2010511909.tif 000044
【図１７】
2010511909.tif 000045
【図１８】
2010511909.tif 000046
【図１９】
2010511909.tif 000047
【国際調査報告】
2010511909.tif 000048
2010511909.tif 000049