(57)【特許請求の範囲】
【請求項１】
少なくとも１つのオブジェクト信号を有するダウンミックス信号、及び該少なくとも１つのオブジェクト信号が該ダウンミックス信号にダウンミックスされる時に生成される付加情報を抽出する段階と、
少なくとも１つのオブジェクト信号の位置又はレベルを制御するための制御情報を受信する段階と、
前記付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためのパラメータ情報を生成する段階と、
前記制御情報及び前記付加情報に基づいてチャネルベース付加情報を生成する段階と、
前記ダウンミックス信号に前記パラメータ情報を適用することにより、処理されたダウンミックス信号を生成する段階と、
前記処理されたダウンミックス信号にチャネルベース空間パラメータを適用することにより、マルチチャネル信号を生成する段階と、
を有し、
前記チャネルベース空間パラメータは、ＯＴＴ  ｂｏｘ又はＴＴＴ  ｂｏｘに対応するデータを有し、
前記付加情報は、オブジェクトレベル差情報及びオブジェクト間相互相関情報の少なくとも１つを有することを特徴とする、オーディオデコーディング方法。
【請求項２】
前記制御情報が、あらかじめ定められたオブジェクト信号を処理するための３次元（３Ｄ）情報、ミキシング情報及び調和情報のうち少なくとも一つを含むことを特徴とする、請求項１に記載のオーディオデコーディング方法。
【請求項３】
前記調和情報が、前記あらかじめ定められたオブジェクト信号のピッチ情報、基本周波数情報及びドミナント周波数情報のうち少なくとも一つを含むことを特徴とする、請求項２に記載のオーディオデコーディング方法。
【請求項４】
前記調和情報に基づいて前記あらかじめ定められたオブジェクト信号の利得を調節する段階をさらに含むことを特徴とする、請求項３に記載のオーディオデコーディング方法。
【請求項５】
前記調和情報に基づいてあらかじめ定められた周波数バンド内のオブジェクト信号を補償する段階をさらに含むことを特徴とする、請求項３に記載のオーディオデコーディング方法。
【請求項６】
空間情報と前記ダウンミックス信号間の遅延を補償する段階をさらに含むことを特徴とする、請求項１に記載のオーディオデコーディング方法。
【請求項７】
少なくとも１つのオブジェクト信号を有するダウンミックス信号、及び該少なくとも１つのオブジェクト信号が該ダウンミックス信号にダウンミックスされる時に生成される付加情報を抽出するデマルチプレクサと、
少なくとも１つのオブジェクト信号の位置又はレベルを制御するための制御情報を受信し、前記付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためのパラメータ情報を生成し、前記制御情報及び前記付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、
前記ダウンミックス信号に前記パラメータ情報を適用することにより、処理されたダウンミックス信号を生成するダウンミックスプロセッシング部と、
前記処理されたダウンミックス信号にチャネルベース空間パラメータを適用することにより、マルチチャネル信号を生成するマルチチャネルデコーディング部と、
を有し、
前記チャネルベース空間パラメータは、ＯＴＴ  ｂｏｘ又はＴＴＴ  ｂｏｘに対応するデータを有し、
前記付加情報は、オブジェクトレベル差情報及びオブジェクト間相互相関情報の少なくとも１つを有することを特徴とする、オーディオデコーディング装置。
【請求項８】
前記制御情報が、あらかじめ定められたオブジェクト信号を処理するための３Ｄ情報、ミキシング情報及び調和情報のうち少なくとも一つを含むことを特徴とする、請求項７に記載のオーディオデコーディング装置。
【請求項９】
前記調和情報が、前記あらかじめ定められたオブジェクト信号のピッチ情報、基本周波数情報及びドミナント周波数情報のうち少なくとも一つを含むことを特徴とする、請求項８に記載のオーディオデコーディング装置。
【請求項１０】
前記パラメータコンバーティング部が、前記調和情報に基づいて前記あらかじめ定められたオブジェクト信号の利得を調節することを特徴とする、請求項９に記載のオーディオデコーディング装置。
【請求項１１】
前記パラメータコンバーティング部が、前記調和情報に基づいてあらかじめ定められた周波数バンド内のオブジェクト信号を補償することを特徴とする、請求項９に記載のオーディオデコーディング装置。
【請求項１２】
前記ダウンミックス信号と空間情報間の遅延を補償するバッファーをさらに含むことを特徴とする、請求項７に記載のオーディオデコーディング装置。
【請求項１３】
少なくとも１つのオブジェクト信号を有するダウンミックス信号、及び該少なくとも１つのオブジェクト信号が該ダウンミックス信号にダウンミックスされる時に生成される付加情報を抽出する段階と、
少なくとも１つのオブジェクト信号の位置又はレベルを制御するための制御情報を受信する段階と、
前記付加情報及び前記制御情報に基づいて、前記ダウンミックス信号を修正するためのパラメータ情報を生成する段階と、
前記制御情報及び前記付加情報に基づいてチャネルベース付加情報を生成する段階と、
前記ダウンミックス信号に前記パラメータ情報を適用することにより、処理されたダウンミックス信号を生成する段階と、
前記処理されたダウンミックス信号にチャネルベース空間パラメータを適用することにより、マルチチャネル信号を生成する段階と、
を有し、
前記チャネルベース空間パラメータは、ＯＴＴ  ｂｏｘ又はＴＴＴ  ｂｏｘに対応するデータを有し、
前記付加情報は、オブジェクトレベル差情報及びオブジェクト間相互相関情報の少なくとも１つを有するオーディオデコーディング方法を実行するためのコンピュータプログラムを記録した、コンピュータ読取り可能記録媒体。
【請求項１４】
前記制御情報が、あらかじめ定められたオブジェクト信号を処理するための３次元（３Ｄ）情報、ミキシング情報及び調和情報のうち少なくとも一つを含むことを特徴とする、請求項１３に記載のコンピュータ読取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
オーディオ信号デコーディング方法は、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出する段階と、前記オブジェクトベース付加情報から抽出された前記ダウンミックス信号及び抽出された情報に基づいて修正されたダウンミックス信号を生成する段階と、前記ダウンミックス信号をレンダリングするための制御データ及び前記オブジェクトベース付加情報に基づいてチャネルベース付加情報を生成する段階と、前記修正されたダウンミックス信号及び前記チャネルベース付加情報に基づいてマルチチャネルオーディオ信号を生成する段階と、を含む。
【背景技術】
【０００２】
一般に、マルチチャネルオーディオエンコーディング（ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｅｎｃｏｄｉｎｇ）及びデコーディング（ｄｅｃｏｄｉｎｇ）技術において、マルチチャネル信号の多チャネル信号は、より少ない数のチャネル信号にダウンミックス（ｄｏｗｎｍｉｘ）され、元のチャネル信号（ｏｒｉｇｉｎａｌ  ｃｈａｎｎｅｌ  ｓｉｇｎａｌ）に関する付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）が転送され、元のマルチチャネル信号と同じ程度の多チャネルを持つマルチチャネル信号に復元される。
【０００３】
オブジェクトベースオーディオエンコーディング及びデコーディング技術は、数個の音源（ｓｏｕｎｄ  ｓｏｕｒｃｅ）をより少ない数の音源信号にダウンミックスし、元の音源に関する付加情報を転送する点で、マルチチャネルオーディオエンコーディング及びデコーディング技術と基本的に同様である。しかし、オブジェクトベースオーディオエンコーディング及びデコーディング技術において、チャネル信号の基本的な成分（例えば、楽器または人の声）であるオブジェクト信号は、マルチチャネルオーディオエンコーディング及びデコーディング技術のチャネル信号と同一に取り扱われてコーディングされることができる。
【０００４】
すなわち、オブジェクトベースオーディオエンコーディング及びデコーディング技術では、各オブジェクト信号はコーディングされる個体と見なされる。これと関連して、マルチチャネルオーディオコーディング動作が、コーディングされるチャネル信号の成分の数によらずチャネル間情報（ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｉｎｆｏｒｍａｔｉｏｎ）に基づいて簡単に実行されるという点で、オブジェクトベースオーディオエンコーディング及びデコーディング技術はマルチチャネルオーディオエンコーディング及びデコーディング技術と異なる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、各オブジェクトオーディオ信号に対して所定の位置に音像が位置することができるようにオーディオ信号がエンコーディングされたりデコーディングされるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、入力オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出する段階と、入力制御データに基づいてレンダリング情報を生成する段階と、前記オブジェクトベース付加情報及び前記レンダリング情報に基づいて空間情報を生成する段階と、を含むオーディオデコーディング方法が提供される。
【０００７】
本発明の他の態様によれば、入力オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサ（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）と、入力制御データに基づいてレンダリング情報を生成するレンダリング部（ｒｅｎｄｅｒｅｒ）と、前記オブジェクトベース付加情報及び前記レンダリング情報に基づいて空間情報を生成するトランスコーディング部（ｔｒａｎｓｃｏｄｅｒ）と、を含むオーディオデコーディング装置が提供される。
【０００８】
本発明の一態様によれば、入力オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出する段階と、入力制御データに基づいてレンダリング情報を生成する段階と、前記オブジェクトベース付加情報及び前記レンダリング情報に基づいて空間情報を生成する段階と、を含むオーディオデコーディング方法を実行するためのコンピュータプログラムを記録した、コンピュータ読取り可能記録媒体が提供される。
【発明の効果】
【０００９】
各オブジェクトオーディオ信号に対して所定の位置に音像が位置できるようにオーディオ信号がエンコーディングされたりデコーディングされることができるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置を提供することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】一般的なオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。
【図２】本発明の第１実施例によるオーディオデコーディング装置を示すブロック図である。
【図３】本発明の第２実施例によるオーディオデコーディング装置を示すブロック図である。
【図４】互いに独立した振幅差及び時間差の音像の定位（ｌｏｃａｌｉｚａｔｉｏｎ）への影響を説明するための図である。
【図５】あらかじめ定められた位置に音像を位置させるのに要求される振幅差及び時間差間の対応（ｃｏｒｒｅｓｐｏｎｄａｎｃｅ）に関する関数を示す図である。
【図６】調和情報を含む制御情報のフォーマットを示す図である。
【図７】本発明の第３実施例によるオーディオデコーディング装置を示すブロック図である。
【図８】図７に示すオーディオデコーディング装置に用いられうるアーティスティックダウンミックスゲイン（ＡＤＧ：ａｒｔｉｓｔｉｃ  ｄｏｗｎｍｉｘ  ｇａｉｎ）を示すブロック図である。
【図９】本発明の第４実施例によるオーディオデコーディング装置を示すブロック図である。
【図１０】本発明の第５実施例によるオーディオデコーディング装置を示すブロック図である。
【図１１】本発明の第６実施例によるオーディオデコーディング装置を示すブロック図である。
【図１２】本発明の第７実施例によるオーディオデコーディング装置を示すブロック図である。
【図１３】本発明の第８実施例によるオーディオデコーディング装置を示すブロック図である。
【図１４】図１３に示すオーディオデコーディング装置によるフレームへの３次元（３Ｄ）情報の適用を説明するための図である。
【図１５】本発明の第９実施例によるオーディオデコーディング装置を示すブロック図である。
【図１６】本発明の第１０実施例によるオーディオデコーディング装置を示すブロック図である。
【図１７】本発明の一実施例によるオーディオデコーディング方法を説明する図である。
【図１８】本発明の一実施例によるオーディオデコーディング方法を説明する図である。
【図１９】本発明の一実施例によるオーディオデコーディング方法を説明する図である。
【図２０】本発明の一実施例によるオーディオエンコーディング装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照しつつ本発明の例示的な実施例を用いて本発明を詳細に開示する。
【００１２】
本発明によるオーディオエンコーディング方法及び装置並びにオーディオデコーディング方法及び装置は、オブジェクトベースオーディオ処理動作に適用することができるが、本発明がこれに限定されるわけではない。言い換えると、本発明によるオーディオエンコーディング方法及び装置及びオーディオデコーディング方法及び装置は、オブジェクトベースオーディオ処理動作の他、数多くの信号処理動作に適用することもできる。
【００１３】
図１は、一般のオブジェクトベースオーディオエンコーディング／デコーディングシステムを示すブロック図である。一般に、オブジェクトベースオーディオエンコーディング装置に入力されたオーディオ信号は、マルチチャネル信号のチャネルと一致しないが、独立したオブジェクト信号である。この点で、オブジェクトベースオーディオエンコーディング装置は、マルチチャネル信号のチャネル信号が入力されるマルチチャネルオーディオエンコーディング装置と区別される。
【００１４】
例えば、５．１チャネル信号のフロントレフト（ｆｒｏｎｔ  ｌｅｆｔ）チャネル信号及びフロントライト（ｆｒｏｎｔ  ｒｉｇｈｔ）チャネル信号のようなチャネル信号はマルチチャネルオーディオ信号に入力されることができるのに対し、チャネル信号よりも小さい個体（ｅｎｔｉｔｙ）である人の声または楽器の音（バイオリンまたはピアノの音）のようなオブジェクトオーディオ信号は、オブジェクトベースオーディオエンコーディング装置に入力されることができる。
【００１５】
図１を参照すると、オブジェクトベースオーディオエンコーディング／デコーディングシステムは、オブジェクトベースオーディオエンコーディング装置及びオブジェクトベースオーディオデコーディング装置を含む。オブジェクトベースオーディオエンコーディング装置は、オブジェクトエンコーディング部１００を含み、オブジェクトベースオーディオデコーディング装置は、オブジェクトデコーディング部１１１及びレンダリング部（ｒｅｎｄｅｒｅｒ）１１３を含む。
【００１６】
オブジェクトエンコーディング部１００は、Ｎ個のオブジェクトオーディオ信号を受信し、エネルギー差、位相差及び相関値（ｃｏｒｒｅｌａｔｉｏｎ  ｖａｌｕｅ）のようなＮ個のオブジェクトオーディオ信号から抽出された多数の情報を含む付加情報及び一つ以上のチャネルを持つオブジェクトベースダウンミックス信号を生成する。付加情報及びオブジェクトベースダウンミックス信号は一つのビットストリームに統合され、このビットストリームはオブジェクトベースデコーディング装置に転送される。
【００１７】
付加情報は、チャネルベースオーディオコーディングを実行するか或いはオブジェクトベースオーディオコーディングを実行するかを表すフラッグを含むことができ、この付加情報のフラッグに基づいてオブジェクトベースオーディオコーディングを実行するかチャネルベースオーディオコーディングを実行するかが決定されることができる。この付加情報は、オブジェクト信号に関するエンベロープ情報（ｅｎｖｅｌｏｐｅ  ｉｎｆｏｒｍａｔｉｏｎ）、グルーピング情報（ｇｒｏｕｐｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ）、無音期間情報（ｓｉｌｅｎｔ  ｐｅｒｉｏｄ  ｉｎｆｏｒｍａｔｉｏｎ）及び遅延情報（ｄｅｌａｙ  ｉｎｆｏｒｍａｔｉｏｎ）も含むことができる。付加情報は、オブジェクトレベル差情報（ｏｂｊｅｃｔ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅｓ  ｉｎｆｏｒｍａｔｉｏｎ）、オブジェクト間相互相関情報（ｉｎｔｅｒ−ｏｂｊｅｃｔ  ｃｒｏｓｓ  ｃｏｒｒｅｌａｔｉｏｎ  ｉｎｆｏｒｍａｔｉｏｎ）、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギー情報を含むことができる。
【００１８】
オブジェクトデコーディング部１１１は、オブジェクトベースオーディオエンコーディング装置から付加情報及びオブジェクトベースダウンミックス信号を受信し、オブジェクトベースダウンミックス信号及び付加情報に基づいてＮ個のオブジェクトオーディオ信号の特性と同一の特性を持つオブジェクト信号を復元する。オブジェクトデコーディング部１１１により生成されたオブジェクト信号は、マルチチャネル空間内の所定の位置にまだ割り当てられていない。したがって、レンダリング部１１３は、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれを、マルチチャネル空間内のあらかじめ定められた位置に割り当て、オブジェクト信号のレベルを決定し、これにより、レンダリング部１１３により指定されたそれぞれの対応する位置からオブジェクト信号がレンダリング部１１３により決定されたそれぞれの対応するレベルで再生されるようにする。オブジェクトデコーディング部１１１により生成されたオブジェクト信号のそれぞれに関する制御情報は、オーバータイム（ｏｖｅｒ  ｔｉｍｅ）を変えることができるので、オブジェクトデコーディング部１１１により生成されたオブジェクト信号のレベル及び空間位置は制御情報によって変わることができる。
【００１９】
図２は、本発明の第１実施例によるオーディオデコーディング装置１２０を示すブロック図である。図２を参照すると、オーディオデコーディング装置１２０は、オブジェクトデコーディング部１２１、レンダリング部１２３及びパラメータコンバーティング部１２５を含む。オーディオデコーディング装置１２０は、入力されたビットストリームからの付加情報及びダウンミックス信号を抽出するデマルチプレクサ（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）（図示せず）を含んでも良く、これは、本発明の他の実施例によるオーディオデコーディング装置のいずれにも適用されることができる。
【００２０】
オブジェクトデコーディング部１２１は、パラメータコンバーティング部１２５により提供された修正された（ｍｏｄｉｆｉｅｄ）付加情報及びダウンミックス信号に基づいて多くのオブジェクト信号を生成する。レンダリング部１２３は、マルチチャネル空間内のあらかじめ定められた位置に、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のそれぞれを割り当て、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを決定する。パラメータコンバーティング部１２５は、付加情報と制御情報とを結合させることによって修正された付加情報を生成する。続いて、パラメータコンバーティング部１２５は、修正された付加情報をオブジェクトデコーディング部１２１に転送する。
【００２１】
オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報を分析することによって適切なデコーディングを実行することができる。
【００２２】
例えば、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ且つ同一レベルを持つということを制御情報が示すと、一般のオーディオデコーディング装置は、第１及び第２オブジェクト信号を個別にデコーディングでき、続いてミキシング／レンダリング動作を通じてマルチチャネル空間内にそれらを配置することができる。
【００２３】
これに対し、オーディオデコーディング装置１２０のオブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から、第１及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ、これらが一つの音源のように同一レベルを持つということがわかる。したがって、オブジェクトデコーディング部１２１は、第１及び第２オブジェクト信号を個別にデコーディングせずに、一つの音源として取扱ってデコーディングする。その結果、デコーディングの複雑度は減少する。しかも、処理されるべき音源数の減少によって、ミキシング／レンダリングの複雑度も減少する。
【００２４】
複数のオブジェクト信号が同一空間位置に割り当てられることは殆どないので、オーディオデコーディング装置１２０は、オブジェクト信号の数が出力チャネルの数よりも多い状況で有効に用いられることができる。
【００２５】
また、オーディオデコーディング装置１２０は、第１オブジェクト信号及び第２オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられるが、異なるレベルを持つ状況で用いられることができる。この場合、オーディオデコーディング装置１２０は、第１及び第２オブジェクト信号を個別にデコーディングし、デコーディングされた第１及び第２オブジェクト信号をレンダリング部１２３に転送する代わりに、第１及び第２オブジェクト信号を一つとして取扱って第１及び第２オブジェクト信号をデコーディングする。より詳細には、オブジェクトデコーディング部１２１は、修正された付加情報中の制御情報から第１及び第２オブジェクト信号のレベル間の差に関する情報を獲得でき、獲得された情報に基づいて第１及び第２オブジェクト信号をデコーディングすることができる。その結果、第１及び第２オブジェクト信号が異なるレベルを持つ場合であっても、第１及び第２オブジェクト信号は一つの音源のようにデコーディングされることができる。
【００２６】
また、オブジェクトデコーディング部１２１は、制御情報によってオブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルを調節できる。続いて、オブジェクトデコーディング部１２１は、レベルの調節されたオブジェクト信号をデコーディングすることができる。したがって、レンダリング部１２３は、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号のレベルを調節する必要はなく、単に、オブジェクトデコーディング部１２１から供給されたデコーディングされたオブジェクト信号をマルチチャネル空間内に配置する。要するに、オブジェクトデコーディング部１２１が制御情報によってオブジェクトデコーディング部１２１で生成されたオブジェクト信号のレベルを調節するので、オブジェクトデコーディング部１２１により生成されたオブジェクト信号のレベルをさらに調節する必要無しに、レンダリング部１２３は、オブジェクトデコーディング部１２１により生成されたオブジェクト信号をマルチチャネル空間内に容易に配置することができる。したがって、ミキシング／レンダリングの複雑度を減少させることが可能になる。
【００２７】
図２の実施例によれば、オーディオデコーディング装置１２０のオブジェクトデコーディング部は、制御情報の分析を通じてデコーディング動作を適切に実行することによって、デコーディングの複雑度及びミキシング／レンダリングの複雑度を減少させることができる。オーディオデコーディング装置１２０により実行された上記の方法の組合せが用いられることができる。
【００２８】
図３は、本発明の第２実施例によるオーディオデコーディング装置１３０を示すブロック図である。図３を参照すると、オーディオデコーディング装置１３０は、オブジェクトデコーディング部１３１及びレンダリング部１３３を含む。オーディオデコーディング装置１３０は、付加情報をオブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給するという特徴を有する。
【００２９】
オーディオデコーディング装置１３０は、無音期間に相応するオブジェクト信号がある場合にもデコーディング動作を效果的に実行することができる。例えば、第２から第４オブジェクト信号は、楽器が演奏される間の音楽演奏期間に対応することができ、第１オブジェクト信号は伴奏が演奏される間の無音期間に対応することができる。この場合、複数のオブジェクト信号のいずれかが無音期間に対応するかを表す情報が付加情報に含まれることができ、この付加情報は、オブジェクトデコーディング部１３１だけでなくレンダリング部１３３にも供給されることができる。
【００３０】
オブジェクトデコーディング部１３１は、無音期間に対応するオブジェクト信号をデコーディングしないことによってデコーディングの複雑度を最小化することができる。オブジェクトデコーディング部１３１は、０値に対応するオブジェクト信号を設定し、このオブジェクト信号のレベルをレンダリング部１３３に転送する。通常、０値を持つオブジェクト信号は０でない値を持つオブジェクト信号と同一に取り扱われてミキシング／レンダリング動作が行なわれることがある。
【００３１】
これに対し、オーディオデコーディング装置１３０は、複数のオブジェクト信号のいずれかが無音期間に相応するかを表す情報を含む付加情報をレンダリング部１３３に転送するから、無音期間に対応するオブジェクト信号がレンダリング部１３３でミキシング／レンダリングされるのを防ぐことができる。したがって、オーディオデコーディング装置１３０は、ミキシング／レンダリングの余分な複雑度の増加を防止することができる。
【００３２】
レンダリング部１３３は、ステレオ場面（ｓｔｅｒｅｏ  ｓｃｅｎｅ）に各オブジェクト信号の音像を位置させる目的で、制御情報中に含まれたミキシングパラメータ情報を用いることができる。ミキシングパラメータ情報は、振幅情報のみを含んだり、振幅情報と時間情報を両方とも含むことができる。ミキシングパラメータ情報は、ステレオ音像の定位の他に、利用者による空間音質の心理音響認知にも影響を及ぼすことができる。
【００３３】
例えば、時間パンニング方法（ｔｉｍｅ  ｐａｎｎｉｎｇ  ｍｅｔｈｏｄ）及び振幅パンニング方法（ａｍｐｌｉｔｕｄｅ  ｐａｎｎｉｎｇ  ｍｅｔｈｏｄ）のそれぞれを用いて生成され、２−チャネルステレオスピーカーを用いて同一位置に再生された二つの音像を比較すると、振幅パンニング方法が音像の正確な定位に寄与し、時間パンニング方法が空間の深い感じを持つ自然的な音を提供することが見分けられる。したがって、マルチチャネル空間にオブジェクト信号を配置する上でレンダリング部１３３が振幅パンニング方法のみを利用するとすれば、レンダリング部１３３は、各音像を正確に配置することはできるが、時間パンニング方法を利用する場合のように音の奥深い感じを提供することはできない。利用者は、音源の種類によって音像の正確な定位よりも音の奥深い感じを好む場合もあり、その反対の場合もある。
【００３４】
図４（ａ）及び図４（ｂ）では、２−チャネルステレオスピーカーで信号の再生を実行する際に、音像の定位上の時間差及び強度（振幅差）の影響を説明する。図４（ａ）及び図４（ｂ）を参照すると、音像は互いに独立した振幅差及び時間差によってあらかじめ定められた角度に位置することができる。例えば、約８ｄＢの振幅差、または約８ｄＢの振幅差と等価である約０.５ｍｓの時間差は、２０゜の角度に音像を位置させるために用いられることができる。したがって、振幅差のみがミキシングパラメータ情報として提供される場合であっても、音像の定位の間に、振幅差を該振幅差と等価である時間差に変換することによって、異なる特性を持つ様々な音を得ることが可能である。
【００３５】
図５は、１０゜、２０゜及び３０゜の角度に音像を位置させるのに必要な振幅差と時間差間の対応に関する関数を示す。図５に示す関数は、図４（ａ）及び図４（ｂ）に基づいて得られることができる。図５を参照すると、様々な振幅差−時間差の組合せが、あらかじめ定められた位置に音像を位置させるために提供されることができる。例えば、２０゜の角度に音像を位置させるために８ｄＢの振幅差がミキシングパラメータ情報として提供されると仮定する。図５に示す関数によって、また３ｄＢの振幅差と０．３ｍｓの時間差の組合せを用いて音像は２０゜の角度に位置することができる。この場合、振幅差情報だけでなく時間差情報がミキシングパラメータ情報として提供されることができ、これによって空間の感じ（ｆｅｅｌｉｎｇ  ｏｆ  ｓｐａｃｅ）を向上させることができる。
【００３６】
したがって、ミキシング／レンダリング動作の間に利用者の所望する特性を持つ音を生成すべく、ミキシングパラメータ情報は、振幅パンニングと時間パンニングのうち、利用者に適しているいずれかが実行されうるように適切に変換されることができる。すなわち、ミキシングパラメータ情報が振幅差情報のみを含み、利用者が空間の奥深い感じを持つ音を希望する場合では、振幅差情報は心理音響的データを参照して振幅差情報と等価である時間差情報に変換されることができる。また、利用者が空間の奥深い感じを持つ音及び音像の正確な定位を希望する場合では、振幅差情報を、元来の振幅情報と等価である時間差情報と振幅差情報の組合せに変換することができる。
【００３７】
また、ミキシングパラメータ情報が時間差情報のみを含み、利用者が音像の正確な定位を好む場合では、時間差情報を、時間差情報と等価である振幅差情報に変換したり、音像定位の正確性及び空間の感じを両方とも向上させることによって利用者の好みを満足させることのできる振幅差情報と時間差情報との組合せに変換することができる。
【００３８】
また、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が音像の正確な定位を好む場合では、振幅差情報と時間差情報との組合せを、元来の振幅差情報と時間差情報との組合せと等価である振幅差情報に変換することができる。一方、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が空間感の向上を好む場合では、振幅差情報と時間差情報との組合せを、振幅差情報と元来の時間差情報との組合せと等価である時間差情報に変換することができる。
【００３９】
図６において、制御情報は、一つ以上のオブジェクト信号に関する調和情報及びミキシング／レンダリング情報を含むことができる。調和情報は、ピッチ（ｐｉｔｃｈ）情報、基本周波数情報、一つ以上のオブジェクト信号に関するドミナント周波数情報、及びオブジェクト信号のそれぞれの各サブバンドのエネルギー及びスペクトラムの説明のうち少なくとも一つを含むことができる。
【００４０】
サブバンド部でのレンダリング動作を実行するレンダリング部の解像度が充分でないから、調和情報をレンダリング動作中にオブジェクト信号を処理するのに用いることができる。
【００４１】
調和情報が一つ以上のオブジェクト信号に関するピッチ情報を含む場合では、オブジェクト信号のそれぞれの利得は、コムフィルター（ｃｏｍｂ  ｆｉｌｔｅｒ）または逆コムフィルター（ｉｎｖｅｒｓｅ  ｃｏｍｂ  ｆｉｌｔｅｒ）を用いてあらかじめ定められた周波数ドメインを弱化させたり強化させたりすることによって調節されることができる。例えば、複数のオブジェクト信号の一つが音声信号（ｖｏｃａｌ  ｓｉｇｎａｌ）であれば、オブジェクト信号を、音声信号のみを弱化させることによってカラオケとして用いられることができる。また、調和情報が一つ以上のオブジェクト信号に関するドミナント周波数ドメイン情報を含む場合では、ドミナント周波数ドメインを弱化させたり強化させる処理を実行することができる。また、調和情報が一つ以上のオブジェクト信号に関するスペクトラム情報を含む場合では、オブジェクト信号のそれぞれの利得をサブバンド境界によって制限されずに弱化または強化を実行することによって制御することができる。
【００４２】
図７は、本発明の第３実施例によるオーディオデコーディング装置１４０を示すブロック図である。図７を参照すると、オーディオデコーディング装置１４０は、オブジェクトデコーディング部及びレンダリング部の代わりに、マルチチャネルデコーディング部１４１を採用し、オブジェクト信号がマルチチャネル空間内に適当に配置された後に複数のオブジェクト信号をデコーディングする。
【００４３】
より詳細には、オーディオデコーディング装置１４０は、マルチチャネルデコーディング部１４１及びパラメータコンバーティング部１４５を含む。マルチチャネルデコーディング部１４１は、パラメータコンバーティング部１４５より提供されたチャネルベース付加情報である空間パラメータ情報及びダウンミックス信号に基づいて、マルチチャネル空間内にそのオブジェクト信号が既に配置されたマルチチャネル信号を生成する。パラメータコンバーティング部１４５は、オーディオエンコーディング装置（図示せず）より転送された制御情報及び付加情報を分析し、分析結果に基づく空間パラメータ情報を生成する。より詳細には、パラメータコンバーティング部１４５は、プレイバック構成情報（ｐｌａｙｂａｃｋ  ｓｅｔｕｐ  ｉｎｆｏｒｍａｔｉｏｎ）及びミキシング情報を含む制御情報と付加情報とを結合させることによって空間パラメータ情報を生成する。すなわち、パラメータコンバーティング部１４５は、付加情報と制御情報との組合せをＯＴＴ（Ｏｎｅ−Ｔｏ−Ｔｗｏ  ｂｏｘ）またはＴＴＴ（Ｔｗｏ−Ｔｏ−Ｔｈｒｅｅ  ｂｏｘ）に対応する空間データへの変換を実行する。
【００４４】
オーディオデコーディング装置１４０は、オブジェクトベースデコーディング動作及びミキシング／レンダリング動作が統合されるようにマルチチャネルデコーディングを実行でき、各オブジェクト信号のデコーディングをスキップ（ｓｋｉｐ）することができる。したがって、デコーディング及び／またはミキシング／レンダリングの複雑度を減少させることが可能になる。
【００４５】
例えば、１０個のオブジェクト信号が存在し、１０個のオブジェクト信号に基づいて獲得されたマルチチャネル信号が５．１チャネルスピーカー再生システムにより再生される場合、一般のオブジェクトベースオーディオデコーディング装置は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応してデコーディングされた信号を個別に生成し、続いて、それらオブジェクト信号が５．１チャネルスピーカー環境に適合するようにマルチチャネル空間内に１０個のオブジェクト信号を適切に配置することによって５．１チャネル信号を生成する。しかし、５．１チャネル信号の生成の際に１０個のオブジェクト信号を生成するということは非効率的であり、この問題は、生成されたマルチチャネル信号のチャネル数とオブジェクト信号数との差が増加するほどより深刻化する。
【００４６】
これに対し、図７の実施例によれば、オーディオデコーディング装置１４０は、付加情報及び制御情報に基づいて５．１チャネル信号に適合した空間パラメータ情報を生成し、空間パラメータ情報及びダウンミックス信号をマルチチャネルデコーディング部１４１に供給する。続いて、マルチチャネルデコーディング部１４１は、空間パラメータ情報及びダウンミックス信号に基づいて５．１チャネル信号を生成する。言い換えると、出力されるチャネルの数が５．１チャネルである場合、オーディオデコーディング装置１４０は、１０個のオブジェクト信号を生成せずに、ダウンミックス信号に基づいて５．１チャネル信号を迅速に生成でき、よって、複雑度において一般のオーディオデコーディング装置に比べてより効果的となる。
【００４７】
オーディオエンコーディング装置より転送された制御情報及び付加情報の分析を通じて、ＯＴＴ ｂｏｘ及びＴＴＴ ｂｏｘそれぞれに対応する空間パラメータ情報を計算するのに必要な計算量が、各オブジェクト信号のデコーディング後にミキシング／レンダリング動作を実行するのに必要な計算量よりも少ない場合に、オーディオデコーディング装置１４０は効率的なものと見なされる。
【００４８】
オーディオデコーディング装置１４０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を生成するためのモジュールを、一般のマルチチャネルオーディオデコーディング装置に加えることによって簡単に得られることができ、したがって、一般のマルチチャネルオーディオデコーディング装置と互換性を維持することができる。また、エンベロープシェイパ（ｅｎｖｅｌｏｐｅ  ｓｈａｐｅｒ）、サブバンド時間処理（ＳＴＰ；ｓｕｂ−ｂａｎｄ  ｔｅｍｐｏｒａｌ  ｐｒｏｃｅｓｓｉｎｇ）ツール及びデコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）のような一般のマルチチャネルオーディオデコーディング装置の現存するツールを用いて、オーディオデコーディング装置１４０は音質を向上させることができる。与えられたこれら全てから、一般のマルチチャネルオーディオデコーディング方法の全て利点は、オブジェクトオーディオデコーディング方法に容易に適用されることができるという結論に導かれる。
【００４９】
パラメータコンバーティング部１４５よりマルチチャネルデコーディング部１４１に転送された空間パラメータ情報は、転送されるのに適合するように圧縮されることができる。また、空間パラメータ情報は、一般のマルチチャネルエンコーディング装置より転送されたデータのフォーマットと同一のフォーマットを持つことができる。すなわち、空間パラメータ情報は、ハフマンデコーディング動作（Ｈｕｆｆｍａｎ  ｄｅｃｏｄｉｎｇ  ｏｐｅｒａｔｉｏｎ）またはパイロットデコーディング動作（ｐｉｌｏｔ  ｄｅｃｏｄｉｎｇ  ｏｐｅｒａｔｉｏｎ）が行なわれることができ、よって、圧縮されていない空間キューデータ（ｃｕｅ  ｄａｔａ）として各モジュールに転送されることができる。ハフマンデコーディング動作は、空間パラメータ情報を遠隔位置のマルチチャネルオーディオデコーディング装置に転送するのに適合し、パイロットデコーディング動作は、マルチチャネルオーディオデコーディング装置が、圧縮された空間キューデータを、デコーディング動作に容易に用いられうる圧縮されていない空間キューデータに変換する必要がないという点で便利である。
【００５０】
付加情報及び制御情報の分析に基づく空間パラメータ情報の構成は、ダウンミックス信号と空間パラメータ情報間の遅延を引き起こすことができる。これをアドレスするために、ダウンミックス信号及び空間パラメータ情報が互いに同期化するように追加的なバッファーがダウンミックス信号または空間パラメータ情報のために提供されることができる。しかし、これらの方法は、追加的なバッファーの提供が要求されるという点で不便である。また、付加情報は、ダウンミックス信号と空間パラメータ情報間の遅延発生の可能性を考慮し、ダウンミックス信号に先立って転送されることができる。この場合に、付加情報と制御情報を結合することによって得られた空間パラメータ情報は調節されることなく容易に用いられることができる。
【００５１】
ダウンミックス信号の複数のオブジェクト信号が、異なるレベルを持つ場合、ダウンミックス信号を直接補償できるＡＤＧモジュールが、オブジェクト信号の相対的なレベルを決定することができ、よって、オブジェクト信号のそれぞれは、チャネルレベル差情報、チャネル間相関（ＩＣＣ；ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｃｏｒｒｅｌａｔｉｏｎ）情報及びチャネル予測係数（ＣＰＣ；ｃｈａｎｎｅｌ  ｐｒｅｄｉｃｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）のような空間キューデータを用いてマルチチャネル空間内のあらかじめ定められた位置に割り当てられることができる。
【００５２】
例えば、あらかじめ定められたオブジェクト信号がマルチチャネル空間内のあらかじめ定められた位置に割り当てられ、他のオブジェクト信号よりも高いレベルを持つということを制御情報が示す場合では、一般のマルチチャネルデコーディング部はダウンミックス信号のチャネルエネルギー間の差を計算し、このダウンミックス信号を計算の結果に基づいて多くの出力チャネルに分割することができる。しかし、一般のマルチチャネルデコーディング部は、ダウンミックス信号中の特定の音のボリュームを上げたり下げたりすることはできない。言い換えると、一般のマルチチャネルデコーディング部は、ダウンミックス信号を多くの出力チャネルに簡単に分配し、よって、ダウンミックス信号中の音のボリュームを上げたり下げたりすることができない。
【００５３】
オブジェクトエンコーディング部により生成されたダウンミックス信号の複数のオブジェクト信号のそれぞれを制御情報によってマルチチャネル空間内のあらかじめ定められた位置に割り当てることは比較的易しい。しかし、あらかじめ定められたオブジェクト信号の振幅を増やしたり減らしたりするには特別な技術が要求される。言い換えると、オブジェクトエンコーディング部により生成されたダウンミックス信号をそのまま利用するとしたらダウンミックス信号のそれぞれのオブジェクト信号の振幅は減らし難い。
【００５４】
したがって、本発明の実施例によって、オブジェクト信号の相対的な振幅が、図８に示すＡＤＧモジュールを用いて制御情報によって変わることができる。より詳細には、オブジェクトエンコーディング部より転送されたダウンミックス信号の複数のオブジェクト信号のいずれか一つの振幅を、ＡＤＧモジュール１４７によって増加させたり減少させたりすることができる。ＡＤＧモジュール１４７により実行された補償によって得られたダウンミックス信号はマルチチャネルデコーディングされることができる。
【００５５】
ダウンミックス信号のオブジェクト信号の相対的な振幅が、ＡＤＧモジュール１４７を用いて適切に調節される場合では、一般のマルチチャネルデコーディング部を用いてオブジェクトデコーディングを実行することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号がモノまたはステレオ信号または３以上のチャネルを持つマルチチャネル信号であると、ダウンミックス信号は、ＡＤＧモジュール１４７により処理されることができる。オブジェクトエンコーディング部により生成されたダウンミックス信号が２以上のチャネルを有し、ＡＤＧモジュール１４７により調節されるべきあらかじめ定められたオブジェクト信号がダウンミックス信号の一つのチャネルでのみ存在する場合では、ＡＤＧモジュール１４７は、ダウンミックス信号の全てのチャネルに適用される代わりに、あらかじめ定められたオブジェクト信号を含むチャネルにのみ適用されることができる。上記の方法でＡＤＧモジュール１４７により処理されたダウンミックス信号を、マルチチャネルデコーディング部の構造を修正することなく一般のマルチチャネルデコーディング部を用いて容易に処理することができる。
【００５６】
最終出力信号が、マルチチャネルスピーカーにより再生されうるマルチチャネル信号ではなくバイノーラル（ｂｉｎａｕｒａｌ）信号である場合でっても、ＡＤＧモジュール１４７は、最終出力信号のオブジェクト信号の相対的な振幅を調節するのに用いられることができる。
【００５７】
ＡＤＧモジュール１４７を用いる代わりに、複数のオブジェクト信号の生成の間に各オブジェクト信号に適用される利得値を特定する利得情報が制御情報中に含まれることができる。このため、一般のマルチチャネルデコーディング部の構造は修正されることができる。存在するマルチチャネルデコーディング部の構造の修正を必要とするとはいえ、この方法は、ＡＤＧを計算して各オブジェクト信号を補償することなく、デコーディング動作の間に各オブジェクト信号に利得値を適用するから、デコーディングの複雑度を低減する上で便利である。
【００５８】
図９は、本発明の第４実施例によるオーディオデコーディング装置１５０を示すブロック図である。図９を参照すると、オーディオデコーディング装置１５０は、バイノーラル信号を生成することに特徴がある。
【００５９】
より詳細には、オーディオデコーディング装置１５０は、マルチチャネルバイノーラルデコーディング部１５１、第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９を含む。
【００６０】
第２パラメータコンバーティング部１５９は、オーディオエンコーディング装置より供給された制御情報及び付加情報を分析し、分析の結果に基づいて空間パラメータ情報を構成する。第１パラメータコンバーティング部１５７は、頭部伝達関数（ＨＲＴＦ；ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）パラメータのような３次元（３Ｄ）情報を空間パラメータ情報に追加することによって、マルチチャネルバイノーラルデコーディング部１５１で使用できるようなバイノーラルパラメータ情報を構成する。マルチチャネルバイノーラルデコーディング部１５１は、仮想３Ｄパラメータ情報をダウンミックス信号に適用することによって仮想３Ｄ信号を生成する。
【００６１】
第１パラメータコンバーティング部１５７及び第２パラメータコンバーティング部１５９は、付加情報、制御情報及びＨＲＴＦパラメータを受信し、これら付加情報、制御情報及びＨＲＴＦパラメータに基づいてバイノーラルパラメータ情報を構成する単一モジュール、すなわち、パラメータ変換モジュール１５５に取って代わっても良い。
【００６２】
一般に、ヘッドホンで１０個のオブジェクト信号を含むダウンミックス信号の再生のためのバイノーラル信号を生成するために、オブジェクト信号は、ダウンミックス信号及び付加情報に基づく１０個のオブジェクト信号に対応するそれぞれの１０個のデコーディングされた信号を生成しなければならない。その後、レンダリング部は、５−チャネルスピーカー環境に適合するように制御情報を参照してマルチチャネル空間内のあらかじめ定められた位置に１０個のオブジェクト信号のそれぞれを割り当てる。その後に、レンダリング部は、５−チャネルスピーカを用いて再生できる５−チャネル信号を生成する。その後、レンダリング部は、ＨＲＴＦパラメータを５−チャネル信号に適用して２−チャネル信号を生成する。要するに、上記の一般的なオーディオデコーディング方法は、１０個のオブジェクト信号を再生する段階、１０個のオブジェクト信号を５−チャネル信号に変換する段階、及び５−チャネル信号に基づく２−チャネル信号を生成する段階を含み、効果的でない。
【００６３】
これに対し、オーディオデコーディング装置１５０は、オブジェクトオーディオ信号に基づいてヘッドホンを用いて再生できるバイノーラル信号を容易に生成できる。しかも、オーディオデコーディング装置１５０は、付加情報及び制御情報の分析を通じて空間パラメータ情報を構成し、よって、一般的なマルチチャネルバイノーラルデコーディング部を用いてバイノーラル信号を生成できる。さらに、付加情報、制御情報及びＨＲＴＦパラメータを受信する統合されたパラメータコンバーティング部が組み込まれる場合においても、オーディオデコーディング装置１５０は一般的なマルチチャネルバイノーラルデコーディング部を依然として利用でき、付加情報、制御情報及びＨＲＴＦパラメータに基づくバイノーラルパラメータ情報を構成できる。
【００６４】
図１０は、本発明の第５実施例によるオーディオデコーディング装置１６０を示すブロック図である。図１０を参照すると、オーディオデコーディング装置１６０は、ダウンミックスプロセシング部１６１、マルチチャネルデコーディング部１６３及びパラメータコンバーティング部１６５を含む。ダウンミックスプロセシング部１６１及びパラメータコンバーティング部１６３は、単一モジュール１６７としても良い。
【００６５】
パラメータコンバーティング部１６５は、マルチチャネルデコーディング部１６３で用いられうるような空間パラメータ情報及びダウンミックスプロセシング部１６１で用いられうるようなパラメータ情報を生成する。ダウンミックスプロセシング部１６１は、ダウンミックス信号に前処理動作を実行し、前処理動作により生成されたダウンミックス信号をマルチチャネルデコーディング部１６３に転送する。マルチチャネルデコーディング部１６３は、ダウンミックスプロセシング部１６１より転送されたダウンミックス信号にデコーディング動作を実行し、ステレオ信号、バイノーラルステレオ信号またはマルチチャネル信号を出力する。ダウンミックスプロセシング部１６１により実行された前処理動作の例には、フィルタリングを用いた時間ドメインまたは周波数ドメインへのダウンミックス信号の変換または修正が含まれる。
【００６６】
オーディオデコーディング装置１６０に入力されたダウンミックス信号がステレオ信号であれば、マルチチャネルデコーディング部１６３は、複数のチャネルの一つであるレフトチャネルに対応するダウンミックス信号の成分を複数のチャネルの他の一つであるライトチャネルにマッピングできないから、ダウンミックス信号は、マルチチャネルデコーディング部１６３に入力される前にダウンミックスプロセシング部１６１で実行されたダウンミックス前処理されることができる。したがって、レフトチャネルに分類されたオブジェクト信号の位置をライトチャネルの方向に移動させるために、オーディオデコーディング装置１６０に入力されたダウンミックス信号は、ダウンミックスプロセシング部１６１により前処理されることができ、前処理されたダウンミックス信号は、マルチチャネルデコーディング部１６３に入力されることができる。
【００６７】
ステレオダウンミックス信号の前処理は、付加情報から及び制御情報から獲得された前処理した情報に基づいて実行されることができる。
【００６８】
図１１は、本発明の第６実施例によるオーディオデコーディング装置１７０のブロック図である。図１１を参照すると、オーディオデコーディング装置１７０は、マルチチャネルデコーディング部１７１、チャネルプロセシング部１７３及びパラメータコンバーティング部１７５を含む。
【００６９】
パラメータコンバーティング部１７５は、マルチチャネルデコーディング部１７３で用いられうるような空間パラメータ情報及びチャネルプロセシング部１７３で用いられうるようなパラメータ情報を生成する。チャネルプロセシング部１７３は、マルチチャネルデコーディング部１７３より出力された信号に後処理動作を実行する。マルチチャネルデコーディング部１７３より出力された信号の例には、ステレオ信号、バイノーラルステレオ信号及びマルチチャネル信号を含む。
【００７０】
ポストプロセシング部１７３により実行された後処理（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）動作には、出力信号の各チャネルまたは全てのチャネルの修正及び変換が含まれる。例えば、付加情報があらかじめ定められたオブジェクト信号に関する基本周波数情報を含む場合では、チャネルプロセシング部１７３は、基本周波数情報を参照してあらかじめ定められたオブジェクト信号から調和成分を除去することができる。マルチチャネルオーディオデコーディング方法は、カラオケシステムに用いられるには充分に効果的でない場合もあり得る。しかし、音声オブジェクト信号に関する基本周波数情報が付加情報内に含まれ、音声オブジェクト信号の調和成分が後処理動作中に除去される場合では、図１１の実施例を用いる高性能カラオケシステムを実現することができる。図１１の実施例は、音声オブジェクト信号を除くオブジェクト信号に適用されることができる。例えば、図１１の実施例を用いてあらかじめ定められた楽器の音を除去することが可能である。また、図１１の実施例を用いてオブジェクト信号に関する基本周波数情報によってあらかじめ定められた調和成分を増幅することができる。
【００７１】
チャネルプロセシング部１７３は、ダウンミックス信号に追加的な効果処理（ｅｆｆｅｃｔ  ｐｒｏｃｅｓｓｉｎｇ）を実行することができる。また、チャネルプロセシング部１７３は、追加的な効果処理によって得た信号を、マルチチャネルデコーディング部１７１より出力された信号に付加することができる。チャネルプロセシング部１７３は、必要時にオブジェクトのスペクトラムを変化させたりダウンミックス信号を修正したりすることができる。ダウンミックス信号への反射のような効果処理動作を直接実行し、エフェクト処理動作によって得られた信号をマルチチャネルデコーディング部１７１に転送することが適切でない場合では、ダウンミックスプロセシング部１７３は、ダウンミックス信号へのエフェクトプロセシングを実行する代わりに、エフェクトプロセシング動作によって得た信号をマルチチャネルデコーディング部１７１の出力に付加することができる。
【００７２】
オーディオデコーディング装置１７０は、チャネルプロセシング部１７３の他、ダウンミックスプロセシング部を含むように製作されることができる。この場合に、ダウンミックスプロセシング部は、マルチチャネルデコーディング部１７３の前に配置されることができ、チャネルプロセシング部１７３はマルチチャネルデコーディング部１７３の後に配置されることができる。
【００７３】
図１２は、本発明による第７実施例によるオーディオデコーディング装置２１０を示すブロック図である。図１２を参照すると、オーディオデコーディング装置２１０は、オブジェクトデコーディング部の代わりに、マルチチャネルデコーディング部２１３を用いる。
【００７４】
より詳細には、オーディオデコーディング装置２１０は、マルチチャネルデコーディング部２１３、トランスコーディング部２１５、レンダリング部２１７及び３Ｄ情報データベース２１９を含む。
【００７５】
レンダリング部２１７は、制御情報に含まれたインデックスデータに対応する３Ｄ情報に基づいて複数のオブジェクト信号の３Ｄ位置を決定する。トランスコーディング部２１５は、レンダリング部２１７により適用された３Ｄ情報に複数のオブジェクトオーディオ信号に関する位置情報を合成することによってチャネルベース付加情報を生成する。マルチチャネルデコーディング部２１３は、チャネルベース付加情報をダウンミックス信号に適用することによって３Ｄ信号を出力する。
【００７６】
ＨＲＴＦは３Ｄ情報として用いられることができる。ＨＲＴＦは、任意位置における音源と鼓膜との間の音波の転送を説明し、音源の高度及び方向によって変わる値を返す伝達関数である。方向性を持たない信号がＨＲＴＦを用いてフィルタリングされると、信号は、特定の方向から再生されるかのように聞こえることができる。
【００７７】
入力ビットストリームを受信する場合、オーディオデコーディング装置２１０は、デマルチプレクサ（図示せず）を用いて入力ビットストリームからオブジェクトベースパラメータ情報及びオブジェクトベースダウンミックス信号を抽出する。その後、レンダリング部２１７は、複数のオブジェクトオーディオ信号の位置を決定するのに用いられる制御情報からインデックスデータを抽出し、３Ｄ情報データベース２１９から抽出されたインデックスデータに対応する３Ｄ情報を回収する。
【００７８】
より詳細には、オーディオデコーディング装置２１０で用いられる制御情報に含まれたミキシングパラメータ情報は、３Ｄ情報を検索するのに必要なレベル情報だけでなく、インデックスデータも含むことができる。このミキシングパラメータ情報は、レベル情報及び時間情報を適切に結合することによって得られた一つ以上のパラメータ、位置情報及びチャネル間の時間差に関する時間情報を含むことができる。
【００７９】
オブジェクトオーディオ信号の位置は、デフォルト（ｄｅｆａｕｌｔ）ミキシングパラメータ情報によって初期に決定されることができ、利用者が希望する位置に対応する３Ｄ情報をオブジェクトオーディオ信号に適用することによって後ほど変更されることができる。また、利用者が３Ｄ効果をいくつかのオブジェクトオーディオ信号に適用することを希望する場合では、利用者が３Ｄ効果を適用することを希望しない他のオブジェクトオーディオ信号に関する時間情報及びレベル情報は、ミキシングパラメータ情報として用いられることができる。
【００８０】
レンダリング部２１７によってＨＲＴＦのような３Ｄ情報が適用される複数のオブジェクト信号の位置情報とオーディオエンコーディング装置より転送されたＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報とを合成することによって、トランスコーディング部２１５はＭ個のチャネルに関するチャネルベース付加情報を生成する。
【００８１】
マルチチャネルデコーディング部２１３は、トランスコーディング部２１５より供給されたチャネルベース付加情報及びダウンミックス信号に基づくオーディオ信号を生成し、チャネルベース付加情報に含まれた３Ｄ情報を用いて３Ｄレンダリング動作を実行することによって３Ｄマルチチャネル信号を生成する。
【００８２】
図１３は、本発明の第８実施例によるオーディオデコーディング装置２２０を示すブロック図である。図１３を参照すると、オーディオデコーディング装置２２０は、トランスコーディング部２２５がチャネルベース付加情報と３Ｄ情報を個別にマルチチャネルデコーディング部２２３に転送するという点で、図１２に示すオーディオデコーディング装置２１０と異なる。言い換えると、オーディオデコーディング装置２１０のトランスコーディング部２１５は、３Ｄ情報を含むチャネルベース付加情報をマルチチャネルデコーディング部２１３に転送する一方、オーディオデコーディング装置２２０のトランスコーディング部２２５はＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報からＭ個のチャネルに関するチャネルベース付加情報を得、Ｎ個のオブジェクト信号のそれぞれに適用された３Ｄ情報をマルチチャネルデコーディング部２２３に転送する。
【００８３】
図１４を参照すると、チャネルベース付加情報及び３Ｄ情報は、複数のフレームインデックスなどを含むことができる。したがって、マルチチャネルデコーディング部２２３は、３Ｄ情報及びチャネルベース付加情報のそれぞれのフレームインデックスを参照した３Ｄ情報及びチャネルベース付加情報を同期化することができ、よって、３Ｄ情報を、Ｄ情報に対応するビットストリームのフレームに適用することができる。例えば、インデックス２を持つ３Ｄ情報を、インデックス２を持つフレーム２の始部に適用することができる。
【００８４】
チャネルベース付加情報及び３Ｄ情報はいずれもフレームインデックスを含むので、３Ｄ情報が時間を超過して更新されても、３Ｄ情報の適用されるチャネルベース付加情報の時間的位置を效果的に決定することができる。言い換えると、トランスコーディング部２２５は、チャネルベース付加情報中に複数のフレームインデックス及び３Ｄ情報を含み、よって、マルチチャネルデコーディング部２２３はチャネルベース付加情報と３Ｄ情報を容易に同期化することができる。
【００８５】
ダウンミックスプロセシング部２３１、トランスコーディング部２３５、レンダリング部２３７及び３Ｄ情報データベースは、単一モジュール２３９にしても良い。
【００８６】
図１５は、本発明の第９実施例によるオーディオデコーディング装置２３０を示すブロック図である。図１５を参照すると、オーディオデコーディング装置２３０は、ダウンミックスプロセシング部２３１をさらに含むという点で、図１４に示すオーディオデコーディング装置２２０と区別される。
【００８７】
より詳細には、オーディオデコーディング装置２３０は、トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９、マルチチャネルデコーディング部２３３及びダウンミックスプロセシング部２３１を含む。トランスコーディング部２３５、レンダリング部２３７、３Ｄ情報データベース２３９及びマルチチャネルデコーディング部２３３は、図１４におけるそれらとそれぞれ同一である。ダウンミックスプロセシング部２３１は、位置調節のためにステレオダウンミックス信号に前処理動作を実行する。３Ｄ情報データベース２３９はレンダリング部２３７と統合されることができる。あらかじめ定められた効果をダウンミックス信号に適用するためのモジュールもこのオーディオデコーディング装置２３０内に組み込まれることができる。
【００８８】
図１６は、本発明の第１０実施例によるオーディオデコーディング装置２４０を示すブロック図である。図１６を参照すると、オーディオデコーディング装置２４０は、多点制御部コンバイナ２４１を含むという点で、図１５に示すオーディオデコーディング装置２３０と区別される。
【００８９】
すなわち、オーディオデコーディング装置２３０と同様に、オーディオデコーディング装置２４０は、ダウンミックスプロセシング部２４３、マルチチャネルデコーディング部２４４、トランスコーディング部２４５、レンダリング部２４７及び３Ｄ情報データベース２４９を含む。多点制御部コンバイナ２４１は、オブジェクトベースエンコーディングによって得た複数のビットストリームを結合して単一のビットストリームを得る。例えば、第１オーディオ信号のための第１ビットストリームと第２オーディオ信号のための第２ビットストリームが入力される場合、多点制御部コンバイナ２４１は、第１ビットストリームから第１ダウンミックス信号を抽出し、第２ビットストリームから第２ダウンミックス信号を抽出した後、第１及び第２ダウンミックス信号を結合させることによって第３ダウンミックス信号を生成する。なお、多点制御部コンバイナ２４１は、第１ビットストリームから第１オブジェクトベース付加情報を抽出し、第２ビットストリームから第２オブジェクトベース付加情報を抽出した後、第１オブジェクトベース付加情報と第２オブジェクトベース付加情報とを結合させることによって第３オブジェクトベース付加情報を生成する。その後、多点制御部コンバイナ２４１は、第３ダウンミックス信号と第３オブジェクトベース付加情報とを結合させることによってビットストリームを生成し、生成されたビットストリームを出力する。
【００９０】
したがって、各オブジェクト信号をエンコーディングまたはデコーディングする場合に比べて、本発明の第１０実施例によると、２以上の通信相手より転送された信号まで效果的に処理することが可能になる。
【００９１】
多点制御部コンバイナ２４１が、複数のビットストリームから個別に抽出され、他の圧縮コーデックで結合された複数のダウンミックス信号を単一のダウンミックス信号内に統合するようにするために、これらのダウンミックス信号は、ダウンミックス信号の圧縮コーデックの種類によってあらかじめ定められた周波数ドメインの信号またはパルスコード変調（ＰＣＭ；ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ）信号に変換される必要があり、この変換によって得た信号またはＰＣＭ信号は共に結合される必要があり、この結合によって得られた信号は、あらかじめ定められた圧縮コーデックを用いて変換される必要があり得る。この場合に、ダウンミックス信号があらかじめ定められた周波数ドメインの信号またはＰＣＭ信号に統合されるかによって遅延が発生することができる。しかし、遅延はデコーディング部によって正確に推定されることができない。したがって、遅延はビットストリームに含まれ、ビットストリームと共に転送される必要があり得る。遅延は、ＰＣＭ信号内の遅延サンプルの数またはあらかじめ定められた周波数ドメイン内の遅延サンプルの数を表すことができる。
【００９２】
一般的なマルチチャネルコーディング動作（例えば、５．１チャネルまたは７．１チャネルコーディング動作）中に一般的に処理された入力信号の数に比べてオブジェクトベースオーディオコーディング動作中に多くの入力信号が時々処理されるべき場合があり得る。したがって、オブジェクトベースオーディオコーディング方法は、一般的なチャネルベースマルチチャネルオーディオコーディング方法に比べてより高いビットレートを必要とする。しかし、オブジェクトベースオーディオコーディング方法は、チャネル信号よりも少ない数のオブジェクト信号の処理を含むから、オブジェクトベースオーディオコーディング方法を用いて動的な出力信号を生成することが可能である。
【００９３】
以下、本発明の一実施例によるオーディオエンコーディング方法を、図１７〜図２０を参照して詳細に説明する。
【００９４】
オブジェクトベースオーディオエンコーディング方法において、オブジェクト信号は、人の声または楽器の音のような個別の音を表すように定義されることができる。また、弦楽器（例えば、バイオリン、ヴィオラ及びチェロ）の音のような類似な特性を持つ音、同一周波数バンドを持つ音またはこれら音源の方向及び角によって同一カテゴリーに分類される音は一緒にグルーピングすることができ、同一オブジェクト信号によって定義されることができる。また、オブジェクト信号は上記の方法の組合せを用いて定義されることができる。
【００９５】
複数のオブジェクト信号は、ダウンミックス信号及び付加情報として転送されることができる。転送される情報が生成される間に、ダウンミックス信号またはダウンミックス信号の複数のオブジェクト信号のそれぞれのエネルギーまたはパワーは、ダウンミックス信号のエンベロープを検出する目的で最初から計算される。この計算の結果は、オブジェクト信号またはダウンミックス信号を転送するのに用いられたり、オブジェクト信号のレベルの比を計算するのに用いられることができる。
【００９６】
線形予測コーディング（ＬＰＣ；ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ）アルゴリズムが、ビットレートをより下げるのに用いられることができる。より詳細には、信号のエンベロープを表す多くのＬＰＣ係数は信号の分析を通じて生成され、信号に関するエンベロープ情報を転送する代わりにＬＰＣ係数が転送される。この方法は、ビットレートにおいて効果的である。しかし、これらＬＰＣ係数は信号の実際エンベロープから非常にずれやすいため、この方法は誤り訂正（ｅｒｒｏｒ  ｃｏｒｒｅｃｔｉｏｎ）のような追加プロセスを必要とする。要するに、信号のエンベロープ情報を転送することを含む方法は、高音質を保障することはできるが、転送されるべき情報量が相当増加してしまう。一方、ＬＰＣ係数の利用を含む方法は、転送されるへぎ情報量を低減することはできるが、誤り訂正のような追加的なプロセスが必要とされ、音質低下を招く。
【００９７】
本発明の一実施例によって、これらの方法の組合せが用いられることができる。言い換えると、信号のエンベロープは、信号のパワーまたはエネルギーまたはインデックス値または信号のパワーまたはエネルギーに対応するＬＰＣ係数のような他の値で表現されることができる。
【００９８】
信号に関するエンベロープ情報は、時間セクションまたは周波数セクションのユニットで得ることができる。より詳細には、図１７を参照すると、信号に関するエンベロープ情報は、フレームユニットで得ることができる。また、信号がＱＭＦ（ｑｕａｄｒａｔｕｒｅ  ｍｉｒｒｏｒ  ｆｉｌｔｅｒ）バンクのようなフィルタバンクを用いて周波数バンド構造で表現されるとしたら、信号に関するエンベロープ情報は、周波数サブバンド、周波数サブバンドよりも小さい個体である周波数サブバンドパーティション、周波数サブバンドのグループまたは周波数サブバンドパーティションのグループのユニットで得ることができる。また、フレームベースの方法、周波数サブバンドベースの方法及び周波数サブバンドパーティションベースの方法の組合せが本発明の範囲内で用いられることができる。
【００９９】
また、信号の低周波成分が信号の高周波成分よりも一般的により多くの情報を持つとすれば、信号の低周波成分と関連したエンベロープ情報はそれ自体のまま転送されることができるが、信号の高周波成分に関するエンベロープ情報はＬＰＣ係数または他の値で表現されることができ、信号の高周波成分に関するエンベロープ情報の代わりにＬＰＣ係数または他の値が転送されることができる。しかし、信号の低周波成分が必ずしも信号の高周波成分よりも多い情報を持つというわけにはいかない。したがって、上記の方法は、環境によって柔軟に適用すれば良い。
【０１００】
本発明の実施例によって、時間／周波数軸上にドミナントとして現れる信号の一部（以下、主要部という。）対応するインデックスデータまたはエンベロープ情報は転送されることができ、信号のドミナントでない部分に対応するインデックスデータ及びエンベロープ情報はいずれも転送されなくても良い。また、信号のドミナント部分のエネルギー及びパワーを表す値（例えば、ＬＰＣ係数）が転送されることができ、信号のドミナントでない部分に対応するかかる値は転送されなくても良い。また、信号のドミナント部分に対応するインデックスデータまたはエンベロープ情報は転送されることができ、信号のドミナントでない部分のエネルギーまたはパワーを表す値も転送されても良い。また、信号のドミナントでない部分が信号のドミナント部分に関する情報に基づいて推定されるように、信号のドミナント部分にのみ関連した情報が転送されても良い。また、上記の方法の組合せが用いられても良い。
【０１０１】
例えば、図１８を参照すると、信号がドミナント期間とドミナントでない期間とに分けられるとしたら、信号に関する情報は図１８（ａ）〜（ｄ）で表わされた通り、４つの異なる方法で転送されることができる。
【０１０２】
ダウンミックス信号及び付加情報の組合せとして複数のオブジェクト信号を転送するために、デコーディング動作の一部として、例えば、オブジェクト信号のレベルの比を考慮し、ダウンミックス信号は複数の成分に分けられるように要求される。ダウンミックス信号の成分間の独立性を保障するために、デコリリーション動作がさらに実行される必要がある。
【０１０３】
オブジェクトベースコーディング方法においてコーディングユニットであるオブジェクト信号は、マルチチャネルコーディング方法においてコーディングユニットであるチャネル信号よりも大きい独立性を持つ。言い換えると、チャネル信号は、オブジェクト信号を含むから、デコリレートされる必要がある。これに対し、オブジェクト信号は互いに独立しており、よって、チャネル分離が、デコリリーション動作を要求することなく、単純にオブジェクト信号の特性を用いて容易に実行されることができる。
【０１０４】
より詳細には、図１９を参照すると、オブジェクト信号Ａ、Ｂ及びＣは、周波数軸上にドミナントとして順に現れる。この場合に、オブジェクト信号Ａ、Ｂ及びＣのレベルの比によってダウンミックス信号を多くの信号に分け、デコリリーションを行う必要がない。その代わりに、オブジェクト信号Ａ、Ｂ及びＣのドミナント期間に関する情報が転送されたり、利得値がオブジェクト信号Ａ、Ｂ及びＣのそれぞれの各周波数成分に適用され、デコリリーションをスキップすることができる。これにより、計算量の低減が可能となり、さもなければデコリリーションに必要な付加情報によって要求されるかもしれない量だけのビットレートを減らすことが可能となる。
【０１０５】
要するに、ダウンミックス信号のオブジェクト信号の比の比率によってダウンミックス信号を分けて得られた複数の信号間の独立性を保障すべく実行されるデコリリーションをスキップする目的で、各オブジェクト信号を含む周波数ドメインに関する情報を付加情報として転送することができる。また、相異なる利得値が、各オブジェクト信号がドミナントとして現れる期間であるドミナント期間、及び各オブジェクト信号がより少なくドミナントとして現れる期間であるドミナントでない期間に適用されることができ、したがって、ドミナント期間に関する情報は付加情報として主に提供されることができる。また、このドミナント期間に関する情報を、付加情報として転送することができ、ドミナントでない期間に関する情報は転送しなくても良い。なお、デコリリーション方法の代案として上述された方法の組合せが用いられても良い。
【０１０６】
デコリリーション方法の代案である上記の方法は、全てのオブジェクト信号または容易に区別可能なドミナント期間を持つ一部のオブジェクト信号にのみ適用されることができる。また、デコリリーション方法の代案である上記の方法は、フレームのユニットに可変的に適用されることができる。
【０１０７】
以下、残余信号を用いたオブジェクトオーディオ信号のエンコーディングが詳細に説明される。
【０１０８】
一般に、オブジェクトベースオーディオコーディング方法において、複数のオブジェクト信号がエンコーディングされ、これらエンコーディングの結果がダウンミックス信号と付加情報との組合せとして転送される。続いて、複数のオブジェクト信号が付加情報によってデコーディングを通じてダウンミックス信号から復元され、これら復元されたオブジェクト信号が、例えば、制御情報によって利用者の要請に応じて適切に混合され、最終チャネル信号が生成される。オブジェクトベースオーディオコーディング方法は、ミキサ（ｍｉｘｅｒ）を用いて制御情報によって出力チャネル信号を自由に変えるのを一般的な目標としている。しかし、オブジェクトベースオーディオコーディング方法は、制御情報によらず、あらかじめ定義された方法でチャネル出力を生成するのに用いられても良い。
【０１０９】
このため、付加情報は、ダウンミックス信号から複数のオブジェクト信号を得るのに必要な情報だけでなく、チャネル信号を生成するのに必要なミキシングパラメータ情報を含むことができる。したがって、ミキサを用いずにも最終チャネル出力信号を生成することが可能である。この場合、残余コーディングのようなアルゴリズムが音質を向上させるために用いられることができる。
【０１１０】
一般的な残余コーディング方法は、信号をコーディングし、コーディングされた信号と元の信号間の誤り、すなわち残余信号をコーディングすることを含む。デコーディング動作の間に、コーディングされた信号は、このコーディングされた信号と元の信号との間の誤りを補償すると同時にデコーディングされ、これにより、可能な限り元の信号と類似な信号を復元する。コーディングされた信号と元の信号との間の誤りは通常少ないので、残余コーディングを実行するのに追加的に必要な情報の量を減らすことが可能である。
【０１１１】
デコーディング部の最終チャネル出力が固定される場合では、最終チャネル信号を生成するのに必要なミキシングパラメータ情報だけでなく残余コーディング情報が付加情報として提供されることができる。この場合、音質を向上させることが可能である。
【０１１２】
図２０は、本発明の一実施例によるオーディオエンコーディング装置３１０を示すブロック図である。図２０を参照すると、オーディオエンコーディング装置３１０は、残余信号を用いることに特徴がある。
【０１１３】
より詳細には、オーディオエンコーディング装置３１０は、エンコーディング部３１１、デコーディング部３１３、第１ミキサ３１５、第２ミキサ３１９、加算器３１７及びビットストリーム生成器３２１を含む。
【０１１４】
第１ミキサ３１５は、元の信号にミキシング動作を実行し、第２ミキサ３１９は、エンコーディング動作を実行することによって得られた信号にミキシング動作を実行し、続いて元の信号にデコーディング動作を実行する。加算器３１７は、第１ミキサ３１５より出力された信号と第２ミキサ３１９より出力された信号との間の残余信号を計算する。ビットストリーム生成器３２１は、付加情報に残余信号を加え、その結果を転送する。この方法で、音質を向上させることができる。
【０１１５】
残余信号の計算は、信号の全ての部分にまたは信号の低周波数部分にのみ適用されることができる。また、残余信号の計算は、フレーム対フレームに基づくドミナント信号を含む周波数ドメインにのみ可変的に適用されても良い。また、上記の方法の組合せが用いられても良い。
【０１１６】
残余信号情報を含む付加情報の量が、残余信号情報を含まない付加情報の量よりも多いため、残余信号の計算は、音質に直接影響を与える信号の一部分にのみ適用されることができ、これにより、ビットレートの過度な増加を抑止することができる。
【０１１７】
本発明は、コンピュータが読取りできる記録媒体上に書き込まれた、コンピュータが読取りできるコードとして実現されることができる。コンピュータが読取りできる記録媒体は、コンピュータが読取りできる方法でデータが記憶される記録装置の一つでありうる。コンピュータが読取りできる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光学データ記憶装置及びキャリアウェーブ（ｃａｒｒｉｅｒ  ｗａｖｅ）（例えば、インターネットを通じたデータ転送）が含まれる。コンピュータが読取りできる記録媒体は、コンピュータが読取りできるコードがそこに書き込まれ、分散された方法でそこから実行されるように、ネットワークに連結された複数のコンピュータシステムで分配されることができる。本発明を実現するのに必要な機能的プログラム、コード、コード断片は、この分野における通常の知識を持つ者によって容易に解析されることができる。
【産業上の利用可能性】
【０１１８】
本発明によると、オブジェクトベースオーディオエンコーディング及びデコーディング方法の利点からの利得によって、音像が各オブジェクトオーディオ信号に対して定位する。その結果、オブジェクトオーディオ信号の再生を通じてより実際的な音を提供することが可能になる。なお、本発明は双方向ゲームに適用されることができ、利用者にとってはより現実的な仮想現実経験が可能になる。
【０１１９】
以上では好適な実施例に挙げて本発明を説明してきたが、説明及び形態における様々な変化が、添付の請求項によって定義された本発明の範囲及び思想を逸脱しない限度内でできるということは、当該分野における通常の知識を持つ者にとっては自明である。
【図１】
0004787362.tif 000002
【図２】
0004787362.tif 000003
【図３】
0004787362.tif 000004
【図４】
0004787362.tif 000005
【図５】
0004787362.tif 000006
【図６】
0004787362.tif 000007
【図７】
0004787362.tif 000008
【図８】
0004787362.tif 000009
【図９】
0004787362.tif 000010
【図１０】
0004787362.tif 000011
【図１１】
0004787362.tif 000012
【図１２】
0004787362.tif 000013
【図１３】
0004787362.tif 000014
【図１４】
0004787362.tif 000015
【図１５】
0004787362.tif 000016
【図１６】
0004787362.tif 000017
【図１７】
0004787362.tif 000018
【図１８】
0004787362.tif 000019
【図１９】
0004787362.tif 000020
【図２０】
0004787362.tif 000021