(57)【要約】【課題】オーディオ信号の空間的特性（聴者の仮想位置、特定ソースの仮想位置）を変化／付与するなどのように、オーディオ信号をコントロールすることができる信号のエンコーディング／デコーディング方法及び装置を提供する。【解決手段】少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信する段階と；前記オブジェクトパラメータにコントロールパラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換する段階と；前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号をコントロールするために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成する段階と；を含んで信号デコーディング方法を構成する。
2009524103.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信する段階と；
前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換する段階と；
前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成する段階と；を含むことを特徴とする信号デコーディング方法。
【請求項２】
前記オブジェクト信号は、チャネル信号又はソース信号を含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項３】
前記オブジェクトパラメータは、オブジェクトレベル情報及びオブジェクト間の相関関係情報のうち一つ以上を含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項４】
前記オブジェクト信号がチャネル信号である場合、前記オブジェクトレベル情報は、チャネル間のレベル差を含むことを特徴とする請求項３に記載の信号デコーディング方法。
【請求項５】
前記オブジェクト信号がソース信号である場合、前記オブジェクトレベル情報は、ソース間のレベル情報を含むことを特徴とする請求項３に記載の信号デコーディング方法。
【請求項６】
前記制御パラメータは、制御情報を用いて生成されたことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項７】
前記制御情報は、エンコーディング装置から受信された制御情報、ユーザー制御情報、デフォルト制御情報、装置制御情報、及び装置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項８】
前記制御情報は、ＨＲＴＦフィルタ情報、オブジェクト位置情報、及びオブジェクトレベル情報のうちの少なくとも一つに該当することを特徴とする請求項６に記載の信号デコーディング方法。
【請求項９】
前記オブジェクト信号がチャネル信号である場合、前記制御情報は、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項１０】
前記オブジェクト信号がソース信号である場合、前記制御情報は、ソース信号のレベル情報及びソース信号の仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項１１】
前記制御パラメータは、前記オブジェクトパラメータに基づいたオブジェクト情報を用いて生成されることを特徴とする請求項１に記載の信号デコーディング方法。
【請求項１２】
少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号を受信する段階と；
前記レンダリングパラメータを前記オブジェクトダウンミックス信号に適用して出力信号を生成する段階と；をさらに含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項１３】
少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信するオブジェクトパラメータ受信部と；
前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換し、前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成するレンダリングパラメータ生成部と；を含むことを特徴とする信号デコーディング装置。
【請求項１４】
少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号に前記レンダリングパラメータを適用して出力信号を生成するレンダリング部をさらに含むことを特徴とする請求項１３に記載の信号デコーディング装置。
【請求項１５】
前記レンダリングパラメータをエンコーディングしてレンダリングパラメータビットストリームを生成するレンダリングパラメータエンコーディング部をさらに含むことを特徴とする請求項１３に記載の信号デコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号のデコーディング方法及び装置に関するものであり、より詳細には、オーディオ信号をデコーディングする方法及びその装置に関するものである。
【背景技術】
【０００２】
一般的に、オーディオ信号は、エンコーディング装置で生成されたレンダリングパラメータ（例：チャネル間のレベル情報）を用いたダウンミックス信号のレンダリングから出力信号（例：マルチチャネルオーディオ信号）を生成するデコーディングされる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このようにエンコーディング装置で生成されたレンダリングパラメータをそのままレンダリングするために用いる場合、デコーディング装置では、デコーダーの装置情報（例：出力可能なチャネルの数）による出力信号を生成することができず、オーディオ信号の空間的な特性を変化させることができず、オーディオ信号に空間的な特性を与えることができない。具体的に、デコーダーの出力可能なチャネルの数（例：２個）に符合するチャネル数のオーディオ信号を生成することができず、聴者の仮想位置を舞台上や客席の一番後側に変化させることができず、特定のソース信号（例：ピアノ信号）の仮想位置（例：左側）を与えることができない。
【０００４】
本発明は、上記のような問題点を解決するためになされたもので、その目的は、オーディオ信号の空間的特性（聴者の仮想位置、特定ソースの仮想位置）を変化／付与するようにオーディオ信号を制御することができる信号のエンコーディング／デコーディング方法及び装置を提供することにある。
【０００５】
本発明の他の目的は、デコーダーの出力可能なチャネル情報（装置情報）に符合する出力信号を生成することができる信号のエンコーディング／デコーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記のような目的を達成するために、本発明に係る信号デコーディング方法は、少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信する段階と；前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換する段階と；前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成する段階と；を含む。
【０００７】
本発明によると、前記オブジェクト信号は、チャネル信号又はソース信号を含むことができる。
【０００８】
本発明によると、前記オブジェクトパラメータは、オブジェクトレベル情報及びオブジェクト間の相関関係情報のうちの一つ以上を含むことができる。
【０００９】
本発明によると、前記オブジェクト信号がチャネル信号である場合、前記オブジェクトレベル情報は、チャネル間のレベル差を含むことができる。
【００１０】
本発明によると、前記オブジェクト信号がソース信号である場合、前記オブジェクトレベル情報は、ソース間のレベル情報を含むことができる。
【００１１】
本発明によると、前記制御パラメータは、制御情報を用いて生成されたものである。
【００１２】
本発明によると、前記制御情報は、エンコーディング装置から受信された制御情報、ユーザー制御情報、デフォルト制御情報、装置制御情報、及び装置情報のうちの少なくとも一つを含むことができる。
【００１３】
本発明によると、前記制御情報は、ＨＲＴＦフィルタ情報、オブジェクト位置情報、及びオブジェクトレベル情報のうちの少なくとも一つに該当するものである。
【００１４】
本発明によると、前記オブジェクト信号がチャネル信号である場合、前記制御情報は、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことができる。
【００１５】
本発明によると、前記オブジェクト信号がソース信号である場合、前記制御情報は、ソース信号のレベル情報及びソース信号の仮想位置情報のうちの少なくとも一つを含むものである。
【００１６】
本発明によると、前記制御パラメータは、前記オブジェクトパラメータに基づいたオブジェクト情報を用いて生成されるものである。
【００１７】
本発明によると、少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号を受信する段階と；前記レンダリングパラメータを前記オブジェクトダウンミックス信号に適用して出力信号を生成する段階と；をさらに含むものである。
【００１８】
上記のような目的を達成するために、少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信するオブジェクトパラメータ受信部と；前記オブジェクトパラメータに制御パラメータを適用して、前記オブジェクト信号に対応するレベル情報を出力チャネルに対応するレベル情報に変換し、前記オブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記出力チャネルに対応するレベル情報を含むレンダリングパラメータを生成するレンダリングパラメータ生成部と；を含む信号デコーディング装置が提供される。
【００１９】
本発明によると、少なくとも一つのオブジェクト信号に基づいたオブジェクトダウンミックス信号に前記レンダリングパラメータを適用して出力信号を生成するレンダリング部をさらに含むことができる。
【００２０】
本発明によると、前記レンダリングパラメータをエンコーディングしてレンダリングパラメータビットストリームを生成するレンダリングパラメータエンコーディング部をさらに含むことができる。
【発明の効果】
【００２１】
本発明は、以下の効果を提供する。
先ず、オブジェクトパラメータを変換する際に制御情報及び／又は装置情報を考慮するので、聴者の仮想位置又はソースの仮想位置を多様に変化させることができ、出力可能なチャネルの数に符合する出力信号を生成することができる。
【００２２】
次に、出力信号を生成した後、出力信号に空間的特性を付与又は変形するのでなく、オブジェクトパラメータを変換した後、この変換されたオブジェクトパラメータ（レンダリングパラメータ）を適用して出力信号を生成するので、計算量を著しく低下させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、添付された図面を参照して、本発明の実施例を詳細に説明する。本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解析してはならなく、発明者が自身の発明を最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚して、本発明の技術的思想に符合する意味と概念に解析すべきである。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものでないので、本出願時点において、これらに取って代わる多様な均等物及び変形例があり得ることを理解すべきである。
【００２４】
本発明は、オブジェクトダウンミックス信号の空間的特性を変換するか、オブジェクトダウンミックス信号に空間的特性を与えるか、デコーダーの装置情報によってオーディオ信号を変形するなどのように、オブジェクトダウンミックス信号を制御するために、制御パラメータを用いてオブジェクトパラメータを変換してレンダリングパラメータを生成する。ここで、オブジェクトダウンミックス信号（以下、「ダウンミックス信号」）は、複数のオブジェクト信号（チャネル信号又は複数のソース信号）がダウンミックスから生成される。したがって、このダウンミックス信号にレンダリングパラメータを適用して出力信号を生成することができる。
【００２５】
図１は、本発明の一実施例に係る信号エンコーディング装置及び信号デコーディング装置の構成を示した図である。図１を参照すると、信号エンコーディング装置１００は、ダウンミキシング部１１０、オブジェクトパラメータ抽出部１２０、及び制御情報生成部１３０を含むことができ、信号デコーディング装置２００は、受信部２１０、制御パラメータ生成部２２０、レンダリングパラメータ生成部２３０、及びレンダリング部２４０を含むことができる。
【００２６】
信号エンコーディング装置１００のダウンミキシング部１１０は、複数のオブジェクト信号をダウンミックスしてオブジェクトダウンミックス信号（以下、ダウンミックス信号（ＤＸ））を生成する。ここで、オブジェクト信号とは、チャネル信号又はソース信号であるが、ここで、ソース信号は、特定の楽器の信号である。
【００２７】
オブジェクトパラメータ抽出部１２０は、複数のオブジェクト信号からオブジェクトパラメータを抽出する。オブジェクトパラメータは、オブジェクトレベル情報、オブジェクト間の相関関係情報を含むが、オブジェクト信号がチャネル信号である場合、オブジェクトレベル情報は、チャネル間のレベル差ＣＬＤを含むことができ、オブジェクト信号がソース信号である場合、オブジェクトレベル情報は、ソース間のレベル情報を含むことができる。
【００２８】
制御情報生成部１３０は、一つ以上の制御情報を生成する。制御情報は、聴者の仮想位置を変更するか、マルチチャネルスピーカーの仮想位置を変更するか、又はソース信号に空間的特性を与えるための情報として、ＨＲＴＦフィルタ情報、オブジェクト位置情報、オブジェクトレベル情報などを含むことができる。具体的に、オブジェクト信号がチャネル信号である場合、制御情報は、聴者の仮想位置情報、マルチチャネルスピーカーの仮想位置情報などであり、オブジェクト信号がソース信号である場合、制御情報は、ソース信号のレベル情報、ソース信号の仮想位置情報などである。
【００２９】
一方、聴者の仮想位置を変更する場合、特定の聴者の仮想位置に対応して一つの制御情報が生成される。また、ソース信号に空間的特性を与える場合、特定モード（例：ライブモード、クラブバンドモード、カラオケモード、ジャズモード、リズム強調モードなど）に対応して一つの制御情報が生成される。制御情報は、各ソース信号をそれぞれ調節するとともに、各ソース信号のうちの一つ以上のソース信号（グループソース信号）を一括的に調節するためのものであるが、例えば、リズム強調モードである場合、各ソース信号のうちリズム楽器と関連した各ソース信号を一括的に調節することができる。ここで、一括的であることは、各ソース信号に同一のパラメータを適用するのでなく、多様なソース信号をそれぞれ同時に調節することを意味する。制御情報生成部１３０は、このような制御情報を生成した後、制御情報の個数（すなわち、音響効果の個数）、フラグ、制御情報を含む制御情報ビットストリームを生成することができる。
【００３０】
信号デコーディング装置２００の受信部２１０は、ダウンミックス受信部２１１、オブジェクトパラメータ受信部２１２、制御情報受信部２１３を含むことができるが、それぞれダウンミックス信号ＤＸ、オブジェクトパラメータＯＰ、制御情報ＣＩを受信する。一方、受信部２１０は、受信された信号に多重分離（ｄｅｍｕｘｉｎｇ）、パーシング又はデコーディングなどをさらに行うこともできる。
【００３１】
オブジェクトパラメータ受信部２１２は、オブジェクトパラメータＯＰからオブジェクト情報ＯＩを抽出する。オブジェクト信号がソース信号である場合、オブジェクト情報は、ソースの個数、ソースの種類、ソースのインデックスなどを含むことができる。オブジェクト信号がチャネル信号である場合、オブジェクト情報は、チャネル信号のツリー構造（例：５−１−５１構造）などを含むことができる。オブジェクトパラメータ受信部２１２は、抽出されたオブジェクト情報ＯＩを制御パラメータ生成部２２０に入力する。
【００３２】
制御パラメータ生成部２２０は、制御情報、装置情報ＤＩ、オブジェクト情報ＯＩのうちの一つ以上を用いて制御パラメータＣＰを生成する。制御情報は、上記の制御情報生成部１３０の説明で述べたように、ＨＲＴＦフィルタ情報、オブジェクト位置情報、オブジェクトレベル情報などを含むことができ、前記オブジェクト信号がチャネル信号である場合、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことができ、オブジェクト信号がソース信号である場合、ソース信号のレベル情報及びソース信号の仮想位置情報を含むことができる。さらに、広い意味の制御情報は、装置情報ＤＩを含む概念である。
【００３３】
一方、制御情報は、その出処別に多様な類型があり得るが、１）制御情報生成部１３０によって生成されて受信された制御情報（ＣＩ）、２）使用者によって入力されたユーザー制御情報（ＵＣＩ）、３）制御パラメータ生成部２２０によって自発的に生成された装置制御情報（図示せず）、４）信号デコーディング装置に保存されているデフォルト制御情報（ＤＣＩ）などがある。制御パラメータ生成部２２０は、特定のダウンミックス信号に関して受信された制御情報ＣＩ、ユーザー制御情報ＵＣＩ、装置制御情報、デフォルト制御情報ＤＣＩのうちの一つを選択して制御パラメータを生成することができるが、選択された制御情報は、ａ）制御パラメータ生成部２２０によって任意に選択された制御情報であるか、ｂ）使用者によって選択された制御情報である。
【００３４】
装置情報ＤＩは、デコーディング装置２００に保存されている情報として、出力可能なチャネルの数などを含む。この装置情報ＤＩは、広義の制御情報に含まれる。
【００３５】
オブジェクト情報ＯＩは、ダウンミックス信号にダウンミックスされた一つ以上のオブジェクト信号に関する情報として、オブジェクトパラメータ受信部２１２によって入力されたオブジェクト情報である。
【００３６】
レンダリングパラメータ生成部２３０は、制御パラメータＣＰを用いてオブジェクトパラメータＯＰを変換することで、レンダリングパラメータＲＰを生成する。一方、レンダリングパラメータ生成部２３０は、相関関係を用いて立体音響（ｓｔｅｒｅｏｐｈｏｎｙ）が出力信号に付加されるようにするレンダリングパラメータＲＰを生成することができるが、この内容に関する具体的な説明は、後述することにする。
【００３７】
レンダリング部２４０は、レンダリングパラメータＲＰを用いてダウンミックス信号ＤＸをレンダリングして出力信号を生成する。ここで、ダウンミックス信号ＤＸは、信号エンコーディング装置１００のダウンミキシング部１１０によって生成されたものであるか、使用者によって任意的にダウンミックスされたダウンミックス信号である。
【００３８】
図２は、本発明の他の実施例に係る信号デコーディング装置の構成を示した図である。本発明の他の実施例に係る信号デコーディング装置は、図１に示した本発明の一実施例に係る信号デコーディング装置２００のうちＡ領域の拡張例として、レンダリングパラメータエンコーディング部２３２及びレンダリングパラメータデコーディング部２３４をさらに備えている。一方、レンダリングパラメータデコーディング部２３４及びレンダリング部２４０は、レンダリングパラメータエンコーディング部２３２を含む信号デコーディング装置２００とは別個の装置として具現される。
【００３９】
レンダリングパラメータエンコーディング部２３２は、レンダリングパラメータ生成部２３０で生成されたレンダリングパラメータをエンコーディングし、レンダリングパラメータビットストリームＲＰＢを生成する。
【００４０】
レンダリングパラメータデコーディング部２３４は、レンダリングパラメータビットストリームＲＰＢをデコーディングし、デコーディングされたレンダリングパラメータをレンダリング部２４０に入力する。
【００４１】
レンダリング部２４０は、レンダリングパラメータデコーディング部２３４によってデコーディングされたレンダリングパラメータを用いてダウンミックス信号ＤＸをレンダリングし、出力信号を生成する。
【００４２】
本発明の一実施例及び他の実施例に係るデコーディング装置は、上記のような構成要素を備えている。以下、１）オブジェクト信号がチャネル信号である場合、２）オブジェクト信号がソース信号である場合に関して一層具体的に説明する。
【００４３】
１． チャネル信号である場合（空間的特性の変形）
【００４４】
オブジェクト信号がチャネル信号である場合、オブジェクトパラメータは、チャネル間のレベル情報及びチャネル間の相関関係を含むことができるが、制御パラメータを用いてこのチャネル間のレベル情報（及びチャネル間の相関関係）を変換することで、レンダリングパラメータに変換されたチャネル間のレベル情報（及びチャネル間の相関関係）を生成することができる。
【００４５】
このようにレンダリングパラメータの生成に用いられる制御パラメータは、装置情報、制御情報、又は装置情報及び制御情報を用いて生成されたものであるが、以下、装置情報を考慮する場合、制御情報を考慮する場合、及び装置情報及び制御情報を全て考慮する場合に関してそれぞれ説明する。
【００４６】
１−１．装置情報を考慮する場合（スケーラブル）
【００４７】
制御パラメータ生成部２２０が装置情報ＤＩのうち出力可能なチャネルの数を用いて制御パラメータを生成すると、レンダリング部２４０によって生成された出力信号は、出力可能なチャネルの数と同一のチャネル数を有する出力信号を生成することができる。以下、このような制御パラメータを用いて、オブジェクトパラメータＯＰのうちチャネル間のレベル差（及びチャネル間の相関関係）を変換することで、変換されたチャネル間のレベル差を生成する内容に関して説明する。具体的に、出力可能なチャネルの数が２で、オブジェクトパラメータＯＰが５−１−５１ツリー構造に該当する場合に関して説明する。
【００４８】
図３は、５−１−５１ツリー構造である場合、チャネル間のレベル差と変換されたチャネル間のレベル差との関係を示した図である。チャネル間のレベル差及びチャネル間の相関関係が５−１−５１ツリー構造に符合する場合、図３の左側に示すように、チャネル間のレベル差ＣＬＤはそれぞれＣＬＤ０乃至ＣＬＤ４であり、チャネル間の相関関係ＩＣＣはそれぞれＩＣＣ０乃至ＩＣＣ４（図示せず）である。例えば、左側チャネルＬ及び右側チャネルＲのレベル差はＣＬＤ０であり、チャネル間の相関関係はＩＣＣ０である。
【００４９】
一方、図３の右側に示すように、出力可能なチャネルの数が２である場合（すなわち、左側トータルチャネルＬｔ及び右側トータルチャネルＲｔである場合）、変換されたチャネル間のレベル差及び変換されたチャネル間の相関関係であるＣＬＤα及びＩＣＣαは、チャネル間のレベル差ＣＬＤ０乃至ＣＬＤ４、及びチャネル間の相関関係ＩＣＣ０乃至ＩＣＣ４（図示せず）を用いて表すことができる。
【００５０】
【数１】
2009524103.tif 000003
【００５１】
ＰＬｔはＬｔのパワーで、ＰＲｔはＲｔのパワーである。
【００５２】
【数２】
2009524103.tif 000004
【００５３】
【数３】
2009524103.tif 000005
【００５４】
【数４】
2009524103.tif 000006
【００５５】
数式４及び数式３を数式２に代入し、数式２を数式１に代入すると、チャネル間のレベル差ＣＬＤ０乃至ＣＬＤ４を用いて変換されたチャネル間のレベル差ＣＬＤαを表現することができる。
【００５６】
【数５】
2009524103.tif 000007
【００５７】
【数６】
2009524103.tif 000008
【００５８】
【数７】
2009524103.tif 000009
【００５９】
数式７及び数式３を数式６に代入し、数式６及び数式２を数式５に代入すると、チャネル間のレベル差ＣＬＤ０乃至ＣＬＤ３、及びチャネル間の相関関係ＩＣＣ２、ＩＣＣ３を用いて変換されたチャネル間の相関関係ＩＣＣαを表現することができる。
【００６０】
１−２．制御情報を考慮する場合
【００６１】
制御パラメータ生成部２２０が制御情報を用いて制御パラメータを生成する場合、レンダリング部２４０によって生成された出力信号は、多様な音響効果を出すことができる。例えば、大衆音楽公演の場合、客席で聞く音響効果を出すこともでき、舞台上で聞く音響効果を出すこともできる。
【００６２】
図４は、ＩＴＵ勧告案によるスピーカーの配置で、図５及び図６は、立体音響効果による仮想スピーカーの位置である。ＩＴＵ勧告案による場合、図４に示すように、スピーカーの位置が該当の地点（例えば、距離及び角度）に位置すべきであり、聴取者は、中間地点に位置すべきである。
【００６３】
聴者が図４に示した地点に位置した状態で、図５に示した地点に位置した場合と同一の効果を出すためには、観客の喊声を含むサラウンドチャネルＬｓ’，Ｒｓ’のゲインを減らし、角度を後方側に移動し、左側チャネルＬ’及び右側チャネルＲ’を聴者の耳の前に位置させればよい。図６に示した地点に位置した場合と同一の効果を出すためには、特に、左側チャネルＬ’とセンターチャネルＣ’との間の角度を減らし、左側チャネルＬ’及びセンターチャネルＣ’のゲインを高めればよい。
【００６４】
このようにするために、スピーカーの位置（Ｌ、Ｒ、Ｌｓ、Ｒｓ、Ｃ）から聴者の位置までに対応する音響経路（ＨＬ、ＨＲ、ＨＣ、ＨＬｓ、ＨＲｓ）の逆関数を通過させた後、仮想スピーカーの位置（Ｌ’、Ｒ’、Ｌｓ’、Ｒｓ’、Ｃ’）に対応する音響経路（ＨＬ’、ＨＲ’、ＨＣ’、ＨＬｓ’、ＨＲｓ’）を通過させることができる。すなわち、左側チャネル信号の場合、下記のように表現される。
【００６５】
【数８】
2009524103.tif 000010
【００６６】
もし ＨＬ’が多数個存在する場合、すなわち、多様な音響効果が存在する場合、数式８は次のように表現される。
【００６７】
【数９】
2009524103.tif 000011
【００６８】
ここで、Ｈｘ＿ｔｏｔ-＿ｉ（ｘは任意のチャネル）に対応する制御情報は、エンコーディング装置の制御情報生成部１３０又は制御パラメータ生成部２２０で生成される。
【００６９】
以下、オブジェクトパラメータ（特に、チャネル間のレベル差ＣＬＤ）を変換するによって音響効果を変化させる原理に対して具体的に説明する。
【００７０】
図７は、各スピーカー間の仮想音源の位置を示した図である。一般的に、任意のチャネル信号ｘｉは、次の数式１０のようにゲインｇｉを有する。
【００７１】
【数１０】
2009524103.tif 000012
【００７２】
ここで、ｘｉはｉ番目のチャネルの入力信号であり、ｇｉはｉ番目のチャネルのゲインであり、ｘは音源信号である。
【００７３】
図７を見ると、仮想音源ＶＳと法線との角度がψで、二つのチャネル（ｃｈ１及びｃｈ２）間の角度が２ψ０で、チャネル１（ｃｈ１）及びチャネル２（ｃｈ２）のゲインがそれぞれｇ１、ｇ２であるとき、次のような関係式が成立する。
【００７４】
【数１１】
2009524103.tif 000013
【００７５】
数式１１によると、ｇ１及びｇ２を調節することで、仮想音源ＶＳの位置ψを変化させることができる。ｇ１及びｇ２は、各チャネル間のレベル差ＣＬＤに依存するので、結果的に、チャネル間のレベル差ＣＬＤを調節することによって仮想音源ＶＳの位置を変化させることができる。
【００７６】
１−３．装置情報及び制御情報を全て考慮する場合
【００７７】
制御パラメータ生成部２４０は、装置情報及び制御情報を全て考慮して制御パラメータを生成することができる。デコーダーの出力可能なチャネルの数がＭである場合、制御パラメータ生成部２２０は、入力された制御情報ＣＩ，ＵＣＩ，ＤＣＩのうち出力可能なチャネルの数Ｍに符合する制御情報を選択し、又は、出力可能なチャネルの数Ｍに符合する制御パラメータを自体的に生成することができる。
【００７８】
例えば、ダウンミックス信号のツリー構造が５−１−５１であり、出力可能なチャネルの数が２である場合、制御パラメータ生成部２２０は、入力された制御情報ＣＩ，ＵＣＩ，ＤＣＩからステレオチャネルに符合する制御情報を選択し、又は、ステレオチャネルに符合する制御パラメータを生成することができる。
【００７９】
上記のような方法で、制御パラメータは、装置情報及び制御情報を全て考慮して生成される。
【００８０】
２．ソース信号である場合
【００８１】
オブジェクト信号がソース信号である場合、オブジェクトパラメータは、ソース間のレベル情報を含むことができる。オブジェクトパラメータをそのまま用いてレンダリングする場合、出力信号は、複数のソース信号になるが、この複数のソース信号は空間的特性を持たない。
【００８２】
このオブジェクトパラメータに空間的特性を与えるために、オブジェクトパラメータを変換してレンダリングパラメータを生成するにおいて、制御情報を考慮することができる。もちろん、チャネルの信号の場合と同様に、制御情報のみならず、装置情報（出力可能なチャネルの個数）をさらに考慮することもできる。
【００８３】
このように各ソース信号に空間的特性が与えられると、各ソース信号は、多様な効果を出すように再生される。例えば、図８に示すように、ボーカルＶは左側で再生され、ドラムＤは中間で再生され、キーボードＫは右側で再生される。また、図９に示すように、ボーカルＶとドラムＤは中間で再生され、キーボードＫは左側で再生される。
【００８４】
このように空間的特性を与えることで、ソース信号を所望の地点に位置させた後、ソース信号に所望の立体音響を与えるために相関関係ＩＣを用いる方法に関して説明する。
【００８５】
２−１．相関関係ＩＣを用いた立体音響の付与
【００８６】
人が音の方向を知覚することは、二つの耳に聞こえる音のレベル差（Ｉｎｔｅｒａｕｒａｌ  Ｉｎｔｅｎｓｉｔｙ／Ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ；ＩＩＤ／ＩＬＤ）、二つの耳に聞こえる音の時間遅延（Ｉｎｔｅｒａｕｒａｌ  Ｔｉｍｅ  Ｄｉｆｆｅｒｅｎｃｅ；ＩＴＤ）によるものである。そして、二つの耳に聞こえる音の相関関係（Ｉｎｔｅｒａｕｒａｌ Ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ；ＩＣ）によって立体感を知覚するようになる。
【００８７】
一方、二つの耳に聞こえる音の相関関係ＩＣは、次のように定義される。
【００８８】
【数１２】
2009524103.tif 000014
【００８９】
ここで、ｘ１及びｘ２は各チャネル信号であり、Ｅ［ｘ］はｘチャネルのエネルギーである。
【００９０】
一方、チャネル信号に立体音響を加えることで、数式１０を次の式のように変形することができる。
【００９１】
【数１３】
2009524103.tif 000015
【００９２】
ここで、ａｉは元の信号成分に掛けられる利得であり、ｓｉはｉ番目のチャネル信号に加えられる立体音響である。一方、αｉ及びｇｉはαｉ（ｋ）及びｇｉ（ｋ）の簡略化された表現である。
【００９３】
ここで、立体音響Ｓｉはデコリレーターを使用して生成されたものであるが、デコリレーターにはオールパスフィルタが使用される。一方、立体音響が加えられるとしても、振幅パニングの法則（Ａｍｐｌｉｔｕｄｅ  ｐａｎｎｉｎｇ’ｓ  Ｌａｗ）が満足されるべきであるので、数式１３でｇｉは式全体に適用される。
【００９４】
一方、ｓｉは、相関関係ＩＣを調節するための値として、チャネルごとに独立的な値が使用されることもあるが、次の式のように代表的な立体音響の値とチャネル別利得との掛け算として表現される。
【００９５】
【数１４】
2009524103.tif 000016
【００９６】
ここで、βｉはｉ番目のチャネル信号の利得であり、ｓ（ｋ）は代表的な立体音響の値である。
【００９７】
また、下記のような多様な立体音響の組み合わせで構成されることもある。
【００９８】
【数１５】
2009524103.tif 000017
【００９９】
ここで、ｚｎ（ｋ）は、任意の立体音響の値で、βｉ、χｉ及びδｉは、それぞれ立体音響に対するｉ番目のチャネル信号の利得である。
【０１００】
立体音響の値（ｓ（ｋ）又はｚｎ（ｋ））（以下、ｓ（ｋ））はチャネル信号ｘｉとの相関関係が低い信号であるので、立体音響の値ｓ（ｋ）は、チャネル信号ｘｉとの相関関係ＩＣがほぼ０に近いものである。すなわち、立体音響の値（ｓ（ｋ）又はｚｎ（ｋ））は、ｘ（ｋ）（又はｘｉ（ｋ））を考慮すべきである。すなわち、理想的にはチャネル信号と立体音響との相関関係が０であるので、次のように表現される。
【０１０１】
【数１６】
2009524103.tif 000018
【０１０２】
ここで、立体音響の値ｓ（ｋ）を構成するためには多様な信号処理技法が用いられるが、１）ノイズ成分で構成し、２）時間軸でｘ（ｋ）にノイズを加え、３）周波数軸でｘ（ｋ）の大きさ成分にノイズを加え、４）ｘ（ｋ）の位相成分にノイズを加え、５）ｘ（ｋ）のエコー（ｅｃｈｏ）成分を用い、６）上記の方法を適切に組み合わせて用いることができる。また、ノイズを付加するためには、信号の大きさ情報を用いて加えられるノイズの量を調節し、又は、心理音響モデルを使用して認知されていない大きさを加える。
【０１０３】
一方、立体音響の値ｓ（ｋ）は、次のような条件を満足すべきである。
【０１０４】
条件：チャネル信号に立体音響の値を加えるとしても、チャネル信号のパワーはそのまま維持されるべきである。（すなわち、ｘｉのパワーとｘｉ＿ｎｅｗパワーが同一であるべきである。）
【０１０５】
上記の条件を満足するために、ｘｉとｘｉ＿ｎｅｗは、上記の数式１０及び数式１３で表現された通りであるので、次の式を満足すべきである。
【０１０６】
【数１７】
2009524103.tif 000019
【０１０７】
一方、数式１７の右辺は、次のように展開される。
【０１０８】
【数１８】
2009524103.tif 000020
【０１０９】
したがって、数式１８を数式１７に代入すると、次のように整理される。
【０１１０】
【数１９】
2009524103.tif 000021
【０１１１】
上記の条件を満足するためには、数式１９を満足すべきであるが、数式１９を満足するαｉは、次の式の通りである。
【０１１２】
【数２０】
2009524103.tif 000022
【０１１３】
ここで、ｓｉが数式１４のように表現され、ｓｉのパワーがｘｉのパワーと同一であると仮定するとき、数式２０は次のように整理される。
【０１１４】
【数２１】
2009524103.tif 000023
【０１１５】
一方、ｃｏｓ２θｉ＋ｓｉｎ２θｉ＝１であるので、数式２１は、次の式のように表現される。
【０１１６】
【数２２】
2009524103.tif 000024
【０１１７】
すなわち、上記の条件を満足するためのｓｉは、ｘ１＿ｎｅｗが数式１３で表現され、ｓｉが数式１４で表現され、ｓｉのパワーがｘｉのパワーと同一であると仮定するとき、数式２２を満足するものである。
【０１１８】
一方、 ｘ１＿ｎｅｗとｘ２＿ｎｅｗとの相関関係は、次のように展開される。
【０１１９】
【数２３】
2009524103.tif 000025
【０１２０】
もし、上記の仮定のように、ｓｉとｘｉのパワーと同一であると仮定するとき、数式２３は、次のように整理される。
【０１２１】
【数２４】
2009524103.tif 000026
【０１２２】
一方、数式２１を適用すると、数式２４は、次の式のように表現される。
【０１２３】
【数２５】
2009524103.tif 000027
【０１２４】
すなわち、数式２５を満足するθ１及びθ２を用いてｘ１＿ｎｅｗ、ｘ２＿ｎｅｗを求めることができる。
【０１２５】
このような方法は、単一音源ｘを有して振幅パニングの法則を用いる場合のみならず、独立した音源ｘ１，ｘ２を有する場合にも同一の方法を適用して、相関関係値ＩＣを所望の程度に調節することによって立体感を向上又は減少させることができる。
【０１２６】
以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明は、これによって限定されるものでなく、本発明の属する技術分野で通常の知識を有する者によって、本発明の技術思想と特許請求の範囲の均等範囲内で多様な修正及び変形が可能である。
【産業上の利用可能性】
【０１２７】
本発明は、使用者の必要（聴者の仮想位置、ソースの仮想位置）又は使用者の環境（出力可能なチャネルの数）に適するように、オーディオ信号を多様に変換させて再生するために用いられる。
【０１２８】
本発明は、ゲームなどのコンテンツ提供者がコンテンツの特性によって多様な再生モードを使用者に提供するために用いられる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施例に係る信号エンコーディング装置及び信号デコーディング装置の構成図である。
【図２】本発明の他の実施例に係る信号デコーディング装置の構成図である。
【図３】５−１−５１ツリー構造である場合、チャネル間のレベル差と変換されたチャネル間のレベル差との関係を示した図である。
【図４】ＩＴＵ勧告案によるスピーカーの配置を示した図である。
【図５】立体音響効果による仮想スピーカーの位置を示した図である。
【図６】立体音響効果による仮想スピーカーの位置を示した図である。
【図７】各スピーカー間の仮想音源の位置を示した図である。
【図８】ソース信号の仮想位置を示した図である。
【図９】ソース信号の仮想位置を示した図である。
【図１】
2009524103.tif 000028
【図２】
2009524103.tif 000029
【図３】
2009524103.tif 000030
【図４】
2009524103.tif 000031
【図５】
2009524103.tif 000032
【図６】
2009524103.tif 000033
【図７】
2009524103.tif 000034
【図８】
2009524103.tif 000035
【図９】
2009524103.tif 000036
【手続補正書】
【提出日】平成20年12月4日(2008.12.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信する段階と、
前記オブジェクトパラメータに制御パラメータを適用して、出力チャネルに対応するレンダリングパラメータを生成する段階と、
前記少なくとも一つのオブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記オブジェクトダウンミックス信号にレンダリングパラメータを適用して、出力信号を生成する段階と、
を含むことを特徴とする信号デコーディング方法。
【請求項２】
前記オブジェクト信号は、チャネル信号及びソース信号のうち少なくとも一つを含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項３】
前記オブジェクトパラメータは、オブジェクトレベル情報及びオブジェクト間の相関関係情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項４】
前記オブジェクト信号がチャネル信号である場合、前記オブジェクトレベル情報は、チャネル間のレベル差を含むことを特徴とする請求項３に記載の信号デコーディング方法。
【請求項５】
前記オブジェクト信号がソース信号である場合、前記オブジェクトレベル情報は、ソース間のレベル差を含むことを特徴とする請求項３に記載の信号デコーディング方法。
【請求項６】
前記制御パラメータは、制御情報を用いて生成されたことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項７】
前記制御情報は、エンコーディング装置から受信された制御情報、ユーザー制御情報、デフォルト制御情報、装置制御情報、及び装置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項８】
前記制御情報は、ＨＲＴＦフィルタ情報、オブジェクト位置情報、及びオブジェクトレベル制御情報のうちの少なくとも一つに該当することを特徴とする請求項６に記載の信号デコーディング方法。
【請求項９】
前記オブジェクト信号がチャネル信号である場合、前記制御情報は、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項１０】
前記オブジェクト信号がソース信号である場合、前記制御情報は、ソース信号のレベル情報及びソース信号の仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項６に記載の信号デコーディング方法。
【請求項１１】
前記制御パラメータは、前記オブジェクトパラメータに基づいたオブジェクト情報を用いて生成されることを特徴とする請求項１に記載の信号デコーディング方法。
【請求項１２】
前記レンダリングパラメータをエンコーディングしてレンダリングパラメータビットストリームを生成する段階と、
前記レンダリングパラメータビットストリームをデコーディングして前記レンダリングパラメータを取得する段階と、
をさらに含むことを特徴とする請求項１に記載の信号デコーディング方法。
【請求項１３】
少なくとも一つのオブジェクト信号に対応するレベル情報を含むオブジェクトパラメータを受信するオブジェクトパラメータ受信部と、
前記オブジェクトパラメータに制御パラメータを適用して、出力チャネルに対応するレンダリングパラメータを生成するレンダリングパラメータ生成部と、
前記少なくとも一つのオブジェクト信号をダウンミックスしたオブジェクトダウンミックス信号を制御するために、前記オブジェクトダウンミックス信号にレンダリングパラメータを適用して、出力信号を生成するレンダリング部と、
を含むことを特徴とする信号デコーディング装置。
【請求項１４】
前記オブジェクト信号は、チャネル信号及びソース信号のうち少なくとも一つを含むことを特徴とする請求項１３に記載の信号デコーディング装置。
【請求項１５】
前記オブジェクトパラメータは、オブジェクトレベル情報及びオブジェクト間の相関関係情報のうち少なくとも一つを含むことを特徴とする請求項１３に記載の信号デコーディング装置。
【請求項１６】
前記オブジェクト信号がチャネル信号である場合、前記オブジェクトレベル情報は、チャネル間のレベル差を含むことを特徴とする請求項１５に記載の信号デコーディング装置。
【請求項１７】
前記オブジェクト信号がソース信号である場合、前記オブジェクトレベル情報は、ソース間のレベル差を含むことを特徴とする請求項１５に記載の信号デコーディング装置。
【請求項１８】
前記制御パラメータは、制御情報を用いて生成されたことを特徴とする請求項１３に記載の信号デコーディング装置。
【請求項１９】
前記制御情報は、エンコーディング装置から受信された制御情報、ユーザー制御情報、デフォルト制御情報、装置制御情報、及び装置情報のうちの少なくとも一つを含むことを特徴とする請求項１８に記載の信号デコーディング装置。
【請求項２０】
前記制御情報は、ＨＲＴＦフィルタ情報、オブジェクト位置情報、及びオブジェクトレベル制御情報のうちの少なくとも一つに該当することを特徴とする請求項１８に記載の信号デコーディング装置。
【請求項２１】
前記オブジェクト信号がチャネル信号である場合、前記制御情報は、聴者の仮想位置情報及びマルチチャネルスピーカーの仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項１８に記載の信号デコーディング装置。
【請求項２２】
前記オブジェクト信号がソース信号である場合、前記制御情報は、ソース信号のレベル情報及びソース信号の仮想位置情報のうちの少なくとも一つを含むことを特徴とする請求項１８に記載の信号デコーディング装置。
【請求項２３】
前記制御パラメータは、前記オブジェクトパラメータに基づいたオブジェクト情報を用いて生成されることを特徴とする請求項１３に記載の信号デコーディング装置。
【請求項２４】
前記レンダリングパラメータをエンコーディングしてレンダリングパラメータビットストリームを生成するレンダリングパラメータエンコーディング部と、
前記レンダリングパラメータビットストリームをデコーディングして前記レンダリングパラメータを取得するレンダリングパラメータデコーディング部と、
をさらに含むことを特徴とする請求項１３に記載の信号デコーディング装置。
【国際調査報告】
2009524103.tif 000037
2009524103.tif 000038