(57)【要約】  ダウンミックス情報、オブジェクト情報、及びミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成して送信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成して送信すること、を含むオーディオ信号処理方法を提供する。
2010516077.tif 000002
【特許請求の範囲】
【請求項１】
ダウンミックス情報、オブジェクト情報、及びミックス情報を受信し、
前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成して送信し、
前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成して送信し、
を有することを特徴とするオーディオ信号処理方法。
【請求項２】
前記第１ゲイン情報及び前記第２ゲイン情報を含むエキストラマルチチャネル情報のうちの１つ、前記マルチチャネル情報、及び前記ダウンミックス情報を用いてマルチチャネルオーディオを生成することを更に有する、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記オブジェクト情報は、オブジェクトレベル情報及びオブジェクト相関情報のうち１つ以上を含む、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記マルチチャネル情報は、前記ダウンミックス信号を前記マルチチャネル信号にアップミキシングするための情報に該当し、前記オブジェクト情報及び前記ミックス情報を用いて生成される、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記マルチチャネル情報は、チャネルレベル情報及びチャネル相関情報のうち１つ以上を含む、請求項４に記載のオーディオ信号処理方法。
【請求項６】
前記第１ゲイン情報は、時間−サブバンド別に計算される、請求項１に記載のオーディオ信号処理方法。
【請求項７】
前記第１ゲイン情報は、前記オブジェクト情報及び前記ミックス情報に基づいて計算されたユーザゲインの、前記オブジェクト情報から計算されたオブジェクトレベルに対する比を表す、請求項１に記載のオーディオ信号処理方法。
【請求項８】
前記マルチチャネル情報及び前記第１ゲイン情報は共に送信される、請求項１に記載のオーディオ信号処理方法。
【請求項９】
前記エキストラマルチチャネル情報は、バイノーラルのためのＨＲＴＦ情報に該当する、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
前記第１ゲイン情報及び前記エキストラマルチチャネル情報のうちの１つを生成することは、
前記デコーディングモードがバイノーラルモードでない場合には、前記第１ゲイン情報を生成し、
前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを有する、請求項９に記載のオーディオ信号処理方法。
【請求項１１】
前記ＨＲＴＦ情報は、ＨＲＴＦパラメータ及び前記オブジェクト情報を含む、請求項９に記載のオーディオ信号処理方法。
【請求項１２】
前記ＨＲＴＦパラメータは、ＨＲＴＦデータベースから抽出されたパラメータに該当する、請求項１１に記載のオーディオ信号処理方法。
【請求項１３】
前記第２ゲイン情報は、オブジェクト別レベルをコントロールするための情報に該当し、前記ミックス情報に基づいて計算される、請求項１に記載のオーディオ信号処理方法。
【請求項１４】
前記ダウンミックス信号がモノ信号に該当する場合、前記ダウンミックス信号をバイパスすることを更に有し、
前記第１ゲイン情報及び前記エキストラマルチチャネル情報のうち１つを生成することは、
前記デコーディングモードがバイノーラルモードでない場合には、前記第１ゲイン情報を生成し、
前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを有する、請求項１に記載のオーディオ信号処理方法。
【請求項１５】
前記ダウンミックス信号のチャネル数が２つ以上である場合、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、ダウンミックス処理情報を生成し、
前記ダウンミックス処理情報を用いて、前記ダウンミックス信号を処理することを更に有し、
前記第１ゲイン情報及び前記エキストラマルチチャネル情報のうち１つを生成することは、
前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを有する、請求項１に記載のオーディオ信号処理方法。
【請求項１６】
前記ミックス情報は、オブジェクト位置情報、オブジェクトゲイン情報、及び再生環境情報のうち１つ以上に基づいて生成される、請求項１に記載のオーディオ信号処理方法。
【請求項１７】
前記ダウンミックス信号は、放送信号を通じて受信される、請求項１に記載のオーディオ信号処理方法。
【請求項１８】
前記ダウンミックス信号は、デジタル媒体を介して受信される、請求項１に記載のオーディオ信号処理方法。
【請求項１９】
ダウンミックス情報、オブジェクト情報、及びミックス情報を受信し、
前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成して送信し、
前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成して送信すること、
を行なうためのプログラムが記録されたコンピュータ読み取り可能記録媒体。
【請求項２０】
ダウンミックス情報、オブジェクト情報、及びミックス情報を受信する情報受信部と、
前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び前記第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成する情報生成ユニットと、
前記マルチチャネル情報を送信し、前記デコーディングモードにしたがって前記第１ゲイン情報、及び前記第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを送信する情報送信部と、
を有することを特徴とするオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関するもので、より詳細には、デジタル媒体、放送信号などを通じて受信したオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、多数個のオブジェクトをモノまたはステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号からパラメータが抽出される。これらのパラメータはデコーダで用いられることができ、それぞれのオブジェクトのパニング（panning）とゲイン（gain）はユーザーの選択によりコントロールされることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
それぞれのオブジェクトシグナルを制御するためには、ダウンミックスに含まれているそれぞれのソースが適切にポジショニングまたはパニングされなければならない。
【０００４】
また、チャネル指向の（channel-oriented）デコーディング方式で下位互換性を有するには、オブジェクトパラメータがアップミキシングのためのマルチチャネルパラメータに柔軟に変換されなければならない。
【課題を解決するための手段】
【０００５】
本発明は、上記問題点を解決するために案出されたもので、その目的は、オブジェクトのゲインとパニングを制限なくコントロールできるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、ユーザ選択に基づいてオブジェクトのゲインとパニングをコントロールできるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
上記の目的を達成するために、本発明によるオーディオ信号処理方法は、ダウンミックス情報、オブジェクト情報、及びミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成して送信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成して送信することを含むオーディオ信号処理方法が提供される。
【０００８】
本発明によれば、上記方法は、前記第１ゲイン情報、及び前記第２ゲイン情報を含むエキストラマルチチャネル情報のうちの１つ、前記マルチチャネル情報、及び前記ダウンミックス情報を用いてマルチチャネルオーディオを生成することを更に含むことができる。
【０００９】
本発明によれば、前記オブジェクト情報は、オブジェクトレベル情報、及びオブジェクト相関情報のうち１つ以上を含むことができる。
【００１０】
本発明によれば、前記マルチチャネル情報は、前記ダウンミックス情報を前記マルチチャネル信号にアップミキシングするための情報に該当し、前記オブジェクト情報及び前記ミックス情報を用いて生成されることができる。
【００１１】
本発明によれば、前記マルチチャネル情報は、チャネルレベル情報及びチャネル相関情報のうち１つ以上を含むことができる。
【００１２】
本発明によれば、前記第１ゲイン情報は、時間−サブバンド別に計算されることができる。
【００１３】
本発明によれば、前記第１ゲイン情報は、前記オブジェクト情報及び前記ミックス情報に基づいて計算されたユーザゲインの、前記オブジェクト情報から計算されたオブジェクトレベルに対する比を表すことができる。
【００１４】
本発明によれば、前記マルチチャネル情報及び前記第１ゲイン情報は共に送信されることができる。
【００１５】
本発明によれば、前記エキストラマルチチャネル情報は、バイノーラルのためのＨＲＴＦ情報に該当することができる。
【００１６】
本発明によれば、前記第１ゲイン情報及び前記エキストラマルチチャネル情報のうち１つを生成することは、前記デコーディングモードがバイノーラルモードでない場合には、前記第１ゲイン情報を生成し、前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを含むことができる。
【００１７】
本発明によれば、前記ＨＲＴＦ情報は、ＨＲＴＦパラメータ及び前記オブジェクト情報を含むことができる。
【００１８】
本発明によれば、前記ＨＲＴＦパラメータは、ＨＲＴＦデータベースから抽出されたパラメータに該当することができる。
【００１９】
本発明によれば、前記第２ゲイン情報は、オブジェクト別レベルをコントロールするための情報に該当し、前記ミックス情報に基づいて計算されることができる。
【００２０】
本発明によれば、上記方法は、前記ダウンミックス情報がモノ信号に該当する場合、前記ダウンミックス情報をバイパスすることを更に含み、前記第１ゲイン情報、及び前記エキストラマルチチャネル情報のうち１つを生成することは、前記デコーディングモードがバイノーラルモードでない場合には、前記第１ゲイン情報を生成し、前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを含むことができる。
【００２１】
本発明によれば、上記方法は、前記ダウンミックス情報のチャネル数が２つ以上である場合、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、ダウンミックスプロセシング情報を生成し、前記ダウンミックスプロセシング情報を用いて前記ダウンミックス情報をプロセシングすることを更に含み、前記第１ゲイン情報、及び前記エキストラマルチチャネル情報のうち１つを生成することは、前記デコーディングモードがバイノーラルモードである場合には、前記エキストラマルチチャネル情報を生成することを含むことができる。
【００２２】
本発明によれば、前記ミックス情報は、オブジェクト位置情報、オブジェクトゲイン情報、及び再生環境情報のうち１つ以上に基づいて生成されることができる。
【００２３】
本発明によれば、前記ダウンミックス情報は、放送信号を通じて受信されることができる。
【００２４】
本発明によれば、前記ダウンミックス情報は、デジタル媒体を介して受信されることができる。
【００２５】
本発明の他の側面によれば、ダウンミックス情報、オブジェクト情報、及びミックス情報を受信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成して送信し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成して送信することを行なうためのプログラムが記録されるコンピュータ読み取り可能記録媒体が提供される。
【００２６】
本発明のさらに他の側面によれば、ダウンミックス情報、オブジェクト情報、及びミックス情報を受信する情報受信部と、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、マルチチャネル情報を生成し、前記オブジェクト情報及び前記ミックス情報のうち１つ以上を用いて、デコーディングモードにしたがって第１ゲイン情報、及び第２ゲイン情報を含むエキストラマルチチャネル情報のうち１つを選択的に生成する情報生成ユニットと、前記マルチチャネル情報を送信し、前記デコーディングモードにしたがって前記第１ゲイン情報、及び前記エキストラマルチチャネル情報のうち１つを送信する情報送信部と、を含むオーディオ信号処理装置が提供される。
【発明の効果】
【００２７】
本発明は、下記のような効果と利点を提供する。
【００２８】
第一、本発明によると、オブジェクトのゲインとパニングを制限なくコントロールすることが可能になる。
【００２９】
第二、本発明によると、ユーザ選択に基づいてオブジェクトのゲインとパニングをコントロールすることが可能になる。
【００３０】
第三、本発明によると、ダウンミックス信号がモノ信号かステレオ信号かにかかわることなくオブジェクトのゲインとパニングをコントロールすることが可能になる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例によるオーディオ信号処理装置の構成図である。
【図２】本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの詳細構成図である。
【図３】本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【図４】本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、本明細書及び特許請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解釈されてはならなく、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立ち、本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないので、本出願時点においてそれらに取って代わる様々な均等物と変形例がありうるということを理解すべきである。
【００３３】
特に、本明細書で、情報（information）とは、値（values）、パラメータ（parameters）、係数（coefficients）、成分（elements）などを総称する用語で、場合によってその意味が異なって解釈されるところ、これに限定されることはない。
【００３４】
また、本発明でいうマルチチャネルオーディオ信号は、３チャネル以上の信号だけでなく、立体効果（３Ｄ効果、バイノーラル効果）が適用されたチャネル信号を含む概念として理解すべきである。
【００３５】
図１は、本発明の実施例によるオーディオ信号処理装置の構成を示す図である。図１を参照すると、まず、本発明の実施例によるオーディオ信号処理装置１００は、情報生成部１１０、ダウンミックス処理部１２０、マルチチャネルデコーダ１３０を含む。
【００３６】
情報生成部１１０は、オブジェクト情報を含む付加情報（side information）、及びミックス情報（mix information）を受信し、これを用いて第１ゲイン情報またはエキストラマルチチャネル情報（extra multi-channel information：EMI）を生成する。ここで、エキストラマルチチャネルパラメータ（ＥＭＩ）は、バイノーラルモードのためのＨＲＴＦ（Head-related Transfer Functions）情報を含み、第２ゲイン情報を含む。一方、オブジェクト情報（ＯＩ）、ミックス情報（ＭＸＩ）、第１ゲイン情報、エキストラマルチチャネル情報（ＥＭＩ）などに関する具体的な説明は、図２を参照して後述する。また、情報生成部１１０は、第１ゲイン情報を生成する場合、第１ゲイン情報を含むマルチチャネル情報（ＭＩ）をマルチチャネルデコーダ１３０に伝送し、第１ゲイン情報を生成しない場合は、第１ゲイン情報を除くマルチチャネル情報（ＭＩ）、及びエキストラマルチチャネル情報（ＥＭＩ）を、マルチチャネルデコーダ１３０に送信する。これについての具体的な説明も、図２を参照して後述する。さらに、情報生成部１１０は、オブジェクト情報（ＯＩ）及びミックス情報を用いてダウンミックス処理情報（ＤＰＩ）を生成することができる。
【００３７】
ダウンミックス処理部１２０は、ダウンミックス情報（以下、ダウンミックス信号（ＤＭＸ）という。）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。もし、ダウンミックス信号（ＤＭＸ）がモノ信号に該当する場合には、ダウンミックス信号（ＤＭＸ）を処理せずにバイパスする。この場合、ダウンミックス信号（ＤＭＸ）のゲインを調節するために、情報生成部１１０は第１ゲイン情報を生成することができる。一方、ダウンミックス信号（ＤＭＸ）のチャネル数が２以上に該当する場合（すなわち、モノ信号ではなく、ステレオ信号またはマルチチャネル信号である場合）、オブジェクトのゲイン及びパニングを調節するための情報が、第１ゲイン情報ではなくダウンミックス処理情報（ＤＰＩ）またはエキストラマルチチャネル情報（ＥＭＩ）に含まれることができる。これについての具体的な説明は後述する。
【００３８】
マルチチャネルデコーダ１３０は、処理済みダウンミックス（processed downmix）を受信し、該処理済みダウンミックス信号をマルチチャネル情報（ＭＩ）を用いてアップミキシングしてマルチチャネル信号を生成する。エキストラマルチチャネル情報（ＥＭＩ）を受信した場合には、これを用いてマルチチャネル信号を変形する。
【００３９】
図２は、本発明の実施例によるオーディオ信号処理装置における情報生成部の詳細構成を示す図である。図２を参照すると、情報生成部１１０は、情報受信部１１２、マルチチャネル情報生成部１１４、第１ゲイン情報生成部１１４ａ、エキストラマルチチャネル情報生成部１１６、情報送信部１１８を含む。一方、情報生成部１１０は、情報受信部１１２及び情報送信部１１８を含むこともできるが、情報受信部１１２及び情報送信部１１８を情報生成部１１０と別の構成要素にすることもできる。また、マルチチャネル情報生成部１１４は、第１ゲイン情報生成部１１４ａを含むこともできるが、これに本発明が限定されるわけではない。
【００４０】
情報受信部１１２は、放送信号またはデジタル媒体などを通じてオブジェクト情報（ＯＩ）を受信する。ここで、オブジェクト情報（ＯＩ）は、上述した付加情報から抽出された情報であっても良い。オブジェクト情報（ＯＩ）は、ダウンミックス信号内に含まれているオブジェクトに関する情報で、オブジェクトレベル情報（object level information）、オブジェクト相関情報（object correlation information）などを含むことができる。一方、情報受信部１１２は、ユーザインターフェース等を介してミックス情報（ＭＸＩ）を受信する。ここで、ミックス情報（ＭＸＩ）とは、オブジェクト位置情報（object position information）、オブジェクトゲイン情報（object gain information）、及び再生環境情報（playback configuration information）などに基づいて生成された情報のことをいう。また、オブジェクト位置情報は、ユーザが各オブジェクトの位置またはパニング（panning）を制御するために入力した情報であり、オブジェクトゲイン情報は、ユーザが各オブジェクトのゲイン（gain）を制御するために入力した情報である。再生環境情報は、スピーカの個数、スピーカの位置、アンビエント情報（スピーカの仮想位置）などを含む情報で、ユーザから入力されても良く、あらかじめ格納されていても良く、別の装置から受信しても良い。
【００４１】
マルチチャネル情報生成部１１４は、オブジェクト情報（ＯＩ）及びミックス情報（ＭＸＩ）を用いてマルチチャネル情報（ＭＩ）を生成する。ここで、マルチチャネル情報（ＭＩ）は、ダウンミックス信号（ＤＭＸ）をアップミキシングするための情報で、チャネルレベル情報（channel level information）、チャネル相関情報（channel correlation information）などを含むことができる。
【００４２】
第１ゲイン情報生成部１１４ａは、オブジェクト情報（ＯＩ）及びミックス情報（ＭＸＩ）を用いて第１ゲイン情報を生成する。ここで、第１ゲイン情報は、ダウンミックス信号（ＤＭＸ）のゲインを変形するための情報で、ゲイン変形ファクタ（gain modifying factor）または任意ダウンミックスゲイン（arbitrary downmix gain：ＡＤＧ）と呼ばれることもできる。第１ゲイン情報は、オブジェクト情報（ＯＩ）とミックス情報（ＭＸＩ）に基づいて推定されたユーザゲインの、オブジェクト情報（ＯＩ）で推定されたオブジェクトレベルに対する比（ratio）で表すことができるもので、時間−サブバンド別（time-subband variant）に計算されることができる。第１ゲイン情報をダウンミックス信号（ＤＭＸ）に適用すると、ダウンミックス信号（ＤＭＸ）をアップミキシングする前に、ダウンミックス信号のゲインを特定時間及び特定周波数帯域別に調節することができる。したがって、ユーザの制御によって各オブジェクトのゲインを調節することができる。
【００４３】
一方、第１ゲイン情報生成部１１４ａは、ダウンミックス信号（ＤＭＸ）がモノ信号である場合、第１ゲイン情報を生成できる。さらに、ダウンミックス信号（ＤＭＸ）がモノ信号でありながら、エキストラマルチチャネル情報生成部１１６がバイノーラルモード（binaural mode）のためのＨＲＴＦ情報を生成しない時に、第１ゲイン情報生成部１１４ａは第１ゲイン情報を生成できる。これは、バイノーラルモードのためのＨＲＴＦ情報を生成する場合、ＨＲＴＦ情報内にオブジェクトゲインを調節するための第２ゲイン情報を含めることができ、よって、オブジェクトのゲインを調節するための第１ゲイン情報を生成すると、ゲイン情報の生成及び伝送が重複する場合があるためである。バイノーラルモードなどに関する詳細な説明は、エキストラマルチチャネル情報生成部１１６と共に説明する。
【００４４】
エキストラマルチチャネル情報生成部１１６は、オブジェクト情報（ＯＩ）、ミックス情報（ＭＸＩ）、及びＨＲＴＦデータベースを用いてエキストラマルチチャネル情報（ＥＭＩ）を生成する。エキストラマルチチャネル情報（ＥＭＩ）は、バイノーラルのためのＨＲＴＦ情報を含むことができる。ここで、バイノーラルモードとは、チャネル指向のデコーディング方式（例：MPEG Surround）において、３次元立体音響の効果のための処理モードのことをいう。
【００４５】
一方、ＨＲＴＦ情報は、１）第２ゲイン情報、２）ＨＲＴＦパラメータ、３）オブジェクト情報を含むことができる。ここで、１）第２ゲイン情報は、オブジェクト別ゲインをコントロールするための情報で、ミックス情報（ＭＸＩ）に基づいて推定されたものとすることができ、２）ＨＲＴＦパラメータは、ＨＲＴＦデータベースから抽出されたものとすることができる。ＨＲＴＦ情報は、デコーダごとに独立して使用されることができるため、ＨＲＴＦ情報を用いてオーディオ信号を效果的にデコーディングすることができる。オブジェクト情報は、情報受信部１１２を通して受信したオブジェクト情報（ＯＩ）でありうる。
【００４６】
一方、下記の式１のように、オブジェクト信号がコントロールされると仮定できる。
【００４７】
【数１】
2010516077.tif 000003
【００４８】
ここで、Lnew及びRnewは、ユーザが所望する信号を表し、objkは、オブジェクトの特性（エネルギー、相関度等）を代表する情報で、上述したオブジェクト情報（ＯＩ）から抽出された情報でありうる。ak、bkは、オブジェクトコントロールのための係数で、ユーザが入力したミックス情報（ＭＸＩ）から推定された情報でありうる。このak、bkに対応されるように第１ゲイン情報を設定したり、ＨＲＴＦパラメータを設定することができる。
【００４９】
具体的に、式１は、式２のように表すことができる。
【００５０】
【数２】
2010516077.tif 000004
【００５１】
ここで、「HRTF」はＨＲＴＦパラメータを表し、「ch」はチャネル信号である。
【００５２】
一方、下記の式も可能である。
【数３】
2010516077.tif 000005
【００５３】
一方、MPEG Surround標準で（5-1-51 configuration）（from ISO/IEC FDIS 23003-1: 2006(E), Information Technology -MPEG Audio Technologies-Part1: MPEG Surround）、バイノーラル処理は下記の通りである。
【００５４】
【数４】
2010516077.tif 000006
【００５５】
ここで、「ｙB」は出力信号を表し、マトリクス「Ｈ」はバイノーラル処理を行なう変換マトリクスである。
【００５６】
ここで、マトリクス「Ｈ」は、下記の通りである。
【００５７】
【数５】
2010516077.tif 000007
【００５８】
このマトリクス「Ｈ」の各成分は、下記のように定義できる。
【００５９】
【数６】
2010516077.tif 000008
【００６０】
【数７】
2010516077.tif 000009
【００６１】
【数８】
2010516077.tif 000010
【００６２】
式７での「ＰX,C」、「ＰX,L」などは、ＨＲＴＦパラメータに該当するファクタで、式３における第２ゲイン情報に対応でき、式７における「σC」、「σL」などは、チャネルパワーを表すファクタで、式１におけるオブジェクトパワーに対応できる。このように対応関係が成立するため、ＨＲＴＦパラメータを用いてユーザの所望する信号を生成することができる。言い換えると、上記の式のように求められる各チャネルに該当する値に、ＨＲＴＦパラメータを上記の式のように適用することで出力を求めることができる。
【００６３】
情報送信部１１８は、マルチチャネル情報（ＭＩ）を伝送し、第１ゲイン情報及びエキストラマルチチャネル情報（ＥＭＩ）のうち１つを送信する。具体的に、第１ゲイン情報生成部１１４ａにより第１ゲイン情報が生成された場合、第１ゲイン情報を含むマルチチャネル情報（ＭＩ）を送信し、エキストラマルチチャネル情報生成部１１６によりマルチチャネル情報（ＥＭＩ）が生成された場合、第１ゲイン情報を除くマルチチャネル情報（ＭＩ）、及びエキストラマルチチャネル情報（ＥＭＩ）を送信する。この時、マルチチャネル情報（ＭＩ）から第１ゲイン情報を除外する代わりに、デフォルトの第１ゲイン情報を送信できることはもちろんである。
【００６４】
一方、ＨＲＴＦ情報が含まれたエキストラマルチチャネル情報（ＥＭＩ）を送信する場合、特定ＨＲＴＦパラメータを一回のみ送信し、その後にはその特定ＨＲＴＦパラメータを識別できる情報（例：インデックス）を送信することもできる。
【００６５】
また、情報送信部１１８は、マルチチャネル情報（ＭＩ）及び第１ゲイン情報を用いて、チャネル指向の標準（例：MPEG Surround）のシンタックスに符合するビットストリームを生成した後に、このビットストリームを送信できるが、これに本発明が限定されるわけではない。
【００６６】
図３は、本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。図３を参照すると、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、ミックス情報（ＭＸＩ）を受信する（Ｓ１１０段階）。オブジェクト情報（ＯＩ）及びミックス情報（ＭＸＩ）を用いてマルチチャネル情報を生成して送信する（Ｓ１２０段階）。もし、ダウンミックス信号がモノ信号でない場合には（Ｓ１３０段階の「いいえ」）（すなわち、ダウンミックス信号がステレオ信号などである場合）、Ｓ２１０〜Ｓ２４０段階が行なわれる。これについての具体的な説明は、図４を参照して後述する。もちろん、ダウンミックス信号がモノ信号かステレオ信号かによらず第１ゲイン情報を生成できる場合は、Ｓ１３０段階、Ｓ２１０〜Ｓ２４０段階は省略可能である。
【００６７】
一方、ダウンミックス信号がモノ信号である場合（Ｓ１３０段階の「はい」）、バイノーラルモードのための情報を生成するか否かを判断する（Ｓ１４０段階）。バイノーラルモードのための情報を生成しない場合（Ｓ１４０段階の「いいえ」）、オブジェクトゲインの調節のために第１ゲイン情報を生成する（Ｓ１５０段階）。続いて、第１ゲイン情報を含むマルチチャネル情報（ＭＩ）を送信する（Ｓ１７０段階）。ここで、第１ゲイン情報は、Ｓ１２０段階におけるマルチチャネル情報と共に送信されることができる。マルチチャネルデコーダは、マルチチャネル情報を受信した後、これを適用してダウンミックス信号のゲインを調節できる。
【００６８】
もし、Ｓ１４０段階で、バイノーラルモードのための情報を生成する場合（Ｓ１４０段階の「はい」）、オブジェクト情報、ミックス情報、ＨＲＴＦデータベースなどを用いて、第２ゲイン情報、ＨＲＴＦパラメータ、オブジェクトパラメータを含むＨＲＴＦ情報を生成する（Ｓ１７０段階）。その後、第２ゲイン情報を含むエキストラマルチチャネル情報（ＥＭＩ）を送信する（Ｓ１８０段階）。
【００６９】
一方、Ｓ１３０段階でダウンミックス信号がモノ信号でない場合には、まず、オブジェクト情報（ＯＩ）及びミックス情報（ＭＸＩ）を用いてダウンミックス処理情報を生成する（Ｓ２１０段階）。Ｓ２１０段階で生成されたダウンミックス処理情報（ＤＰＩ）を用いてダウンミックスを処理する（Ｓ２２０段階）。そして、バイノーラルモードである場合（Ｓ２３０段階の「はい」）は、上述したＳ１７０段階〜Ｓ１８０段階が行なわれ、バイノーラルモードでない場合（Ｓ２３０段階の「いいえ」）は、全ての手続が終了する。
【００７０】
以上、本発明はたとえ限定された実施例と図面により説明されたが、本発明は、これに限定されず、本発明の属する技術分野における通常の知識を有する者には、本発明の技術思想と添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であることは勿論である。
【産業上の利用可能性】
【００７１】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用されることができる。
【図１】
2010516077.tif 000011
【図２】
2010516077.tif 000012
【図３】
2010516077.tif 000013
【図４】
2010516077.tif 000014
【国際調査報告】
2010516077.tif 000015
2010516077.tif 000016
2010516077.tif 000017