(57)【要約】  メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得し、比率情報及び利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する、オーディオ信号処理方法が開示される。オブジェクト情報を用いて比率情報を生成し、比率情報を用いてオブジェクトの利得範囲情報を生成し、利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する、オーディオ信号処理方法が開示される。
2010518452.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト情報を用いて比率情報を生成し、
前記比率情報を用いてオブジェクトの利得範囲情報を生成し、
前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する、
ことを特徴とするオーディオ信号処理方法。
【請求項２】
前記比率情報を生成する段階は、オブジェクト信号のオブジェクトレベル情報を用いて行われる、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記比率情報を生成する段階は、特定オブジェクト信号のオブジェクトレベル情報、及び他のオブジェクト信号のオブジェクトレベル情報との比率を用いて行われる、請求項２に記載のオーディオ信号処理方法。
【請求項４】
前記他のオブジェクト信号のオブジェクトレベル情報は、２つ以上の他のオブジェクト信号のオブジェクトレベル情報の和である、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記利得範囲情報を生成する段階は、デフォルトガイド情報、ユーザガイド情報、及びエンコーダガイド情報のうち一つ以上を用いて行われる、請求項１に記載のオーディオ信号処理方法。
【請求項６】
前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち一つ以上を含む、請求項１に記載のオーディオ信号処理方法。
【請求項７】
前記利得範囲情報は、時間毎サブバンド毎に変化する、請求項１に記載のオーディオ信号処理方法。
【請求項８】
さらに、メイン信号及びサブ信号を含むダウンミックス情報を受信し、
前記比率情報は、前記メイン信号と前記サブ信号との相対的な比率を含む、請求項１に記載のオーディオ信号処理方法。
【請求項９】
さらに、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
さらに、前記制御パラメータを含むミックス情報を受信し、
前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち一つ以上に基づいて生成される、請求項１に記載のオーディオ信号処理方法。
【請求項１１】
前記オーディオ信号は、放送信号を通じて受信される、請求項１に記載のオーディオ信号処理方法。
【請求項１２】
前記オーディオ信号は、デジタル媒体を通じて受信される、請求項１に記載のオーディオ信号処理方法。
【請求項１３】
オブジェクト情報を用いて比率情報を生成し、
前記比率情報を用いてオブジェクトの利得範囲情報を生成し、
前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する、
プログラムが記録されたことを特徴とするコンピュータ読取可能記録媒体。
【請求項１４】
オブジェクト情報を用いて比率情報を生成し、前記比率情報を用いてオブジェクトの利得範囲情報を生成する情報生成部と、
前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、
を含むことを特徴とするオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関し、より詳細には、デジタル媒体、放送信号などを通じて受信したオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、複数個のオブジェクトをモノまたはステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号からパラメータが抽出される。これらのパラメータはデコーダで用いることができ、それぞれのオブジェクトのパニング及び利得は、ユーザの選択によって制御することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
それぞれのオブジェクトシグナルを制御するためには、ダウンミックスに含まれているそれぞれのソースが適切にポジショニングまたはパニングされなければならない。
【０００４】
また、チャネル基盤デコーディング方式で下位互換性を有するためには、オブジェクトパラメータをアップミキシングのためのマルチチャネルパラメータに柔軟に変換しなければならない。
【課題を解決するための手段】
【０００５】
本発明は上記の点に鑑みてなされたもので、その目的は、オブジェクトの利得及びパニングを無制限に制御できるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御できるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、一定の制限範囲内において、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御できるオーディオ信号処理方法及び装置を提供することにある。
【発明の効果】
【０００８】
本発明は、下記の効果及び利点を提供する。
【０００９】
第一に、オブジェクトの利得及びパニングを無制限に制御することができる。
【００１０】
第二に、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御することができる。
【００１１】
第三に、オブジェクトの利得を調整する場合、利得調整に対する利得範囲を提供することによって、利得調整によって音質が歪むことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例によるオーディオ信号処理装置の構成図である。
【図２】本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の一例である。
【図３】本発明の一実施例によるオーディオ信号処理方法のフローチャートである。
【図４】本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の他の例である。
【図５】本発明の他の実施例によるオーディオ信号処理方法のフローチャートである。
【発明を実施するための形態】
【００１３】
上記の目的を達成するために本発明によるオーディオ信号処理方法は、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得し、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形することを特徴とする。
【００１４】
本発明によれば、前記比率情報は、オーディオ信号ビットストリームから取得することができる。
【００１５】
本発明によれば、上記の方法は、さらに、前記比率情報及び前記利得範囲情報が送信されたか否かを表す送信フラグ情報を取得し、前記比率情報及び前記利得範囲情報は、前記送信フラグ情報に基づいて前記オーディオ信号ビットストリームから取得することができる。
【００１６】
本発明によれば、上記の方法は、さらに、オブジェクト信号が関係信号に該当するか否かを表す関係フラグ情報を取得し、前記送信フラグ情報を取得する段階は、前記関係フラグ情報に基づいて行うことができる。
【００１７】
本発明によれば、前記関係フラグ情報は、オブジェクト信号が関係信号に該当するか否かをオブジェクト別に表すことができる。
【００１８】
本発明によれば、上記の方法は、さらに、周波数分解能情報を受信し、前記パラメータ情報を変形する段階は、前記周波数分解能情報に基づいて行うことができる。
【００１９】
本発明によれば、前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち一つ以上を含むことができる。
【００２０】
本発明によれば、前記利得範囲情報は、時間毎サブバンド毎に変化する。
【００２１】
本発明によれば、上記の方法は、前記利得範囲情報を表示し、オブジェクト別利得調整に関するユーザ制御情報を受信し、前記制御パラメータは、前記ユーザ制御情報に基づいて生成することができる。
【００２２】
本発明によれば、上記の方法は、さらに、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成することができる。
【００２３】
本発明によれば、上記の方法は、さらに、前記メイン信号及び前記サブ信号を含むダウンミックス情報を受信し、前記ダウンミックス情報及び前記マルチチャネル情報を用いてマルチチャネル信号を生成することができる。
【００２４】
本発明によれば、上記の方法は、さらに、前記制御パラメータを含むミックス情報を受信し、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち一つ以上に基づいて生成することができる。
【００２５】
本発明によれば、前記オーディオ信号は、放送信号を通じて受信することができる。
【００２６】
本発明によれば、前記オーディオ信号は、デジタル媒体を通じて受信することができる。
【００２７】
本発明の他の側面によれば、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得し、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形するためのプログラムが記録されたコンピュータ読取可能記録媒体が提供される。
【００２８】
本発明のさらに他の側面によれば、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得する情報送受信部と、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、を含むオーディオ信号処理装置が提供される。
【００２９】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得し、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得し、前記第１レベル情報及び第２レベル情報のうちの一つに基づいて、オブジェクトパラメータ及び制御パラメータを含むパラメータ情報を変形し、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されることを特徴とするオーディオ信号処理方法が提供される。
【００３０】
本発明によれば、この方法は、さらに、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成することができる。
【００３１】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得し、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得し、前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータを含むパラメータ情報を変形するためのプログラムが記録され、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されるコンピュータ読取可能記録媒体が提供される。
【００３２】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得し、メイン信号とサブ信号との比率情報、及びオブジェクトの利得範囲情報を取得する情報送受信部と、前記第１レベル情報及び第２レベル情報のうちの一つに基づいて、オブジェクトパラメータ及び制御パラメータを含むパラメータ情報を変形する情報変形部と、を含み、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されることを特徴とするオーディオ信号処理装置が提供される。
【００３３】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成し、前記比率情報を用いてオブジェクトの利得範囲情報を生成し、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形することを特徴とするオーディオ信号処理方法が提供される。
【００３４】
本発明によれば、前記比率情報を生成する段階は、オブジェクト信号のオブジェクトレベル情報を用いて行うことができる。
【００３５】
本発明によれば、前記比率情報を生成する段階は、特定オブジェクト信号のオブジェクトレベル情報、及び他のオブジェクト信号のオブジェクトレベル情報との比率を用いて行うことができる。
【００３６】
本発明によれば、前記他のオブジェクト信号のオブジェクトレベル情報は、二つ以上の他のオブジェクト信号のオブジェクトレベル情報の和となりうる。
【００３７】
本発明によれば、前記利得範囲情報を生成する段階は、デフォルトガイド情報、ユーザガイド情報、及びエンコーダガイド情報のうち一つ以上を用いて行うことができる。
【００３８】
本発明によれば、前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち一つ以上を含むことができる。
【００３９】
本発明によれば、前記利得範囲情報は、時間毎サブバンド毎に変化することができる。
【００４０】
本発明によれば、上記の方法は、さらに、メイン信号及びサブ信号を含むダウンミックス情報を受信し、前記比率情報は、前記メイン信号と前記サブ信号との相対的な比率を含むことができる。
【００４１】
本発明によれば、上記の方法は、さらに、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成することができる。
【００４２】
本発明によれば、上記の方法は、さらに、前記制御パラメータを含むミックス情報を受信し、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち一つ以上に基づいて生成することができる。
【００４３】
本発明によれば、前記オーディオ信号は、放送信号を通じて受信することができる。
【００４４】
本発明によれば、前記オーディオ信号は、デジタル媒体を通じて受信することができる。
【００４５】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成し、前記比率情報を用いてオブジェクトの利得範囲情報を生成し、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形するためのプログラムが記録されたコンピュータ読取可能記録媒体が提供される。
【００４６】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成し、前記比率情報を用いてオブジェクトの利得範囲情報を生成する情報生成部と、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、を含むオーディオ信号処理装置が提供される。
【実施例】
【００４７】
以下、添付の図面を参照しつつ、本発明の好ましい実施例について詳細に説明する。ただし、本明細書及び特許請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立ち、本発明の技術的思想に符合する意味及び概念として解釈しなければならない。したがって、本明細書に記載された実施例及び図面に示された構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないので、本出願時点においてそれらに取って代わる様々な均等物及び変形例がありうるということを理解すべきである。
【００４８】
特に、本明細書で、情報は、値、パラメータ、係数、成分などを総称する用語で、ケースバイケースで異なった意味に解釈されうる。
【００４９】
図１は、本発明の実施例によるオーディオ信号処理装置の構成を示す図である。図１を参照すると、まず、本発明の実施例によるオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０、マルチチャネルデコーダ１３０を含む。
【００５０】
情報生成ユニット１１０は、オブジェクト情報（object information：ＯＩ）などを含む付加情報を、オーディオ信号ビットストリームを通じて受信し、ユーザインターフェースを介してミックス情報（mix information：ＭＸＩ）を受信する。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号中に含まれているオブジェクトに関する情報であり、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。このオブジェクト情報（ＯＩ）は、オブジェクト特性を表すパラメータであるオブジェクトパラメータ（object parameter：ＯＰ）を含むことができる。一方、ミックス情報（ＭＸＩ）とは、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報などに基づいて生成された情報のことをいう。ここで、オブジェクト位置情報は、ユーザが各オブジェクトの位置またはパニングを制御するために入力した情報であり、オブジェクト利得情報は、ユーザが各オブジェクトの利得を制御するために入力した情報である。また、再生環境情報は、スピーカの個数、スピーカの位置、アンビエント情報（スピーカの仮想位置）などを含む情報であり、ユーザから入力されても良く、あらかじめ保存されていても良く、他の装置から受信しても良い。このミックス情報（ＭＸＩ）は制御パラメータ（control parameter：ＣＰ）を含むことができ、この場合、制御パラメータ（ＣＰ）は、特に、オブジェクト利得情報に該当するパラメータとすることができるが、本発明がこれに限定されることはない。
【００５１】
一方、情報生成ユニット１１０は、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）などをビットストリームから受信するか、または、それ自身で生成する。比率情報（ＲＩ）、利得範囲情報（ＧＩ）などに関する具体的な説明は、図２〜図５に基づいて後述する。比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を用いてオブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形することによって、変形されたパラメータ情報（ＭＰＩ）を生成し、これを用いてマルチチャネル情報（multi-channel information：ＭＩ）を生成する。ここで、マルチチャネル情報（ＭＩ）は、ダウンミックス信号（ＤＭＸ）をアップミキシングするための情報であり、チャネルレベル情報、チャネル相関情報などを含むことができる。これについても図２〜図５を用いて具体的に後述する。
【００５２】
一方、情報生成ユニット１１０は、変形されたパラメータ情報（ＭＰＩ）などを用いてダウンミックス処理情報（downmix processing information：ＤＰＩ）を生成することができる。一方、ダウンミックス処理ユニット１２０がオブジェクト利得を調節するためのものではなく、オブジェクトパニングのみを調節するためのものであるとすれば、情報生成ユニット１１０は、変形されたパラメータ情報（ＭＰＩ）ではなく、変形されていないパラメータ情報（ＰＩ）を用いてダウンミックス処理情報（ＤＰＩ）を生成することができる。
【００５３】
ダウンミックス処理ユニット１２０は、ダウンミックス情報（以下、「ダウンミックス信号（ＤＭＸ）」という。）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。オブジェクトのパニングまたは利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。
【００５４】
マルチチャネルデコーダ１３０は、処理されたダウンミックスを受信し、該処理されたダウンミックス信号を、マルチチャネル情報（ＭＩ）を用いてアップミキシングすることでマルチチャネル信号を生成する。
【００５５】
以下では、図２〜図５を参照して、情報生成ユニット１１０が比率情報（ＲＩ）及び利得範囲情報（ＧＩ）などをビットストリームから受信するか、または、それ自身で生成し、これを用いてマルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００５６】
図２は、本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の一例であり、図３は、本発明の一実施例によるオーディオ信号処理方法のフローチャートである。図２及び図３は、比率情報（ＲＩ）をビットストリームから受信する方式の実施例に関する。まず、図２を参照すると、情報生成ユニット１１０は、情報送受信部１１２ａ、情報変形部１１４ａ、及びマルチチャネル情報生成部１１６ａを含む。以下、図２及び図３を参照しつつ、各構成要素及び各段階について具体的に説明する。
【００５７】
情報送受信部１１２ａは、先ず、オーディオ信号ビットストリームから、オブジェクトパラメータ（ＯＰ）を含むオブジェクト情報（ＯＩ）を取得し、ユーザインターフェースなどから、制御パラメータ（ＣＰ）を含むミックス情報（ＭＸＩ）を取得する（ステップＳ１１０）。ここで、オブジェクト情報（ＯＩ）は、図１で説明されたオブジェクト情報と同じものとすることができ、このオブジェクト情報（ＯＩ）にオブジェクトレベル情報を含んで送信された場合、この送信されたオブジェクトレベル情報を第１オブジェクトレベル情報（ＯＬ１）と称する。
【００５８】
そして、情報送受信部１１２ａは、オーディオ信号ビットストリームから関係フラグ情報を取得する（ステップＳ１２０）。
【００５９】
関係フラグ情報のうち第１関係フラグ情報をビットストリームに含むことができる。この第１関係フラグ情報は、ダウンミックス信号に含まれているオブジェクト信号が全て独立している信号なのか、それとも関係信号に該当する信号が一つ以上存在するかを表す情報である。例えば、第１関係フラグ情報が‘０’の時は、全てのオブジェクト信号が独立している信号であるということを意味し、第１関係フラグ情報が‘１’の時は、関係信号に該当するオブジェクト信号が一つ以上存在するということを意味するように設定できるが、本発明はこれに限定されない。ここで、関係信号は、オブジェクトレベルを調節する際に、他のオブジェクト信号との相対的なレベルが一定レベル以下または以上になる時、音質の劣化が生じうる信号のことを指す。
【００６０】
一方、第１関係フラグ情報によって、関係信号に該当するオブジェクト信号が一つ以上存在する場合（例えば、第１関係フラグ情報が‘１’である場合）、オブジェクト別に該当のオブジェクトが関係信号に該当するかを表す第２関係フラグ情報を抽出することができる。逆に、関係信号に該当するオブジェクト信号が全く存在しない場合（例えば、第１関係フラグ情報が‘０’である場合）、各オブジェクト別に関係信号に該当するか否かを表す第２関係フラグ情報を抽出する必要はない。
【００６１】
取得された第２関係フラグ情報によって、該当のオブジェクト信号が関係信号に該当するか否かがわかる。例えば、第２関係フラグ情報が‘０’である場合は、該当のオブジェクト信号が関係信号に該当しないということを意味し、第２関係フラグ情報が‘１’である場合は該当のオブジェクト信号が関係信号に該当するということを意味するように設定できるが、本発明はこれに限定されない。
【００６２】
このように、ステップＳ１２０で取得された関係フラグ情報に基づいて、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信されたか否かを表す送信フラグ情報を取得する（ステップＳ１３０）。具体的には、第２関係フラグ情報を参照した結果、該当のオブジェクトが関係信号に該当する場合（例えば、第２関係フラグ情報が‘１’である場合）、該当のオブジェクトに対して送信フラグ情報を抽出することができる。
【００６３】
ステップＳ１３０で取得された送信フラグ情報に基づいて、該当のオブジェクトに対して比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信されたか否かがわかる。例えば、送信フラグ情報が０の場合、比率情報及び利得範囲情報が送信されていないことを意味してもよく、送信フラグ情報が１の場合は比率情報及び利得範囲情報が送信されていることを意味してもよい。
【００６４】
これに限定されず、本発明は、第１関係フラグ情報及び第２関係フラグ情報はビットストリームに含まれず、送信フラグ情報のみがビットストリームに含まれる実施例も実行可能である。
【００６５】
その後、ステップＳ１３０で取得された送信フラグ情報を参照した結果、比率情報及び利得範囲情報が送信された場合（例えば、送信フラグ情報が‘１’である場合）、利得範囲情報（ＧＩ）が存在する周波数の分解能を表す周波数分解能情報を取得する（ステップＳ１４０）。例えば、周波数分解能情報が‘１’である場合、利得範囲情報が存在する周波数の分解能が‘２８’であることを意味し、周波数分解能情報が‘２’である場合、利得範囲情報が存在する周波数の分解能が‘２０’であるということを意味するように設定できるが、本発明はこれに限定されない。
【００６６】
また、ステップＳ１３０で取得された送信フラグ情報を参照した結果、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信される場合（例えば、送信フラグ情報が‘１’である場合）、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を取得する（ステップＳ１５０）。一方、比率情報（ＲＩ）は、該当のオブジェクト信号がメイン信号に近いか、または、サブ信号に近いかを表す情報であり、具体的には、メイン信号とサブ信号との相対的な比率を含むことができる。例えば、メイン信号は音声信号に、サブ信号は雑音信号に対応することができる、または、メイン信号はメインボーカル信号に、サブ信号はバックコーラス信号に対応することができるが、本発明はこれに限定されない。例えば、比率情報が‘０’である場合、該当のオブジェクト信号がサブ信号に非常に近いということを意味し、‘１’である場合は、該当のオブジェクト信号がサブ信号に近いということを意味し、‘２’である場合は、該当のオブジェクト信号がメイン信号に近いということを意味し、‘３’である場合は、該当のオブジェクト信号がメイン信号に非常に近いということを意味するように設定できるが、本発明はこれに限定されない。
【００６７】
一方、利得範囲情報（ＧＩ）は、オブジェクトの利得調整に対する範囲を含むことができる。この場合、上記範囲は、上限値または下限値などの制限値を含むことができる。この制限値は、特定オブジェクトに対する絶対的な利得値に該当することもでき、オブジェクト間の相対的な利得差値に該当することもできる。制限値が絶対的な利得値に該当する場合、例えば、ボーカル信号の利得調整範囲を１０ｄＢ以内とすることができる。制限値が相対的な利得差値に該当する場合、例えば、ボーカル信号の利得調整範囲がピアノ信号を基準に１０ｄＢ以内とすることができる。このような場合、ボーカル信号のみを１０ｄＢ程度強調することもでき、または、ボーカル信号を５ｄＢ程度強調するとともにピアノ信号を５ｄＢ程度抑圧することもできる。このような利得範囲情報（ＧＩ）は、時間及び周波数帯域に対して不変な値であっても良いが、時間毎サブバンド毎に変化しても良い。
【００６８】
さらに、利得範囲情報（ＧＩ）は、相対的な利得調整連動情報に該当してもよい。相対的な利得調整連動情報とは、特定オブジェクトが強調または抑圧される場合、それに応じて他のオブジェクトも強調または抑圧されなければならないかに関する情報のことをいう。例えば、ボーカル信号及びバックコーラス信号の場合、ボーカル信号が１０ｄＢ強調された時、それに応じてバックコーラス信号も５〜１５ｄＢ程度強調し、音質歪曲を低減させなければならない。
【００６９】
ステップＳ１５０で、比率情報（ＲＩ）は、各オブジェクト別パラメータセット別に抽出することができ、利得範囲情報（ＧＩ）は、各オブジェクト別に周波数分解能によって抽出することができるが、本発明はこれに限定されない。
【００７０】
一方、ステップＳ１５０で、比率情報（ＲＩ）のみをオーディオ信号ビットストリームから抽出し、利得範囲情報（ＧＩ）は抽出せずにそれ自身で生成することもできる。この利得範囲情報（ＧＩ）の生成においては、後に図４及び図５と共に説明する方式を利用することができる。
【００７１】
情報送受信部１１２ａは、ステップＳ１５０で取得された比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を、ユーザインターフェース２００を通じて表示することができる（ステップＳ１６０）。例えば、ボーカル信号が他の信号と関係する信号であるというメッセージや、ボーカル信号の利得調整において１０ｄＢ以上調整すると音質の歪曲が生じる可能性があるというメッセージなどをユーザが見ることができるように画面に表示できる。その後、ユーザがこのようなメッセージを確認した後に、オブジェクト別利得調整に関するユーザ制御情報を、ユーザインターフェース２００を通じて入力できる。この場合、ユーザ制御情報は、オブジェクト信号の制限値（１０ｄＢ）を超過した値（例：２０ｄＢ）が入力されても、制限値以内に強制的に調整することができ、または、制限値を超過してもユーザ制御情報（２０ｄＢ）をそのまま反映することができる。この場合、ステップＳ１１０で受信されたミックス情報（ＭＸＩ）は、このようなユーザ制御情報に基づいて生成することができる。
【００７２】
情報変形部１１４ａは、ステップＳ１５０で取得された比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を用いて、ステップＳ１１０で取得されたオブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形する（ステップＳ１７０）。具体的には、先ず、ミックス情報（ＭＸＩ）、比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を変形した後、変形された利得範囲情報（ＧＩ）をオブジェクトパラメータ（ＯＰ）に適用することによって、変形されたパラメータ情報（ＭＰＩ）を生成できるが、本発明はこれに限定されない。上記ステップＳ１７０は、ステップＳ１４０で抽出された周波数分解能情報に基づいて行うことができる。具体的には、ステップＳ１４０で抽出された周波数分解能情報によって、各周波数帯域に該当する利得範囲情報を抽出し、該当の利得範囲情報を全体周波数帯域にマッピングさせた後、上記ステップＳ１８０を行うことができる。一方、変形されたパラメータ情報（ＭＰＩ）は、ステップＳ１１０で受信した第１オブジェクトレベル情報（ＯＬ１）とは異なる第２オブジェクトレベル情報（ＯＬ２）を含むことができる。
【００７３】
マルチチャネル情報生成部１１６ａは、マルチチャネル情報（ＭＩ）を生成する（ステップＳ１８０）。この場合、ステップＳ１１０で送信された第１オブジェクトレベル情報（ＯＬ１）を用いてマルチチャネル情報（ＭＩ）を生成することもでき、ステップＳ１７０で生成された変形パラメータ情報（ＭＰＩ）の第２オブジェクトレベル情報（ＯＬ２）を用いてマルチチャネル情報（ＭＩ）を生成することもできる。もちろん、第１オブジェクトレベル情報（ＯＬ１）を用いる場合は、レベル調整におけるガイドが適用されない場合である。
【００７４】
図４は、本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の他の例であり、図５は、本発明の他の実施例によるオーディオ信号処理方法のフローチャートである。図４及び図５は、比率情報（ＲＩ）をデコーダ自身で生成する方式の実施例に該当する図である。先ず、図４を参照すると、情報生成ユニット１１０は、情報送受信部１１２ｂ、情報生成部１１３ｂ、情報変形部１１４ｂ、及びマルチチャネル情報生成部１１６ｂを含む。以下、図４及び図５を参照しながら、各構成要素及び各ステップについて具体的に説明する。
【００７５】
先ず、情報送受信部１１２ｂは、オーディオ信号ビットストリームからオブジェクトパラメータ（ＯＰ）を含むオブジェクト情報（ＯＩ）を受信し、ユーザインターフェースなどから制御パラメータ（ＣＰ）を含むミックス情報（ＭＸＩ）を受信する（ステップＳ３１０）。さらに、情報送受信部１１２ｂは、エンコーダガイド情報（encoder guide information：ＥＧＩ）を受信することができる。エンコーダガイド情報（ＥＧＩ）は、エンコーダで生成されたガイド情報であり、オブジェクトの利得調整に対する範囲を含み、オーディオ信号ビットストリームを通じて受信された情報であってもよい。
【００７６】
情報生成部１１３ｂは、ステップＳ１１０で受信したオブジェクト情報（ＯＩ）を用いて比率情報を生成する（ステップＳ３２０）。具体的に、オブジェクト情報（ＯＩ）のうちオブジェクトレベル情報（ＯＬＩ）を用いて比率情報（ＲＩ）を生成することができる。ここで、比率情報（ＲＩ）は、メイン信号とサブ信号との相対的な比率に相当してもよく、他のオブジェクト信号とのレベル情報比率に相当してもよい。他のオブジェクト信号とのレベル情報の比率は、次のように定義することができる。
【００７７】
【数１】
2010518452.tif 000003
【００７８】
ここで、OLDiは、ｉ番目のオブジェクト信号のオブジェクトレベル情報、OLDkは他のオブジェクト信号のオブジェクトレベル情報（k≠i）を表す。
【００７９】
一方、他のオブジェクト信号が二つ以上である場合、比率情報（ＲＩ）は、他のオブジェクト信号全体とのレベル情報比率に相当してもよく、これは、下記の式のように定義することができる。
【００８０】
【数２】
2010518452.tif 000004
【００８１】
ここで、OLDiはｉ番目のオブジェクト信号のオブジェクトレベル情報、Ｎは総オブジェクト信号個数、k=0〜N（ただし、k≠i）を表す。
【００８２】
ステップＳ３２０で生成した比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を生成する（ステップＳ３３０）。ここで、利得範囲情報（ＧＩ）は、図２及び図３で説明した利得範囲情報（ＧＩ）と同様に、オブジェクトの利得調整に対する範囲を含むことができ、この範囲は、上限値または下限値などのような制限値を含むことができる。この場合、制限値は、特定オブジェクトに対する絶対的な利得値に相当してもよく、オブジェクト間の相対的な利得差値に相当してもよい。利得範囲情報（ＧＩ）は、時間及び周波数帯域に対して不変な値であっても良いが、時間毎サブバンド毎に変化することもできる。
【００８３】
比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を生成する方式には、様々なものがあり、OLDratioが非常に高い場合、利得範囲情報（ＧＩ）の利得制限値（Ggain）を大きい値に決定することができる。これは、OLDratioが高い場合、大きいレンダリング自由度を与えても音質の歪曲が少ないためである。例えば、ボーカル信号のOLDratio（vocal）が非常に高い値である場合、ボーカル信号に対する利得制限値（Ggain）は２０ｄＢとすることができる。ボーカル信号のOLDratioがピアノ信号に対してのみ大きい値を有すると、ボーカル信号のピアノ信号に対する利得制限値（Ggain（back chorus））のみを大きい値にすることができる。
【００８４】
一方、より高精度の利得範囲情報（ＧＩ）を生成する目的で、エンコーダでオブジェクトレベル情報（ＯＬＤ）を生成する時に特定の周波数荷重を付与することができる。例えば、最も低い周波数帯域に該当する０番目のバンドに対して特定周波数を強調する荷重が与えられたフィルターを用いてＯＬＤを求めた後、一般的な方法で求めたＯＬＤとの差分情報を付加情報として含むことが可能である。音声信号などの場合、このような差分情報を、利得範囲情報（ＧＩ）を生成するのに用いることができる。
【００８５】
一方、ステップＳ３３０で利得範囲情報（ＧＩ）を生成するときに、デフォルトガイド情報（ＤＧＩ）、ユーザガイド情報（ＵＧＩ）、及びエンコーダガイド情報（ＥＧＩ）などを利用することができる。デフォルトガイド情報（default guide information：ＤＧＩ）は、デコーダ自体であらかじめ定められたガイド情報を意味し、ユーザガイド情報（user guide information：ＵＧＩ）は、ユーザインターフェース２００を介して入力されたガイド情報に該当し、エンコーダガイド情報（encoder guide information：ＥＧＩ）は、エンコーダで生成され、オーディオビットストリームから抽出されたガイド情報に該当する。利得範囲情報（ＧＩ）の生成において、デフォルトガイド情報（ＤＧＩ）、ユーザガイド情報（ＵＧＩ）、及びエンコーダガイド情報（ＥＧＩ）などを参照でき、例えば、オブジェクトレベル情報のみに基づいて特定オブジェクトの利得制限値（Ggain）を１０ｄＢに定めることができるが、この時、ユーザガイド情報（ＵＧＩ）が５ｄＢである場合、このようなユーザガイド情報（ＵＧＩ）を参照して利得範囲情報（ＧＩ）を生成することができる。
【００８６】
このようにステップＳ３２０で生成された比率情報（ＲＩ）、及びステップＳ３３０で生成された利得範囲情報（ＧＩ）は、上述のステップＳ１６０と同様に、ユーザインターフェース２００を通じて表示することができる（ステップＳ３４０）。
【００８７】
情報変形部１１４ｂは、上述のステップＳ１７０と同様に、オブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形する（ステップＳ３５０）。
【００８８】
そして、マルチチャネル情報生成部１１６ｂも、上述のステップＳ１９０と同様に、変形されたパラメータ情報（ＭＰＩ）を用いてマルチチャネル情報（ＭＩ）を生成する（ステップＳ３６０）。
【００８９】
以上では本発明を限定された実施例及び図面に基づいて説明したが、本発明は、それには限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想と添付の特許請求の範囲及びその均等範囲内で様々な修正及び変形が可能であるということが明らかである。
【産業上の利用可能性】
【００９０】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【図１】
2010518452.tif 000005
【図２】
2010518452.tif 000006
【図３】
2010518452.tif 000007
【図４】
2010518452.tif 000008
【図５】
2010518452.tif 000009
【国際調査報告】
2010518452.tif 000010
2010518452.tif 000011
2010518452.tif 000012