(57)【要約】  メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、比率情報及び利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を含むオーディオ信号処理方法が開示される。  オブジェクト情報を用いて比率情報を生成する段階と、比率情報を用いてオブジェクトの利得範囲情報を生成する段階と、利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を含むオーディオ信号処理方法が開示される。
2010518460.tif 000002
【特許請求の範囲】
【請求項１】
メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、
前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、
を含むことを特徴とするオーディオ信号処理方法。
【請求項２】
前記比率情報は、オーディオ信号ビットストリームから取得されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記比率情報及び前記利得範囲情報が送信されたか否かを表す送信フラグ情報を取得する段階をさらに含み、
前記比率情報及び前記利得範囲情報は、前記送信フラグ情報に基づいて前記オーディオ信号ビットストリームから取得されることを特徴とする、請求項２に記載のオーディオ信号処理方法。
【請求項４】
オブジェクト信号が関係信号に該当するか否かを表す関係フラグ情報を取得する段階をさらに含み、
前記送信フラグ情報を取得する段階は、前記関係フラグ情報に基づいて行われることを特徴とする、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記関係フラグ情報は、オブジェクト信号が関係信号に該当するか否かをオブジェクト別に表すことを特徴とする、請求項３に記載のオーディオ信号処理方法。
【請求項６】
周波数分解能情報を受信する段階をさらに含み、
前記パラメータ情報を変形する段階は、前記周波数分解能情報に基づいて行われることを特徴とする、請求項２に記載のオーディオ信号処理方法。
【請求項７】
前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち少なくとも一つを含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項８】
前記利得範囲情報は、時間別サブバンド別に変化することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項９】
前記利得範囲情報を表示する段階と、
オブジェクト別利得調整に関するユーザ制御情報を受信する段階と、
を含み、
前記制御パラメータは、前記ユーザ制御情報に基づいて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１１】
前記メイン信号及び前記サブ信号を含むダウンミックス情報を受信する段階と、
前記ダウンミックス情報及び前記マルチチャネル情報を用いてマルチチャネル信号を生成する段階と、
をさらに含むことを特徴とする、請求項１０に記載のオーディオ信号処理方法。
【請求項１２】
前記制御パラメータを含むミックス情報を受信する段階をさらに含み、
前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち少なくとも一つに基づいて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１３】
前記オーディオ信号は、放送信号を通じて受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１４】
前記オーディオ信号は、デジタル媒体を通じて受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１５】
メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、
前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、
を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項１６】
メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する情報送受信部と、
前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、
を含むことを特徴とするオーディオ信号処理装置。
【請求項１７】
第１レベル情報を含むオブジェクト情報を取得する段階と、
メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、
前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、
を含み、
前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されることを特徴とするオーディオ信号処理方法。
【請求項１８】
前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する段階をさらに含むことを特徴とする、請求項１７に記載のオーディオ信号処理方法。
【請求項１９】
第１レベル情報を含むオブジェクト情報を取得する段階と、
メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、
前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を行うためのプログラムが記録され、
前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成される、コンピュータ読み取り可能な記録媒体。
【請求項２０】
第１レベル情報を含むオブジェクト情報を取得し、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する情報送受信部と、
前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、
を含み、
前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されることを特徴とするオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に係り、より詳細には、デジタル媒体、放送信号などを通じて受信したオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、複数個のオブジェクトをモノラルまたはステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号からパラメータが抽出される。これらのパラメータはデコーダで用いることができ、それぞれのオブジェクトのパニング（panning）及び利得（gain）は、ユーザーの選択によって制御されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
それぞれのオブジェクトシグナルを制御するためには、ダウンミックスに含まれているそれぞれのソースが適切にポジショニングまたはパニングされなければならない。
【０００４】
また、チャネル基盤（channel-oriented）デコーディング方式で下位互換性を有するためには、オブジェクトパラメータをアップミキシングのためのマルチチャネルパラメータに柔軟に変換しなければならない。
【課題を解決するための手段】
【０００５】
本発明は上記の点に鑑みてなされたもので、その目的は、オブジェクトの利得及びパニングを無制限に制御できるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御できるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、一定の制限範囲内において、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御できるオーディオ信号処理方法及び装置を提供することにある。
【発明の効果】
【０００８】
本発明は、下記の効果及び利点を提供する。
【０００９】
第一に、オブジェクトの利得及びパニングを無制限に制御することができる。
【００１０】
第二に、ユーザの選択に基づいてオブジェクトの利得及びパニングを制御することができる。
【００１１】
第三に、オブジェクトの利得を調整する場合、利得調整に対する利得範囲を提供することによって、利得調整によって音質が歪むことを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例によるオーディオ信号処理装置の構成図である。
【図２】本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の一例である。
【図３】本発明の一実施例によるオーディオ信号処理方法のフローチャートである。
【図４】本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の他の例である。
【図５】本発明の他の実施例によるオーディオ信号処理方法のフローチャートである。
【発明を実施するための形態】
【００１３】
上記の目的を達成するために本発明によるオーディオ信号処理方法は、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を含む。
【００１４】
本発明によれば、前記比率情報は、オーディオ信号ビットストリームから取得されてもよい。
【００１５】
本発明によれば、上記の方法は、前記比率情報及び前記利得範囲情報が送信されたか否かを表す送信フラグ情報を取得する段階をさらに含み、前記比率情報及び前記利得範囲情報は、前記送信フラグ情報に基づいて前記オーディオ信号ビットストリームから取得されてもよい。
【００１６】
本発明によれば、上記の方法は、オブジェクト信号が関係信号に該当するか否かを表す関係フラグ情報を取得する段階をさらに含み、前記送信フラグ情報を取得する段階は、前記関係フラグ情報に基づいて行われてもよい。
【００１７】
本発明によれば、前記関係フラグ情報は、オブジェクト信号が関係信号に該当するか否かをオブジェクト別に表すことができる。
【００１８】
本発明によれば、上記の方法は、周波数分解能情報を受信する段階をさらに含み、前記パラメータ情報を変形する段階は、前記周波数分解能情報に基づいて行われてもよい。
【００１９】
本発明によれば、前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち少なくとも一つを含んでもよい。
【００２０】
本発明によれば、前記利得範囲情報は、時間別サブバンド別に変化してもよい。
【００２１】
本発明によれば、上記の方法は、前記利得範囲情報を表示する段階と、オブジェクト別利得調整に関するユーザ制御情報を受信する段階と、を含み、前記制御パラメータは、前記ユーザ制御情報に基づいて生成されてもよい。
【００２２】
本発明によれば、 上記の方法は、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する段階をさらに含んでもよい。
【００２３】
本発明によれば、上記の方法は、前記メイン信号及び前記サブ信号を含むダウンミックス情報を受信する段階と、前記ダウンミックス情報及び前記マルチチャネル情報を用いてマルチチャネル信号を生成する段階をさらに含んでもよい。
【００２４】
本発明によれば、上記の方法は、前記制御パラメータを含むミックス情報を受信する段階をさらに含み、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち少なくとも一つに基づいて生成されてもよい。
【００２５】
本発明によれば、前記オーディオ信号は、放送信号を通じて受信されてもよい。
【００２６】
本発明によれば、前記オーディオ信号は、デジタル媒体を通じて受信されてもよい。
【００２７】
本発明の他の側面によれば、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
【００２８】
本発明のさらに他の側面によれば、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する情報送受信部と、前記比率情報及び前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、を含むオーディオ信号処理装置が提供される。
【００２９】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得する段階と、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を含み、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されることを特徴とするオーディオ信号処理方法が提供される。
【００３０】
本発明によれば、この方法は、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する段階をさらに含んでもよい。
【００３１】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得する段階と、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する段階と、前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を行うためのプログラムが記録され、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されるコンピュータ読み取り可能な記録媒体が提供される。
【００３２】
本発明のさらに他の側面によれば、第１レベル情報を含むオブジェクト情報を取得し、メイン信号とサブ信号との間の比率情報と、オブジェクトの利得範囲情報とを取得する情報送受信部と、前記第１レベル情報及び第２レベル情報のうち一つに基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、を含み、前記第２レベル情報は、前記比率情報及び前記利得範囲情報を用いて生成されるオーディオ信号処理装置が提供される。
【００３３】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成する段階と、前記比率情報を用いてオブジェクトの利得範囲情報を生成する段階と、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を含むオーディオ信号処理方法が提供される。
【００３４】
本発明によれば、前記比率情報を生成する段階は、オブジェクト信号のオブジェクトレベル情報を用いて行われてもよい。
【００３５】
本発明によれば、前記比率情報を生成する段階は、特定オブジェクト信号のオブジェクトレベル情報、及び他のオブジェクト信号のオブジェクトレベル情報との比率を用いて行われてもよい。
【００３６】
本発明によれば、前記他のオブジェクト信号のオブジェクトレベル情報は、二つ以上の他のオブジェクト信号のオブジェクトレベル情報の和でありうる。
【００３７】
本発明によれば、前記利得範囲情報を生成する段階は、デフォルトガイド情報、ユーザガイド情報、及びエンコーダガイド情報のうち少なくとも一つを用いて行われてもよい。
【００３８】
本発明によれば、前記利得範囲情報は、特定オブジェクトに対する絶対的な利得値、オブジェクト間の相対的な利得差値のうち少なくとも一つを含んでもよい。
【００３９】
本発明によれば、前記利得範囲情報は、時間別サブバンド別に変化してもよい。
【００４０】
本発明によれば、上記の方法は、メイン信号及びサブ信号を含むダウンミックス情報を受信する段階をさらに含み、前記比率情報は、前記メイン信号と前記サブ信号との間の相対的な比率を含んでもよい。
【００４１】
本発明によれば、上記の方法は、前記変形されたパラメータ情報を用いてマルチチャネル情報を生成する段階をさらに含んでもよい。
【００４２】
本発明によれば、上記の方法は、前記制御パラメータを含むミックス情報を受信する段階をさらに含み、前記ミックス情報は、オブジェクト位置情報、オブジェクト利得情報、及び再生環境情報のうち少なくとも一つに基づいて生成されてもよい。
【００４３】
本発明によれば、前記オーディオ信号は、放送信号を通じて受信されてもよい。
【００４４】
本発明によれば、前記オーディオ信号は、デジタル媒体を通じて受信されてもよい。
【００４５】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成する段階と、前記比率情報を用いてオブジェクトの利得範囲情報を生成する段階と、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する段階と、を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
【００４６】
本発明のさらに他の側面によれば、オブジェクト情報を用いて比率情報を生成し、前記比率情報を用いてオブジェクトの利得範囲情報を生成する情報生成部と、前記利得範囲情報に基づいて、オブジェクトパラメータ及び制御パラメータのうち少なくとも一つを含むパラメータ情報を変形する情報変形部と、を含むオーディオ信号処理装置が提供される。
【実施例】
【００４７】
以下の概略説明とそれに続く詳細説明は、実施例と説明であり、特許請求の範囲に記載された本発明をさらに説明するものであることを理解されたい。
次に、本発明の好ましい実施形態について詳細に説明する。添付の図面には、これらの実施形態の例が示されている。
【００４８】
特に、本明細書で、情報（information）は、値（values）、パラメータ（parameters）、係数（coefficients）、成分（elements）などを総称する用語で、その意味は場合によって別々に解釈できるため、これに本発明が限定されることはない。
【００４９】
図１は、本発明の実施例によるオーディオ信号処理装置の構成を示す図である。図１を参照すると、まず、本発明の実施例によるオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０、マルチチャネルデコーダ１３０を含む。
【００５０】
情報生成ユニット（information generating unit）１１０は、オブジェクト情報（object information：OI）などを含む付加情報（side information）を、オーディオ信号ビットストリームを通じて受信し、ユーザインターフェースを介してミックス情報（mix information：MXI）を受信する。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号中に含まれているオブジェクトに関する情報であり、オブジェクトレベル情報（object level information）、オブジェクト相関情報（object correlation information）などを含んでもよい。このオブジェクト情報（ＯＩ）は、オブジェクト特性を表すパラメータであるオブジェクトパラメータ（object parameter：OP）を含んでもよい。一方、ミックス情報（ＭＸＩ）とは、オブジェクト位置情報（object position information）、オブジェクト利得情報（object gain information）、及び再生環境情報（playback configuration information）などに基づいて生成された情報のことをいう。ここで、オブジェクト位置情報は、ユーザが各オブジェクトの位置またはパニング（panning）を制御するために入力した情報であり、オブジェクト利得情報は、ユーザが各オブジェクトの利得（gain）を制御するために入力した情報である。また、再生環境情報は、スピーカの個数、スピーカの位置、アンビエント情報（スピーカの仮想位置）などを含む情報であり、ユーザから入力されても良く、あらかじめ保存されていても良く、他の装置から受信しても良い。このミックス情報（ＭＸＩ）は制御パラメータ（control parameter：CP）を含んでもよく、この場合、制御パラメータ（ＣＰ）は、特に、オブジェクト利得情報に該当するパラメータとすることができるが、本発明がこれに限定されることはない。
【００５１】
一方、情報生成ユニット１１０は、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）などをビットストリームから受信する、または、自動的に生成する。比率情報（ＲＩ）、利得範囲情報（ＧＩ）などに関する具体的な説明は、図２〜図５に基づいて後述する。比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を用いてオブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形することによって、変形されたパラメータ情報（ＭＰＩ）を生成し、これを用いてマルチチャネル情報（multi-channel information：ＭＩ）を生成する。ここで、マルチチャネル情報（ＭＩ）は、ダウンミックス信号（ＤＭＸ）をアップミキシングするための情報であり、チャネルレベル情報（channel level information）、チャネル相関情報（channel correlation information）などを含んでもよい。これについても図２〜図５を用いて具体的に後述する。
【００５２】
一方、情報生成ユニット１１０は、変形されたパラメータ情報（ＭＰＩ）などを用いてダウンミックス処理情報（downmix processing information：ＤＰＩ）を生成することができる。一方、ダウンミックス処理ユニット１２０がオブジェクト利得を調節するためのものではなく、オブジェクトパニングのみを調節するためのものであるとすれば、情報生成ユニット１１０は、変形されたパラメータ情報（ＭＰＩ）ではなく、変形されていないパラメータ情報（ＰＩ）を用いてダウンミックス処理情報（ＤＰＩ）を生成することができる。
【００５３】
ダウンミックス処理ユニット１２０は、ダウンミックス情報（以下、‘ダウンミックス信号（ＤＭＸ）’という。）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。オブジェクトのパニングまたは利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。
【００５４】
マルチチャネルデコーダ（multi-channel decoder）１３０は、処理されたダウンミックス（processed downmix）を受信し、該処理されたダウンミックス信号をマルチチャネル情報（ＭＩ）を用いてアップミキシングすることでマルチチャネル信号を生成する。
【００５５】
以下では、図２〜図５を参照して、情報生成ユニット１１０が比率情報（ＲＩ）及び利得範囲情報（ＧＩ）などをビットストリームから受信する、または、自動的に生成し、これを用いてマルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００５６】
図２は、本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の一例であり、図３は、本発明の一実施例によるオーディオ信号処理方法のフローチャートである。図２及び図３は、比率情報（ＲＩ）をビットストリームから受信する方式の実施例に関する。まず、図２を参照すると、情報生成ユニット１１０は、情報送受信部１１２ａ、情報変形部１１４ａ、及びマルチチャネル情報生成部１１６ａを含む。以下、図２及び図３を参照しつつ、各構成要素及び各段階について具体的に説明する。
【００５７】
情報送受信部１１２ａは、先ず、オーディオ信号ビットストリームから、オブジェクトパラメータ（ＯＰ）を含むオブジェクト情報（ＯＩ）を取得し、ユーザインターフェースなどから、制御パラメータ（ＣＰ）を含むミックス情報（ＭＸＩ）を取得する（Ｓ１１０段階）。ここで、オブジェクト情報（ＯＩ）は、図１で説明されたオブジェクト情報と同じものとすることができ、このオブジェクト情報（ＯＩ）にオブジェクトレベル情報が含まれて送信された場合、この送信されたオブジェクトレベル情報を第１オブジェクトレベル情報（ＯＬ１）と称する。
【００５８】
そして、情報送受信部１１２ａは、オーディオ信号ビットストリームから関係フラグ情報を取得する（Ｓ１２０段階）。
【００５９】
関係フラグ情報のうち第１関係フラグ情報がビットストリームに含まれてもよい。この第１関係フラグ情報は、ダウンミックス信号に含まれているオブジェクト信号が全て独立している信号なのか、それとも関係信号に該当する信号が一つ以上存在するかを表す情報である。例えば、第１関係フラグ情報が‘０’の時は、全てのオブジェクト信号が独立している信号であるということを意味し、第１関係フラグ情報が‘１’の時は、関係信号に該当するオブジェクト信号が一つ以上存在するということを意味するように設定できるが、本発明はこれに限定されない。ここで、関係信号は、オブジェクトレベルを調節する際に、他のオブジェクト信号との相対的なレベルが一定レベル以下または以上になる時、音質の劣化が生じうる信号のことを指す。
【００６０】
一方、第１関係フラグ情報によって、関係信号に該当するオブジェクト信号が一つ以上存在する場合（例えば、第１関係フラグ情報が‘１’である場合）、オブジェクト別に該当のオブジェクトが関係信号に該当するかを表す第２関係フラグ情報を抽出することができる。逆に、関係信号に該当するオブジェクト信号が全く存在しない場合（例えば、第１関係フラグ情報が‘０’である場合）、各オブジェクト別に関係信号に該当するか否かを表す第２関係フラグ情報を抽出する必要はない。
【００６１】
取得された第２関係フラグ情報によって、該当のオブジェクト信号が関係信号に該当するか否かがわかる。例えば、第２関係フラグ情報が‘０’である場合は、該当のオブジェクト信号が関係信号に該当しないということを意味し、第２関係フラグ情報が‘１’である場合は該当のオブジェクト信号が関係信号に該当するということを意味するように設定できるが、本発明はこれに限定されない。
【００６２】
このように、Ｓ１２０段階で取得された関係フラグ情報に基づいて、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信されたか否かを表す送信フラグ情報を取得する（Ｓ１３０段階）。具体的には、第２関係フラグ情報を参照した結果、該当のオブジェクトが関係信号に該当する場合（例えば、第２関係フラグ情報が‘１’である場合）、該当のオブジェクトに対して送信フラグ情報を抽出することができる。
【００６３】
Ｓ１３０段階で取得された送信フラグ情報に基づいて、該当のオブジェクトに対して比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信されたか否かがわかる。例えば、送信フラグ情報が０の場合、比率情報及び利得範囲情報が送信されていないことを意味し、送信フラグ情報が１の場合は比率情報及び利得範囲情報が送信されていることを意味してもよい。
【００６４】
これに限定されず、本発明は、第１関係フラグ情報及び第２関係フラグ情報はビットストリームに含まれず、送信フラグ情報のみがビットストリームに含まれる実施例も具現可能である。
【００６５】
その後、Ｓ１３０段階で取得された送信フラグ情報を参照した結果、比率情報及び利得範囲情報が送信された場合（例えば、送信フラグ情報が‘１’である場合）、利得範囲情報（ＧＩ）が存在する周波数の分解能を表す周波数分解能情報を取得する（Ｓ１４０段階）。例えば、周波数分解能情報が‘１’である場合、利得範囲情報が存在する周波数の分解能が‘２８’であることを意味し、周波数分解能情報が‘２’である場合、利得範囲情報が存在する周波数の分解能が‘２０’であるということを意味するように設定できるが、本発明はこれに限定されない。
【００６６】
また、Ｓ１３０段階で取得された送信フラグ情報を参照した結果、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）が送信される場合（例えば、送信フラグ情報が‘１’である場合）、比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を取得する（Ｓ１５０段階）。一方、比率情報（ＲＩ）は、該当のオブジェクト信号がメイン信号に近いか、または、サブ信号に近いかを表す情報であり、具体的には、メイン信号とサブ信号との間の相対的な比率を含んでもよい。例えば、メイン信号は音声信号に、サブ信号は雑音信号に対応することができる、または、メイン信号はメインボーカル信号に、サブ信号はバックコーラス信号に対応することができるが、本発明はこれに限定されない。例えば、比率情報が‘０’である場合、該当のオブジェクト信号がサブ信号に非常に近いということを意味し、‘１’である場合は、該当のオブジェクト信号がサブ信号に近いということを意味し、‘２’である場合は、該当のオブジェクト信号がメイン信号に近いということを意味し、‘３’である場合は、該当のオブジェクト信号がメイン信号に非常に近いということを意味するように設定できるが、本発明はこれに限定されない。
【００６７】
一方、利得範囲情報（ＧＩ）は、オブジェクトの利得調整に対する範囲を含んでもよい。この場合、上記範囲は、上限値または下限値などの制限値を含んでもよい。この制限値は、特定オブジェクトに対する絶対的な利得値に該当してもよく、オブジェクト間の相対的な利得差値に該当してもよい。制限値が絶対的な利得値に該当する場合、例えば、ボーカル信号の利得調整範囲が１０ｄＢ以内になることがある。制限値が相対的な利得差値に該当する場合、例えば、ボーカル信号の利得調整範囲がピアノ信号を基準に１０ｄＢ以内になることがある。このような場合、ボーカル信号のみを１０ｄＢ程度強調することもでき、または、ボーカル信号を５ｄＢ程度強調するとともにピアノ信号を５ｄＢ程度抑圧することもできる。このような利得範囲情報（ＧＩ）は、時間及び周波数帯域に対して不変な値であっても良いが、時間別サブバンド別に変化しても良い。
【００６８】
さらに、利得範囲情報（ＧＩ）は、相対的な利得調整連動情報に該当してもよい。相対的な利得調整連動情報とは、特定オブジェクトが強調または抑圧される場合、それに応じて他のオブジェクトも強調または抑圧されなければならないかに関する情報のことをいう。例えば、ボーカル信号及びバックコーラス信号の場合、ボーカル信号が１０ｄＢ強調された時、それに応じてバックコーラス信号も５〜１５ｄＢ程度強調し、音質の歪曲を低減させなければならない。
【００６９】
Ｓ１５０段階で、比率情報（ＲＩ）は、各オブジェクト別パラメータセット別に抽出することができ、利得範囲情報（ＧＩ）は、各オブジェクト別に周波数分解能によって抽出することができるが、本発明はこれに限定されない。
【００７０】
一方、Ｓ１５０段階で、比率情報（ＲＩ）のみをオーディオ信号ビットストリームから抽出し、利得範囲情報（ＧＩ）は抽出せずに自動的に生成することもできる。この利得範囲情報（ＧＩ）の生成においては、後ほど図４及び図５と共に説明される方式が利用されてもよい。
【００７１】
情報送受信部１１２ａは、Ｓ１５０段階で取得された比率情報（ＲＩ）及び利得範囲情報（ＧＩ）をユーザインターフェース２００を通じて表示することができる（Ｓ１６０段階）。例えば、ボーカル信号が他の信号との関係信号であるか、ボーカル信号の利得調整において１０ｄＢ以上調整すると音質の歪曲が生じる可能性があるというメッセージをユーザが見ることができるように画面に表示できる。その後、ユーザがこのようなメッセージを確認した後に、オブジェクト別利得調整に関するユーザ制御情報をユーザインターフェース２００を通じて入力できる。この場合、ユーザ制御情報は、オブジェクト信号の制限値（１０ｄＢ）を超過した値（例：２０ｄＢ）が入力されても、制限値以内に強制的に調整されてもよく、または、制限値を超過してもユーザ制御情報（２０ｄＢ）をそのまま反映することができる。この場合、Ｓ１１０段階で受信されたミックス情報（ＭＸＩ）は、このようなユーザ制御情報に基づいて生成されてもよい。
【００７２】
情報変形部１１４ａは、Ｓ１５０段階で取得された比率情報（ＲＩ）及び利得範囲情報（ＧＩ）を用いて、Ｓ１１０段階で取得されたオブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形する（Ｓ１７０段階）。具体的には、先ず、ミックス情報（ＭＸＩ）、比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を変形した後、変形された利得範囲情報（ＧＩ）をオブジェクトパラメータ（ＯＰ）に適用することによって、変形されたパラメータ情報（ＭＰＩ）を生成できるが、本発明はこれに限定されない。上記Ｓ１７０段階は、Ｓ１４０段階で抽出された周波数分解能情報に基づいて行われてもよい。具体的には、Ｓ１４０段階で抽出された周波数分解能情報によって、各周波数帯域に該当する利得範囲情報を抽出し、該当の利得範囲情報を全体周波数帯域にマッピングさせた後、上記Ｓ１８０段階を行うことができる。一方、変形されたパラメータ情報（ＭＰＩ）は、Ｓ１１０段階で受信した第１オブジェクトレベル情報（ＯＬ１）とは異なる第２オブジェクトレベル情報（ＯＬ２）を含んでもよい。
【００７３】
マルチチャネル情報生成部１１６ａは、マルチチャネル情報（ＭＩ）を生成する（Ｓ１８０段階）。この場合、Ｓ１１０段階で送信された第１オブジェクトレベル情報（ＯＬ１）を用いてマルチチャネル情報（ＭＩ）を生成することもでき、Ｓ１７０段階で生成された変形パラメータ情報（ＭＰＩ）の第２オブジェクトレベル情報（ＯＬ２）を用いてマルチチャネル情報（ＭＩ）を生成することもできる。もちろん、第１オブジェクトレベル情報（ＯＬ１）を用いる場合は、レベル調整におけるガイドが適用されない場合である。
【００７４】
図４は、本発明の実施例によるオーディオ信号処理装置における情報生成ユニットの細部構成図の他の例であり、図５は、本発明の他の実施例によるオーディオ信号処理方法のフローチャートである。図４及び図５は、比率情報（ＲＩ）をデコーダで自動的に生成する方式の実施例に該当する図である。先ず、図４を参照すると、情報生成ユニット１１０は、情報送受信部１１２ｂ、情報生成部１１３ｂ、情報変形部１１４ｂ、及びマルチチャネル情報生成部１１６ｂを含む。以下、図４及び図５を参照しながら、各構成要素及び各段階について具体的に説明する。
【００７５】
先ず、情報送受信部１１２ｂは、オーディオ信号ビットストリームからオブジェクトパラメータ（ＯＰ）を含むオブジェクト情報（ＯＩ）を受信し、ユーザインターフェースなどから制御パラメータ（ＣＰ）を含むミックス情報（ＭＸＩ）を受信する（Ｓ３１０段階）。さらに、情報送受信部１１２ｂは、エンコーダガイド情報（encoder guide information：EGI）を受信することができる。エンコーダガイド情報（ＥＧＩ）は、エンコーダで生成されたガイド情報であり、オブジェクトの利得調整に対する範囲を含み、オーディオ信号ビットストリームを通じて受信された情報でありうる。
【００７６】
情報生成部１１３ｂは、Ｓ１１０段階で受信したオブジェクト情報（ＯＩ）を用いて比率情報を生成する（Ｓ３２０段階）。具体的に、オブジェクト情報（ＯＩ）のうちオブジェクトレベル情報（ＯＬＩ）を用いて比率情報（ＲＩ）を生成することができる。ここで、比率情報（ＲＩ）は、メイン信号とサブ信号との間の相対的な比率に該当してもよく、他のオブジェクト信号とのレベル情報比率に該当してもよい。他のオブジェクト信号とのレベル情報の比率は、次のように定義されてもよい。
【００７７】
【数１】
2010518460.tif 000003
【００７８】
ここで、OLDiは、ｉ番目のオブジェクト信号のオブジェクトレベル情報、ODLkは他のオブジェクト信号のオブジェクトレベル情報（k≠i）を表す。
【００７９】
一方、他のオブジェクト信号が二つ以上である場合、比率情報（ＲＩ）は、他のオブジェクト信号全体とのレベル情報比率に該当してもよく、これは、下記の数式のように定義されてもよい。
【００８０】
【数２】
2010518460.tif 000004
【００８１】
ここで、OLDiはｉ番目のオブジェクト信号のオブジェクトレベル情報、Ｎは総オブジェクト信号個数、k=0〜N（ただし、k≠i）を表す。
【００８２】
Ｓ３２０段階で生成した比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を生成する（Ｓ３３０段階）。ここで、利得範囲情報（ＧＩ）は、図２及び図３で説明された利得範囲情報（ＧＩ）と同様に、オブジェクトの利得調整に対する範囲を含んでもよく、この範囲は、上限値または下限値などのような制限値を含んでもよい。この場合、制限値は、特定オブジェクトに対する絶対的な利得値に該当してもよく、オブジェクト間の相対的な利得差値に該当してもよい。利得範囲情報（ＧＩ）は、時間及び周波数帯域に対して不変な値であっても良いが、時間別サブバンド別に変化してもよい。
【００８３】
比率情報（ＲＩ）を用いて利得範囲情報（ＧＩ）を生成する方式には、様々なものがあり、OLDratioが非常に高い場合、利得範囲情報（ＧＩ）の利得制限値（Ggain）を大きい値に決定することができる。これは、OLDratioが高い場合、大きいレンダリング自由度を与えても音質の歪曲が少ないためである。例えば、ボーカル信号のOLDratio（vocal）が非常に高い値である場合、ボーカル信号に対する利得制限値（Ggain）は２０ｄＢにすることができる。ボーカル信号のOLDratioがピアノ信号に対してのみ大きい値を有する場合、ボーカル信号のピアノ信号に対する利得制限値（Ggain（back chorus））のみを大きい値にすることができる。
【００８４】
一方、より高精度の利得範囲情報（ＧＩ）を生成する目的で、エンコーダでオブジェクトレベル情報（ＯＬＤ）を生成する時に特定の周波数の重み付けを付与することができる。例えば、最も低い周波数帯域に該当する０番目のバンドに対して特定周波数を強調する重み付けが与えられたフィルターを用いてＯＬＤを求めた後、一般的な方法で求めたＯＬＤとの差分情報を付加情報として含むことが可能である。音声信号などの場合、このような差分情報を、利得範囲情報（ＧＩ）を生成するのに用いることができる。
【００８５】
一方、Ｓ３３０段階で利得範囲情報（ＧＩ）を生成するときに、デフォルトガイド情報（ＤＧＩ）、ユーザガイド情報（ＵＧＩ）、及びエンコーダガイド情報（ＥＧＩ）などが利用されてもよい。デフォルトガイド情報（default guide information：DGI）は、デコーダ自体であらかじめ定められたガイド情報を意味し、ユーザガイド情報（user guide information：UGI）は、ユーザインターフェース２００を介して入力されたガイド情報に該当し、エンコーダガイド情報（encoder guide information：EGI）は、エンコーダで生成され、オーディオビットストリームから抽出されたガイド情報に該当する。利得範囲情報（ＧＩ）の生成において、デフォルトガイド情報（ＤＧＩ）、ユーザガイド情報（ＵＧＩ）、及びエンコーダガイド情報（ＥＧＩ）などを参照でき、例えば、オブジェクトレベル情報のみに基づいて特定オブジェクトの利得制限値（Ggain）を１０ｄＢに定めることができるが、この時、ユーザガイド情報（ＵＧＩ）が５ｄＢである場合、このようなユーザガイド情報（ＵＧＩ）を参照して利得範囲情報（ＧＩ）を生成することができる。
【００８６】
このようにＳ３２０段階で生成された比率情報（ＲＩ）、及びＳ３３０段階で生成された利得範囲情報（ＧＩ）は、上述のＳ１６０段階と同様に、ユーザインターフェース２００を通じて表示されてもよい（Ｓ３４０段階）。
【００８７】
情報変形部１１４ｂは、上述のＳ１７０段階と同様に、オブジェクトパラメータ（ＯＰ）及び制御パラメータ（ＣＰ）のうち一つ以上を含むパラメータ情報（ＰＩ）を変形する（Ｓ３５０段階）。
【００８８】
そして、マルチチャネル情報生成部１１６ｂも、上述のＳ１９０段階と同様に、変形されたパラメータ情報（ＭＰＩ）を用いてマルチチャネル情報（ＭＩ）を生成する（Ｓ３６０段階）。
【００８９】
以上、本発明の実施形態を参照しながら本発明について説明及び例示してきたが、当分野の技術者にとって、本発明の主旨及び範囲から逸脱することなく様々な修正及び変形が可能であることは明らかである。したがって、本発明は、添付の特許請求の範囲及びその均等範囲内の本発明の修正及び変形を含むものである。
【産業上の利用可能性】
【００９０】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【図１】
2010518460.tif 000005
【図２】
2010518460.tif 000006
【図３】
2010518460.tif 000007
【図４】
2010518460.tif 000008
【図５】
2010518460.tif 000009
【国際調査報告】
2010518460.tif 000010
2010518460.tif 000011
2010518460.tif 000012