(57)【要約】  本技術は、距離感制御をより効果的に実現することができるようにする信号処理装置および方法、並びにプログラムに関する。信号処理装置は、オーディオオブジェクトのオブジェクトオーディオデータと、オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成するリバーブ処理部を備える。本技術は信号処理装置に適用することができる。
2019078034.tif 000002
【特許請求の範囲】
【請求項１】
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成するリバーブ処理部を備える
信号処理装置。
【請求項２】
前記リバーブパラメタに基づいて、前記リバーブ成分の信号に対するレンダリング処理を行うレンダリング処理部をさらに備える
請求項１に記載の信号処理装置。
【請求項３】
前記リバーブパラメタには、前記リバーブ成分の音像の定位位置を示す位置情報が含まれており、
前記レンダリング処理部は、前記位置情報に基づいて前記レンダリング処理を行う
請求項２に記載の信号処理装置。
【請求項４】
前記位置情報は、前記リバーブ成分の音像の絶対的な定位位置を示す情報である
請求項３に記載の信号処理装置。
【請求項５】
前記位置情報は、前記オーディオオブジェクトに対する前記リバーブ成分の音像の相対的な定位位置を示す情報である
請求項３に記載の信号処理装置。
【請求項６】
前記リバーブパラメタには、インパルス応答が含まれており、
前記リバーブ処理部は、前記インパルス応答と、前記オブジェクトオーディオデータとに基づいて前記リバーブ成分の信号を生成する
請求項１に記載の信号処理装置。
【請求項７】
前記リバーブパラメタには、パラメトリックリバーブの構成を示す構成情報が含まれており、
前記リバーブ処理部は、前記構成情報と、前記オブジェクトオーディオデータとに基づいて前記リバーブ成分の信号を生成する
請求項１に記載の信号処理装置。
【請求項８】
前記パラメトリックリバーブは、１または複数のフィルタを含む複数の構成要素から構成される
請求項７に記載の信号処理装置。
【請求項９】
前記フィルタは、ローパスフィルタ、コムフィルタ、オールパスフィルタ、またはマルチタップディレイである
請求項８に記載の信号処理装置。
【請求項１０】
前記リバーブパラメタには、前記構成要素による処理で用いられるパラメタが含まれている
請求項８に記載の信号処理装置。
【請求項１１】
信号処理装置が、
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成する
信号処理方法。
【請求項１２】
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、距離感制御をより効果的に実現することができるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、オブジェクトベースのオーディオ技術が注目されている。【０００３】
オブジェクトベースオーディオでは、オブジェクトに対する波形信号と、所定の基準となる視聴点からの相対位置により表されるオブジェクトの定位情報を示すメタデータとによりオーディオデータが構成されている。【０００４】
そして、オブジェクトの波形信号が、メタデータに基づいて例えばVBAP（Vector Based Amplitude Panning）により所望のチャンネル数の信号にレンダリングされて、再生される（例えば、非特許文献１および非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ISO/IEC 23008-3 Information technology − High efficiency coding and media delivery in heterogeneous environments − Part 3: 3D audio
【非特許文献２】Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の手法によれば、オブジェクトベースオーディオのレンダリングにおいて、各オブジェクトを３次元空間上の様々な方向に配置し、音を定位させることが可能である。【０００７】
しかしながら、オーディオオブジェクトの距離感制御を効果的に実現することは困難であった。すなわち、例えばオブジェクトの音の再生時に前後の距離感を出したい場合、ゲイン制御や周波数特性制御で距離感を演出するしかなく、十分な効果を得ることができなかった。また、予め距離感を感じるような音質に加工された波形信号を用いることはできるが、そのような場合には再生側で距離感の制御を行うことができない。【０００８】
本技術は、このような状況に鑑みてなされたものであり、距離感制御をより効果的に実現することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の信号処理装置は、オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成するリバーブ処理部を備える。【００１０】
本技術の一側面の信号処理方法またはプログラムは、オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成するステップを含む。【００１１】
本技術の一側面においては、オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号が生成される。
【発明の効果】
【００１２】
本技術の一側面によれば、距離感制御をより効果的に実現することができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】信号処理装置の構成例を示す図である。
【図２】リバーブパラメタの例を示す図である。
【図３】Wet成分位置情報とWet成分の音像定位について説明する図である。
【図４】Wet成分位置情報とWet成分の音像定位について説明する図である。
【図５】オーディオ信号出力処理を説明するフローチャートである。
【図６】信号処理装置の構成例を示す図である。
【図７】メタ情報のシンタックス例を示す図である。
【図８】オーディオ信号出力処理を説明するフローチャートである。
【図９】信号処理装置の構成例を示す図である。
【図１０】パラメトリックリバーブの構成要素について説明する図である。
【図１１】メタ情報のシンタックス例を示す図である。
【図１２】Reverb_Configuration()のシンタックス例を示す図である。
【図１３】Reverb_Structure()のシンタックス例を示す図である。
【図１４】Branch_Configuration(n)のシンタックス例を示す図である。
【図１５】PreDelay_Configuration()のシンタックス例を示す図である。
【図１６】MultiTapDelay_Configuration()のシンタックス例を示す図である。
【図１７】AllPassFilter_Configuration()のシンタックス例を示す図である。
【図１８】CombFilter_Configuration()のシンタックス例を示す図である。
【図１９】HighCut_Configuration()のシンタックス例を示す図である。
【図２０】Reverb_Parameter()のシンタックス例を示す図である。
【図２１】Branch_Parameters(n)のシンタックス例を示す図である。
【図２２】PreDelay_Parameters()のシンタックス例を示す図である。
【図２３】MultiTapDelay_Parameters()のシンタックス例を示す図である。
【図２４】HighCut_Parameters()のシンタックス例を示す図である。
【図２５】AllPassFilter_Parameters()のシンタックス例を示す図である。
【図２６】CombFilter_Parameters()のシンタックス例を示す図である。
【図２７】メタ情報のシンタックス例を示す図である。
【図２８】オーディオ信号出力処理を説明するフローチャートである。
【図２９】信号処理装置の構成例を示す図である。
【図３０】メタ情報のシンタックス例を示す図である。
【図３１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１６】
〈第１の実施の形態〉
〈本技術について〉
本技術は、パラメタに基づいて音の反射成分や残響成分を付加することで、距離感制御をより効果的に実現することができるようにするものである。
【００１７】
すなわち、本技術は、特に以下のような特徴を有している。
【００１８】
特徴（１）
オブジェクトに対するリバーブ設定パラメタに基づき反射/残響成分を付加することで距離感制御を行う
特徴（２）
反射/残響成分をオブジェクトの音像とは別の位置に定位させる
特徴（３）
反射/残響成分の位置情報は、対象オブジェクトの音像の定位位置との相対位置により指定される
特徴（４）
反射/残響成分の位置情報は、対象オブジェクトの音像の定位位置とは関係なく、固定的に指定される
特徴（５）
オブジェクトに付加するリバーブ処理のインパルス応答をメタ情報とし、レンダリング時にそのメタ情報に基づいたフィルタリング処理により反射/残響成分を付加することで距離感制御を行う
特徴（６）
適用するリバーブ処理アルゴリズムの構成情報および係数を抽出する
特徴（７）
リバーブ処理アルゴリズムの構成情報および係数をパラメタ化し、メタ情報とする
特徴（８）
メタ情報に基づき、再生側でリバーブ処理アルゴリズムを再構成し、オブジェクトベースオーディオのレンダリングにおいて残響成分を付加することで距離感制御を行う
【００１９】
例えば人が音を知覚する際、音源からの直接音だけでなく、壁などによる反射音や残響音を聞いており、直接音と反射音や残響音との大きさの違いや時間差によって音源からの距離を感じる。そのため、オーディオオブジェクトのレンダリングにおいて、リバーブ処理により反射音や残響音を付加したり、直接音と反射音や残響音との時間差やゲイン差を制御することで、オーディオオブジェクトの音に距離感を出すことができる。
【００２０】
なお、以下、オーディオオブジェクトを単にオブジェクトとも称することとする。
【００２１】
〈信号処理装置の構成例〉
図１は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。
【００２２】
図１に示す信号処理装置１１は、デマルチプレクサ２１、リバーブ処理部２２、およびVBAP処理部２３を有している。
【００２３】
デマルチプレクサ２１は、各種のデータが多重化されたビットストリームから、オブジェクトオーディオデータ、リバーブパラメタ、および位置情報を分離させる。
【００２４】
デマルチプレクサ２１は、分離されたオブジェクトオーディオデータをリバーブ処理部２２に供給するとともに、リバーブパラメタをリバーブ処理部２２およびVBAP処理部２３に供給し、位置情報をVBAP処理部２３に供給する。
【００２５】
ここで、オブジェクトオーディオデータは、オブジェクトの音を再生するためのオーディオデータである。また、リバーブパラメタは、オブジェクトオーディオデータに対して、反射音成分や残響音成分を付加するリバーブ処理のための情報である。
【００２６】
ここではリバーブパラメタは、オブジェクトのメタ情報（メタデータ）としてビットストリームに含まれているが、リバーブパラメタがビットストリームに含まれておらず、外部パラメタとして与えられるようにしてもよい。
【００２７】
位置情報は、３次元空間上におけるオブジェクトの位置を示す情報であり、例えば位置情報には、所定の基準位置から見たオブジェクトの水平方向の位置を示す水平角度や、所定の基準位置から見たオブジェクトの垂直方向の位置を示す垂直角度が含まれている。
【００２８】
リバーブ処理部２２は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータおよびリバーブパラメタに基づいてリバーブ処理を行い、その結果得られた信号をVBAP処理部２３に供給する。すなわち、リバーブ処理部２２はオブジェクトオーディオデータに対して反射音や残響音の成分、つまりWet成分（ウェット成分）を付加する。また、リバーブ処理部２２は、直接音であるDry成分（ドライ成分）、つまりオブジェクトオーディオデータと、Wet成分とのゲイン制御を行う。
【００２９】
この例では、リバーブ処理の結果として、文字「Dry/Wet成分」により示される１つのDry/Wet成分の信号と、文字「Wet成分1」乃至「Wet成分N」により示されるN個のWet成分の信号とが得られている。
【００３０】
ここで、Dry/Wet成分の信号は、直接音と反射音や残響音の混合音、つまりDry成分とWet成分を含む信号である。なお、Dry/Wet成分の信号には、Dry成分のみが含まれているようにしてもよいし、Wet成分のみが含まれているようにしてもよい。
【００３１】
また、リバーブ処理により生成されるWet成分の信号は、反射音や残響音の成分のみからなる信号である。換言すれば、Wet成分の信号は、オブジェクトオーディオデータに対するリバーブ処理により生成された、反射音成分や残響音成分等のリバーブ成分の信号である。以下、文字「Wet成分1」乃至「Wet成分N」により示されるWet成分の信号を、Wet成分1乃至Wet成分Nとも称することとする。
【００３２】
なお、詳細は後述するが、Dry/Wet成分の信号は、元々のオブジェクトオーディオデータに反射音や残響音の成分を付加したものであり、元々のオブジェクトの位置を示す位置情報に基づいて再生される。つまり、Dry/Wet成分の音像は、位置情報により示されるオブジェクトの位置に定位するようにレンダリングが行われる。
【００３３】
これに対してWet成分1乃至Wet成分Nの信号については、オブジェクトの元々の位置を示す位置情報とは別の位置情報であるWet成分位置情報に基づいてレンダリング処理が行われるようにすることもできる。このようなWet成分位置情報は、例えばリバーブパラメタに含まれている。
【００３４】
さらに、ここではリバーブ処理によりDry/Wet成分とWet成分が生成される例について説明するが、リバーブ処理により生成されるのはDry/Wet成分だけでもよいし、Dry成分とWet成分1乃至Wet成分Nでもよい。
【００３５】
VBAP処理部２３には、オブジェクトの音を再生する再生スピーカシステムを構成する各再生スピーカの配置、すなわちスピーカ構成を示す再生スピーカ配置情報が外部から供給される。
【００３６】
VBAP処理部２３は、供給された再生スピーカ配置情報と、デマルチプレクサ２１から供給されたリバーブパラメタおよび位置情報とに基づいて、リバーブ処理部２２から供給されたDry/Wet成分とWet成分1乃至Wet成分Nとに対してVBAP処理等をレンダリング処理として行うレンダリング処理部として機能する。VBAP処理部２３は、レンダリング処理により得られた、各再生スピーカに対応する各チャンネルのオーディオ信号を、出力信号として後段の再生スピーカ等に出力する。
【００３７】
〈リバーブパラメタについて〉
ところで、リバーブ処理部２２やVBAP処理部２３に供給されるリバーブパラメタには、リバーブ処理を行うのに必要となる情報（パラメタ）が含まれている。
【００３８】
具体的には、例えばリバーブパラメタには図２に示す情報が含まれている。
【００３９】
図２に示す例では、リバーブパラメタにはDryゲイン、Wetゲイン、残響時間、プリディレイ遅延時間、プリディレイゲイン、初期反射遅延時間、初期反射ゲイン、およびWet成分位置情報が含まれている。
【００４０】
例えばDryゲインは、Dry成分のゲイン制御、つまりゲイン調整に用いられるゲイン情報であり、Wetゲインは、Dry/Wet成分に含まれるWet成分やWet成分1乃至Wet成分Nのゲイン制御に用いられるゲイン情報である。
【００４１】
残響時間は、オブジェクトの音に含まれる残響音についての残響の長さを示す時間情報である。プリディレイ遅延時間は、直接音の聞こえる時刻を基準とした、初期反射音を除く他の反射音や残響音が最初に聞こえるまでの遅延時間を示す時間情報である。プリディレイゲインは、プリディレイ遅延時間により定まる時刻の音の成分の直接音とのゲイン差を示すゲイン情報である。
【００４２】
初期反射遅延時間は、直接音の聞こえる時刻を基準とした、初期反射音が聞こえるまでの遅延時間を示す時間情報であり、初期反射ゲインは、初期反射音の直接音とのゲイン差を示すゲイン情報である。
【００４３】
例えばプリディレイ遅延時間と初期反射遅延時間を短くし、プリディレイゲインと初期反射ゲインを小さくすると、オブジェクトと視聴者（ユーザ）との距離感は近くなる。
【００４４】
これに対して、プリディレイ遅延時間と初期反射遅延時間を長くし、プリディレイゲインと初期反射ゲインを大きくすると、オブジェクトと視聴者との距離感は遠くなる。
【００４５】
Wet成分位置情報は、３次元空間上におけるWet成分1乃至Wet成分Nのそれぞれの音像の定位位置を示す情報である。
【００４６】
リバーブパラメタにWet成分位置情報が含まれている場合、適切にWet成分位置情報を定めることで、VBAP処理部２３でのVBAP処理により、Wet成分の音像をオブジェクトの直接音、つまりDry/Wet成分の音像とは異なる位置に定位させることができる。
【００４７】
例えばWet成分位置情報が、オブジェクトの位置情報により示される位置に対するWet成分の相対的な位置を示す水平角度と垂直角度からなるとする。
【００４８】
そのような場合、例えば図３に示すように各Wet成分の音像を、オブジェクトのDry/Wet成分の音像の周囲に定位させることができる。
【００４９】
図３に示す例では、Wet成分として、Wet成分1乃至Wet成分4があり、図中、上側にはそれらのWet成分のWet成分位置情報が示されている。ここでは、Wet成分位置情報は、所定の原点Oから見た各Wet成分の位置（方向）を示す情報となっている。
【００５０】
例えば、Wet成分1の水平方向の位置は、オブジェクトの位置を示す水平角度に対して、３０度を加算して得られる角度により定まる位置となっており、Wet成分1の垂直方向の位置は、オブジェクトの位置を示す垂直角度に対して、３０度を加算して得られる角度により定まる位置となっている。
【００５１】
また、図中、下側にはオブジェクトの位置と、Wet成分1乃至Wet成分4の位置とが示されている。すなわち、位置OB11は位置情報により示されるオブジェクトの位置を示しており、位置W11乃至位置W14のそれぞれは、Wet成分位置情報により示されるWet成分1乃至Wet成分4のそれぞれの位置を示している。
【００５２】
この例では、オブジェクトの周囲を囲むようにWet成分1乃至Wet成分4が配置されていることが分かる。VBAP処理部２３では、オブジェクトの位置情報とWet成分位置情報と再生スピーカ配置情報とに基づいて、Wet成分1乃至Wet成分4の音像が位置W11乃至位置W14に定位するように、VBAP処理により出力信号が生成されることになる。
【００５３】
このようにWet成分を適宜、オブジェクトの位置とは異なる位置に定位させることで、オブジェクトの距離感の制御を効果的に行うことができる。
【００５４】
また、図３では、各Wet成分の位置、つまりWet成分の音像の定位位置は、オブジェクトの位置に対する相対的な位置となっているが、これに限らず予め定められた特定の位置（固定的な位置）などとされてもよい。
【００５５】
そのような場合、Wet成分位置情報により示されるWet成分の位置は、位置情報により示されるオブジェクトの位置とは関係ない、３次元空間上における任意の絶対的な位置とされる。そして、例えば図４に示すように各Wet成分の音像を、３次元空間上の任意の位置に定位させることができる。
【００５６】
図４に示す例では、Wet成分として、Wet成分1乃至Wet成分4があり、図中、上側にはそれらのWet成分のWet成分位置情報が示されている。ここでは、Wet成分位置情報は、所定の原点Oから見た各Wet成分の絶対的な位置を示す情報となっている。
【００５７】
例えば、Wet成分1の水平方向の位置を示す水平角度は45度となっており、Wet成分1の垂直方向の位置を示す垂直角度は0度となっている。
【００５８】
また、図中、下側にはオブジェクトの位置と、Wet成分1乃至Wet成分4の位置とが示されている。すなわち、位置OB21は位置情報により示されるオブジェクトの位置を示しており、位置W21乃至位置W24のそれぞれは、Wet成分位置情報により示されるWet成分1乃至Wet成分4のそれぞれの位置を示している。
【００５９】
この例では、原点Oの周囲を囲むようにWet成分1乃至Wet成分4が配置されていることが分かる。
【００６０】
〈オーディオ信号出力処理の説明〉
続いて、信号処理装置１１の動作について説明する。すなわち、以下、図５のフローチャートを参照して、信号処理装置１１によるオーディオ信号出力処理について説明する。
【００６１】
ステップＳ１１において、デマルチプレクサ２１は、符号化装置等から送信されてきたビットストリームを受信し、受信したビットストリームからオブジェクトオーディオデータ、リバーブパラメタ、および位置情報を分離させる。
【００６２】
デマルチプレクサ２１は、このようにして得られたオブジェクトオーディオデータおよびリバーブパラメタをリバーブ処理部２２に供給するとともに、リバーブパラメタおよび位置情報をVBAP処理部２３に供給する。
【００６３】
ステップＳ１２において、リバーブ処理部２２は、デマルチプレクサ２１から供給されたリバーブパラメタに基づいて、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブ処理を行う。
【００６４】
すなわち、リバーブ処理では、オブジェクトオーディオデータに対して反射音や残響音の成分が付加されたり、直接音や反射音、残響音のゲイン調整、つまりDry成分やWet成分のゲイン調整が行われて、Dry/Wet成分の信号と、Wet成分1乃至Wet成分Nの信号とが生成される。リバーブ処理部２２は、このようにして生成したDry/Wet成分の信号と、Wet成分1乃至Wet成分Nの信号とをVBAP処理部２３に供給する。
【００６５】
ステップＳ１３において、VBAP処理部２３は、供給された再生スピーカ配置情報と、デマルチプレクサ２１からの位置情報およびリバーブパラメタに含まれているWet成分位置情報とに基づいて、リバーブ処理部２２からのDry/Wet成分とWet成分1乃至Wet成分Nとに対してVBAP処理等をレンダリング処理として行い、出力信号を生成する。
【００６６】
VBAP処理部２３は、レンダリング処理により得られた出力信号を後段に出力し、オーディオ信号出力処理は終了する。例えばVBAP処理部２３から出力された出力信号は、後段の再生スピーカに供給され、再生スピーカは供給された出力信号に基づいて、Dry/Wet成分やWet成分1乃至Wet成分Nの音を再生（出力）する。
【００６７】
以上のようにして、信号処理装置１１は、リバーブパラメタに基づいてオブジェクトオーディオデータに対してリバーブ処理を行い、Dry/Wet成分およびWet成分を生成する。
【００６８】
このようにすることで、オブジェクトオーディオデータの再生側において、距離感制御をより効果的に実現することができる。
【００６９】
すなわち、リバーブパラメタをオブジェクトのメタ情報とすることで、オブジェクトベースオーディオのレンダリングにおいて距離感を制御することが可能となる。
【００７０】
例えば、コンテンツ制作者がオブジェクトに距離感を出したい場合に、予めオブジェクトオーディオデータに対して距離感を感じる音質への加工を行うのではなく、適切なリバーブパラメタをメタ情報として付与すればよい。そうすれば、再生側でのレンダリングにおいて、オーディオオブジェクトに対してメタ情報（リバーブパラメタ）に従ったリバーブ処理を行い、オブジェクトの距離感を再現することができる。
【００７１】
Dry/Wet成分とは別にWet成分を生成し、そのWet成分の音像を所定の位置に定位させることでオブジェクトの距離感を実現することは、レンダリング処理としてVBAP処理が行われる場合など、コンテンツ制作側で再生スピーカのチャンネル構成が未知である場合などに特に効果的である。
【００７２】
〈第２の実施の形態〉
〈信号処理装置の構成例〉
ところで、第１の実施の形態で示した手法においては、コンテンツ制作者が扱うリバーブ処理のアルゴリズムと、再生側、つまり信号処理装置１１側で用いられるリバーブ処理のアルゴリズムは同一であることが前提となっている。
【００７３】
そのため、コンテンツ制作者側でのアルゴリズムと、信号処理装置１１側のアルゴリズムとが異なる場合には、コンテンツ制作者の意図通りの距離感を再現することができない。
【００７４】
また、コンテンツ制作者は一般的に様々なアルゴリズムでのリバーブ処理から最適なものを選択し、適用することを望むため、リバーブ処理のアルゴリズムを１つ、あるいは限られた種類のものに限定することは実用的ではない。
【００７５】
そこで、リバーブパラメタとしてインパルス応答を用いるようにすることで、メタ情報、つまりリバーブパラメタとしてのインパルス応答に従ったリバーブ処理により、コンテンツ制作者の意図通りの距離感を再現することができるようにしてもよい。
【００７６】
そのような場合、信号処理装置は、例えば図６に示すように構成される。なお、図６において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７７】
図６に示す信号処理装置５１は、デマルチプレクサ２１、リバーブ処理部６１、およびVBAP処理部２３を有している。
【００７８】
この信号処理装置５１の構成は、図１の信号処理装置１１のリバーブ処理部２２に代えてリバーブ処理部６１が設けられている点で信号処理装置１１の構成と異なり、その他の点では信号処理装置１１の構成と同様の構成となっている。
【００７９】
リバーブ処理部６１は、デマルチプレクサ２１から供給されたリバーブパラメタに含まれるインパルス応答の係数に基づいて、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブ処理を行い、Dry/Wet成分およびWet成分1乃至Wet成分Nの各信号を生成する。
【００８０】
この例では、リバーブ処理部６１はFIR（Finite Impulse Response）フィルタで構成されている。すなわち、リバーブ処理部６１は増幅部７１、遅延部７２−１−１乃至遅延部７２−Ｎ−Ｋ、増幅部７３−１−１乃至増幅部７３−Ｎ−（Ｋ＋１）、加算部７４−１乃至加算部７４−Ｎ、増幅部７５−１乃至増幅部７５−Ｎ、および加算部７６を有している。
【００８１】
増幅部７１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているゲイン値を乗算してゲイン調整を行い、その結果得られたオブジェクトオーディオデータを加算部７６に供給する。増幅部７１で得られるオブジェクトオーディオデータは、Dry成分の信号であり、増幅部７１におけるゲイン調整の処理が、直接音（Dry成分）のゲイン制御の処理となる。
【００８２】
遅延部７２−Ｌ−１（但し、１≦Ｌ≦Ｎ）は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータを所定時間だけ遅延させた後、増幅部７３−Ｌ−２および遅延部７２−Ｌ−２に供給する。
【００８３】
遅延部７２−Ｌ−Ｍ（但し、１≦Ｌ≦Ｎ，２≦Ｍ≦Ｋ−１）は、遅延部７２−Ｌ−（Ｍ−１）から供給されたオブジェクトオーディオデータを所定時間だけ遅延させた後、増幅部７３−Ｌ−（Ｍ＋１）および遅延部７２−Ｌ−（Ｍ＋１）に供給する。
【００８４】
遅延部７２−Ｌ−Ｋ（但し、１≦Ｌ≦Ｎ）は、遅延部７２−Ｌ−（Ｋ−１）から供給されたオブジェクトオーディオデータを所定時間だけ遅延させた後、増幅部７３−Ｌ−（Ｋ＋１）に供給する。
【００８５】
なお、ここでは遅延部７２−Ｍ−１乃至遅延部７２−Ｍ−Ｋ（但し、３≦Ｍ≦Ｎ−１）については、図示が省略されている。
【００８６】
以下、遅延部７２−Ｍ−１乃至遅延部７２−Ｍ−Ｋ（但し、１≦Ｍ≦Ｎ）を特に区別する必要のない場合、単に遅延部７２−Ｍとも称することする。また、以下、遅延部７２−１乃至遅延部７２−Ｎを特に区別する必要のない場合、単に遅延部７２とも称することとする。
【００８７】
増幅部７３−Ｍ−１（但し、１≦Ｍ≦Ｎ）は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているインパルス応答の係数を乗算することでゲイン調整を行い、その結果得られたオブジェクトオーディオデータを加算部７４−Ｍに供給する。
【００８８】
増幅部７３−Ｌ−Ｍ（但し、１≦Ｌ≦Ｎ，２≦Ｍ≦Ｋ＋１）は、遅延部７２−Ｌ−（Ｍ−１）から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているインパルス応答の係数を乗算することでゲイン調整を行い、その結果得られたオブジェクトオーディオデータを加算部７４−Ｌに供給する。
【００８９】
なお、図６では、増幅部７３−３−１乃至増幅部７３−（Ｎ−１）−（Ｋ＋１）については図示は省略されている。
【００９０】
また、以下、増幅部７３−Ｌ−１乃至増幅部７３−Ｌ−（Ｋ＋１）（但し、１≦Ｌ≦Ｎ）を特に区別する必要のない場合、単に増幅部７３−Ｌとも称する。さらに、以下、増幅部７３−１乃至増幅部７３−Ｎを特に区別する必要のない場合、単に増幅部７３とも称することとする。
【００９１】
加算部７４−Ｍ（但し、１≦Ｍ≦Ｎ）は、増幅部７３−Ｍ−１乃至増幅部７３−Ｍ−（Ｋ＋１）から供給されたオブジェクトオーディオデータを加算し、その結果得られたWet成分M（但し、１≦Ｍ≦Ｎ）を増幅部７５−ＭおよびVBAP処理部２３に供給する。
【００９２】
なお、ここでは加算部７４−３乃至加算部７４−（Ｎ−１）の図示は省略されている。以下、加算部７４−１乃至加算部７４−Ｎを特に区別する必要のない場合、単に加算部７４とも称することとする。
【００９３】
増幅部７５−Ｍ（但し、１≦Ｍ≦Ｎ）は、加算部７４−Ｍから供給されたWet成分M（但し、１≦Ｍ≦Ｎ）の信号に対して、リバーブパラメタに含まれているゲイン値を乗算してゲイン調整を行い、その結果得られたWet成分の信号を加算部７６に供給する。
【００９４】
なお、ここでは増幅部７５−３乃至増幅部７５−（Ｎ−１）の図示は省略されている。以下では、増幅部７５−１乃至増幅部７５−Ｎを特に区別する必要のない場合、単に増幅部７５とも称することとする。
【００９５】
加算部７６は、増幅部７１から供給されたオブジェクトオーディオデータと、増幅部７５−１乃至増幅部７５−Ｎのそれぞれから供給されたWet成分の信号とを加算し、その結果得られた信号をDry/Wet成分の信号としてVBAP処理部２３に供給する。
【００９６】
リバーブ処理部６１がこのような構成とされる場合、ビットストリームに含まれているメタ情報、つまりリバーブパラメタとして、コンテンツ制作時に適用されたリバーブ処理のインパルス応答が用いられる。そのような場合、メタ情報（リバーブパラメタ）のシンタックスは、例えば図７に示すようになる。
【００９７】
図７に示す例では、メタ情報、すなわちリバーブパラメタには、文字「dry_gain」により示される直接音（Dry成分）のゲイン値であるドライゲインが含まれている。このドライゲインdry_gainは、増幅部７１に供給され、増幅部７１でのゲイン調整に用いられる。
【００９８】
また、この例ではドライゲインに続いて、文字「wet_position_mode」により示されるWet成分（反射／残響音）の定位モード情報が格納されている。
【００９９】
例えば定位モード情報wet_position_modeの値が「０」である場合、Wet成分の位置を示すWet成分位置情報が、オブジェクトの位置情報により示される位置に対する相対的な位置を示す情報とされている相対定位モードであることを示している。例えば図３を参照して説明した例が相対定位モードである。
【０１００】
これに対して、定位モード情報wet_position_modeの値が「１」である場合、Wet成分の位置を示すWet成分位置情報が、オブジェクトの位置とは関係なく、３次元空間上の絶対的な位置を示す情報とされている絶対定位モードであることを示している。例えば図４を参照して説明した例が絶対定位モードである。
【０１０１】
また、定位モード情報wet_position_modeに続いて、文字「number_of_wet_outputs」により示される、出力されるWet成分（反射／残響音）の信号の数、つまり出力数が格納されている。図６に示した例では、Wet成分1乃至Wet成分NのＮ個のWet成分の信号がVBAP処理部２３に出力されるので、出力数number_of_wet_outputsの値は「Ｎ」となる。
【０１０２】
さらに、出力数number_of_wet_outputsに続いて、その出力数number_of_wet_outputsにより示される数だけWet成分のゲイン値が格納されている。すなわち、ここでは文字「wet_gain[i]」により示される、ｉ番目のWet成分iのゲイン値が格納されている。このゲイン値wet_gain[i]は、増幅部７５に供給され、増幅部７５でのゲイン調整に用いられる。
【０１０３】
また、定位モード情報wet_position_modeの値が「０」である場合、ゲイン値wet_gain[i]に続いて、文字「wet_position_azimuth_offset[i]」により示される水平角度と、文字「wet_position_elevation_offset[i]」により示される垂直角度が格納されている。
【０１０４】
水平角度wet_position_azimuth_offset[i]は、ｉ番目のWet成分iの３次元空間上の水平方向の位置を示す、オブジェクトの位置に対する相対的な水平角度を示している。同様に、垂直角度wet_position_elevation_offset[i]は、ｉ番目のWet成分iの３次元空間上の垂直方向の位置を示す、オブジェクトの位置に対する相対的な垂直角度を示している。
【０１０５】
したがって、この場合には、ｉ番目のWet成分iの３次元空間上の位置は、水平角度wet_position_azimuth_offset[i]および垂直角度wet_position_elevation_offset[i]と、オブジェクトの位置情報とから求まることになる。
【０１０６】
これに対して、定位モード情報wet_position_modeの値が「１」である場合、ゲイン値wet_gain[i]に続いて、文字「wet_position_azimuth[i]」により示される水平角度と、文字「wet_position_elevation[i]」により示される垂直角度が格納されている。
【０１０７】
水平角度wet_position_azimuth[i]は、ｉ番目のWet成分iの３次元空間上の水平方向の絶対的な位置を示す水平角度を示している。同様に、垂直角度wet_position_elevation[i]は、ｉ番目のWet成分iの３次元空間上の垂直方向の絶対的な位置を示す垂直角度を示している。
【０１０８】
また、リバーブパラメタには、文字「number_of_taps[i]」により示される、ｉ番目のWet成分iについてのインパルス応答のタップ長、つまりインパルス応答の係数の個数を示すタップ長情報が格納されている。
【０１０９】
そして、そのタップ長情報number_of_taps[i]に続き、タップ長情報number_of_taps[i]により示される数だけ、文字「coef[i][j]」により示されるｉ番目のWet成分iについてのインパルス応答の係数が格納されている。
【０１１０】
この係数coef[i][j]は、増幅部７３に供給され、増幅部７３でのゲイン調整に用いられる。例えば図６に示した例では、係数coef[0][0]は増幅部７３−１−１に供給され、係数coef[0][1]は増幅部７３−１−２に供給される。
【０１１１】
このように、インパルス応答をメタ情報（リバーブパラメタ）として付与し、再生側でのレンダリングにおいて、オーディオオブジェクトに対し、そのメタ情報に従ったリバーブ処理を行うことで、コンテンツ制作者の意図通りの距離感を再現することができる。
【０１１２】
〈オーディオ信号出力処理の説明〉
次に、図６に示した信号処理装置５１の動作について説明する。すなわち、以下、図８のフローチャートを参照して、信号処理装置５１によるオーディオ信号出力処理について説明する。
【０１１３】
なお、ステップＳ４１の処理は図５におけるステップＳ１１の処理と同様であるので、その説明は省略する。但し、ステップＳ４１では、デマルチプレクサ２１により図７に示したリバーブパラメタがビットストリームから読み出され、リバーブ処理部６１およびVBAP処理部２３に供給される。
【０１１４】
ステップＳ４２において、リバーブ処理部６１の増幅部７１は、Dry成分の信号を生成し、加算部７６に供給する。
【０１１５】
すなわち、リバーブ処理部６１は、デマルチプレクサ２１から供給されたリバーブパラメタに含まれるドライゲインdry_gainを増幅部７１に供給する。また、増幅部７１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してドライゲインdry_gainを乗算してゲイン調整を行うことでDry成分の信号を生成する。
【０１１６】
ステップＳ４３においてリバーブ処理部６１は、Wet成分1乃至Wet成分Nを生成する。
【０１１７】
すなわち、リバーブ処理部６１は、デマルチプレクサ２１から供給されたリバーブパラメタに含まれるインパルス応答の係数coef[i][j]を読み出して増幅部７３に供給するとともに、リバーブパラメタに含まれるゲイン値wet_gain[i]を増幅部７５に供給する。
【０１１８】
また、各遅延部７２は、デマルチプレクサ２１や他の遅延部７２など、自身の前段から供給されたオブジェクトオーディオデータを所定時間だけ遅延させた後、後段の遅延部７２や増幅部７３に供給する。増幅部７３は、デマルチプレクサ２１や遅延部７２など、自身の前段から供給されたオブジェクトオーディオデータに対して、リバーブ処理部６１から供給された係数coef[i][j]を乗算し、加算部７４へと供給する。
【０１１９】
加算部７４は、増幅部７３から供給されたオブジェクトオーディオデータを加算することでWet成分を生成し、得られたWet成分の信号を増幅部７５およびVBAP処理部２３に供給する。さらに、増幅部７５は、加算部７４から供給されたWet成分の信号に、リバーブ処理部６１から供給されたゲイン値wet_gain[i]を乗算し、加算部７６に供給する。
【０１２０】
ステップＳ４４において、加算部７６は、増幅部７１から供給されたDry成分の信号と、増幅部７５から供給されたWet成分の信号とを加算することで、Dry/Wet成分の信号を生成し、VBAP処理部２３に供給する。
【０１２１】
ステップＳ４５において、VBAP処理部２３は、VBAP処理等をレンダリング処理として行い、出力信号を生成する。
【０１２２】
例えばステップＳ４５では、図５のステップＳ１３の処理と同様の処理が行われる。ステップＳ４５では、例えばVBAP処理においてリバーブパラメタに含まれる水平角度wet_position_azimuth_offset[i]および垂直角度wet_position_elevation_offset[i]、または水平角度wet_position_azimuth[i]および垂直角度wet_position_elevation[i]がWet成分位置情報として用いられる。
【０１２３】
このようにして出力信号が得られると、VBAP処理部２３は出力信号を後段に出力し、オーディオ信号出力処理は終了する。
【０１２４】
以上のようにして、信号処理装置５１は、インパルス応答を含むリバーブパラメタに基づいてオブジェクトオーディオデータに対してリバーブ処理を行い、Dry/Wet成分およびWet成分を生成する。なお、符号化装置では、図７に示したメタ情報や位置情報、符号化されたオブジェクトオーディオデータが格納されたビットストリームが生成される。
【０１２５】
このようにすることで、オブジェクトオーディオデータの再生側において、距離感制御をより効果的に実現することができる。特に、インパルス応答を用いてリバーブ処理を行うことで、信号処理装置５１側のリバーブ処理のアルゴリズムと、コンテンツ制作側のリバーブ処理のアルゴリズムとが異なる場合であっても、コンテンツ制作者の意図通りの距離感を再現することができる。
【０１２６】
〈第３の実施の形態〉
〈信号処理装置の構成例〉
なお、第２の実施の形態では、リバーブパラメタとしてコンテンツ制作者が付加したいリバーブ処理のインパルス応答が用いられていた。しかし、コンテンツ制作者が付加したいリバーブ処理のインパルス応答は、通常非常に長いタップ長となる。
【０１２７】
したがって、そのようなインパルス応答をメタ情報（リバーブパラメタ）として伝送する場合に、リバーブパラメタは非常に大きなデータ量のデータとなってしまう。また、リバーブのパラメタをわずかに変更した場合でもインパルス応答全体が変化するため、その都度、大きなデータ量のリバーブパラメタを伝送し直すことが必要となる。
【０１２８】
そこで、パラメトリックリバーブによりDry/Wet成分やWet成分を生成するようにしてもよい。そのような場合、リバーブ処理部は、マルチタップディレイやコムフィルタ、オールパスフィルタなどの組み合わせにより得られるパラメトリックリバーブにより構成されることになる。
【０１２９】
そして、そのようなリバーブ処理部により、リバーブパラメタに基づいてオブジェクトオーディオデータに対して反射音や残響音が付加されたり、直接音や反射音、残響音のゲイン制御が行われたりしてDry/Wet成分やWet成分の信号が生成される。
【０１３０】
リバーブ処理部がパラメトリックリバーブにより構成される場合、例えば信号処理装置は、図９に示すように構成される。なお、図９において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３１】
図９に示す信号処理装置１３１は、デマルチプレクサ２１、リバーブ処理部１４１、およびVBAP処理部２３を有している。
【０１３２】
この信号処理装置１３１の構成は、図１の信号処理装置１１のリバーブ処理部２２に代えてリバーブ処理部１４１が設けられている点で信号処理装置１１の構成と異なり、その他の点では信号処理装置１１の構成と同様の構成となっている。
【０１３３】
リバーブ処理部１４１は、デマルチプレクサ２１から供給されたリバーブパラメタに基づいて、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブ処理を行うことでDry/Wet成分の信号を生成し、VBAP処理部２３に供給する。
【０１３４】
なお、ここでは説明を簡単にするためにリバーブ処理部１４１においてDry/Wet成分の信号のみが生成される例について説明するが、上述した第１の実施の形態や第２の実施の形態における場合と同様に、Dry/Wet成分だけでなくWet成分1乃至Wet成分Nの信号も生成されるようにしても勿論よい。
【０１３５】
この例では、リバーブ処理部１４１は分岐出力部１５１、プリディレイ部１５２、コムフィルタ部１５３、オールパスフィルタ部１５４、加算部１５５、および加算部１５６を有している。すなわち、リバーブ処理部１４１で実現されるパラメトリックリバーブは、複数のフィルタを含む、複数の構成要素から構成されている。
【０１３６】
特に、リバーブ処理部１４１では、分岐出力部１５１や、プリディレイ部１５２、コムフィルタ部１５３、オールパスフィルタ部１５４が、パラメトリックリバーブを構成する構成要素となっている。ここでは、パラメトリックリバーブの構成要素とは、パラメトリックリバーブによるリバーブ処理を実現するための各処理、つまりリバーブ処理の一部の処理を実行するフィルタ等の処理ブロックのことをいう。
【０１３７】
なお、図９に示すリバーブ処理部１４１のパラメトリックリバーブの構成はあくまで一例であって、パラメトリックリバーブの構成要素の組み合わせやパラメタ、再構成手法（再構築手法）はどのようなものであってもよい。
【０１３８】
分岐出力部１５１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータを、Dry成分やWet成分等の生成される信号の成分の数や、並列に行われる処理数等により定まる分岐数に分岐させるとともに、分岐された信号のゲイン調整を行う。
【０１３９】
この例では、分岐出力部１５１は増幅部１７１および増幅部１７２を有しており、分岐出力部１５１に供給されたオブジェクトオーディオデータは、２つに分岐されて増幅部１７１および増幅部１７２に供給される。
【０１４０】
増幅部１７１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブパラメタに含まれているゲイン値を乗算してゲイン調整を行い、その結果得られたオブジェクトオーディオデータを加算部１５６に供給する。増幅部１７１から出力される信号（オブジェクトオーディオデータ）は、Dry/Wet成分の信号に含まれるDry成分の信号である。
【０１４１】
増幅部１７２は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブパラメタに含まれているゲイン値を乗算してゲイン調整を行い、その結果得られたオブジェクトオーディオデータをプリディレイ部１５２に供給する。増幅部１７２から出力される信号（オブジェクトオーディオデータ）は、Dry/Wet成分の信号に含まれるWet成分のもととなる信号である。
【０１４２】
プリディレイ部１５２は、増幅部１７２から供給されたオブジェクトオーディオデータに対してフィルタ処理を行うことで、基本となる擬似的な反射音や残響音の成分の信号を生成し、コムフィルタ部１５３および加算部１５５に供給する。
【０１４３】
プリディレイ部１５２は、プリディレイ処理部１８１、増幅部１８２−１乃至増幅部１８２−３、加算部１８３、加算部１８４、増幅部１８５−１、および増幅部１８５−２を有している。なお、以下、増幅部１８２−１乃至増幅部１８２−３を特に区別する必要のない場合、単に増幅部１８２とも称することとする。また、以下、増幅部１８５−１および増幅部１８５−２を特に区別する必要のない場合、単に増幅部１８５とも称することとする。
【０１４４】
プリディレイ処理部１８１は、増幅部１７２から供給されたオブジェクトオーディオデータを、その出力先ごとに、リバーブパラメタに含まれている遅延サンプル数（遅延時間）だけ遅延させ、出力先である増幅部１８２および増幅部１８５に供給する。
【０１４５】
増幅部１８２−１および増幅部１８２−２は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部１８３に供給する。増幅部１８２−３は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部１８４に供給する。
【０１４６】
加算部１８３は、増幅部１８２−１から供給されたオブジェクトオーディオデータと、増幅部１８２−２から供給されたオブジェクトオーディオデータとを加算し、加算部１８４に供給する。加算部１８４は、加算部１８３から供給されたオブジェクトオーディオデータと、増幅部１８２−３から供給されたオブジェクトオーディオデータとを加算し、その結果得られたWet成分の信号をコムフィルタ部１５３に供給する。
【０１４７】
このようにして増幅部１８２、加算部１８３、および加算部１８４により行われる処理は、プリディレイのフィルタ処理であり、このフィルタ処理により生成されるWet成分の信号は、例えば初期反射音以外の反射音や残響音の信号である。
【０１４８】
増幅部１８５−１は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、その結果得られたWet成分の信号を加算部１５５に供給する。
【０１４９】
同様に、増幅部１８５−２は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータに対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、その結果得られたWet成分の信号を加算部１５５に供給する。
【０１５０】
これらの増幅部１８５により行われる処理は、初期反射のフィルタ処理であり、このフィルタ処理により生成されるWet成分の信号は、例えば初期反射音の信号である。
【０１５１】
コムフィルタ部１５３は、コムフィルタからなり、加算部１８４から供給されたWet成分の信号に対してフィルタ処理を行うことで反射音や残響音の成分の密度を増加させる。
【０１５２】
この例では、コムフィルタ部１５３は、３列１段のコムフィルタとなっている。すなわち、コムフィルタ部１５３は、加算部２０１−１乃至加算部２０１−３、遅延部２０２−１乃至遅延部２０２−３、増幅部２０３−１乃至増幅部２０３−３、増幅部２０４−１乃至増幅部２０４−３、加算部２０５、および加算部２０６を有している。
【０１５３】
各列の加算部２０１−１乃至加算部２０１−３には、プリディレイ部１５２の加算部１８４からWet成分の信号が供給される。
【０１５４】
加算部２０１−Ｍ（但し、１≦Ｍ≦３）は、加算部１８４から供給されたWet成分の信号に対して、増幅部２０３−Ｍから供給されたWet成分の信号を加算し、遅延部２０２−Ｍに供給する。なお、以下、加算部２０１−１乃至加算部２０１−３を特に区別する必要のない場合、単に加算部２０１とも称する。
【０１５５】
遅延部２０２−Ｍ（但し、１≦Ｍ≦３）は、加算部２０１−Ｍから供給されたWet成分の信号を、リバーブパラメタに含まれている遅延サンプル数（遅延時間）だけ遅延させ、増幅部２０３−Ｍおよび増幅部２０４−Ｍに供給する。なお、以下、遅延部２０２−１乃至遅延部２０２−３を特に区別する必要のない場合、単に遅延部２０２とも称する。
【０１５６】
増幅部２０３−Ｍ（但し、１≦Ｍ≦３）は、遅延部２０２−Ｍから供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２０１−Ｍに供給する。なお、以下、増幅部２０３−１乃至増幅部２０３−３を特に区別する必要のない場合、単に増幅部２０３とも称する。
【０１５７】
増幅部２０４−１および増幅部２０４−２は、遅延部２０２−１および遅延部２０２−２から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２０５に供給する。
【０１５８】
また、増幅部２０４−３は、遅延部２０２−３から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２０６に供給する。なお、以下、増幅部２０４−１乃至増幅部２０４−３を特に区別する必要のない場合、単に増幅部２０４とも称する。
【０１５９】
加算部２０５は、増幅部２０４−１から供給されたWet成分の信号と、増幅部２０４−２から供給されたWet成分の信号とを加算し、加算部２０６に供給する。
【０１６０】
加算部２０６は、増幅部２０４−３から供給されたWet成分の信号と、加算部２０５から供給されたWet成分の信号とを加算し、その結果得られたWet成分の信号をコムフィルタの出力としてオールパスフィルタ部１５４に供給する。
【０１６１】
コムフィルタ部１５３では、加算部２０１−１乃至増幅部２０４−１がコムフィルタの１列１段目の構成要素となっており、加算部２０１−２乃至増幅部２０４−２がコムフィルタの２列１段目の構成要素となっており、加算部２０１−３乃至増幅部２０４−３がコムフィルタの３列１段目の構成要素となっている。
【０１６２】
オールパスフィルタ部１５４は、オールパスフィルタからなり、加算部２０６から供給されたWet成分の信号に対してフィルタ処理を行うことで反射音や残響音の成分の密度を増加させる。
【０１６３】
この例では、オールパスフィルタ部１５４は、１列２段のオールパスフィルタとなっている。すなわち、オールパスフィルタ部１５４は、加算部２２１、遅延部２２２、増幅部２２３、増幅部２２４、加算部２２５、遅延部２２６、増幅部２２７、増幅部２２８、および加算部２２９を有している。
【０１６４】
加算部２２１は、加算部２０６から供給されたWet成分の信号と、増幅部２２３から供給されたWet成分の信号とを加算して遅延部２２２および増幅部２２４に供給する。
【０１６５】
遅延部２２２は、加算部２２１から供給されたWet成分の信号を、リバーブパラメタに含まれている遅延サンプル数（遅延時間）だけ遅延させ、増幅部２２３および加算部２２５に供給する。
【０１６６】
増幅部２２３は、遅延部２２２から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２２１に供給する。増幅部２２４は、加算部２２１から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２２５に供給する。
【０１６７】
加算部２２５は、遅延部２２２から供給されたWet成分の信号と、増幅部２２４から供給されたWet成分の信号と、増幅部２２７から供給されたWet成分の信号とを加算し、遅延部２２６および増幅部２２８に供給する。
【０１６８】
オールパスフィルタ部１５４では、これらの加算部２２１乃至加算部２２５がオールパスフィルタの１列１段目の構成要素となっている。
【０１６９】
また、遅延部２２６は、加算部２２５から供給されたWet成分の信号を、リバーブパラメタに含まれている遅延サンプル数（遅延時間）だけ遅延させ、増幅部２２７および加算部２２９に供給する。
【０１７０】
増幅部２２７は、遅延部２２６から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２２５に供給する。増幅部２２８は、加算部２２５から供給されたWet成分の信号に対して、リバーブパラメタに含まれているゲイン値を乗算することでゲイン調整を行い、加算部２２９に供給する。
【０１７１】
加算部２２９は、遅延部２２６から供給されたWet成分の信号と、増幅部２２８から供給されたWet成分の信号とを加算し、その結果得られたWet成分の信号をオールパスフィルタの出力として加算部１５６に供給する。
【０１７２】
オールパスフィルタ部１５４では、これらの加算部２２５乃至加算部２２９がオールパスフィルタの１列２段目の構成要素となっている。
【０１７３】
加算部１５５は、プリディレイ部１５２の増幅部１８５−１から供給されたWet成分の信号と、増幅部１８５−２から供給されたWet成分の信号とを加算し、加算部１５６に供給する。加算部１５６は、分岐出力部１５１の増幅部１７１から供給されたオブジェクトオーディオデータと、加算部２２９から供給されたWet成分の信号と、加算部１５５から供給されたWet成分の信号とを加算し、その結果得られた信号をDry/Wet成分の信号としてVBAP処理部２３に供給する。
【０１７４】
上述したように図９に示したリバーブ処理部１４１、つまりパラメトリックリバーブの構成はあくまで一例であり、１または複数のフィルタを含む複数の構成要素から構成されるようにすれば、どのような構成とされてもよい。例えばパラメトリックリバーブは、図１０に示す各構成要素の組み合わせにより構成することができる。
【０１７５】
特に、各構成要素は、構成要素の構成を示す構成情報と、構成要素を構成するブロックでの処理で用いられるゲイン値や遅延時間等を示す係数情報（パラメタ）とを与えることで、オブジェクトオーディオデータの再生側において再構築（再現）可能である。換言すれば、再生側に対して、パラメトリックリバーブがどのような構成要素により構成されているかを示す情報と、各構成要素についての構成情報および係数情報とを与えれば、再生側でパラメトリックリバーブを再構築することができる。
【０１７６】
図１０に示す例では、文字「Branch」により示される構成要素は、図９の分岐出力部１５１に対応する分岐の構成要素である。この構成要素は、構成情報としての信号の分岐ライン数と、係数情報としての各増幅部でのゲイン値とにより再構築可能である。
【０１７７】
例えば図９に示した例では、分岐出力部１５１の分岐ライン数は２であり、増幅部１７１および増幅部１７２のそれぞれで用いられるゲイン値が係数情報のゲイン値である。
【０１７８】
また、文字「PreDelay」により示される構成要素は、図９のプリディレイ部１５２に対応するプリディレイである。この構成要素は、構成情報としてのプリディレイタップ数および初期反射タップ数と、係数情報としての各信号の遅延時間および各増幅部でのゲイン値とにより再構築可能である。
【０１７９】
例えば図９に示した例では、プリディレイタップ数は増幅部１８２の数である「３」であり、初期反射タップ数は増幅部１８５の数である「２」である。また、プリディレイ処理部１８１における各増幅部１８２や増幅部１８５へと出力される信号の遅延サンプル数が係数情報の遅延時間であり、増幅部１８２や増幅部１８５で用いられるゲイン値が係数情報のゲイン値である。
【０１８０】
文字「Multi Tap Delay」により示される構成要素は、プリディレイ部により生成された基本となる反射音や残響音の成分を複製して、より多くの反射音や残響音の成分（Wet成分の信号）を生成するマルチタップディレイ、すなわちフィルタである。この構成要素は、構成情報としてのマルチタップ数と、係数情報としての各信号の遅延時間および各増幅部でのゲイン値とにより再構築可能である。ここで、マルチタップ数は、Wet成分の信号を複製するときの数、つまり複製後のWet成分の信号の数を示している。
【０１８１】
文字「All Pass Filters」により示される構成要素は、図９のオールパスフィルタ部１５４に対応するオールパスフィルタである。この構成要素は、構成情報としてのオールパスフィルタライン数（列数）およびオールパスフィルタ段数と、係数情報としての各信号の遅延時間および各増幅部でのゲイン値とにより再構築可能である。
【０１８２】
例えば図９に示した例ではオールパスフィルタライン数は「１」であり、オールパスフィルタ段数は「２」である。また、オールパスフィルタ部１５４における遅延部２２２や遅延部２２６での信号の遅延サンプル数が係数情報の遅延時間であり、増幅部２２３や増幅部２２４、増幅部２２７、増幅部２２８で用いられるゲイン値が係数情報のゲイン値である。
【０１８３】
文字「Comb Filters」により示される構成要素は、図９のコムフィルタ部１５３に対応するコムフィルタである。この構成要素は、構成情報としてのコムフィルタライン数（列数）およびコムフィルタ段数と、係数情報としての各信号の遅延時間および各増幅部でのゲイン値とにより再構築可能である。
【０１８４】
例えば図９に示した例ではコムフィルタライン数は「３」であり、コムフィルタ段数は「１」である。また、コムフィルタ部１５３における遅延部２０２での信号の遅延サンプル数が係数情報の遅延時間であり、増幅部２０３や増幅部２０４で用いられるゲイン値が係数情報のゲイン値である。
【０１８５】
文字「High Cut Filter」により示される構成要素は、高域カットフィルタである。この構成要素は、構成情報は不要であり、係数情報としての各増幅部でのゲイン値により再構築可能である。
【０１８６】
以上のように、パラメトリックリバーブは、図１０に示した構成要素と、それらの構成要素についての構成情報および係数情報とを任意に組み合わせることで構成可能である。したがって、リバーブ処理部１４１の構成もこれらの構成要素と、構成情報および係数情報とを任意に組み合わせた構成とすることができる。
【０１８７】
〈メタ情報のシンタックス例〉
次に、リバーブ処理部１４１がパラメトリックリバーブにより構成される場合に、そのリバーブ処理部１４１に供給されるメタ情報（リバーブパラメタ）について説明する。このような場合、メタ情報のシンタックスは、例えば図１１に示すようになる。
【０１８８】
図１１に示す例では、メタ情報にはReverb_Configuration()およびReverb_Parameter()が含まれている。ここで、Reverb_Configuration()には、上述したWet成分位置情報や、パラメトリックリバーブの構成要素の構成情報が含まれており、Reverb_Parameter()にはパラメトリックリバーブの構成要素の係数情報が含まれている。
【０１８９】
換言すれば、Reverb_Configuration()には、各Wet成分（リバーブ成分）の音像の定位位置を示す情報と、パラメトリックリバーブの構成を示す構成情報とが含まれている。また、Reverb_Parameter()には、パラメトリックリバーブの構成要素による処理で用いられるパラメタが係数情報として含まれている。
【０１９０】
以下、Reverb_Configuration()およびReverb_Parameter()についてさらに説明する。
【０１９１】
Reverb_Configuration()のシンタックスは、例えば図１２に示すようになる。
【０１９２】
図１２に示す例では、Reverb_Configuration()には、定位モード情報wet_position_modeおよび出力数number_of_wet_outputsが含まれている。なお、これらの定位モード情報wet_position_modeおよび出力数number_of_wet_outputsは、図７に示したものと同じであるため、その説明は省略する。
【０１９３】
また、Reverb_Configuration()には、定位モード情報wet_position_modeの値が「０」である場合、Wet成分位置情報として水平角度wet_position_azimuth_offset[i]および垂直角度wet_position_elevation_offset[i]が含まれている。これに対して、定位モード情報wet_position_modeの値が「１」である場合、Wet成分位置情報として水平角度wet_position_azimuth[i]および垂直角度wet_position_elevation[i]が含まれている。
【０１９４】
なお、これらの水平角度wet_position_azimuth_offset[i]、垂直角度wet_position_elevation_offset[i]、水平角度wet_position_azimuth[i]、および垂直角度wet_position_elevation[i]は図７に示したものと同じであるため、その説明は省略する。
【０１９５】
さらにReverb_Configuration()には、パラメトリックリバーブの各構成要素の構成情報が格納されたReverb_Structure()が含まれている。
【０１９６】
このReverb_Structure()のシンタックスは、例えば図１３に示すようになる。
【０１９７】
図１３に示す例では、Reverb_Structure()には、エレメントＩＤ（elem_id[]）により示される構成要素の情報等が格納されている。
【０１９８】
例えばelem_id[]の値「０」は分岐の構成要素（BRANCH）を示しており、elem_id[]の値「１」はプリディレイ（PRE_DELAY）を示しており、elem_id[]の値「２」はオールパスフィルタ（ALL_PASS_FILTER）を示しており、elem_id[]の値「３」はマルチタップディレイ（MULTI_TAP_DELAY）を示している。
【０１９９】
また、elem_id[]の値「４」はコムフィルタ（COMB_FILTER）を示しており、elem_id[]の値「５」は高域カットフィルタ（HIGH_CUT）を示しており、elem_id[]の値「６」はループの終端（TERM）を示しており、elem_id[]の値「７」はループの終端（OUTPUT）を示している。
【０２００】
具体的には、例えばelem_id[]の値が「０」である場合、分岐の構成要素の構成情報であるBranch_Configuration(n)が格納されており、elem_id[]の値が「１」である場合、プリディレイの構成情報であるPreDelay_Configuration()が格納されている。
【０２０１】
また、elem_id[]の値が「２」である場合、オールパスフィルタの構成情報であるAllPassFilter_Configuration()が格納されており、elem_id[]の値が「３」である場合、マルチタップディレイの構成情報であるMultiTapDelay_Configuration()が格納されている。
【０２０２】
さらに、elem_id[]の値が「４」である場合、コムフィルタの構成情報であるCombFilter_Configuration()が格納されており、elem_id[]の値が「５」である場合、高域カットフィルタの構成情報であるHighCut_Configuration()が格納されている。
【０２０３】
続いて、構成情報が格納されたBranch_Configuration(n)、PreDelay_Configuration()、AllPassFilter_Configuration()、MultiTapDelay_Configuration()、CombFilter_Configuration()、およびHighCut_Configuration()についてさらに説明する。
【０２０４】
例えばBranch_Configuration(n)のシンタックスは、図１４に示すようになる。
【０２０５】
この例ではBranch_Configuration(n)には、分岐の構成要素の構成情報として、文字「number_of_lines」により示される分岐ライン数が格納されており、各分岐ラインについてReverb_Structure()がさらに格納されている。
【０２０６】
また、図１３に示したPreDelay_Configuration()のシンタックスは、例えば図１５に示すようになる。この例では、PreDelay_Configuration()には、プリディレイの構成情報として文字「number_of_predelays」により示されるプリディレイタップ数（プリディレイ数）と、文字「number_of_earlyreflections」により示される初期反射タップ数（初期反射数）とが格納されている。
【０２０７】
図１３に示したMultiTapDelay_Configuration()のシンタックスは、例えば図１６に示すようになる。この例では、MultiTapDelay_Configuration()には、マルチタップディレイの構成情報として文字「number_of_taps」により示されるマルチタップ数が格納されている。
【０２０８】
さらに、図１３に示したAllPassFilter_Configuration()のシンタックスは、例えば図１７に示すようになる。この例では、AllPassFilter_Configuration()には、オールパスフィルタの構成情報として、文字「number_of_apf_lines」により示されるオールパスフィルタライン数と、文字「number_of_apf_sections」により示されるオールパスフィルタ段数とが格納されている。
【０２０９】
図１３に示したCombFilter_Configuration()のシンタックスは、例えば図１８に示すようになる。この例では、CombFilter_Configuration()には、コムフィルタの構成情報として、文字「number_of_comb_lines」により示されるコムフィルタライン数と、文字「number_of_comb_sections」により示されるコムフィルタ段数とが格納されている。
【０２１０】
図１３に示したHighCut_Configuration()のシンタックスは、例えば図１９に示すようになる。この例では、HighCut_Configuration()には特に構成情報は含まれていない。
【０２１１】
また、図１１に示したReverb_Parameter()のシンタックスは、例えば図２０に示すようになる。
【０２１２】
図２０に示す例では、Reverb_Parameter()には、エレメントＩＤ（elem_id[]）により示される構成要素の係数情報等が格納されている。なお、図２０におけるelem_id[]は、上述のReverb_Configuration()で示されたものである。
【０２１３】
例えばelem_id[]の値が「０」である場合、分岐の構成要素の係数情報であるBranch_Parameters(n)が格納されており、elem_id[]の値が「１」である場合、プリディレイの係数情報であるPreDelay_Parameters()が格納されている。
【０２１４】
また、elem_id[]の値が「２」である場合、オールパスフィルタの係数情報であるAllPassFilter_Parameters()が格納されており、elem_id[]の値が「３」である場合、マルチタップディレイの係数情報であるMultiTapDelay_Parameters()が格納されている。
【０２１５】
さらに、elem_id[]の値が「４」である場合、コムフィルタの係数情報であるCombFilter_Parameters()が格納されており、elem_id[]の値が「５」である場合、高域カットフィルタの係数情報であるHighCut_Parameters()が格納されている。
【０２１６】
ここで、係数情報が格納されたBranch_Parameters(n)、PreDelay_Parameters()、AllPassFilter_Parameters()、MultiTapDelay_Parameters()、CombFilter_Parameters()、およびHighCut_Parameters()についてさらに説明する。
【０２１７】
図２０に示したBranch_Parameters(n)のシンタックスは、例えば図２１に示すようになる。この例では、Branch_Parameters(n)には、分岐の構成要素の係数情報として、分岐ライン数number_of_lines分だけゲイン値gain[i]が格納されており、各分岐ラインについてReverb_Parameters(n)がさらに格納されている。
【０２１８】
ここで、ゲイン値gain[i]は、i番目の分岐ラインに設けられた増幅部で用いられるゲイン値を示している。例えば図９の例では、ゲイン値gain[0]は、0番目の分岐ライン、つまり１列目の分岐ラインに設けられた増幅部１７１で用いられるゲイン値であり、ゲイン値gain[1]は、２列目の分岐ラインに設けられた増幅部１７２で用いられるゲイン値である。
【０２１９】
また、図２０に示したPreDelay_Parameters()のシンタックスは、例えば図２２に示すようになる。
【０２２０】
図２２に示す例では、PreDelay_Parameters()にはプリディレイの係数情報として、プリディレイタップ数number_of_predelaysの分だけプリディレイの遅延サンプル数predelay_sample[i]と、プリディレイのゲイン値predelay_gain[i]とが格納されている。
【０２２１】
ここで、遅延サンプル数predelay_sample[i]は、i番目のプリディレイに対する遅延サンプル数を示しており、ゲイン値predelay_gain[i]は、i番目のプリディレイに対するゲイン値を示している。例えば図９の例では、遅延サンプル数predelay_sample[0]は、0番目のプリディレイ、つまり増幅部１８２−１に供給されるWet成分の信号の遅延サンプル数であり、ゲイン値predelay_gain[0]は、増幅部１８２−１で用いられるゲイン値である。
【０２２２】
また、PreDelay_Parameters()には初期反射タップ数number_of_earlyreflectionsの分だけ初期反射の遅延サンプル数earlyref_sample[i]と、初期反射のゲイン値earlyref_gain[i]とが格納されている。
【０２２３】
ここで、遅延サンプル数earlyref_sample[i]は、i番目の初期反射に対する遅延サンプル数を示しており、ゲイン値earlyref_gain[i]は、i番目の初期反射に対するゲイン値を示している。例えば図９の例では、遅延サンプル数earlyref_sample[0]は、0番目の初期反射、つまり増幅部１８５−１に供給されるWet成分の信号の遅延サンプル数であり、ゲイン値earlyref_gain[0]は、増幅部１８５−１で用いられるゲイン値である。
【０２２４】
さらに、図２０に示したMultiTapDelay_Parameters()のシンタックスは、例えば図２３に示すようになる。
【０２２５】
図２３に示す例では、MultiTapDelay_Parameters()にはマルチタップディレイの係数情報として、マルチタップ数number_of_tapsの分だけマルチタップディレイの遅延サンプル数delay_sample[i]と、マルチタップディレイのゲイン値delay_gain[i]とが格納されている。ここで、遅延サンプル数delay_sample[i]は、i番目のディレイに対する遅延サンプル数を示しており、ゲイン値delay_gain[i]は、i番目のディレイに対するゲイン値を示している。
【０２２６】
図２０に示したHighCut_Parameters()のシンタックスは、例えば図２４に示すようになる。
【０２２７】
図２４に示す例では、HighCut_Parameters()には高域カットフィルタの係数情報として、高域カットフィルタのゲイン値gainが格納されている。
【０２２８】
さらに、図２０に示したAllPassFilter_Parameters()のシンタックスは、例えば図２５に示すようになる。
【０２２９】
図２５に示す例では、AllPassFilter_Parameters()にはオールパスフィルタの係数情報として、オールパスフィルタライン数number_of_apf_lines分の各ラインについて、オールパスフィルタ段数number_of_apf_sections分の各段の遅延サンプル数delay_sample[i][j]とゲイン値gain[i][j]とが格納されている。
【０２３０】
ここで、遅延サンプル数delay_sample[i][j]は、オールパスフィルタのi番目の列（ライン）のj番目の段における遅延サンプル数を示しており、ゲイン値gain[i][j]は、オールパスフィルタのi番目の列（ライン）のj番目の段の増幅部で用いられるゲイン値である。
【０２３１】
例えば図９の例では、遅延サンプル数delay_sample[0][0]は0番目の列の0番目の段にある遅延部２２２における遅延サンプル数であり、ゲイン値gain[0][0]は0番目の列の0番目の段にある増幅部２２３および増幅部２２４で用いられるゲイン値である。なお、より詳細には、増幅部２２３で用いられるゲイン値と、増幅部２２４で用いられるゲイン値とは大きさは同じであるが符号が異なっている。
【０２３２】
図２０に示したCombFilter_Parameters()のシンタックスは、例えば図２６に示すようになる。
【０２３３】
図２６に示す例では、CombFilter_Parameters()にはコムフィルタの係数情報として、コムフィルタライン数number_of_comb_lines分の各ラインについて、コムフィルタ段数number_of_comb_sections分の各段の遅延サンプル数delay_sample[i][j]とゲイン値gain_a[i][j]およびゲイン値gain_b[i][j]とが格納されている。
【０２３４】
ここで、遅延サンプル数delay_sample[i][j]は、コムフィルタのi番目の列（ライン）のj番目の段における遅延サンプル数を示しており、ゲイン値gain_a[i][j]およびゲイン値gain_b[i][j]は、コムフィルタのi番目の列（ライン）のj番目の段の増幅部で用いられるゲイン値である。
【０２３５】
例えば図９の例では、遅延サンプル数delay_sample[0][0]は0番目の列の0番目の段にある遅延部２０２−１における遅延サンプル数である。また、ゲイン値gain_a[0][0]は0番目の列の0番目の段にある増幅部２０３−１で用いられるゲイン値であり、ゲイン値gain_b[0][0]は0番目の列の0番目の段にある増幅部２０４−１で用いられるゲイン値である。
【０２３６】
以上のようなメタ情報によりリバーブ処理部１４１のパラメトリックリバーブが再構築（再構成）される場合、メタ情報は例えば図２７に示すようになる。なお、ここではReverb_Parameters()内の係数値は、整数をX、浮動小数をX.Xと表すが、実際には使用されたリバーブパラメタに従って設定された値が入ることになる。
【０２３７】
図２７に示す例では、Branch_Configuration()の部分には、分岐出力部１５１における分岐ライン数number_of_linesの値「２」が格納されている。
【０２３８】
また、PreDelay_Configuration()の部分には、プリディレイ部１５２におけるプリディレイタップ数number_of_predelaysの値「３」、および初期反射タップ数number_of_earlyreflectionsの値「２」が格納されている。
【０２３９】
CombFilter_Configuration()の部分には、コムフィルタ部１５３におけるコムフィルタライン数number_of_comb_linesの値「３」と、コムフィルタ段数number_of_comb_sectionsの値「１」とが格納されている。
【０２４０】
さらに、AllPassFilter_Configuration()の部分には、オールパスフィルタ部１５４におけるオールパスフィルタライン数number_of_apf_linesの値「１」と、オールパスフィルタ段数number_of_apf_sectionsの値「２」とが格納されている。
【０２４１】
また、Reverb_Parameter(0)におけるBranch Parameter(0)の部分には、分岐出力部１５１の０番目の分岐ラインの増幅部１７１で用いられるゲイン値gain[0]が格納されており、Reverb_Parameter(1)の部分には、分岐出力部１５１の１番目の分岐ラインの増幅部１７２で用いられるゲイン値gain[1]が格納されている。
【０２４２】
PreDelay_Parameters()の部分には、プリディレイ部１５２のプリディレイ処理部１８１におけるプリディレイの遅延サンプル数predelay_sample[0]、遅延サンプル数predelay_sample[1]、および遅延サンプル数predelay_sample[2]が格納されている。
【０２４３】
ここで、遅延サンプル数predelay_sample[0]、遅延サンプル数predelay_sample[1]、および遅延サンプル数predelay_sample[2]は、それぞれプリディレイ処理部１８１が増幅部１８２−１乃至増幅部１８２−３に供給するWet成分の信号の遅延時間である。
【０２４４】
また、PreDelay_Parameters()の部分には、増幅部１８２−１乃至増幅部１８２−３のそれぞれで用いられるゲイン値predelay_gain[0]、ゲイン値predelay_gain[1]、およびゲイン値predelay_gain[2]も格納されている。
【０２４５】
PreDelay_Parameters()の部分には、プリディレイ部１５２のプリディレイ処理部１８１における初期反射の遅延サンプル数earlyref_sample[0]、および遅延サンプル数earlyref_sample[1]が格納されている。
【０２４６】
これらの遅延サンプル数earlyref_sample[0]および遅延サンプル数earlyref_sample[1]は、それぞれプリディレイ処理部１８１が増幅部１８５−１および増幅部１８５−２に供給するWet成分の信号の遅延時間である。
【０２４７】
さらにPreDelay_Parameters()の部分には、増幅部１８５−１および増幅部１８５−２のそれぞれで用いられるゲイン値earlyref_gain[0]およびゲイン値earlyref_gain[1]も格納されている。
【０２４８】
CombFilter_Parameters()の部分には、遅延部２０２−１における遅延サンプル数delay_sample[0][0]、増幅部２０３−１で用いられるゲイン値を得るためのゲイン値gain_a[0][0]、および増幅部２０４−１で用いられるゲイン値を得るためのゲイン値gain_b[0][0]が格納されている。
【０２４９】
また、CombFilter_Parameters()の部分には、遅延部２０２−２における遅延サンプル数delay_sample[1][0]、増幅部２０３−２で用いられるゲイン値を得るためのゲイン値gain_a[1][0]、および増幅部２０４−２で用いられるゲイン値を得るためのゲイン値gain_b[1][0]が格納されている。
【０２５０】
さらに、CombFilter_Parameters()の部分には、遅延部２０２−３における遅延サンプル数delay_sample[2][0]、増幅部２０３−３で用いられるゲイン値を得るためのゲイン値gain_a[2][0]、および増幅部２０４−３で用いられるゲイン値を得るためのゲイン値gain_b[2][0]が格納されている。
【０２５１】
AllPassFilter_Parameters()の部分には、遅延部２２２における遅延サンプル数delay_sample[0][0]、増幅部２２３および増幅部２２４で用いられるゲイン値を得るためのゲイン値gain[0][0]が格納されている。
【０２５２】
また、AllPassFilter_Parameters()の部分には、遅延部２２６における遅延サンプル数delay_sample[0][1]、増幅部２２７および増幅部２２８で用いられるゲイン値を得るためのゲイン値gain[0][1]が格納されている。
【０２５３】
以上の各構成要素の構成情報と係数情報に基づいて、再生側（信号処理装置１３１側）では、リバーブ処理部１４１の構成を再構築することができる。
【０２５４】
〈オーディオ信号出力処理の説明〉
次に、図９に示した信号処理装置１３１の動作について説明する。すなわち、以下、図２８のフローチャートを参照して、信号処理装置１３１によるオーディオ信号出力処理について説明する。
【０２５５】
なお、ステップＳ７１の処理は図５におけるステップＳ１１の処理と同様であるので、その説明は省略する。但し、ステップＳ７１では、デマルチプレクサ２１により図２７に示したリバーブパラメタがビットストリームから読み出され、リバーブ処理部１４１およびVBAP処理部２３に供給される。
【０２５６】
ステップＳ７２において、分岐出力部１５１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対して分岐出力処理を行う。
【０２５７】
すなわち、増幅部１７１および増幅部１７２は供給されたゲイン値に基づいて、オブジェクトオーディオデータのゲイン調整を行い、その結果得られたオブジェクトオーディオデータを加算部１５６およびプリディレイ処理部１８１に供給する。
【０２５８】
ステップＳ７３において、プリディレイ部１５２は、増幅部１７２から供給されたオブジェクトオーディオデータに対してプリディレイ処理を行う。
【０２５９】
すなわち、プリディレイ処理部１８１は、増幅部１７２から供給されたオブジェクトオーディオデータを、出力先に応じた遅延サンプル数だけ遅延させた後、増幅部１８２および増幅部１８５に供給する。
【０２６０】
増幅部１８２は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータを、供給されたゲイン値に基づいてゲイン調整して加算部１８３または加算部１８４に供給し、加算部１８３および加算部１８４は供給されたオブジェクトオーディオデータの加算処理を行う。このようにしてWet成分の信号が得られると、加算部１８４は得られたWet成分の信号をコムフィルタ部１５３の加算部２０１に供給する。
【０２６１】
また、増幅部１８５は、プリディレイ処理部１８１から供給されたオブジェクトオーディオデータを、供給されたゲイン値に基づいてゲイン調整し、その結果得られたWet成分の信号を加算部１５５に供給する。
【０２６２】
ステップＳ７４においてコムフィルタ部１５３は、コムフィルタ処理を行う。
【０２６３】
すなわち、加算部２０１は、加算部１８４から供給されたWet成分の信号と、増幅部２０３から供給されたWet成分の信号とを加算して遅延部２０２に供給する。遅延部２０２は、加算部２０１から供給されたWet成分の信号を、供給された遅延サンプル数だけ遅延させた後、増幅部２０３および増幅部２０４に供給する。
【０２６４】
増幅部２０３は、遅延部２０２から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整して加算部２０１に供給し、増幅部２０４は遅延部２０２から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整して加算部２０５または加算部２０６に供給する。加算部２０５および加算部２０６は、供給されたWet成分の信号の加算処理を行い、加算部２０６は得られたWet成分の信号をオールパスフィルタ部１５４の加算部２２１に供給する。
【０２６５】
ステップＳ７５においてオールパスフィルタ部１５４は、オールパスフィルタ処理を行う。すなわち、加算部２２１は、加算部２０６から供給されたWet成分の信号と、増幅部２２３から供給されたWet成分の信号とを加算して遅延部２２２および増幅部２２４に供給する。
【０２６６】
遅延部２２２は、加算部２２１から供給されたWet成分の信号を、供給された遅延サンプル数だけ遅延させた後、増幅部２２３および加算部２２５に供給する。
【０２６７】
増幅部２２４は、加算部２２１から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整し、加算部２２５に供給する。増幅部２２３は、遅延部２２２から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整し、加算部２２１に供給する。
【０２６８】
加算部２２５は、遅延部２２２から供給されたWet成分の信号と、増幅部２２４から供給されたWet成分の信号と、増幅部２２７から供給されたWet成分の信号とを加算し、遅延部２２６および増幅部２２８に供給する。
【０２６９】
また、遅延部２２６は、加算部２２５から供給されたWet成分の信号を、供給された遅延サンプル数だけ遅延させた後、増幅部２２７および加算部２２９に供給する。
【０２７０】
増幅部２２８は、加算部２２５から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整し、加算部２２９に供給する。増幅部２２７は、遅延部２２６から供給されたWet成分の信号を、供給されたゲイン値に基づいてゲイン調整し、加算部２２５に供給する。加算部２２９は、遅延部２２６から供給されたWet成分の信号と、増幅部２２８から供給されたWet成分の信号とを加算し、加算部１５６に供給する。
【０２７１】
ステップＳ７６において、加算部１５６はDry/Wet成分の信号を生成する。
【０２７２】
すなわち、加算部１５５は、増幅部１８５−１および増幅部１８５−２から供給されたWet成分の信号を加算し、加算部１５６に供給する。加算部１５６は、増幅部１７１から供給されたオブジェクトオーディオデータと、加算部２２９から供給されたWet成分の信号と、加算部１５５から供給されたWet成分の信号とを加算し、その結果得られた信号をDry/Wet成分の信号としてVBAP処理部２３に供給する。
【０２７３】
ステップＳ７６の処理が行われると、その後、ステップＳ７７の処理が行われてオーディオ信号出力処理は終了するが、ステップＳ７７の処理は図５のステップＳ１３の処理と同様であるのでその説明は省略する。
【０２７４】
以上のようにして、信号処理装置１３１は、構成情報および係数情報を含むリバーブパラメタに基づいてオブジェクトオーディオデータに対してリバーブ処理を行い、Dry/Wet成分を生成する。
【０２７５】
このようにすることで、オブジェクトオーディオデータの再生側において、距離感制御をより効果的に実現することができる。特に、構成情報および係数情報を含むリバーブパラメタを用いてリバーブ処理を行うことで、インパルス応答をリバーブパラメタとする場合と比べて符号化効率を向上させることができる。
【０２７６】
以上の第３の実施の形態に示した手法では、パラメトリックリバーブの構成情報および係数情報をメタ情報にすることを示した。このことは、言い換えると、メタ情報に基づいてパラメトリックリバーブを再構築することが可能であるといえる。すなわち、コンテンツ制作時に使用されたパラメトリックリバーブを、そのメタ情報に基づき、再生側で再構築することが可能となる。
【０２７７】
特に、本手法によれば、コンテンツ制作側であらゆる構成のアルゴリズムによるリバーブ処理が適用可能となる。また、比較的少ないデータ量のメタ情報で距離感制御が可能となる。そして、再生側でのレンダリングにおいて、オーディオオブジェクトに対し、そのメタ情報に従ったリバーブ処理を行うことで、コンテンツ制作者の意図通りの距離感を再現することができる。なお、符号化装置では、図１１に示したメタ情報や位置情報、符号化されたオブジェクトオーディオデータが格納されたビットストリームが生成される。
【０２７８】
〈第３の実施の形態の変形例１〉
〈信号処理装置の構成例〉
なお、上述したようにパラメトリックリバーブの構成は任意の構成とすることができる。すなわち、他の任意の構成要素を組み合わせて多様なリバーブアルゴリズムを構成することができる。
【０２７９】
例えば分岐の構成要素と、プリディレイと、マルチタップディレイと、オールパスフィルタを組み合わせてパラメトリックリバーブを構成することもできる。
【０２８０】
そのような場合、信号処理装置は、例えば図２９に示すように構成される。なお、図２９において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２８１】
図２９に示す信号処理装置２５１は、デマルチプレクサ２１、リバーブ処理部２６１、およびVBAP処理部２３を有している。
【０２８２】
この信号処理装置２５１の構成は、図１の信号処理装置１１のリバーブ処理部２２に代えてリバーブ処理部２６１が設けられている点で信号処理装置１１の構成と異なり、その他の点では信号処理装置１１の構成と同様の構成となっている。
【０２８３】
リバーブ処理部２６１は、デマルチプレクサ２１から供給されたリバーブパラメタに基づいて、デマルチプレクサ２１から供給されたオブジェクトオーディオデータに対してリバーブ処理を行うことでDry/Wet成分の信号を生成し、VBAP処理部２３に供給する。
【０２８４】
この例では、リバーブ処理部２６１は分岐出力部２７１、プリディレイ部２７２、マルチタップディレイ部２７３、オールパスフィルタ部２７４、加算部２７５、および加算部２７６を有している。
【０２８５】
分岐出力部２７１は、デマルチプレクサ２１から供給されたオブジェクトオーディオデータを分岐させてゲイン調整を行い、加算部２７６およびプリディレイ部２７２に供給する。この例では、分岐出力部２７１の分岐ライン数は２となっている。
【０２８６】
プリディレイ部２７２は、分岐出力部２７１から供給されたオブジェクトオーディオデータに対して、プリディレイ部１５２における場合と同様のプリディレイ処理を行い、得られたWet成分の信号を加算部２７５およびマルチタップディレイ部２７３に供給する。この例では、プリディレイ部２７２におけるプリディレイタップ数および初期反射タップ数は２となっている。
【０２８７】
マルチタップディレイ部２７３は、プリディレイ部２７２から供給されたWet成分の信号を遅延させて分岐させた後、ゲイン調整を行い、その結果得られたWet成分の信号を加算して１つの信号とした後、オールパスフィルタ部２７４に供給する。ここでは、マルチタップディレイ部２７３のマルチタップ数は５となっている。
【０２８８】
オールパスフィルタ部２７４は、マルチタップディレイ部２７３から供給されたWet成分の信号に対して、オールパスフィルタ部１５４における場合と同様のオールパスフィルタ処理を行い、得られたWet成分の信号を加算部２７６に供給する。ここでは、オールパスフィルタ部２７４は、２列２段のオールパスフィルタとなっている。
【０２８９】
加算部２７５は、プリディレイ部２７２から供給された２つのWet成分の信号を加算し、加算部２７６に供給する。加算部２７６は、分岐出力部２７１から供給されたオブジェクトオーディオデータと、オールパスフィルタ部２７４から供給されたWet成分の信号と、加算部２７５から供給されたWet成分の信号とを加算し、得られた信号をDry/Wet成分の信号としてVBAP処理部２３に供給する。
【０２９０】
リバーブ処理部２６１が図２９に示す構成とされる場合、リバーブ処理部２６１には、例えば図３０に示すメタ情報（リバーブパラメタ）が供給される。
【０２９１】
図３０に示す例では、メタ情報には構成情報としてnumber_of_linesや、number_of_predelays、number_of_earlyreflections、number_of_taps、number_of_apf_lines、number_of_apf_sectionsが格納されている。
【０２９２】
また、メタ情報には係数情報として、分岐の構成要素のgain[0]やgain[1]、プリディレイのpredelay_sample[0]や、predelay_gain[0]、predelay_sample[1]、predelay_gain[1]、初期反射のearlyref_sample[0]やearlyref_gain[0]、earlyref_sample[1]、earlyref_gain[1]が格納されている。
【０２９３】
さらに、係数情報としてマルチタップディレイのdelay_sample[0]やdelay_gain[0]、delay_sample[1]、delay_gain[1]、delay_sample[2]、delay_gain[2]、delay_sample[3]、delay_gain[3]、delay_sample[4]、delay_gain[4]、オールパスフィルタのdelay_sample[0][0]、gain[0][0]、delay_sample[0][1]、gain[0][1]、delay_sample[1][0]、gain[1][0]、delay_sample[1][1]、gain[1][1]が格納されている。
【０２９４】
以上のように、本技術によれば、オブジェクトベースオーディオのレンダリングにおいて、メタ情報による、より効果的な距離感制御を実現することができる。
【０２９５】
特に、第１の実施の形態や第３の実施の形態によれば、比較的少ないパラメタで距離感制御を実現することができる。
【０２９６】
また、第２の実施の形態や第３の実施の形態によれば、コンテンツ制作において、制作者の好みや意図どおりのリバーブレーションを付加することができる。つまりアルゴリズムの制約を受けることなく、リバーブ処理を選択することができる。
【０２９７】
さらに、第３の実施の形態によれば、オブジェクトベースオーディオのレンダリングにおいて、膨大なインパルス応答を用いることなく、コンテンツ制作者の好みや意図どおりのリバーブ効果を再現することができる。
【０２９８】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２９９】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３００】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０３０１】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０３０２】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０３０３】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０３０４】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３０５】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３０６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３０８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１１】
さらに、本技術は、以下の構成とすることも可能である。
【０３１２】
（１）
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成するリバーブ処理部を備える
信号処理装置。
（２）
前記リバーブパラメタに基づいて、前記リバーブ成分の信号に対するレンダリング処理を行うレンダリング処理部をさらに備える
（１）に記載の信号処理装置。
（３）
前記リバーブパラメタには、前記リバーブ成分の音像の定位位置を示す位置情報が含まれており、
前記レンダリング処理部は、前記位置情報に基づいて前記レンダリング処理を行う
（２）に記載の信号処理装置。
（４）
前記位置情報は、前記リバーブ成分の音像の絶対的な定位位置を示す情報である
（３）に記載の信号処理装置。
（５）
前記位置情報は、前記オーディオオブジェクトに対する前記リバーブ成分の音像の相対的な定位位置を示す情報である
（３）に記載の信号処理装置。
（６）
前記リバーブパラメタには、インパルス応答が含まれており、
前記リバーブ処理部は、前記インパルス応答と、前記オブジェクトオーディオデータとに基づいて前記リバーブ成分の信号を生成する
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記リバーブパラメタには、パラメトリックリバーブの構成を示す構成情報が含まれており、
前記リバーブ処理部は、前記構成情報と、前記オブジェクトオーディオデータとに基づいて前記リバーブ成分の信号を生成する
（１）乃至（５）の何れか一項に記載の信号処理装置。
（８）
前記パラメトリックリバーブは、１または複数のフィルタを含む複数の構成要素から構成される
（７）に記載の信号処理装置。
（９）
前記フィルタは、ローパスフィルタ、コムフィルタ、オールパスフィルタ、またはマルチタップディレイである
（８）に記載の信号処理装置。
（１０）
前記リバーブパラメタには、前記構成要素による処理で用いられるパラメタが含まれている
（８）または（９）に記載の信号処理装置。
（１１）
信号処理装置が、
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成する
信号処理方法。
（１２）
オーディオオブジェクトのオブジェクトオーディオデータと、前記オーディオオブジェクトについてのリバーブパラメタとに基づいてリバーブ成分の信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３１３】
１１  信号処理装置，  ２１  デマルチプレクサ，  ２２  リバーブ処理部，  ２３  VBAP処理部，  ６１  リバーブ処理部，  １４１  リバーブ処理部，  １５１  分岐出力部，  １５２  プリディレイ部，  １５３  コムフィルタ部，  １５４  オールパスフィルタ部，  １５５  加算部，  １５６  加算部
【図１】
2019078034.tif 000003
【図２】
2019078034.tif 000004
【図３】
2019078034.tif 000005
【図４】
2019078034.tif 000006
【図５】
2019078034.tif 000007
【図６】
2019078034.tif 000008
【図７】
2019078034.tif 000009
【図８】
2019078034.tif 000010
【図９】
2019078034.tif 000011
【図１０】
2019078034.tif 000012
【図１１】
2019078034.tif 000013
【図１２】
2019078034.tif 000014
【図１３】
2019078034.tif 000015
【図１４】
2019078034.tif 000016
【図１５】
2019078034.tif 000017
【図１６】
2019078034.tif 000018
【図１７】
2019078034.tif 000019
【図１８】
2019078034.tif 000020
【図１９】
2019078034.tif 000021
【図２０】
2019078034.tif 000022
【図２１】
2019078034.tif 000023
【図２２】
2019078034.tif 000024
【図２３】
2019078034.tif 000025
【図２４】
2019078034.tif 000026
【図２５】
2019078034.tif 000027
【図２６】
2019078034.tif 000028
【図２７】
2019078034.tif 000029
【図２８】
2019078034.tif 000030
【図２９】
2019078034.tif 000031
【図３０】
2019078034.tif 000032
【図３１】
2019078034.tif 000033
【国際調査報告】
2019078034.tif 000034
2019078034.tif 000035
2019078034.tif 000036