(57)【要約】【課題】ビットレートの極端な増加を抑制する復号装置を提供することを目的とする。【解決手段】  パラメトリックマルチチャンネル復号を行う復号装置であって、受信した音響符号化信号を、ダウンミックス符号化情報とパラメータとに分離する分離回路６０１と、分離回路６０１によって分離されたダウンミックス符号化情報から、複数の音響ダウンミックス信号を復号するダウンミックス復号化色６０６と、分離回路６０１によって分離されたパラメータを、複数の音響ダウンミックス信号を複数の音響信号に分離するための空間パラメータに変換するオブジェクト復号回路６０２と、オブジェクト復号回路６０２で変換された空間パラメータを用いて、複数の音響ダウンミックス信号を複数の音響信号にパラメトリックマルチチャンネル復号する復号部とを備える。【選択図】図１０
2014149552.tif 000002
【特許請求の範囲】
【請求項１】
パラメトリックマルチチャンネル復号を行う復号装置であって、
複数の音響信号がダウンミックスされて符号化されたダウンミックス符号化情報と、当該複数の音響信号間の関連性を示すパラメータとから構成される音響符号化信号を受信し、当該音響符号化信号を、前記ダウンミックス符号化情報と前記パラメータとに分離する分離部と、
前記分離部によって分離された前記ダウンミックス符号化情報から、複数の音響ダウンミックス信号を復号するダウンミックス復号部と、
前記分離部によって分離された前記パラメータを、複数の音響ダウンミックス信号を複数の音響信号に分離するための空間パラメータに変換するオブジェクト復号部と、
前記オブジェクト復号部で変換された空間パラメータを用いて、前記複数の音響ダウンミックス信号を前記複数の音響信号にパラメトリックマルチチャンネル復号する復号部とを備え、
オブジェクト復号部は、前記分離部によって分離された前記パラメータを、予め定められた複数の種類に分類する分類部と、前記分類部により分類された前記パラメータのそれぞれを、前記複数の種類に分類された前記空間パラメータに変換する演算部とを有する
復号装置。
【請求項２】
前記復号装置は、さらに、前記復号部の前段に、前記ダウンミックス符号化情報をプリプロセスするプリプロセス部を備え、
前記演算部は、前記分類部により分類された前記パラメータのそれぞれを、前記予め定められた複数の種類に基づき分類された空間配置情報に基づいて、前記複数の種類に分類された空間パラメータに変換し、
前記プリプロセス部は、前記分類された前記パラメータのそれぞれと、前記分類された空間配置情報とに基づいて、前記ダウンミックス符号化情報をプリプロセスする
請求項１に記載の復号装置。
【請求項３】
前記空間配置情報は、前記複数の音響信号の空間配置に関する情報を示し、前記複数の音響信号に関連付けられており、
前記予め定められた複数の種類に基づき分類された空間配置情報は、前記予め定められた複数の種類に分類された記複数の音響信号に関連付けられている
請求項２に記載の復号装置。
【請求項４】
前記復号部は、
前記複数の音響ダウンミックス信号を、前記複数の種類に分類された空間パラメータに従って、前記複数の種類に分類された複数のスペクトル信号列に合成する合成部と、
前記分類された複数のスペクトル信号を一つのスペクトル信号列に合算する合算部と、
前記合算したスペクトル信号列を複数の音響信号に変換する変換部とを備える
請求項１または２に記載の復号装置。
【請求項５】
前記復号装置は、さらに、入力された前記複数の音響ダウンミックス信号からマルチチャンネルの出力スペクトルを合成する音響信号合成部を備え、
前記音響信号合成部は、
前記入力された複数の音響ダウンミックス信号のゲインファクターを修正するプリプロセス行列演算部と、
前記複数の種類に分類された空間パラメータを線形補間して、前記プリプロセス行列演算部に出力するプリプロセス乗算部と、
前記プリプロセス行列演算部によりゲインファクターが修正された前記複数の音響ダウンミックス信号のうちの一部に対して残響信号付加処理を行う残響発生部と、
前記残響発生部より残響信号付加処理が行われた前記修正された複数の音響ダウンミックス信号のうちの一部と、前記プリプロセス行列演算部より出力された前記修正された複数の音響ダウンミックス信号のうちの残部とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成するポストプロセス行列演算部とを有する
請求項４に記載の復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および復号装置に関し、特に音響オブジェクト信号を符号化および復号する符号化装置および復号装置に関する。
【背景技術】
【０００２】
音響信号を符号化する方法としては、例えば音響信号を時間的に所定のサンプルで時分割を行ってフレーム処理をすることにより音響信号を符号化する典型的な方法が知られている。また、このように符号化されて伝送された音響信号は、その後、復号され、復号された音響信号は、例えば、イヤホンやスピーカなどの音響再生システムや再生装置で再生される。
【０００３】
近年では、例えば復号後の音響信号を外部の音響信号とミキシングしたり、復号した音響信号を上下左右の任意の位置から再生するようにレンダリングしたりすることにより再生装置を使うユーザーの利便性を向上させる技術が開発されている。この技術では、例えば、ネットワーク網を介して行う遠隔会議の場合に、ある拠点での会議参加者は、他の拠点の参加者が発する音の空間的な配置を個別に調整したり、またはその音量を個別に調整したりできる。また例えば、音楽愛好家が自分の好きな楽曲のボーカルや様々なインスツルメンツ成分を様々に制御することで、音楽トラックのリミックス信号をインタラクティブに生成して音楽を楽しむことができる。
【０００４】
このような応用例を実現する技術として、パラメトリック音響オブジェクト符号化技術がある（例えば、特許文献１、非特許文献１参照）。例えば、近年規格化が進行中のＭＰＥＧ−ＳＡＯＣ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ）規格は、非特許文献１に記載されているように開発されている。
【０００５】
ここで、例えば非特許文献２に開示されているＭＰＥＧサラウンドに代表されるパラメトリックマルチチャンネル符号化技術（ＳＡＣ：Ｓｐｅｃｔｒａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）を元に、音響オブジェクト信号を効率的に符号化し、また低演算量で処理することを目標に開発されているＳＡＣに類似する符号化技術がある。このＳＡＣに類似する符号化技術では、例えば信号間の位相差またはレベル比など複数の音響信号間の統計的な関連性を算出して、量子化及び符号化する。それにより、複数の音響信号を独立に符号化する方式に比べて高効率に符号化することが可能である。そして、このＳＡＣに類似する符号化技術を音響オブジェクト信号に対して適用できるように拡張したものが、上記非特許文献１記載のＭＰＥＧ−ＳＡＯＣ技術である。
【０００６】
例えばＭＰＥＧ−ＳＡＯＣ技術などのパラメトリック音響オブジェクト符号化技術が用いられている再生装置（パラメトリック音響オブジェクト復号装置）の音響空間が、５．１ｃｈのマルチチャンネルサラウンド再生を可能とする音響空間であるとする。このとき、パラメトリック音響オブジェクト復号装置では、音響オブジェクト信号間の統計量に基づいた符号化パラメータを、音響空間パラメータ（ＨＲＴＦ係数）を用いて、トランスコーダーと呼ばれる装置によって変換する。それにより、音響信号を、受聴者の意図に即した音響空間配置で再生することが可能になる。
【０００７】
図１は、一般的なパラメトリックの音響オブジェクト符号化装置１００の構成を示すブロック図である。図１に示す音響オブジェクト符号化装置１００は、オブジェクトダウンミックス回路１０１と、Ｔ−Ｆ変換回路１０２と、オブジェクトパラメータ抽出回路１０３と、ダウンミックス信号符号化回路１０４とを備える。
【０００８】
オブジェクトダウンミックス回路１０１は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号をモノラルまたはステレオのダウンミックス信号にダウンミックスする。
【０００９】
ダウンミックス信号符号化回路１０４は、オブジェクトダウンミックス回路１０１によりダウンミックスされたダウンミックス信号が入力される。ダウンミックス信号符号化回路１０４は、入力されたダウンミックス信号を符号化してダウンミックスビットストリームを生成する。ここで、ＭＰＥＧ−ＳＡＯＣ技術では、ダウンミックス符号化方式としては、ＭＰＥＧ−ＡＡＣ方式が用いられる。
【００１０】
Ｔ−Ｆ変換回路１０２は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、時間・周波数の両方によって規定されるスペクトラム信号へと分離する。
【００１１】
オブジェクトパラメータ抽出回路１０３は、Ｔ−Ｆ変換回路１０２によりスペクトラム信号に分離された複数の音響オブジェクト信号が入力され、入力されたスペクトラム信号に分離された複数の音響オブジェクト信号から、オブジェクトパラメータを算出する。ここで、ＭＰＥＧ−ＳＡＯＣ技術では、オブジェクトパラメータ（拡張情報）として、例えばオブジェクトレベル差（ＯＬＤ）、オブジェクト相互相関係数（ＩＯＣ）、ダウンミックスチャンネルレベル差（ＤＣＬＤ）、オブジェクトエネルギー（ＮＲＧ）などがある。
【００１２】
多重化回路１０５は、オブジェクトパラメータ抽出回路１０３により算出したオブジェクトパラメータと、ダウンミックス信号符号化回路１０４により生成されたダウンミックスビットストリームとが入力される。多重化回路１０５は、入力されたダウンミックスビットストリームとオブジェクトパラメータとを一つのオーディオビットストリームに重畳して出力する。
【００１３】
以上のように音響オブジェクト符号化装置１００は構成される。
【００１４】
図２は、典型的な音響オブジェクト復号装置２００の構成を示すブロック図である。図２に示す音響オブジェクト復号装置２００は、オブジェクトパラメータ変換回路２０３およびパラメトリックマルチチャンネル復号回路２０６を備える。
【００１５】
図２では、音響オブジェクト復号装置２００が５．１ｃｈのスピーカを備える場合を示している。そのため、音響オブジェクト復号装置２００は、２つの復号回路を直列に接続した構成となっている。具体的には、オブジェクトパラメータ変換回路２０３と、パラメトリックマルチチャンネル復号回路２０６とを直列に接続した構成となっている。また、図２に示すように、音響オブジェクト復号装置２００の前段には、分離回路２０１と、ダウンミックス信号復号回路２１０とが設けられている。
【００１６】
分離回路２０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路２０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路２１０に出力し、オブジェクトパラメータ（拡張情報）をオブジェクトパラメータ変換回路２０３に出力する。
【００１７】
ダウンミックス信号復号回路２１０は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号し、オブジェクトパラメータ変換回路２０３に出力する。
【００１８】
オブジェクトパラメータ変換回路２０３は、ダウンミックス信号プリプロセス回路２０４とオブジェクトパラメータ演算回路２０５とを備える。
【００１９】
ダウンミックス信号プリプロセス回路２０４は、ＭＰＥＧサラウンド符号化情報に含まれる空間予測パラメータの特性に基づいて、新しいダウンミックス信号を生成する役割を担っている。具体的には、ダウンミックス信号復号回路２１０によりオブジェクトパラメータ変換回路２０３に出力されたダウンミックス復号信号が入力される。ダウンミックス信号プリプロセス回路２０４は、入力されたウンミックス復号信号から、プリプロセスダウンミックス信号を生成する。その際、ダウンミックス信号プリプロセス回路２０４は、最終的に分離した音響オブジェクト信号の配置情報（レンダリング情報）とオブジェクトパラメータに含まれる情報とに従って、プリプロセスダウンミックス信号を生成する。そして、ダウンミックス信号プリプロセス回路２０４は、生成したプリプロセスダウンミックス信号をパラメトリックマルチチャンネル復号回路２０６に出力する。
【００２０】
オブジェクトパラメータ演算回路２０５は、オブジェクトパラメータを空間パラメータ（ＭＰＥＧサラウンド方式のＳｐａｔｉａｌＣｕｅに相当）に変換する。具体的には、オブジェクトパラメータ演算回路２０５は、分離回路２０１によりオブジェクトパラメータ変換回路２０３に出力されたオブジェクトパラメータ（拡張情報）が入力される。オブジェクトパラメータ演算回路２０５は、入力されたオブジェクトパラメータを、音響空間パラメータに変換し、パラメトリックマルチチャンネル復号回路２０６に出力する。ここで、音響空間パラメータは、上記のＳＡＣ符号化方式の音響空間パラメータに相当する。
【００２１】
パラメトリックマルチチャンネル復号回路２０６は、プリプロセスダウンミックス信号と音響空間パラメータとが入力されて、プリプロセスダウンミックス信号と音響空間パラメータとから複数の音響信号を生成する。
【００２２】
パラメトリックマルチチャンネル復号回路２０６は、ドメイン変換回路２０７と、マルチチャンネル信号合成回路２０８と、Ｆ−Ｔ変換回路２０９とを備える。
【００２３】
ドメイン変換回路２０７は、パラメトリックマルチチャンネル復号回路２０６に入力されたプリプロセスダウンミックス信号を合成空間信号に変換する。
【００２４】
マルチチャンネル信号合成回路２０８は、ドメイン変換回路２０７により変換された合成空間信号を、オブジェクトパラメータ演算回路２０５により入力された音響空間パラメータに基づいて、複数チャンネルのスペクトル信号に変換する。
【００２５】
Ｆ−Ｔ変換回路２０９は、マルチチャンネル信号合成回路２０８により変換された複数チャンネルのスペクトル信号を、複数チャンネルの時間領域の音響信号に変換して、出力する。
【００２６】
以上のように音響オブジェクト復号装置２００は構成される。
【００２７】
なお、上述した音響オブジェクト符号化方法は次の２つの機能を示している。一つは、伝送するオブジェクト数をすべて独立に符号化せず、ダウンミックス信号と小さなオブジェクトパラメータを伝送することで高い圧縮効率を実現する機能である。もう一つは、オブジェクトパラメータをレンダリング情報に基づいてリアルタイムに処理することで再生側の音響空間をリアルタイムに変更できる再合成性の機能である。
【００２８】
また、上記の音響オブジェクト符号化方法では、オブジェクトパラメータ（拡張情報）は、時間−周波数で区切られた升目毎（この升目の幅を時間粒度、周波数粒度という）に算出される。オブジェクトパラメータを算出する時間区分は、オブジェクトパラメータの伝送粒度に応じて適応的に決定される。そして、低ビットレートでは高ビットレート時に比べ、前記オブジェクトパラメータが、周波数分解能と時間分解能とのバランスを考慮しながらより効率的に符号化される必要がある。
【００２９】
また、音響オブジェクト符号化技術で用いる周波数分解能は、人間の聴覚特性の知見に基づいた区分けがなされている。一方、音響オブジェクト符号化技術で用いる時間分解能は、各フレームにおいてオブジェクトパラメータの姿態が大きく変化したことを検出して決定される。例えば各時間区切りの標準的なものとしては、フレームの区切り毎に一つの時間区切りを設けるものがある。そして、この標準的なものを用いると、当該フレームでは当該フレーム時間長で同一のオブジェクトパラメータを伝送することになる。
【００３０】
このように、音響オブジェクト符号化の符号化装置側で高い符号化効率を実現するために、各オブジェクトパラメータの時間分解能及び周波数分解能は適応的に制御されることが多い。これらの適応制御は、ダウンミックス信号の音響信号的複雑さや、各オブジェクト信号の特性、要求ビットレートに応じて随時変えることが一般的である。その一例を図３に示す。
【００３１】
図３は、時間区切りとサブバンド・パラメータセット・パラメータバンドの関係を示す図である。この図３に示すように、一つのフレームに含まれるスペクトル信号は、Ｎ個の時間区分、Ｋ個の周波数区分に区切られる。
【００３２】
ところで、上記非特許文献１に記載されているＭＰＥＧ−ＳＡＯＣ技術においては、規格上各フレームが最大８個の時間区切りで構成される。また、時間区切りや周波数区切りを細かくすると当然符号化音質や各オブジェクト信号の分離感が向上するが、その分伝送する情報量が増大し、ビットレートが上昇してしまう。このように、ビットレートと音質とはトレードオフの関係にある。
【００３３】
そこで、実験的に示されている時間区切りの方法がある。すなわち、オブジェクトパラメータに適切なビットレートを割り当てるために、一つのフレームが１または２つの領域に分割されるように、少なくとも一つの追加時間区切りを設定する。このような限定は、オブジェクトパラメータに割り当てるビットレートと音質のちょうど良いバランスを実現することができる。例えば、０または１つの追加区切りに関しては、オブジェクトパラメータへの要求ビットレートはオブジェクトあたり約３ｋｂｐｓであり、１シーン毎に３ｋｂｐｓの追加オーバーヘッドが生じる。したがって、オブジェクト数の増加に比例して、従来の一般的なオブジェクト符号化よりもパラメトリックオブジェクト符号化方式の方がより効率的な符号化方式であることは明らかである。
【００３４】
このように、上記のような時間区切りを用いると、ビット効率の良いオブジェクト符号化によって良い音質を達成することができる。しかし、すべての必須アプリケーションに対して、常に十分な符号化音質を提供できるわけではない。そこで、パラメトリックオブジェクト符号化の音質と、トランスペアレントな音質との間に存在するギャップを埋めるために、パラメトリック符号化技術に、残差符号化手法が導入されている。
【００３５】
一般的な残差符号化手法において、残差信号は、ほとんどの場合、ダウンミックス信号の主要な部分でないところに関連している。ここで、簡潔にするために、残差信号は、２つのダウンミックス信号間の差分で構成しているとする。また、ビットレートを低くするために、残差信号の低い周波数成分が伝送されるとする。このような場合、残差信号の周波数帯域は、符号化装置側で設定され、消費ビットレートと再生品質とのトレードオフが調整される。
【００３６】
それに対して、ＭＰＥＧ−ＳＡＯＣ技術では、有益な残差信号としては２ｋＨｚの周波数帯域を保持していればよく、一残差信号あたり８ｋｂｐｓ程度で符号化することによって、明確に音質向上が出現する。そこで、高音質が必要なオブジェクト信号に対しては、オブジェクトパラメータに割り当てるビットレートを、１オブジェクトあたり３＋８＝１１ｋｂｐｓ割り当てる。それにより、高品質なマルチオブジェクトが必要なアプリケーションであれば、要求ビットレートは、余裕を持って非常に高いものになると考えられる。
【先行技術文献】
【特許文献】
【００３７】
【特許文献１】国際公開第２００８／００３３６２号
【非特許文献】
【００３８】
【非特許文献１】Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  Ｐａｐｅｒ  ７３７７  “Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ  （ＳＡＯＣ）  −  Ｔｈｅ  Ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  Ｓｔａｎｄａｒｄ  ｏｎ  Ｐａｒａｍｅｔｒｉｃ  Ｏｂｊｅｃｔ  Ｂａｓｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”
【非特許文献２】Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  Ｐａｐｅｒ  ７０８４  “ＭＰＥＧ  Ｓｕｒｒｏｕｎｄ  −  Ｔｈｅ  ＩＳＯ／ＭＰＥＧ  Ｓｔａｎｄａｒｄ  ｆｏｒ  Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  Ｃｏｍｐａｔｉｂｌｅ  Ｍｕｌｔｉ  −  Ｃｈａｎｎｅｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”
【発明の概要】
【発明が解決しようとする課題】
【００３９】
このように、高い符号化効率とオブジェクト信号の分離感などを向上させて音場再現性をより向上させるために、音響オブジェクト符号化手法が多くのアプリケーションシナリオで用いられている。
【００４０】
しかしながら、オブジェクトの音質に高いレベルが求められる際に、上記従来の構成の残差符号化方式では、ビットレートが極端に増加してしまう場合がある。
【００４１】
そこで、本発明は、上記課題を解決するためになされたもので、ビットレートの極端な増加を抑制する符号化装置および復号装置を提供することを目的とする。
【課題を解決するための手段】
【００４２】
前記従来の課題を解決するために、本発明の一態様に係る符号化装置は、入力された複数の音響信号を、前記入力された複数の音響信号の信号数よりも少ない数のチャンネルにダウンミックスして符号化するダウンミックス符号化部と、前記入力された複数の音響信号から、当該複数の音響信号間の関連性を示すパラメータを抽出するパラメータ抽出部と、前記パラメータ抽出部により抽出された前記パラメータと、前記ダウンミックス符号化部により生成されたダウンミックス符号化信号とを多重化する多重化回路とを備え、前記パラメータ抽出部は、前記入力された複数の音響信号のそれぞれを、当該複数の音響信号が有する音響特性に基づいて、予め定められた複数の種類に分類する分類部と、前記分類部により分類された音響信号のそれぞれから、前記複数の種類のそれぞれに対応して定められた時間粒度及び周波数粒度を用いて、前記パラメータを抽出する抽出部を有する。
【００４３】
この構成により、ビットレートの極端な増加を抑制する符号化装置を実現することができる。
【００４４】
また、前記分類部は、前記入力された複数の音響信号が有する過渡特性を表す過渡情報と、前記入力された複数の音響信号が有するトーン成分の強さを示すトナリティ情報とにより、当該複数の音響信号が有する音響特性を決定するとしてもよい。
【００４５】
また、前記分類部は、前記入力された複数の音響信号の少なくとも１つを、予め定められた時間粒度及び周波数粒度として第１の時間区切り及び第１の周波数区切りを有する第１の種類に分類するとしてもよい。
【００４６】
また、前記分類部は、前記入力された複数の音響信号が有する過渡特性を表す過渡情報を、前記第１の種類に属する音響信号が有する過渡情報と比較することにより、前記入力された複数の音響信号を、前記第１の種類と前記第１の種類と異なる複数の種類に分類するとしてもよい。
【００４７】
また、前記分類部は、前記入力された複数の音響信号のそれぞれを、当該複数の音響信号の音響特性に応じて、前記第１の種類と、前記第１の種類よりも１つ以上多い時間区切りまたは周波数区切りを有する第２の種類と、前記第１の種類と同じ時間区切り数を有するが異なる時間区切り位置を有する第３の種類と、前記第１の種類は１つの時間区切りを有するものの、前記入力された複数の音響信号は時間区切りを有さないまたは前記第１の種類は１つの時間区切りも有さないが前記入力された複数の音響信号は２つの時間区切りを有する第4の種類とのいずれかに分類するとしてもよい。
【００４８】
また、前記パラメータ抽出部は、前記抽出部により抽出された前記パラメータを符号化し、前記多重化回路は、前記パラメータ抽出部により符号化された当該パラメータをダウンミックス符号化信号と多重化し、前記パラメータ抽出部は、さらに、前記分類部により同一の種類で分類された複数の音響信号から抽出されたパラメータが共通の区切りの数を有する場合、当該複数の音響信号から抽出されたパラメータの１つのみを前記同一の種類で分類された複数の音響信号の共通の区切りの数として符号化するとしてもよい。
【００４９】
また、前記分類部は、前記音響特性として前記入力された複数の音響信号が有するトーン成分の強さを示すトナリティ情報に基づいて、前記入力された複数の音響信号のそれぞれの区切り位置を決定し、決定した当該区切り位置に応じて、前記入力された複数の音響信号のそれぞれを、予め定められた複数の種類に分類するとしてもよい。
【００５０】
また、前記従来の課題を解決するために、本発明の一態様に係る復号装置は、パラメトリックマルチチャンネル復号を行う復号装置であって、複数の音響信号がダウンミックスされて符号化されたダウンミックス符号化情報と、当該複数の音響信号間の関連性を示すパラメータとから構成される音響符号化信号を受信し、当該音響符号化信号を、前記ダウンミックス符号化情報と前記パラメータとに分離する分離部と、前記分離部によって分離された前記ダウンミックス符号化情報から、複数の音響ダウンミックス信号を復号するダウンミックス復号部と、前記分離部によって分離された前記パラメータを、複数の音響ダウンミックス信号を複数の音響信号に分離するための空間パラメータに変換するオブジェクト復号部と、前記オブジェクト復号部で変換された空間パラメータを用いて、前記複数の音響ダウンミックス信号を前記複数の音響信号にパラメトリックマルチチャンネル復号する復号部とを備え、オブジェクト復号部は、前記分離部によって分離された前記パラメータを、予め定められた複数の種類に分類する分類部と、前記分類部により分類された前記パラメータのそれぞれを、前記複数の種類に分類された前記空間パラメータに変換する演算部とを有する。
【００５１】
この構成により、ビットレートの極端な増加を抑制する復号装置を実現することができる。
【００５２】
また、前記復号装置は、さらに、前記復号部の前段に、前記ダウンミックス符号化情報をプリプロセスするプリプロセス部を備え、前記演算部は、前記分類部により分類された前記パラメータのそれぞれを、前記予め定められた複数の種類に基づき分類された空間配置情報に基づいて、前記複数の種類に分類された空間パラメータに変換し、前記プリプロセス部は、前記分類された前記パラメータのそれぞれと、前記分類された空間配置情報とに基づいて、前記ダウンミックス符号化情報をプリプロセスするとしてもよい。
【００５３】
また、前記空間配置情報は、前記複数の音響信号の空間配置に関する情報を示し、前記複数の音響信号に関連付けられており、前記予め定められた複数の種類に基づき分類された空間配置情報は、前記予め定められた複数の種類に分類された記複数の音響信号に関連付けられているとしてもよい。
【００５４】
また、前記復号部は、前記複数の音響ダウンミックス信号を、前記複数の種類に分類された空間パラメータに従って、前記複数の種類に分類された複数のスペクトル信号列に合成する合成部と、前記分類された複数のスペクトル信号を一つのスペクトル信号列に合算する合算部と、前記合算したスペクトル信号列を複数の音響信号に変換する変換部とを備えるとしてもよい。
【００５５】
また、前記復号装置は、さらに、入力された前記複数の音響ダウンミックス信号からマルチチャンネルの出力スペクトルを合成する音響信号合成部を備え、前記音響信号合成部は、前記入力された複数の音響ダウンミックス信号のゲインファクターを修正するプリプロセス行列演算部と、前記複数の種類に分類された空間パラメータを線形補間して、前記プリプロセス行列演算部に出力するプリプロセス乗算部と、前記プリプロセス行列演算部によりゲインファクターが修正された前記複数の音響ダウンミックス信号のうちの一部に対して残響信号付加処理を行う残響発生部と、前記残響発生部より残響信号付加処理が行われた前記修正された複数の音響ダウンミックス信号のうちの一部と、前記プリプロセス行列演算部より出力された前記修正された複数の音響ダウンミックス信号のうちの残部とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成するポストプロセス行列演算部とを有するとしてもよい。
【００５６】
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
【発明の効果】
【００５７】
本発明によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。例えば、符号化装置によって生成される符号化情報のビット効率を向上させつつ、復号装置によって復号される復号信号の音質を向上することができる。
【図面の簡単な説明】
【００５８】
【図１】図１は、従来の一般的な音響オブジェクト符号化装置の構成を示すブロック図である。
【図２】図２は、従来の典型的な音響オブジェクト復号装置の構成を示すブロック図である。
【図３】図３は、時間区切りとサブバンド・パラメータセット・パラメータバンドの関係を示す図である。
【図４】図４は、本発明の音響オブジェクト符号化装置の構成の１例を示すブロック図である。
【図５】図５は、オブジェクトパラメータ抽出回路３０８の詳細構成の一例を示す図である。
【図６】図６は、音響オブジェクト信号を分類する処理を説明するためのフローチャートである。
【図７Ａ】図７Ａは、分類Ａ（クラスＡ）を示す時間区切りの位置および周波数区切りの位置を示している。
【図７Ｂ】図７Ｂは、分類Ｂ（クラスＢ）を示す時間区切りの位置および周波数区切りの位置を示している。
【図７Ｃ】図７Ｃは、分類Ｃ（クラスＣ）を示す時間区切りの位置および周波数区切りの位置を示している。
【図７Ｄ】図７Ｄは、分類Ｄ（クラスＤ）を示す時間区切りの位置および周波数区切りの位置を示している。
【図８】図８は、本発明の音響オブジェクト復号装置の１例の構成を示すブロック図である。
【図９Ａ】図９Ａは、レンダリング情報をクラス分類する方法を示す図である。
【図９Ｂ】図９Ｂは、レンダリング情報をクラス分類する方法を示す図である。
【図１０】図１０は、本発明の音響オブジェクト復号装置の別の１例の構成を示すブロック図である。
【図１１】図１１は、一般的な音響オブジェクト復号装置を示す図である。
【図１２】図１２は、本実施の形態における音響オブジェクト復号装置の１例の構成を示すブロック図である。
【図１３】図１３は、ステレオダウンミックス信号に対する本発明のコアオブジェクト復号装置の例を示す図である。
【発明を実施するための形態】
【００５９】
以下の実施の形態は、本発明の実施の形態の一例であって、これに限定するものではない。更に、本実施の形態は、最新の音響オブジェクト符号化（ＭＰＥＧ−ＳＡＯＣ）技術をベースにしているが、これに限ったものではなく、一般のパラメトリック音響オブジェクト符号化技術の音質向上に奏功する発明である。
【００６０】
一般的に、音響オブジェクト信号を符号化する時間区切りは、例えばオブジェクト数が増加しつつあったり、またはオブジェクト信号が急激に立ち上がったり、または音響特性の急激な変化が発生したりする過渡的な変動をきっかけに適応的に変化させる。また、符号化するオブジェクト信号が例えばボーカルと背景音楽との信号である場合のように、音響特性が異なる複数の音響オブジェクト信号は、異なった時間区切りにて符号化される場合が多い。そのため、ＭＰＥＧ−ＳＡＯＣなどのパラメトリックオブジェクト符号化技術において、複数の音響オブジェクト信号を符号化する際に、従来のように通常の時間区切り数を０またはそれに１加えた程度では、すべての音響オブジェクト信号特性を反映する高音質なオブジェクト符号化を行うことは困難である。一方、もし複数の（多数の）時間区切りを設定して、すべての音響オブジェクト信号を取り込む場合、オブジェクトパラメータ情報に割り当てるビットレートがかなり増えてしまう。
【００６１】
これらの事実を考慮して、ビットレートと音質のちょうど良いバランスを取ることが非常に重要になる。
【００６２】
そこで、本発明では、符号化対象の音響オブジェクト信号を信号特性（音響特性）に応じて予め定めたいくつかのクラス（種類）に分類することで符号化効率を向上させる。具体的には、音響オブジェクト符号化する際の時間区切りを、入力された複数の音響信号の音響特性に応じて適応的に変化させる。つまり、音響オブジェクト符号化のオブジェクトパラメータ（拡張情報）を算出する時間区切り（時間解像度）が、入力された複数の音響オブジェクト信号の特性（音響特性）に応じて選択される。
【００６３】
以上の詳細について、以下の本発明の実施の形態において説明する。
【００６４】
（実施の形態１）
まず初めに、符号化装置側の説明を行う。
【００６５】
図４は、本発明の音響オブジェクト符号化装置の構成の１例を示すブロック図である。
【００６６】
図４に示す音響オブジェクト符号化装置３００は、ダウンミックス符号化部３０１と、Ｔ−Ｆ変換回路３０３と、オブジェクトパラメータ抽出部３０４とを備える。また、音響オブジェクト符号化装置３００は、後段に多重化回路３０９を備える。
【００６７】
ダウンミックス符号化部３０１は、オブジェクトダウンミックス回路３０２と、ダウンミックス信号符号化回路３１０とを備え、入力された複数の音響オブジェクト信号を、入力された複数の音響オブジェクト信号の信号数よりも少ない数のチャンネルにダウンミックスして符号化する。
【００６８】
具体的には、オブジェクトダウンミックス回路３０２は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、例えばモノラルまたはステレオのように入力された音響オブジェクト信号の数よりも少ない数のチャネルのダウンミックス信号にダウンミックスする。ダウンミックス信号符号化回路３１０は、オブジェクトダウンミックス回路３０２によりダウンミックスされたダウンミックス信号が入力される。ダウンミックス信号符号化回路３１０は、入力されたダウンミックス信号を符号化してダウンミックスビットストリームを生成する。ここで、ダウンミックス符号化方式としては、例えばＭＰＥＧ−ＡＡＣ方式が用いられる。
【００６９】
Ｔ−Ｆ変換回路３０３は、複数の音響オブジェクト信号が入力され、入力された複数の音響オブジェクト信号を、時間・周波数の両方によって規定されるスペクトラム信号へと変換する。例えば、Ｔ−Ｆ変換回路３０３は、入力された複数の音響オブジェクト信号を、ＱＭＦフィルタバンクなどを用いて時間・周波数ドメインに変換する。そして、Ｔ−Ｆ変換回路３０３は、スペクトラム信号に分離された複数の音響オブジェクト信号をオブジェクトパラメータ抽出部３０４に出力する。
【００７０】
オブジェクトパラメータ抽出部３０４は、オブジェクト分類部３０５と、オブジェクトパラメータ抽出回路３０８とを備え、入力された複数の音響オブジェクト信号から、当該複数の音響オブジェクト信号間の音響的関連性を示すパラメータを抽出する。具体的には、オブジェクトパラメータ抽出部３０４は、Ｔ−Ｆ変換回路３０３により入力されたスペクトラム信号に変換した複数の音響オブジェクト信号から、複数の音響オブジェクト信号間の関連性を示すオブジェクトパラメータ（拡張情報）を算出（抽出）する。
【００７１】
より具体的には、オブジェクト分類部３０５は、オブジェクト区切り算出回路３０６と、オブジェクト分類回路３０７とを備え、入力された複数の音響オブジェクト信号のそれぞれを、当該複数の音響オブジェクト信号が有する音響特性に基づいて、予め定められた複数の種類に分類する。
【００７２】
さらに具体的には、オブジェクト区切り算出回路３０６は、当該複数の音響オブジェクト信号が有する音響特性に基づいて、複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。なお、オブジェクト区切り算出回路３０６は、入力された複数の音響オブジェクト信号が有する過渡特性を表す過渡情報と、入力された複数の音響オブジェクト信号が有するトーン成分の強さを示すトナリティ情報とにより、当該複数の音響オブジェクト信号が有する音響特性を判定してオブジェクト区切り情報を決定してもよい。また、オブジェクト区切り算出回路３０６は、前記音響特性として、入力された複数の音響オブジェクト信号が有するトーン成分の強さを示すトナリティ情報に基づいて、入力された複数の音響オブジェクト信号のそれぞれの区切り位置を決定するとしてもよい。
【００７３】
オブジェクト分類回路３０７は、オブジェクト区切り算出回路３０６により決定（算出）された区切り位置に応じて、入力された複数の音響オブジェクト信号のそれぞれを、予め定められた複数の種類に分類する。例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号の少なくとも１つを、予め定められた時間粒度及び周波数粒度として第１の時間区切り及び第１の周波数区切りを有する第１の種類に分類する。また例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号が有する過渡特性を表す過渡情報を、前記第１の種類に属する音響オブジェクト信号が有する過渡情報と比較することにより、前記入力された複数の音響オブジェクト信号を、前記第１の種類と前記第１の種類と異なる複数の種類に分類する。また例えば、オブジェクト分類回路３０７は、入力された複数の音響オブジェクト信号のそれぞれを、当該複数の音響オブジェクト信号の音響特性に応じて、前記第１の種類と、前記第１の種類よりも１つ以上多い時間区切りまたは周波数区切りを有する第２の種類と、前記第１の種類と同じ区切り数を有するが異なる区切り位置である第３の種類と、前記第１の種類と異なり、入力された複数の音響オブジェクト信号が区切りを有さないまたは２つの区切りを有する第4の種類とのいずれかに分類する。
【００７４】
オブジェクトパラメータ抽出回路３０８は、オブジェクト分類部３０５により分類された音響オブジェクト信号のそれぞれから、複数の種類のそれぞれに対応して定められた時間粒度及び周波数粒度を用いて、オブジェクトパラメータ（拡張情報）を抽出する。
【００７５】
また、オブジェクトパラメータ抽出回路３０８は、前記抽出部により抽出された前記パラメータを符号化する。例えば、オブジェクトパラメータ抽出回路３０８は、オブジェクト分類部３０５により同一の種類で分類された複数の音響オブジェクト信号から抽出されたパラメータが共通の区切りの数を有する場合（例えば、複数の音響オブジェクト信号が似たような過渡応答を有する場合）、当該複数の音響オブジェクト信号から抽出されたパラメータの１つのみを同一の種類で分類された複数の音響オブジェクト信号の共通の区切りの数として符号化する。このように、時間区切り（時間解像度）を複数の時間区切り単位で共有して、オブジェクトパラメータの符号量を低減することもできる。
【００７６】
なお、オブジェクトパラメータ抽出回路３０８は、図５に示すように、複数のクラスのそれぞれに対応して設けられる抽出回路３０８１〜３０８４を備えているとしてもよい。ここで、図５は、オブジェクトパラメータ抽出回路３０８の詳細構成の一例を示す図である。図５では、複数のクラスが例えばクラスＡ〜クラスＤからなる場合の例を示している。具体的には、オブジェクトパラメータ抽出回路３０８は、クラスＡに対応する抽出回路３０８１と、クラスＢに対応する抽出回路３０８２、クラスＣに対応する抽出回路３０８３およびクラスＤに対応する抽出回路３０８４を備える場合の例が示されている。
【００７７】
抽出回路３０８１〜３０８４にはそれぞれ、分類情報に基づいて、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに属するスペクトラム信号が入力される。抽出回路３０８１〜３０８４はそれぞれ、入力されたオスペクトラム信号から、オブジェクトパラメータを抽出し、抽出したオブジェクトパラメータを符号化して出力する。
【００７８】
多重化回路３０９は、前記パラメータ抽出部により抽出された前記パラメータと、前記ダウンミックス符号化部により符号化されたダウンミックス符号化信号とを多重化する。具体的には、多重化回路３０９は、オブジェクトパラメータ抽出部３０４によりオブジェクトパラメータが入力され、ダウンミックス符号化部３０１によりダウンミックスビットストリームが入力される。多重化回路１０５は、入力されたダウンミックスビットストリームとオブジェクトパラメータとを一つのオーディオビットストリームに重畳して出力する。
【００７９】
以上のように音響オブジェクト符号化装置３００は構成される。
【００８０】
このように、図４に示す音響オブジェクト符号化装置３００では、符号化対象の音響オブジェクト信号を信号特性（音響特性）に応じて予め定めたいくつかのクラス（種類）に分類するクラス分類機能を実現するオブジェクト分類部３０５を備えている。
【００８１】
次に、オブジェクト区切り算出回路３０６によるオブジェクト区切り情報の算出（決定）方法の詳細について説明する。
【００８２】
本実施の形態では、上述したように、音響特性に基づいて複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。
【００８３】
具体的には、オブジェクト区切り算出回路３０６は、複数の音響オブジェクト信号がＴ−Ｆ変換回路３０３により時間・周波数ドメインに変換されたオブジェクト信号を元に複数の音響オブジェクト信号が有する個別のオブジェクトパラメータ（拡張情報）を抽出し、オブジェクト区切り情報を算出（決定）する。
【００８４】
例えば、オブジェクト区切り算出回路３０６は、音響オブジェクト信号が過渡状態になることに連動して、そのオブジェクト区切り情報を決める（算出する）。ここで、音響オブジェクト信号が過渡状態になることは、一般的な過渡状態検出方法を用いて算出することができる。すなわち、オブジェクト区切り算出回路３０６は、一般的な過渡状態検出方法として例えば、次に示す４ステップを実行することにより、オブジェクト区切り情報を決定（算出）することができる。
【００８５】
以下、それについて説明する。
【００８６】
ここで、時間・周波数ドメインに変換されたｉ番目の音響オブジェクト信号のスペクトルをＭi（ｎ、ｋ）とする。また、時間区切りのインデックスｎとしては（式１）を満たし、周波数サブバンドのインデックスｋとしては（式２）、音響オブジェクト信号のインデックスｉとしては（式３）を満たすものとする。
【００８７】
【数１】
2014149552.tif 000003
【数２】
2014149552.tif 000004
【数３】
2014149552.tif 000005
【００８８】
１）まず、各時間区切りにおいて、（式４）を用いて音響オブジェクト信号のエネルギーを計算する。ここで、演算子＊は複素共役を示す。
【００８９】
【数４】
2014149552.tif 000006
【００９０】
２）次に、（式４）を用いて算出された過去の時間区切りにおけるエネルギーを元にして、（式５）を用いて当該時間区切りにおけるエネルギーを平滑化する。
【００９１】
【数５】
2014149552.tif 000007
【００９２】
ここで、αはスムージングパラメータであり、０〜１の間の実数である。また、（式６）は、直前のオーディオフレーム内の最も当該フレームに近い時間区切りにおけるｉ番目の音響オブジェクト信号のエネルギーを示している。
【００９３】
【数６】
2014149552.tif 000008
【００９４】
３）次に、当該時間区切りにおけるエネルギー値と、スムージングしたエネルギー値の比を（式７）を用いて計算する。
【００９５】
【数７】
2014149552.tif 000009
【００９６】
４）次に、上記エネルギー比が予め設定していた閾値Ｔよりも大きい場合に、当該時間区切り区間は過渡状態と判断し、過渡状態であるか否かを示す変数Ｔｒ（ｎ）を（式８）のように決定する。
【００９７】
【数８】
2014149552.tif 000010
【００９８】
なお、閾値Ｔとしては、２．０が最良の値であるが、もちろんこれに限ったものではない。最終的に、バイノーラルキューの急激な変化は人間の聴覚システムでは検知できないと言う聴覚心理の知見を考慮して、人間が聴覚的に知覚しにくいようにする。すなわち、一つのフレームにおける過渡状態の時間区切りの数を２に制限する。そして、前記エネルギー比Ｒi（ｎ）を降順にならべて、最も目立つ過渡状態の時間区切りのうちの２つ（ｎi1、ｎi2）を次の（式９）および（式１０）の条件を満たすように抽出する。
【００９９】
【数９】
2014149552.tif 000011
【数１０】
2014149552.tif 000012
【０１００】
その結果、前記Ｔri（ｎ）の有効なサイズＮｔｒは下記の（式１１）のように制限される。
【０１０１】
【数１１】
2014149552.tif 000013
【０１０２】
このように、オブジェクト区切り算出回路３０６は、音響オブジェクト信号が過渡状態であるかを検出する。
【０１０３】
そして、この音響オブジェクト信号が過渡状態であるかを示す過渡情報（音響信号が有する音響特性）に基づいて、音響オブジェクト信号を予め定められた複数の種類（クラス）に分類する。例えば、この予め定められた複数の種類（クラス）が、標準クラスと複数のクラスであるとすると、上述した過渡情報に基づいて、音響オブジェクト信号は、標準クラスと複数のクラスとに分類される。
【０１０４】
ここで、標準クラスは、標準の時間区切りと時間区切りの位置情報とを保持している。この標準クラスの標準の時間区切りと区切り位置情報とはオブジェクト区切り算出回路３０６により次のように決定される。
【０１０５】
まず、標準の時間区切りを決定する。その際、上記のＮitrに基づいて算出する。そして、必要であれば、標準の時間区切りの位置情報を音響オブジェクト信号のトナリティ情報に従って決定する。
【０１０６】
次に、各々のオブジェクト信号を、各々の過渡応答セットのサイズに従って、例えば２つにグループ化する。そして、その２つのグループ内のオブジェクト数をそれぞれカウントする。すなわち、下記ＵおよびＶの値を（式１２）を用いて計算する。
【０１０７】
【数１２】
2014149552.tif 000014
【０１０８】
次に、標準区切り数Ｎを（式１３）から計算する。
【０１０９】
【数１３】
2014149552.tif 000015
【０１１０】
なお、（式１４）の場合、明らかなように、標準の時間区切りの位置情報を算出する必要がない。一方で、同一の時間区切りを持つすべての音響オブジェクト信号に対しては、標準の区切りの位置情報は各々のトナリティによって決定することができる。
【０１１１】
【数１４】
2014149552.tif 000016
【０１１２】
ここで、トナリティは、入力される信号に含まれるトーン成分の強さを示す。そのため、トナリティは、入力される信号の信号成分がトーン信号か非トーン信号かを計測することで判定する。
【０１１３】
なお、トナリティの計算方法は、各種文献に様々なバリエーションが開示されている。その一例として、トナリティ予測手法として、以下のアルゴリズムを説明する。
【０１１４】
周波数ドメインに変換したｉ番目の音響オブジェクト信号をＭi（ｎ、ｋ）とする。ここで、（式１５）として、音響オブジェクト信号のトナリティは以下のようにして算出する。
【０１１５】
【数１５】
2014149552.tif 000017
【０１１６】
１）まず、当該フレームの両端のフレーム間の相互相関を（式１６）を用いて計算する。
【０１１７】
【数１６】
2014149552.tif 000018
【０１１８】
２）次に、各サブバンドの調和エネルギーを（式１７）を用いて計算する。
【０１１９】
【数１７】
2014149552.tif 000019
【０１２０】
３）次に、各パラメータバンドのトナリティを（式１８）を用いて計算する。
【０１２１】
【数１８】
2014149552.tif 000020
【０１２２】
４）次に、音響オブジェクト信号のトナリティを（式１９）を用いて算出する。
【０１２３】
【数１９】
2014149552.tif 000021
【０１２４】
このようにして、音響オブジェクト信号のトナリティを予測する。
【０１２５】
さらに、本発明では、高いトナリティを保持する音響オブジェクト信号が重要である。従って、トナリティが最も高いオブジェクト信号が、時間区切りの決定に最も大きな影響を与える。
【０１２６】
そのため、標準の時間区切りは、最も高いトナリティを持つ音響オブジェクト信号の時間区切りと同じとする。また、同一のトナリティを持つ複数のオブジェクト信号の場合には、標準の区切りは、最も小さい時間区切りインデックスが選択される。従って、（式２０）のようになる。
【０１２７】
【数２０】
2014149552.tif 000022
【０１２８】
以上のようにして、オブジェクト区切り算出回路３０６により標準クラスの標準の時間区切りと区切り位置情報とが決定される。なお、標準的な周波数区切りを決定する場合も同様であるのでその説明は省略する。
【０１２９】
次に、オブジェクト区切り算出回路３０６とオブジェクト分類回路３０７とによる音響オブジェクト信号を分類する処理について説明する。
【０１３０】
図６は、音響オブジェクト信号を分類する処理を説明するためのフローチャートである。
【０１３１】
まず、複数の音響オブジェクト信号がＴ−Ｆ変換回路３０３に入力され、Ｔ−Ｆ変換回路３０３により周波数ドメインに変換された複数のオブジェクト信号（例えばｏｂｊ０〜ｏｂｊＱ−１）がオブジェクト区切り算出回路３０６に入力される（Ｓ１００）。
【０１３２】
次に、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として各音響オブジェクト信号のトナリティ（例えば、Ｔｏｎ０〜ＴｏｎＱ−１）を、上述で説明したように計算する（Ｓ１０１）。次いで、オブジェクト区切り算出回路３０６は、各音響オブジェクト信号のトナリティ（例えば、Ｔｏｎ０〜ＴｏｎＱ−１）に基づいて、上述した標準の時間区切りを決定する手法と同様の手法にて、例えば標準クラスとその他の複数のクラスの時間区切りを決定する（Ｓ１０２）。
【０１３３】
一方、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として各音響オブジェクト信号が過渡状態（Ｎｔｒ０〜ＮｔｒＱ−１、Ｔｔｒ０〜ＴｔｒＱ−１）であるかを示す過渡情報を上述で説明したように検出する（Ｓ１０３）。次いで、オブジェクト区切り算出回路３０６は、その過渡情報に基づいて、上述した標準の時間区切りを決定する手法と同様の手法にて、例えば標準クラスとその他の複数のクラスの時間区切りを決定し（Ｓ１０２）、かつ、それらクラスの区切り数を決定する（Ｓ１０４）。
【０１３４】
次に、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性に基づいて、複数の音響信号のそれぞれの区切り位置を示すオブジェクト区切り情報を算出する。次いで、オブジェクト分類回路３０７は、オブジェクト区切り算出回路３０６により決定（算出）されたオブジェクト区切り情報から、入力された複数の音響信号のそれぞれを、例えば標準クラスとその他のクラスなどの予め定められた複数の種類に分類する（Ｓ１０５）。
【０１３５】
以上のように、オブジェクト区切り算出回路３０６と、オブジェクト分類回路３０７とは、入力された複数の音響信号のそれぞれを、当該複数の音響信号が有する音響特性に基づいて、予め定められた複数の種類に分類する。
【０１３６】
なお、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として過渡情報とトナリティとを用いて、上記クラスの時間区切りを決定したが、それに限らない。オブジェクト区切り算出回路３０６は、その音響特性として各音響オブジェクト信号が有する過渡情報のみを用いてもよく、トナリティのみを用いてもよい。なお、オブジェクト区切り算出回路３０６は、入力された複数の音響信号が有する音響特性として過渡情報とトナリティとを用いて、上記クラスの時間区切りを決定する場合、過渡情報を用いて決定する方が支配的である。
【０１３７】
以上、実施の形態１によれば、ビットレートの極端な増加を抑制する符号化装置を実現することができる。具体的には、実施の形態１の符号化装置によれば、最小限のビットレート上昇のみで、オブジェクト符号化の音質を向上させることができる。そのため、各オブジェクト信号の分離度を向上させることができる。
【０１３８】
このように、音響オブジェクト符号化装置３００では、ＭＰＥＧ−ＳＡＯＣに代表される音響オブジェクト符号化と同様に、入力される音響オブジェクト信号を、ダウンミックス符号化部３０１とオブジェクトパラメータ抽出部３０４との二つの経路で演算する。すなわち、一つは、ダウンミックス符号化部３０１によって、複数の音響オブジェクト信号から例えばモノラルまたはステレオのダウンミックス信号が生成され、符号化される経路である。なお、ＭＰＥＧ−ＳＡＯＣ技術では、生成したダウンミックス信号をＭＰＥＧ−ＡＡＣ方式で符号化する。もう一つは、ＱＭＦフィルタバンクなどを用いて時間・周波数ドメインに変換された音響オブジェクト信号から、オブジェクトパラメータ抽出部３０４によって、オブジェクトパラメータが抽出されて符号化される経路である。なお、抽出する方法の詳細に関しては、非特許文献１に記載されている。
【０１３９】
また、図１と図４とを比較すると、音響オブジェクト符号化装置３００におけるオブジェクトパラメータ抽出部３０４の構成が異なり、特に、オブジェクト分類部３０５すなわちオブジェクト区切り算出回路３０６およびオブジェクト分類回路３０７を備える点で異なっている。そして、オブジェクトパラメータ抽出回路３０８では、オブジェクト分類部３０５により分類されたクラス（予め定められた複数の種類）に基づき、音響オブジェクト符号化する際の時間区切りを変更している。つまり、従来の過渡的な変動をきっかけに時間区切りが適応的に変化させる場合に比べると、オブジェクト分類部３０５により分類されたクラスの数に基づく時間区切りの数は、抑制できるので符号化効率がよい。それだけでなく、従来の時間区切り数を０またはそれに１加えた程度に比べて、オブジェクト分類部３０５により分類されたクラスの数に基づく時間区切りの数は多い。そのため、音響オブジェクト信号特性をより反映でき、高音質なオブジェクト符号化を実現できる。
【０１４０】
（実施の形態２）
本実施の形態では、実施の形態１と同様に、音響オブジェクト信号を複数の種類のクラスに分類することは同じである。それ以外の差異に関して記載する。
【０１４１】
本実施の形態では、標準クラスパターンに基づいて、周波数ドメインの音響オブジェクト信号を元に音響オブジェクト信号が有するオブジェクトパラメータ（拡張情報）を抽出する。そして、入力されるすべての音響オブジェクト信号はいくつかのクラスに分類される。ここでは、２種類の時間区切りを許容することで、すべての音響オブジェクト信号を、４種類のクラス（標準クラスも含む）に分類する。ここで、（表１）は、音響オブジェクト信号ｉを分類するときの基準を表している。
【０１４２】
【表１】
2014149552.tif 000023
【０１４３】
ここで、表１における各分類Ａ〜Ｄに対する時間区切りの位置は、上記クラス分類内容にひも付けされた音響オブジェクト信号のトナリティ情報によって決定する。なお、同じ手順は、標準時間区切り位置を選択する際に用いている。
【０１４４】
例えば、各分類Ａ〜Ｄに対する時間区切りの位置および周波数区切りの位置は、図７Ａ〜図７Ｄのように表すことができる。図７Ａは、分類Ａ（クラスＡ）を示す時間区切りの位置および周波数区切りの位置を示しており、図７Ｂは、分類Ｂ（クラスＢ）を示す時間区切りの位置および周波数区切りの位置を示している。図７Ｃは、分類Ｃ（クラスＣ）を示す時間区切りの位置および周波数区切りの位置を示しており、図７Ｄは、分類Ｄ（クラスＤ）を示す時間区切りの位置および周波数区切りの位置を示している。
【０１４５】
そして、一旦クラスすなわち分類Ａ〜Ｄが決定すれば、音響オブジェクト信号は同じ区切り数（区切り番号）と区切り位置との情報を共有する。これは、オブジェクトパラメータ（拡張情報）の抽出モジュールの後で実行される。そして、共通の時間区切り及び周波数区切りは、同じクラスに分類された音響オブジェクト信号間で共有する。
【０１４６】
もし、すべてのオブジェクトが同一クラスに分類された場合、本発明のオブジェクト符号化技術は、既存のオブジェクト符号化と後方互換性を保持することは言うまでもない。一般的なオブジェクトパラメータ抽出手法と異なって、本発明での抽出方法は、分類されたクラスに基づいて実施する。
【０１４７】
また、ＭＰＥＧ−ＳＡＯＣで定義されているオブジェクトパラメータ（拡張情報）は様々な種類が存在する。以下、本願で考案した拡張型オブジェクト符号化手法で改良したオブジェクトパラメータについて述べる。なお、以下では、特に、ＯＬＤ、ＩＯＣ、ＮＲＧパラメータに関して説明する。
【０１４８】
ＭＰＥＧ−ＳＡＯＣのＯＬＤパラメータは、入力される音響オブジェクト信号の時間区切りおよび周波数区切り毎のオブジェクトパワー比として次の（式２１）のように定義されている。
【０１４９】
【数２１】
2014149552.tif 000024
【０１５０】
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、音響オブジェクト信号ｉがクラスＡに属するのであれば、ＯＬＤは、クラスＡの入力オブジェクト信号の時間区切り・周波数区切りに対して、以下の（式２２）のように計算する。
【０１５１】
【数２２】
2014149552.tif 000025
【０１５２】
他のクラスに対しても同様に定義する。
【０１５３】
次に、ＭＰＥＧ−ＳＡＯＣのＮＲＧパラメータについて説明する。最も大きなオブジェクトエネルギーを持つオブジェクトに対してＮＲＧを計算するとき、ＭＰＥＧ−ＳＡＯＣでは（式２３）を用いて算出する。
【０１５４】
【数２３】
2014149552.tif 000026
【０１５５】
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、（式２４）を用いて複数のＮＲＧパラメータの組を算出する。
【０１５６】
【数２４】
2014149552.tif 000027
【０１５７】
ここで、Ｓは、表１のクラスＡ、クラスＢ、クラスＣおよび、クラスＤを示す。
【０１５８】
次に、ＭＰＥＧ−ＳＡＯＣのＩＯＣパラメータについて説明する。元のＩＯＣパラメータは、入力される音響オブジェクト信号の時間区切り・周波数区切りに対して（式２５）を用いて算出する。
【０１５９】
【数２５】
2014149552.tif 000028
【０１６０】
ここで、（式２６）とする。
【０１６１】
【数２６】
2014149552.tif 000029
【０１６２】
分類されたクラスに基づいたオブジェクトパラメータ抽出方法では、複数のＩＯＣパラメータは、同一クラスからの入力オブジェクト信号の時間区切り・周波数区切りに対して同様に算出する。すなわち、（式２７）を用いて算出する。
【０１６３】
【数２７】
2014149552.tif 000030
【０１６４】
ここで、（式２８）であり、Ｓは表１のクラスＡ、クラスＢ、クラスＣ、クラスＤを示す。
【０１６５】
【数２８】
2014149552.tif 000031
【０１６６】
以上のＩＯＣの算出過程から、一つの音響オブジェクト信号のみが分類されているいずれかのクラスに対して、ＩＯＣパラメータを計算する必要はないのがわかる。一方で、同一クラスに分類されたステレオあるいはマルチチャンネルの音響オブジェクト信号に対しては、それらの信号のＩＯＣパラメータを計算する必要がある。なお、異なる種類のクラスに分類されたいずれかの音響オブジェクト信号の組に対しては、クラス間のＩＯＣパラメータは標準状態ではゼロとする。こうすることで、既存のオブジェクト符号化手法と互換性を保つことができる。
【０１６７】
次に、上記のように音響オブジェクト信号を複数の種類のクラスに分類（以下クラス分類とも記載）するクラス分類手法を用いたオブジェクト復号方法について述べる。
【０１６８】
以下、ダウンミックス信号の状態に応じて二つの場合すなわちダウンミックス信号がモノラル信号である場合とダウンミックス信号がステレオ信号である場合について説明する。
【０１６９】
まず、ダウンミックス信号がモノラル信号である場合を説明する。
【０１７０】
図８は、本発明の音響オブジェクト復号装置の１例の構成を示すブロック図である。なお、図８は、モノラルダウンミックス信号に対する音響オブジェクト復号装置の構成例を示している。図８に示す音響オブジェクト復号装置は、分離回路４０１と、オブジェクト復号回路４０２と、ダウンミックス信号復号回路４０５とを備える。
【０１７１】
分離回路４０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路４０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路４０５に出力し、オブジェクトパラメータ（拡張情報）をオブジェクト復号回路４０２に出力する。
【０１７２】
ダウンミックス信号復号回路４０５は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号する。
【０１７３】
オブジェクト復号回路４０２は、オブジェクトパラメータ分類回路４０３と、複数のオブジェクトパラメータ演算回路４０４とを備える。
【０１７４】
オブジェクトパラメータ分類回路４０３は、分離回路４０１により分離されたオブジェクトパラメータ（拡張情報）が入力され、入力されたオブジェクトパラメータを例えばクラスＡ〜クラスＤのように複数のクラスに分類する。オブジェクトパラメータ分類回路４０３は、オブジェクトパラメータそれぞれに関連づけられたクラス特性に基づいてオブジェクトパラメータを分離し、対応するオブジェクトパラメータ演算回路４０４に出力する。
【０１７５】
ここで、図８に示すように、オブジェクトパラメータ演算回路４０４は、本実施の形態では４つのプロセッサから構成されている。すなわち、複数のクラスがクラスＡ〜クラスＤである場合、オブジェクトパラメータ演算回路４０４は、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに対応して設けられ、それぞれクラスＡ、クラスＢ、クラスＣおよびクラスＤに属するオブジェクトパラメータが入力される。そして、オブジェクトパラメータ演算回路４０４は、クラス分類され入力されたオブジェクトパラメータを、クラス分類されたレンダリング情報に応じて修正した空間パラメータへと変換する。
【０１７６】
なお、これを実現するために、元々のレンダリング情報がクラス毎に分離される必要がある。そうすることで、あるクラスに割り当てられたクラス情報が一意性を保持しているため、クラスに分類された情報を元にして、前記空間パラメータへの変換が容易になる。ここで、図９Ａおよび図９Ｂは、レンダリング情報をクラス分類する方法を示す図である。図９Ａは、元々のレンダリング情報を、８つにクラス分類（クラスはＡ〜Ｄの４種類）されたレンダリング情報を示しており、図９Ｂは、元々のレンダリング情報をＡ〜Ｄのクラス毎に分離して出力するときのレンダリングマトリックス（レンダリング情報）を示している。ここでは、マトリックス要素ｒi、jは、オブジェクトｉ番目、出力ｊ番目のレンダリング係数を示している。
【０１７７】
オブジェクト復号回路４０２は、オブジェクトパラメータを空間パラメータ（ＭＰＥＧサラウンド方式のＳｐａｔｉａｌＣｕｅに相当）に変換する図２のオブジェクトパラメータ演算回路２０５を拡張する構成からなる。
【０１７８】
次に、ダウンミックス信号がステレオ信号である場合を説明する。
【０１７９】
図１０は、本発明の音響オブジェクト復号装置の別の１例の構成を示すブロック図である。なお、図１０は、ステレオダウンミックス信号に対する音響オブジェクト復号装置の構成例を示している。図１０に示す音響オブジェクト復号装置は、分離回路６０１と、クラス分類に基づいたオブジェクト復号回路６０２と、ダウンミックス信号復号回路６０６とを備える。また、オブジェクト復号回路６０２は、オブジェクトパラメータ分類回路６０３と、複数のオブジェクトパラメータ演算回路６０４と、複数のダウンミックス信号プリプロセス回路６０５とを備える。
【０１８０】
分離回路６０１は、オブジェクトストリームすなわち音響オブジェクト符号化信号が入力され、入力された音響オブジェクト符号化信号を、ダウンミックス符号化信号と、オブジェクトパラメータ（拡張情報）とに分離する。分離回路６０１は、ダウンミックス符号化信号を、ダウンミックス信号復号回路６０６に出力し、オブジェクトパラメータ（拡張情報）をオブジェクト復号回路６０２に出力する。
【０１８１】
ダウンミックス信号復号回路６０６は、入力されたダウンミックス符号化信号を、ダウンミックス復号信号に復号する。
【０１８２】
オブジェクトパラメータ分類回路６０３は、分離回路６０１により分離されたオブジェクトパラメータ（拡張情報）が入力され、入力されたオブジェクトパラメータを例えばクラスＡ〜クラスＤのように複数のクラスに分類する。そして、オブジェクトパラメータ分類回路６０３は、オブジェクトパラメータそれぞれに関連づけられたクラス特性に基づいて分類（分離した）オブジェクトパラメータを、対応するオブジェクトパラメータ演算回路４０４に出力する。
【０１８３】
ここで、ダウンミックス信号がステレオ信号である場合、図１０に示すように、オブジェクトパラメータ演算回路６０４とダウンミックス信号プリプロセス回路６０５との両方はそれぞれ、各クラスに対応して設けられている。そして、オブジェクトパラメータ演算回路６０４とダウンミックス信号プリプロセス回路６０５との両方はそれぞれ、対応するクラスに分類され入力されたオブジェクトパラメータと、対応するクラスに分類され入力されたレンダリング情報に基づいて処理を行う。結果として、オブジェクト復号回路６０２は、プリプロセスしたダウンミックス信号と空間パラメータの組とを４つ生成して出力する。
【０１８４】
以上、実施の形態２によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。
【０１８５】
（実施の形態３）
次に、実施の形態３では、クラス分類されたパラメトリックオブジェクト符号化方法によって生成されたビットストリームを復号する復号装置の別の態様について説明する。
【０１８６】
まず、比較のために、一般的なマルチチャンネルデコーダ（スペーシャルデコーダ）について説明する。図１１は、一般的な音響オブジェクト復号装置を示す図である。
【０１８７】
図１１に示す音響オブジェクト復号装置は、パラメトリックマルチチャンネル復号回路７００を備えている。ここで、パラメトリックマルチチャンネル復号回路７００は、図２に示すマルチチャンネル信号合成回路２０８の中核モジュールが一般化されたモジュールである。
【０１８８】
パラメトリックマルチチャンネル復号回路７００は、プリプロセスマトリックス演算回路７０２と、ポストマトリックス演算回路７０３と、プリプロセスマトリックス生成回路７０４と、ポストプロセスマトリックス生成回路７０５と、線形補間回路７０６および７０７と、残響成分生成回路７０８とを備える。
【０１８９】
プリプロセスマトリックス演算回路７０２は、ダウンミックス信号（プリプロセスダウンミックス信号、合成空間信号でも同様）が入力される。ここで、プリプロセスマトリックス演算回路７０２は、各チャンネルのエネルギー値の変化を補償するように、ゲインファクターを修正する役割を果たす。そして、プリプロセスマトリックス演算回路７０２は、プリマトリックス（Ｍpre）のいくつかの出力を、デコラレーターである残響成分生成回路７０８（図中のＤ）に入力する。
【０１９０】
デコラレーターである残響成分生成回路７０８は、一つまたは複数個からなり、それぞれ独立したデコラレーション（残響信号付加処理）を行う。なお、デコラレーターである残響成分生成回路７０８は、入力信号とは相関のない出力信号を生成する。
【０１９１】
ポストマトリックス演算回路７０３は、プリプロセスマトリックス演算回路７０２によりゲインファクターが修正された複数の音響ダウンミックス信号の一部が残響発生回路７０８により残響信号付加処理が行われて入力され、かつ、プリプロセスマトリックス演算回路７０２によりゲインファクターが修正された残りの複数の音響ダウンミックス信号が入力される。ポストマトリックス演算回路７０３は、残響発生回路７０８より残響信号付加処理が行われた一部の複数の音響ダウンミックス信号と、プリプロセスマトリックス演算回路７０２より入力された残りの複数の音響ダウンミックス信号とから、所定の行列を用いてマルチチャンネルの出力スペクトルを生成する。具体的には、ポストマトリックス演算回路７０３は、ポストプロセスマトリックス（Ｍpost）を用いてマルチチャンネルの出力スペクトルを生成する。この際、チャンネル間相関値（ＭＰＥＧサラウンドで言うＩＣＣパラメータ）によって残響処理した信号によって、エネルギー補償した信号を合成することで、前記出力スペクトルを生成する。
【０１９２】
なお、プリプロセスマトリックス演算回路７０２と、ポストマトリックス演算回路７０３と、残響成分生成回路７０８とは、合成部７０１を構成している。
【０１９３】
また、プリプロセスマトリックス（Ｍpre）とポストプロセスマトリックス（Ｍpost）とは、伝送されてきた空間パラメータから算出される。具体的には、プリプロセスマトリックス（Ｍpre）は、プリプロセスマトリックス生成回路７０４と線形補間回路７０６とにより複数の種類（クラス）に分類された空間パラメータを線形補間して算出され、ポストプロセスマトリックス（Ｍpost）は、ポストプロセスマトリックス生成回路７０５と線形補間回路７０７とにより複数の種類（クラス）に分類された空間パラメータ空間パラメータを線形補間して算出される。
【０１９４】
次に、プリプロセスマトリックス（Ｍpre）とポストプロセスマトリックス（Ｍpost）とが算出される方法を説明する。
【０１９５】
まず、信号のスペクトル上で、マトリックスＭpreとＭpostを合成するために、すべての時間区切りｎおよびすべての周波数サブバンドｋに対して（式２９）および（式３０）に示すようにマトリックスＭn,kpreおよびＭn,kpostを定義する。
【０１９６】
【数２９】
2014149552.tif 000032
【数３０】
2014149552.tif 000033
【０１９７】
また、伝送されてきた空間パラメータは、すべての時間区切りｌおよびすべてのパラメータバンドｍに対して定義される。
【０１９８】
次に、スペーシャルデコーダである図１１に示す音響オブジェクト復号装置では、再定義した合成マトリックスを算出するために、伝送された空間パラメータに基づいて、プリプロセスマトリックス生成回路７０４およびポストプロセスマトリックス生成回路７０５から、合成マトリックスＲl,mpreおよびＲl,mpostを計算する。
【０１９９】
次に、パラメータセット（ｌ，ｍ）からサブバンド区切り（ｎ，ｋ）へと線形補間回路７０６、線形補間回路７０７にて線形補間を行う。
【０２００】
なお、この合成マトリックスの線形補間は、サブバンド値の各々の時間区切りスロットを、メモリ内ですべてのフレームのサブバンド値を保持することなく、一つ一つ復号することができる利点がある。また、フレームを基準にした合成方法に比べて顕著なメモリ削減効果が生じる。
【０２０１】
例えば、ＭＰＥＧサラウンドなどのＳＡＣ技術では、Ｍn,kpreは次の（式３１）のように線形補間する。
【０２０２】
【数３１】
2014149552.tif 000034
【０２０３】
ここで、（式３２）、（式３３）は、ｌ番目の時間区切りスロットインデックスであり、（式３４）で示される。
【０２０４】
【数３２】
2014149552.tif 000035
【数３３】
2014149552.tif 000036
【数３４】
2014149552.tif 000037
【０２０５】
なお、ＳＡＣデコーダでは、前述したサブバンドｋは、不等分の周波数分解能（低周波数では高周波数に比べ細かい解像度を持っている）を保持しており、ハイブリッドバンドと呼ばれる。そして、本発明のクラス分離を用いたオブジェクト復号装置では、この不等分の周波数分解能を用いる。
【０２０６】
以下、本発明の音響オブジェクト復号装置について説明する。図１２は、本実施の形態における音響オブジェクト復号装置の１例の構成を示すブロック図である。
【０２０７】
図１２に示す音響オブジェクト復号装置８００は、ＭＰＥＧ−ＳＡＯＣ技術を利用した場合の例を示している。この音響オブジェクト復号装置８００は、トランスコーダ８０３と、ＭＰＳ復号回路８０１とを備える。
【０２０８】
トランスコーダ８０３は、入力されたダウンミックス符号化信号を、プリプロセスダウンミックス信号に復号し、ＭＰＳ復号回路８０１に出力するダウンミックスプリプロプロセッサ８０４と、入力されたＳＡＯＣ方式のオブジェクトパラメータをＭＰＥＧサラウンド方式のオブジェクトパラメータに変換してＭＰＳ復号回路８０１に出力するＳＡＯＣパラメータプロセス回路８０５とを備える。
【０２０９】
ＭＰＳ復号回路８０１は、ハイブリッド変換回路８０６と、ＭＰＳ合成回路８０７と、逆ハイブリッド変換回路８０８と、クラス分類に基づきプリマトリックスを生成するクラス分類プリマトリクス生成回路８０９と、クラス分類に基づき線形補間する線形補間回路８１０と、クラス分類に基づきポストマトリックスを生成するクラス分類ポストマトリクス生成回路８１１と、クラス分類に基づき線形補間する線形補間回路８１２とを備える。
【０２１０】
ハイブリッド変換回路８０６は、不等分の周波数分解能を用いて、プリプロセスダウンミックス信号をダウンミックス信号に変換し、ＭＰＳ合成回路８０７に出力する。
【０２１１】
逆ハイブリッド変換回路８０８は、不等分の周波数分解能を用いて、ＭＰＳ合成回路８０７より出力されたマルチチャンネルの出力スペクトルを、複数チャンネルの時間領域の音響信号に変換して出力する。
【０２１２】
ＭＰＳ復号回路８０１は、入力されたダウンミックス信号をマルチチャンネルの出力スペクトルに合成して逆ハイブリッド変換回路８０８に出力する。なお、ＭＰＳ復号回路８０１は、図１１に示す合成部７０１に相当するため、詳細な説明は省略する。
【０２１３】
以上のように、本発明の音響オブジェクト復号装置８００は構成される。
【０２１４】
このように、本発明のオブジェクト復号装置では、モノラルまたはステレオダウンミックス信号とともにクラス分類オブジェクト符号化したオブジェクトパラメータを復号できるようにするために、次の処理を行う。すなわち、クラス分類に基づいたプリマトリックスおよびポストマトリックスの生成、クラス分類に基づいたマトリックス（プリマトリックスおよびポストマトリックス）の線形補間、ダウンミックス信号に対してクラス分類に基づいたプリプロセス処理（ステレオ信号に対してのみ行う）、クラス分類に基づいた空間信号合成、最終的に複数のスペクトル信号を組み合わせる処理をそれぞれ実行する。
【０２１５】
例えば、クラス分類に基づいたマトリックスの線形補間は次の（式３５）のように計算する。
【０２１６】
【数３５】
2014149552.tif 000038
【０２１７】
ここで、（式３６）、（式３７）はクラスＳのｌ番目の時間区切りを示す。そして、（式３８）のように表される。
【０２１８】
【数３６】
2014149552.tif 000039
【数３７】
2014149552.tif 000040
【数３８】
2014149552.tif 000041
【０２１９】
そして、クラス分類に基づいたプレマトリックスＭSpreおよびポストマトリックスＭSpostは、図１３に示すようにそれぞれクラス分類に基づいた空間合成手法が適用される。なお、図１３は、ステレオダウンミックス信号に対する本発明のコアオブジェクト復号装置の例を示す図である。ここでは、ｘA（ｎ、ｋ）〜ｘD（ｎ、ｋ）は、モノラル信号の場合には同一のダウンミックス信号を示し、ステレオ信号の場合にはクラス分類されたプリプロセス処理後のダウンミックス信号を示している。また、空間合成器であるパラメトリックマルチチャンネル信号合成回路９０１はそれぞれ、図１１に示すパラメトリックマルチチャンネル復号回路７００に対応する。
【０２２０】
そして、このパラメトリックマルチチャンネル信号合成回路９０１によりそれぞれ出力されたクラス分類に基づいたダウンミックス信号は、マルチチャンネルのスペクトル信号へと次の（式３９）および（式４０）のようにしてアップミックスされる。
【０２２１】
【数３９】
2014149552.tif 000042
【数４０】
2014149552.tif 000043
【０２２２】
合成スペクトル信号は、これらのクラス分類に基づいたスペクトル信号を次の（式４１）のように合成することで取得される。
【０２２３】
【数４１】
2014149552.tif 000044
【０２２４】
以上のようにして、クラス分類に基づくオブジェクト符号化およびオブジェクト復号を行うことができる。
【０２２５】
なお、本実施の形態では、クラス分類に基づいたオブジェクト符号化信号を復号するために、本発明の音響オブジェクト復号装置では、Ａ〜Ｄのクラス分類に対応して空間合成器を４つ用いている。これは、本発明のオブジェクト復号装置がＭＰＥＧ−ＳＡＯＣ復号装置に比べて若干ながら演算量が増加することを示唆する。しかしながら、従来のオブジェクト復号装置において、演算量が必要な主要な構成要素は、Ｔ−Ｆ変換およびＦ−Ｔ変換部分である。その点を考慮すると、本発明のオブジェクト復号装置は、ＭＰＥＧ−ＳＡＯＣ復号装置と比べても、Ｔ−Ｆ変換部およびＦ−Ｔ変換部の数は理想的には変わらない。従って、本発明のオブジェクト復号装置の全体の演算量は、従来のＭＰＥＧ−ＳＡＯＣ復号装置とほぼ同等となりうるのである。
【０２２６】
以上、本発明によれば、ビットレートの極端な増加を抑制する符号化装置および復号装置を実現することができる。具体的には、最小限のビットレート上昇のみで、オブジェクト符号化の音質を向上させることができる。そのため、各オブジェクト信号の分離度を向上させることができるので、本発明のオブジェクト符号化方法を用いた場合、会議システムなどの臨場感を向上させることができる。また、本発明のオブジェクト符号化方法を用いた場合、インタラクティブリミックスシステムの音質を向上させることができる。
【０２２７】
なお、本発明のオブジェクト符号化装置およびオブジェクト復号装置は、従来のＭＰＥＧ−ＳＡＯＣ技術を用いるオブジェクト符号化装置およびオブジェクト復号装置と比べて、顕著に音質向上することが可能である。特に、非常に多くの過渡状態をもつ音響オブジェクト信号に対しては、適切なビットレートと演算量の元で符号化及び復号が可能となる。これは、ビットレートと音質の高度な両立が必須の多くのアプリケーションに対して非常に有益である。
【０２２８】
（その他変形例）
なお、本発明のオブジェクト符号化装置およびオブジェクト復号装置について、上記実施の形態に基づいて説明してきたが、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０２２９】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０２３０】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、上記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０２３１】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。上記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。上記ＩＣカードまたは上記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、上記ＩＣカードまたは上記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０２３２】
（４）また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２３３】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２３４】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２３５】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０２３６】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２３７】
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２３８】
本発明は、音響オブジェクト信号を符号化・復号する符号化装置および復号装置に利用でき、特に、インタラクティブ音源リミックスシステムやゲーム装置、あるいは多人数・他拠点を接続する会議システムなどの分野に適用される符号化装置および復号装置に利用することができる。
【符号の説明】
【０２３９】
１００、３００  音響オブジェクト符号化装置
１０１、３０２  オブジェクトダウンミックス回路
１０２、３０３  Ｔ−Ｆ変換回路
１０３、３０８  オブジェクトパラメータ抽出回路
１０４  ダウンミックス信号符号化回路
１０５、３０９  多重化回路
２００、８００  音響オブジェクト復号装置
２０１、４０１、６０１  分離回路
２０３  オブジェクトパラメータ変換回路
２０４、６０５  ダウンミックス信号プリプロセス回路
２０５  オブジェクトパラメータ演算回路
２０６  パラメトリックマルチチャンネル復号回路
２０７  ドメイン変換回路
２０８  マルチチャンネル信号合成回路
２０９  Ｆ−Ｔ変換回路
２１０  ダウンミックス信号復号回路
３０１  ダウンミックス符号化部
３０４  オブジェクトパラメータ抽出部
３０５  オブジェクト分類部
３０６  オブジェクト区切り算出回路
３０７  オブジェクト分類回路
３１０  ダウンミックス信号符号化回路
４０２  オブジェクト復号回路
４０３、６０３  オブジェクトパラメータ分類回路
４０４、６０４  オブジェクトパラメータ演算回路
４０５、６０６  ダウンミックス信号復号回路
６０２  オブジェクト復号回路
７００  パラメトリックマルチチャンネル復号回路
７０１  合成部
７０２  プリプロセスマトリックス演算回路
７０３  ポストマトリックス演算回路
７０４  プリプロセスマトリックス生成回路
７０５  ポストプロセスマトリックス生成回路
７０６、７０７、８１０、８１２  線形補間回路
７０８  残響成分生成回路
８０１  ＭＰＳ復号回路
８０３  トランスコーダ
８０４  ダウンミックスプリプロプロセッサ
８０５  ＳＡＯＣパラメータプロセス回路
８０６  ハイブリッド変換回路
８０７  ＭＰＳ合成回路
８０８  逆ハイブリッド変換回路
８０９  クラス分類プリマトリクス生成回路
８１１  クラス分類ポストマトリクス生成回路
９０１  パラメトリックマルチチャンネル信号合成回路
３０８１、３０８２、３０８３、３０８４  抽出回路
【図１】
2014149552.tif 000045
【図２】
2014149552.tif 000046
【図３】
2014149552.tif 000047
【図４】
2014149552.tif 000048
【図５】
2014149552.tif 000049
【図６】
2014149552.tif 000050
【図７Ａ】
2014149552.tif 000051
【図７Ｂ】
2014149552.tif 000052
【図７Ｃ】
2014149552.tif 000053
【図７Ｄ】
2014149552.tif 000054
【図８】
2014149552.tif 000055
【図９Ａ】
2014149552.tif 000056
【図９Ｂ】
2014149552.tif 000057
【図１０】
2014149552.tif 000058
【図１１】
2014149552.tif 000059
【図１２】
2014149552.tif 000060
【図１３】
2014149552.tif 000061