(57)【要約】ポータブルプレーヤ（７１０）又はマルチチャネルホームプレーヤ（７３０）は、マルチチャネルオーディオ信号が混入された、ダウンミクス信号を表す符号列と、ダウンミクス信号をダウンミクスされる前のマルチチャネルオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するとともに、ダウンミクス信号を表す符号列を復号化する混入信号復号化部（７１１）と、抽出された補助情報に基づいて、復号化により得られたダウンミクス信号を分離して、ダウンミクスされる前のマルチチャネルオーディオ信号と聴覚的に近似するオーディオ信号を生成する信号分離処理部（７３１）と、復号化されたダウンミクス信号を再生するヘッドホン又はスピーカ（７２０）又はダウンミクス信号から分離されたマルチチャネルオーディオ信号を再生するスピーカ（７４０）を備える。【特許請求の範囲】
【請求項１】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、
前記混入信号を表す前記符号列を復号化する復号化手段と、
抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、
復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段と
を備えるオーディオ信号復号化装置。
【請求項２】
前記補助情報は、前記混入信号が表される空間を複数の領域に分割する方法を示す分割情報と、分割された各領域内の混入信号に対応するゲインとを含み、
前記信号分離手段は、
前記復号化により得られた前記混入信号を前記分割情報に従って複数の領域に分割する領域分割部と、
分割された前記各領域内の混入信号に、対応する前記ゲインを乗算して、聴覚的に近似する前記オーディオ信号を生成する近似信号生成部とを備え、
前記信号分離手段は、前記近似信号生成部による処理を繰り返し、混入される前の数に相当するオーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項３】
前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、時間周波数空間の前記分割情報と、前記各領域内のゲインの分布を示す時間周波数マトリクスを含み、
前記領域分割部は、前記ＱＭＦフィルタ処理により時間周波数空間上のサブバンド信号で表されている混入信号に対し、前記分割情報に従って前記時間周波数空間を複数の領域に分割し、
前記近似信号生成部は、分割された領域ごとに、前記サブバンド信号で表された混入信号に対応するゲインを乗算する
請求項２記載のオーディオ信号復号化装置。
【請求項４】
前記補助情報は、離散コサイン変換が施された周波数軸上のスペクトル信号に対して、周波数領域の前記分割情報と、前記各領域内のゲインの分布を示す周波数マトリクスを含み、
前記領域分割部は、前記離散コサイン変換により周波数軸上のスペクトル信号で表されている混入信号に対し、前記分割情報に従って前記周波数領域を複数の領域に分割し、
前記近似信号生成部は、分割された領域ごとに、前記スペクトル信号で表された混入信号に対応するゲインを乗算する
請求項２記載のオーディオ信号復号化装置。
【請求項５】
前記補助情報は、混入される前の複数のオーディオ信号のそれぞれにつき、その中の１つを基準信号とした場合の位相差を示す位相情報を含み、
前記信号分離手段は、
混入される前の複数の前記オーディオ信号を、前記補助情報内の前記位相情報を用いて前記基準信号で表し、前記混入信号から演算により求められる前記基準信号から、前記各オーディオ信号を算出するオーディオ信号算出部を備え、
前記信号分離手段は、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
請求項１記載のオーディオ信号復号化装置。
【請求項６】
前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、混入される前の複数のオーディオ信号の各サブバンド信号を単位として前記位相差を示す位相情報を含み、
前記オーディオ信号算出部は、混入される前の複数の前記ＱＭＦフィルタ処理が施された前記オーディオ信号を、サブバンド信号ごとに、前記補助情報内の前記位相情報を用いて前記基準信号のサブバンド信号で表す
請求項５記載のオーディオ信号復号化装置。
【請求項７】
混入される前の複数のオーディオ信号を構成するサブバンド信号で、前記補助情報に前記位相情報が含まれないサブバンド信号は、前記基準信号に対して相関の低い信号であるか、ノイズ性の信号であるか又は聴覚的に位相差が感知されにくい高域の信号である
請求項６記載のオーディオ信号復号化装置。
【請求項８】
前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が高いことを示している場合、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
請求項５記載のオーディオ信号復号化装置。
【請求項９】
前記補助情報は、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
前記信号分離手段は、
前記補助情報内の前記線形予測係数を用いて、前記混入信号の関数として表される無相関信号を算出する無相関信号算出部を備え、
前記信号分離手段は、算出された前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項１０】
前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が低いことを示している場合、前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
請求項９記載のオーディオ信号復号化装置。
【請求項１１】
前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である
請求項９記載のオーディオ信号復号化装置。
【請求項１２】
混入される前の複数の前記オーディオ信号は、マルチチャネル信号を構成する各チャネルのオーディオ信号であり、前記混入信号は前記マルチチャネル信号をダウンミクスして得られるダウンミックス信号であって、
前記復号化手段は、前記混入信号を表す前記符号列を復号化してダウンミックス信号を生成し、
前記信号分離手段は、抽出された前記補助情報に基づいて、ダウンミクスされる前のマルチチャネル信号と聴覚的に近似する複数のオーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項１３】
複数のオーディオ信号が混入された混入信号を符号化する符号化装置であって、
入力される複数のオーディオ信号を混入して、元のオーディオ信号よりも少数のオーディオ信号を表す混入信号を生成する混入信号生成手段と、
前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成する補助情報生成手段と、
前記混入信号を符号化する符号化手段と、
符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成手段と
を備えるオーディオ信号符号化装置。
【請求項１４】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化方法であって、
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出し、
前記混入信号を表す前記符号列を復号化し、
抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成し、
復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する
ステップを含むオーディオ信号復号化方法。
【請求項１５】
複数のオーディオ信号が混入された混入信号を符号化する符号化方法であって、
入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成し、
前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成し、
前記混入信号を符号化し、
符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する
ステップを含むオーディオ信号符号化方法。
【請求項１６】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置のためのプログラムであって、コンピュータに
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるプログラム。
【請求項１７】
複数のオーディオ信号が混入された混入信号を符号化する符号化装置のためのプログラムであって、コンピュータに
入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップを実行させるプログラム。
【請求項１８】
コンピュータに、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
コンピュータに、入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディオ信号を復号化する復号化装置に関するものである。
【背景技術】
【０００２】  従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとしてＩＳＯ／ＩＥＣの国際標準方式、通称ＭＰＥＧ方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ＩＳＯ／ＩＥＣ  １３８１８−７、通称ＭＰＥＧ２  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などがあげられる。本方式の拡張規格も複数規格化が現在なされている（非特許文献１参照。）。
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−７（ＭＰＥＧ２  ＡＡＣ）
【発明の開示】
【発明が解決しようとする課題】
【０００３】  しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載のＡＡＣなどでは、マルチチャネルの信号を符号化する際に、チャネル間の相関を十分に生かしきれていないため、低ビットレート化することが困難であった。図１は、マルチチャネルの信号を符号化したものを復号化する際の従来の方法を示す図である。図１に示すように、例えば、従来のマルチチャネルＡＡＣ符号化装置６００では、５．１チャネルのオーディオ信号を符号化し、多重化して、放送などにより従来のプレーヤ６１０に送信している。このような符号化データを受信する従来のプレーヤ６１０では、出力が２チャネルのスピーカやヘッドホンの場合、マルチチャネルＡＡＣ復号化部６１１及びダウンミックス部６１２を備え、受信した符号化信号から生成したダウンミクス信号を２チャネルのスピーカ又はヘッドホン６１３に出力している。【０００４】  しかしながら、従来のプレーヤ６１０では、原音のマルチチャネル信号を符号化したものを復号化する際に、２つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号化する。その後、ダウンミクス部６１２が、復号化されたすべてのチャネルから前記２つのスピーカやヘッドホンで再生すべきダウンミクス信号（右）ＤＲ、（左）ＤＬを、ダウンミクスなどの方法を用いて生成する。例えば、５．１チャネルのマルチチャネル信号は、聴視者の前方正面Ｃｅｎｔｅｒ、前方右ＦＲ、前方左ＦＬ、後方右ＢＲ、及び後方左ＢＬに配置される音源からの５チャネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャネルの信号ＬＦＥとから構成される。ダウンミクス部６１２は、復号化されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号ＤＲ、ＤＬを生成している。このことは２つのスピーカやヘッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などの計算手段の消費電力やコストを高める原因となっている。
【課題を解決するための手段】
【０００５】  上記課題を解決するため、本発明のオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備える。【０００６】  なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなく、オーディオ信号符号化方法及びオーディオ信号復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【０００７】  以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列から符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらかじめ混入された信号が、マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなく、ダウンミクス信号部だけを復号すれば、２チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。
【図２】図２は、本発明のオーディオ信号符号化装置の主要部を概略的に示す図である。
【図３】図３は、本発明のオーディオ信号復号化装置の主要部を概略的に示す図である。
【図４】図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号ｍＸから、原信号に聴覚上近似する信号Ｘ１と信号Ｘ２とが分離される様子を示す図である。
【図５】図５は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。
【図６】図６（ａ）は、図５に示した混入信号復号化部からの出力であるサブバンド信号を示す図である。図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。
【図７】図７は、混入信号復号化部からの出力信号が表される空間の分割方法の一例を示す図である。
【図８】図８は、符号化装置からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。
【図９】図９は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。
【図１０】図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。
【図１１】図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
【符号の説明】
【０００９】  １０１    混入信号情報
１０２    混入信号復号化部
１０３    信号分離処理部
１０４    補助情報
１０５    出力信号（１）
１０６    出力信号（２）
２０１    入力信号（１）
２０２    入力信号（２）
２０３    混入信号符号化部
２０４    補助情報生成部
２０５    補助情報
２０６    混入信号情報
２１１    ゲイン算出部
２１２    位相算出部
２１３    係数算出部
３０１    混入信号情報
３０２    混入信号復号化部
３０３    信号分離部
３０４    ゲイン制御部
３０５    出力信号（１）
３０６    出力信号（２）
３０７    補助情報
３０８    時間周波数マトリクス生成部
４０１    混入信号情報
４０２    混入信号復号化部
４０３    信号分離部
４０４    ゲイン制御部
４０５    出力信号（１）
４０６    出力信号（２）
４０７    補助情報
４０８    時間周波数マトリクス生成部
４０９    位相制御部
５０１    混入信号情報
５０２    混入信号復号化部
５０３    信号分離部
５０４    ゲイン制御部
５０５    出力信号（１）
５０６    出力信号（２）
５０７    補助情報
５０８    時間周波数マトリクス生成部
５０９    位相制御部
５１０    線形予測フィルタ適応部
６００    従来のマルチチャネルＡＡＣ符号化装置
６１０    従来のプレーヤ
６１１    マルチチャネルＡＡＣ復号化部
６１２    ダウンミクス部
６１３    スピーカ又はヘッドホン
７００    符号化装置
７０１    ダウンミックス部
７０２    補助情報生成部
７０３    符号化部
７１０    ポータブルプレーヤ
７１１    混入信号復号化部
７２０    ヘッドホンまたはスピーカ
７３０    マルチチャネルホームプレーヤ
７４０    スピーカ
【発明を実施するための最良の形態】
【００１０】  以下、本発明の実施の形態を、図面を参照しながら説明する。【００１１】  （実施の形態１）
図２は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディオ信号符号化装置２００の構成を示すブロック図である。このオーディオ信号符号化装置２００は、少なくとも２つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す１つの符号化データとその符号化データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号化部２０３および補助情報生成部２０４を備える。補助情報生成部２０４は、内部に、ゲイン算出部２１１、位相算出部２１２及び係数算出部２１３を備える。以下では、説明を簡単にするために入力信号が２つの場合について説明する。混入信号符号化部２０３及び補助情報生成部２０４は、いずれも入力信号（１）２０１と、入力信号（２）２０２とを入力とし、混入信号符号化部２０３は混入信号及び混入信号情報２０６を生成する。ここで、混入信号は、入力信号（１）２０１及び入力信号（２）２０２を、所定の方法で重畳して得られる信号である。補助情報生成部２０４は、入力された入力信号（１）２０１、入力信号（２）２０２および混入信号符号化部２０３の出力である混入信号から、補助情報２０５を生成する。【００１２】  より具体的には、混入信号符号化部２０３では、入力信号（１）２０１及び入力信号（２）２０２を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報２０６を出力する。ここで、混入信号符号化部２０３の符号化方法としては、ＡＡＣなどの方法を用いてもよいが、特に問わない。【００１３】  補助情報生成部２０４では、入力信号（１）２０１、入力信号（２）２０２及び混入信号符号化部２０３で作られた混入信号と混入信号情報２０６を用いて補助情報２０５を生成する。ここで補助情報２０５は、混入信号から、混入前の信号である入力信号（１）２０１と、入力信号（２）２０２とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（１）２０１と、入力信号（２）２０２とが完全に同じように分離できてもいいし、聞いたところ差がないような程度に分離できるのでもよい。聞いて差があったとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）フィルタバンクを用いる符号化方法で符号化してもよいし、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）などを用いる符号化方法で符号化してもよい。【００１４】  ゲイン算出部２１１は、入力信号（１）２０１及び入力信号（２）２０２と混入信号とを比較して、混入信号から入力信号（１）２０１及び入力信号（２）２０２とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部２１１は、まず、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施すことによって、入力信号（１）２０１、入力信号（２）２０２及び混入信号を時���周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号と、混入信号から変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号から変換されたサブバンド信号を用いて、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報２０５として出力する。なお、ここで求めるゲインの分布は、入力信号（１）２０１及び入力信号（２）２０２から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号から入力信号（１）２０１及び入力信号（２）２０２の一方が生成されると、生成された入力信号（１）２０１又は入力信号（２）２０２を混入信号から減算することによって他方の入力信号（１）２０１又は入力信号（２）２０２が得られるからである。【００１５】  また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部２１２は、ゲイン算出部２１１と同様、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施す。さらに位相算出部２１２は、サブバンドごとに、入力信号（１）２０１から得られたサブバンド信号と、入力信号（２）２０２から得られたサブバンド信号との位相差（遅延量）を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号（１）２０１と入力信号（２）２０２との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部２１２は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。【００１６】  さらに、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、入力信号（１）２０１と入力信号（２）２０２との一方の信号は、他方の信号に無相関な信号（ノイズ信号）とみなすことができる。従って、係数算出部２１３は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、まず、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数）を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が２つの信号からなるのであれば、２組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部２１３は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（１）２０１と入力信号（２）２０２との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、ＱＭＦフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。【００１７】  次に図３を用いて復号化方法を説明する。図３は、本発明のオーディオ信号復号化装置１００の主要部の構成を模式的に示した図である。オーディオ信号復号化装置１００は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報から出力信号（１）１０５と、出力信号（２）１０６とを分離する復号化装置であって、混入信号復号化部１０２及び信号分離処理部１０３を備える。【００１８】  オーディオ信号復号化装置１００の前段で、符号列から抽出された混入信号情報１０１は、混入信号復号化部１０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号化部１０２からの出力信号、および、補助情報１０４は、信号分離処理部１０３へと入力され、信号の分離合成がなされ、出力信号（１）１０５と、出力信号（２）１０６とが出力される。図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号ｍＸから、原信号に聴覚上近似する２つの信号Ｘ１と信号Ｘ２とが分離される様子を示す図である。本発明のオーディオ信号復号化装置１００では、符号列から抽出された補助情報に基づいて、混入信号ｍＸから、原信号である信号ｘ１と信号ｘ２とに聴覚上近似する信号Ｘ１と信号Ｘ２とが分離される。【００１９】  以下、本発明の具体的な復号化方法について図５を用いて説明する。図５は、本実施の形態のオーディオ信号復号化装置１００においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置１００は、混入信号復号化部３０２、信号分離部３０３、ゲイン制御部３０４及び時間周波数マトリクス生成部３０８を備える。【００２０】  図５に示すオーディオ信号復号化装置１００の前段で、あらかじめ符号列から抽出された混入信号情報３０１は、混入信号復号化部３０２へと入力される。混入信号情報３０１は、混入信号復号化部３０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部３０２の出力信号、および、補助情報３０７は、信号分離部３０３へと入力される。信号分離部３０３では、補助情報３０７をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報３０７に含まれている時間周波数空間（または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の���する空間を分割する。ここでは簡単のために２つに分離する場合について記載するが、必ずしも２つに限定しない。一方、補助情報３０７に基づいて、時間周波数マトリクス生成部３０８では、混入信号復号化部３０２からの出力、または、信号分離部３０３からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の１つ以上の時間に関するゲイン情報を時間周波数マトリクス生成部３０８の出力とするし、オーディオ形式がＱＭＦフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の２次元のゲイン情報を時間周波数マトリクス生成部３０８の出力とする。そのようなゲイン情報と、信号分離部３０３からの複数のオーディオ信号に対して、ゲイン制御部３０４では、データ形式にあわせたゲイン制御を適用し、出力信号（１）３０５、および、出力信号（２）３０６を出力する。【００２１】  このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である。【００２２】  このゲインコントロールについては、以下の図６および図７を用いて詳細に説明する。図６（ａ）及び（ｂ）は、図５に示した混入信号復号化部３０２からの出力がＱＭＦフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図７は、混入信号復号化部３０２からの出力信号が表される空間の分割方法の一例を示す図である。図６（ａ）は、図５に示した混入信号復号化部３０２からの出力であるサブバンド信号を示す図である。このように、ＱＭＦフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。【００２３】  従って、オーディオ形式がＱＭＦフィルタで構成される場合は、フレーム単位でオーディオ信号を扱う場合において、時間周波数マトリクスを用いたゲイン制御が容易である。【００２４】  例えば、３２サブバンドからなるＱＭＦフィルタで構成するとして、１フレーム１０２４サンプルのオーディオ信号を扱えば、結果的に時間方向に３２サンプル、周波数方向（サブバンド）に３２バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら１０２４サンプルの信号にゲイン制御をおこなう場合、図７のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数（Ｒ１１、Ｒ１２、Ｒ２１、Ｒ２２）を定義すれば、ゲイン制御が容易である。ここではＲ１１からＲ２２まで４つの要素からなるマトリクスを便宜上用いるが、時間方向、周波数方向の係数の個数はこれらに限定されない。図６にゲイン制御の適用例を示した。すなわち、図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。図６（ｂ）に示すように、ＱＭＦフィルタが６サブバンドである場合に、低域から４バンドと高域から２バンドの２つに分け、時間方向には均一に２つに分けた場合、それら４領域に存在するＱＭＦフィルタから得られる信号列に、ゲインＲ１１、Ｒ��２、Ｒ２１、Ｒ２２を乗じた信号を出力するなどである。【００２５】  混入される信号列について特に制限はないが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、バックチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。【００２６】  図８は、符号化装置７００からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、ポータブルプレーヤ７１０及びヘッドホン又はスピーカ７２０を備える。符号化装置７００は、例えば、５．１チャネルのマルチチャネルオーディオ信号列を入力とし、５．１チャネルからダウンミクスされた２チャネルのオーディオ符号列と補助信号とを出力する符号化装置であって、ダウンミックス部７０１、補助情報生成部７０２及び符号化部７０３を備える。ダウンミックス部７０１は、５．１チャネルのマルチチャネルオーディオ信号列から２チャネルのダウンミクス信号を生成し、生成したダウンミクス信号ＤＬ及びＤＲを符号化部７０３に出力する。補助情報生成部７０２は、生成されたダウンミクス信号ＤＬ及びＤＲから５．１チャネルのマルチチャネル信号を復元するための情報を生成し、補助情報として符号化部７０３に出力する。符号化部７０３は、生成されたダウンミクス信号ＤＬ及びＤＲと、補助情報とを符号化及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーヤ７１０は、２チャネルのヘッドホン又はスピーカ７２０に接続されており、２チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ７１０は混入信号復号化部７１１を備え、符号化装置７００から取得した符号列を混入信号復号化部７１１で復号化するだけで、２チャネルのヘッドホン又はスピーカ７２０で再生することができる。【００２７】  図９は、符号化装置７００からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、マルチチャネルホームプレーヤ７３０及びスピーカ７４０を備える。符号化装置７００の内部構成は、図８に示した符号化装置７００と同じであるので、説明を省略する。マルチチャネルホームプレーヤ７３０は、混入信号復号化部７１１及び信号分離処理部７３１を備え、５．１チャネルのマルチチャネル信号を再生可能なスピーカ７４０に接続されている。このマルチチャネルホームプレーヤ７３０において、混入信号復号化部７１１は、符号化装置７００から取得した符号列を復号化し、補助情報とダウンミクス信号ＤＬ及びＤＲとを抽出する。信号分離処理部７３１では、抽出されたダウンミクス信号ＤＬとＤＲとから、抽出された補助情報に基づいて、５．１チャネルのマルチチャネル信号を生成する。【００２８】  図８及び図９に示した例のように、同じ符号列を入力しても、２チャネルの信号しか再生しないポータブルプレーヤなどでは、単に符号列中の混入信号を復号化するだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてバッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができるという効果がある。【００２９】  （実施の形態２）
以下では、本実施の形態の具体的な復号化装置について図１０を用いて説明する。【００３０】  図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態２のオーディオ信号復号化装置は、符号列である混入信号情報４０１及び補助情報４０７を入力し、入力された混入信号情報４０１及び補助情報４０７に基づいて、出力信号（１）４０５及び出力信号（２）４０６を出力するオーディオ信号復号化装置であって、混入信号復号化部４０２、信号分離部４０３、ゲイン制御部４０４、時間周波数マトリクス生成部４０８及び位相制御部４０９を備える。【００３１】  実施の形態２の構成と前述の実施の形態１との構成上の違いは、位相制御部４０９が加わった点のみで、その他の構成は実施の形態１と同様である。よって本実施の形態２では、位相制御部４０９の構成のみ詳細に説明する。【００３２】  符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数１）のように表記される。【００３３】
【数１】
2005112002.tif 000002
【００３４】  ここでは、ｍｘは混入された後の信号、ｘ１、ｘ２が入力信号（混入前の信号）、Ａはゲイン補正、ｐｈａｓｅＦａｃｔｏｒは位相差に応じて乗じる係数とする。従って、混入信号ｍｘは信号ｘ１の関数として表されるため、位相制御部４０９では、混入信号ｍｘから信号ｘ１を容易に算出して分離することができる。信号ｘ２は、混入信号ｍｘから信号ｘ１を分離することによって得られる。さらに、このように分離された信号ｘ１及びｘ２に対して、ゲイン制御部４０４が補助情報４０７から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（１）４０５及び出力信号（２）４０６を出力することができる。【００３５】  ＡおよびｐｈａｓｅＦａｃｔｏｒは、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）から導出できるので、これらを予め符号化装置で補助情報４０７に符号化しておけば、位相制御部４０９では、分離した各々の信号の位相を制御可能である。【００３６】  位相差は、整数に限定されないサンプル数として符号化されてもよいし、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。【００３７】  位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。【００３８】  （実施の形態３）
本発明の具体的な復号化装置について図１１を用いて説明する。図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。【００３９】  実施の形態３のオーディオ信号復号化装置は、混入信号情報５０１と、補助情報５０７とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号（ノイズ信号）とみなして生成し出力信号（１）５０５と出力信号（２）５０６とを出力するオーディオ信号復号化装置であって、混入信号復号化部５０２、信号分離部５０３、ゲイン制御部５０４、時間周波数マトリクス生成部５０８、位相制御部５０９及び線形予測フィルタ適応部５１０を備える。【００４０】  まず、この実施の形態３の復号化装置は、実施の形態１における復号化装置を詳細に説明するものである。【００４１】  実施の形態３の構成と前述の実施の形態２との構成上の違いは、線形予測フィルタ適応部５１０が加わった点のみで、その他の構成は実施の形態２と同様である。よって本実施の形態３では、線形予測フィルタ適応部５１０の構成のみ詳細に説明する。【００４２】  符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部５１０は、この場合は、一方の信号に対して、もう一方の信号を無相関信号（ノイズ信号）と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号化列中に符号化しておけば、復号化時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号化してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。【００４３】
【数２】
2005112002.tif 000003
【００４４】  ここでは、ｍｘは混入された後の信号、ｘ１ｍ、ｘ２が入力信号（混入前の信号）、Ｆｕｎｃ（）は線形予測係数などからなる多項式である。【００４５】  信号ｍｘ、ｘ１、ｘ２は、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）に利用できるので、信号ｍｘ、ｘ１、ｘ２からＦｕｎｃ（）なる多項式の係数を導出し、これら係数を予め補助情報５０７に符号化しておけば、線形予測フィルタ適応部５１０では、ｘ１、ｘ２を導出可能である。【００４６】
【数３】
2005112002.tif 000004
【００４７】  よって、（数３）とするようなＦｕｎｃ（）の係数を導出して符号化すればよい。【００４８】  以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が２以上ある場合でそのうちのいずれか１つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号（ノイズ信号）として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号から分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。
【産業上の利用可能性】
【００４９】  本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディオ符号化および復号化方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。【００５０】  オーディオ符号化されたビットストリームなる符号化列は、現在、放送コンテンツの伝送、ＤＶＤやＳＤカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器にＡＶコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。【００５１】  本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と２チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディオ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局やコンテンツ配信サーバに備えられるオーディオ信号符号化装置として有用である。
【図１】
2005112002.tif 000005
【図２】
2005112002.tif 000006
【図３】
2005112002.tif 000007
【図４】
2005112002.tif 000008
【図５】
2005112002.tif 000009
【図６】
2005112002.tif 000010
【図７】
2005112002.tif 000011
【図８】
2005112002.tif 000012
【図９】
2005112002.tif 000013
【図１０】
2005112002.tif 000014
【図１１】
2005112002.tif 000015
【手続補正書】
【提出日】平成18年7月5日(2006.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、
前記混入信号を表す前記符号列を復号化する復号化手段と、
抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、
復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段と
を備えるオーディオ信号復号化装置。
【請求項２】
前記補助情報は、前記混入信号が表される空間を複数の領域に分割する方法を示す分割情報と、分割された各領域内の混入信号に対応するゲインとを含み、
前記信号分離手段は、
前記復号化により得られた前記混入信号を前記分割情報に従って複数の領域に分割する領域分割部と、
分割された前記各領域内の混入信号に、対応する前記ゲインを乗算して、聴覚的に近似する前記オーディオ信号を生成する近似信号生成部とを備え、
前記信号分離手段は、前記近似信号生成部による処理を繰り返し、混入される前の数に相当するオーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項３】
前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、時間周波数空間の前記分割情報と、前記各領域内のゲインの分布を示す時間周波数マトリクスを含み、
前記領域分割部は、前記ＱＭＦフィルタ処理により時間周波数空間上のサブバンド信号で表されている混入信号に対し、前記分割情報に従って前記時間周波数空間を複数の領域に分割し、
前記近似信号生成部は、分割された領域ごとに、前記サブバンド信号で表された混入信号に対応するゲインを乗算する
請求項２記載のオーディオ信号復号化装置。
【請求項４】
前記補助情報は、離散コサイン変換が施された周波数軸上のスペクトル信号に対して、周波数領域の前記分割情報と、前記各領域内のゲインの分布を示す周波数マトリクスを含み、
前記領域分割部は、前記離散コサイン変換により周波数軸上のスペクトル信号で表されている混入信号に対し、前記分割情報に従って前記周波数領域を複数の領域に分割し、
前記近似信号生成部は、分割された領域ごとに、前記スペクトル信号で表された混入信号に対応するゲインを乗算する
請求項２記載のオーディオ信号復号化装置。
【請求項５】
前記補助情報は、混入される前の複数のオーディオ信号のそれぞれにつき、その中の１つを基準信号とした場合の位相差を示す位相情報を含み、
前記信号分離手段は、
混入される前の複数の前記オーディオ信号を、前記補助情報内の前記位相情報を用いて前記基準信号で表し、前記混入信号から演算により求められる前記基準信号から、前記各オーディオ信号を算出するオーディオ信号算出部を備え、
前記信号分離手段は、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
請求項１記載のオーディオ信号復号化装置。
【請求項６】
前記補助情報は、ＱＭＦフィルタ処理が施された時間周波数空間上のサブバンド信号に対して、混入される前の複数のオーディオ信号の各サブバンド信号を単位として前記位相差を示す位相情報を含み、
前記オーディオ信号算出部は、混入される前の複数の前記ＱＭＦフィルタ処理が施された前記オーディオ信号を、サブバンド信号ごとに、前記補助情報内の前記位相情報を用いて前記基準信号のサブバンド信号で表す
請求項５記載のオーディオ信号復号化装置。
【請求項７】
混入される前の複数のオーディオ信号を構成するサブバンド信号で、前記補助情報に前記位相情報が含まれないサブバンド信号は、前記基準信号に対して相関の低い信号であるか、ノイズ性の信号であるか又は聴覚的に位相差が感知されにくい高域の信号である
請求項６記載のオーディオ信号復号化装置。
【請求項８】
前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が高いことを示している場合、前記オーディオ信号算出部により算出された前記各オーディオ信号を、混入される前の前記オーディオ信号として生成する
請求項５記載のオーディオ信号復号化装置。
【請求項９】
前記補助情報は、混入される前の１以上のオーディオ信号を前記混入信号の関数として表すための線形予測係数を含み、
前記信号分離手段は、
前記補助情報内の前記線形予測係数を用いて、前記混入信号の関数として表される無相関信号を算出する無相関信号算出部を備え、
前記信号分離手段は、算出された前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項１０】
前記補助情報は、混入される前の複数のオーディオ信号同士の相関の度合いを示すフラグを含み、
前記信号分離手段は、前記補助情報に含まれるフラグが前記オーディオ信号同士の相関が低いことを示している場合、前記無相関信号を、前記混入信号から除去することによって、混入される前の前記オーディオ信号を生成する
請求項９記載のオーディオ信号復号化装置。
【請求項１１】
前記線形予測係数は、混入信号を入力信号とする線形予測フィルタを、関数を用いて定義し、前記線形予測フィルタの出力が、前記混入信号に混入される前の少なくとも何れかの前記オーディオ信号を表すように導出された係数である
請求項９記載のオーディオ信号復号化装置。
【請求項１２】
混入される前の複数の前記オーディオ信号は、マルチチャネル信号を構成する各チャネルのオーディオ信号であり、前記混入信号は前記マルチチャネル信号をダウンミクスして得られるダウンミックス信号であって、
前記復号化手段は、前記混入信号を表す前記符号列を復号化してダウンミックス信号を生成し、
前記信号分離手段は、抽出された前記補助情報に基づいて、ダウンミクスされる前のマルチチャネル信号と聴覚的に近似する複数のオーディオ信号を生成する
請求項１記載のオーディオ信号復号化装置。
【請求項１３】
複数のオーディオ信号が混入された混入信号を符号化する符号化装置であって、
入力される複数のオーディオ信号を混入して、元のオーディオ信号よりも少数のオーディオ信号を表す混入信号を生成する混入信号生成手段と、
前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成する補助情報生成手段と、
前記混入信号を符号化する符号化手段と、
符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する符号列生成手段と
を備えるオーディオ信号符号化装置。
【請求項１４】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化方法であって、
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出し、
前記混入信号を表す前記符号列を復号化し、
抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成し、
復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する
ステップを含むオーディオ信号復号化方法。
【請求項１５】
複数のオーディオ信号が混入された混入信号を符号化する符号化方法であって、
入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成し、
前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成し、
前記混入信号を符号化し、
符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成する
ステップを含むオーディオ信号符号化方法。
【請求項１６】
符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置のためのプログラムであって、コンピュータに
複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるプログラム。
【請求項１７】
複数のオーディオ信号が混入された混入信号を符号化する符号化装置のためのプログラムであって、コンピュータに
入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップを実行させるプログラム。
【請求項１８】
コンピュータに、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出するステップと、前記混入信号を表す前記符号列を復号化するステップと、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成するステップと、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
コンピュータに、入力される複数のオーディオ信号を混入して、混入される前の前記オーディオ信号よりも少数のオーディオ信号を表す混入信号を生成するステップと、前記混入信号から、混入される前の前記オーディオ信号と聴覚上同等のオーディオ信号を分離するための補助情報を生成するステップと、前記混入信号を符号化するステップと、符号化された前記混入信号と生成された前記補助情報とを含む符号列を生成するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号を符号化する符号化装置、及び符号化されたオーディオ信号を復号化する復号化装置に関するものである。
【背景技術】
【０００２】
従来のオーディオ信号復号化方法、および、符号化方法としては、公知なものとしてＩＳＯ／ＩＥＣの国際標準方式、通称ＭＰＥＧ方式などが挙げられる。現在、幅広い応用を持ち、低ビットレート時でも高音質な符号化方式として、ＩＳＯ／ＩＥＣ  １３８１８−７、通称ＭＰＥＧ２  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などがあげられる。本方式の拡張規格も複数規格化が現在なされている（非特許文献１参照。）。
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−７（ＭＰＥＧ２  ＡＡＣ）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のオーディオ信号符号化方法、および、復号化方法では、例えば背景技術に記載のＡＡＣなどでは、マルチチャネルの信号を符号化する際に、チャネル間の相関を十分に生かしきれていないため、低ビットレート化することが困難であった。図１は、マルチチャネルの信号を符号化したものを復号化する際の従来の方法を示す図である。図１に示すように、例えば、従来のマルチチャネルＡＡＣ符号化装置６００では、５．１チャネルのオーディオ信号を符号化し、多重化して、放送などにより従来のプレーヤ６１０に送信している。このような符号化データを受信する従来のプレーヤ６１０では、出力が２チャネルのスピーカやヘッドホンの場合、マルチチャネルＡＡＣ復号化部６１１及びダウンミックス部６１２を備え、受信した符号化信号から生成したダウンミクス信号を２チャネルのスピーカ又はヘッドホン６１３に出力している。
【０００４】
しかしながら、従来のプレーヤ６１０では、原音のマルチチャネル信号を符号化したものを復号化する際に、２つのスピーカやヘッドホンなどだけで再生する場合、一度、すべてのチャネルを復号化する。その後、ダウンミクス部６１２が、復号化されたすべてのチャネルから前記２つのスピーカやヘッドホンで再生すべきダウンミクス信号（右）ＤＲ、（左）ＤＬを、ダウンミクスなどの方法を用いて生成する。例えば、５．１チャネルのマルチチャネル信号は、聴視者の前方正面Center、前方右FR、前方左FL、後方右BR、及び後方左BLに配置される音源からの５チャネルのオーディオ信号と、オーディオ信号の超低域を表す０．１チャネルの信号LFEとから構成される。ダウンミクス部６１２は、復号化されたそれぞれのチャネルの信号を、複数チャネル信号を重み付け加算し、ダウンミクス信号ＤＲ、ＤＬを生成している。このことは２つのスピーカやヘッドホンで再生する場合であっても、多くの計算量や計算用のバッファを要し、ひいては、それを実装するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などの計算手段の消費電力やコストを高める原因となっている。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明のオーディオ信号復号化装置は、符号列を復号化してオーディオ信号を出力するオーディオ信号復号化装置であって、複数のオーディオ信号が混入されたより少数の混入信号を表す符号列と、前記混入信号を混入される前のオーディオ信号に戻すための補助情報とを、入力された符号列から抽出する抽出手段と、前記混入信号を表す前記符号列を復号化する復号化手段と、抽出された前記補助情報に基づいて、前記復号化により得られた前記混入信号を分離して、混入される前の前記オーディオ信号と聴覚的に近似する複数のオーディオ信号を生成する信号分離手段と、復号化された前記混入信号を再生するか又は前記混入信号から分離された複数のオーディオ信号を再生する再生手段とを備える。
【０００６】
なお、本発明は、このようなオーディオ信号符号化装置及びオーディオ信号復号化装置として実現することができるだけでなく、オーディオ信号符号化方法及びオーディオ信号復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。さらに、これらのステップを集積回路などに組み込んだオーディオ信号符号化装置およびオーディオ信号復号化装置として実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【０００７】
以上説明したように、本発明のオーディオ信号符号化装置では、混入された複数の信号列から符号列を生成し、生成された符号列から複数の信号列に分離するにおいて、信号間の類似性に着目し、非常に小さな補助情報を符号列中に含ませることで、聴感上、違和感がない程度に信号の分離を達成することが可能となる。また、あらかじめ混入された信号が、マルチチャンネル信号のダウンミクス信号であるように構成しておけば、復号時においては、補助情報を読み取って信号処理することなく、ダウンミクス信号部だけを復号すれば、２チャンネル信号の再生系を有するスピーカやヘッドホンにおいても、低演算量で高音質な再生が可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【０００９】
（実施の形態１）
図２は、本発明のオーディオ信号復号装置で復号可能な符号列を生成するオーディオ信号符号化装置２００の構成を示すブロック図である。このオーディオ信号符号化装置２００は、少なくとも２つの信号を入力し、入力された信号から、より少数の混入信号を生成して、混入信号を表す１つの符号化データとその符号化データよりも少ないビット数で表される補助情報とを含む符号列を生成するオーディオ信号符号化装置であって、混入信号符号化部２０３および補助情報生成部２０４を備える。補助情報生成部２０４は、内部に、ゲイン算出部２１１、位相算出部２１２及び係数算出部２１３を備える。以下では、説明を簡単にするために入力信号が２つの場合について説明する。混入信号符号化部２０３及び補助情報生成部２０４は、いずれも入力信号（１）２０１と、入力信号（２）２０２とを入力とし、混入信号符号化部２０３は混入信号及び混入信号情報２０６を生成する。ここで、混入信号は、入力信号（１）２０１及び入力信号（２）２０２を、所定の方法で重畳して得られる信号である。補助情報生成部２０４は、入力された入力信号（１）２０１、入力信号（２）２０２および混入信号符号化部２０３の出力である混入信号から、補助情報２０５を生成する。
【００１０】
より具体的には、混入信号符号化部２０３では、入力信号（１）２０１及び入力信号（２）２０２を、ある一定の予め定められた方法によって加算して混入信号を生成し、その混入信号を符号化し、混入信号情報２０６を出力する。ここで、混入信号符号化部２０３の符号化方法としては、ＡＡＣなどの方法を用いてもよいが、特に問わない。
【００１１】
補助情報生成部２０４では、入力信号（１）２０１、入力信号（２）２０２及び混入信号符号化部２０３で作られた混入信号と混入信号情報２０６を用いて補助情報２０５を生成する。ここで補助情報２０５は、混入信号から、混入前の信号である入力信号（１）２０１と、入力信号（２）２０２とに、聴感上できるだけ同じように聞こえる信号を分離するための情報となるようにする。よって、混入信号から混入前の入力信号（１）２０１と、入力信号（２）２０２とが完全に同じように分離できてもいいし、聞いたところ差がないような程度に分離できるのでもよい。聞いて差があったとしても、その補助情報は本発明の範疇であり、このように分離するための情報が含まれていることが重要である。補助情報生成部においては、入力される信号に対して、例えば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）フィルタバンクを用いる符号化方法で符号化してもよいし、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）などを用いる符号化方法で符号化してもよい。
【００１２】
ゲイン算出部２１１は、入力信号（１）２０１及び入力信号（２）２０２と混入信号とを比較して、混入信号から入力信号（１）２０１及び入力信号（２）２０２とよく似た信号を生成するためのゲインを算出する。より具体的には、ゲイン算出部２１１は、まず、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施すことによって、入力信号（１）２０１、入力信号（２）２０２及び混入信号を時間周波数空間上のサブバンド信号に変換する。次いで、時間周波数空間を時間方向及び周波数方向に分割した上、分割された各領域内で、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号と、混入信号から変換されたサブバンド信号とを比較する。そして、分割された領域ごとに、混入信号から変換されたサブバンド信号を用いて、入力信号（１）２０１及び入力信号（２）２０２から変換されたそれぞれのサブバンド信号を表すためのゲインを算出する。さらに、分割された各領域に対して算出されたゲインの分布を示す時間周波数マトリクスを生成し、時間周波数空間の分割方法を示した情報とともに補助情報２０５として出力する。なお、ここで求めるゲインの分布は、入力信号（１）２０１及び入力信号（２）２０２から変換されたサブバンド信号の一方に対してだけ算出されるとしても良い。混入信号から入力信号（１）２０１及び入力信号（２）２０２の一方が生成されると、生成された入力信号（１）２０１又は入力信号（２）２０２を混入信号から減算することによって他方の入力信号（１）２０１又は入力信号（２）２０２が得られるからである。
【００１３】
また、例えば、近接するマイクロホンなどで集音される音声等は、スペクトルにおいても互いに相関性が高いと予想される。このような場合、位相算出部２１２は、ゲイン算出部２１１と同様、入力信号（１）２０１及び入力信号（２）２０２と混入信号とに対して、フレームごとにそれぞれＱＭＦフィルタ処理を施す。さらに位相算出部２１２は、サブバンドごとに、入力信号（１）２０１から得られたサブバンド信号と、入力信号（２）２０２から得られたサブバンド信号との位相差（遅延量）を算出し、算出された位相差と、この場合のゲインとを補助情報として出力する。なお、入力信号（１）２０１と入力信号（２）２０２との位相差は、低周波では聴覚的に感知されやすいが、高周波では感知されにくいという性質がある。このため、サブバンド信号が高周波である場合には、この位相差の算出を省略するとしても良い。また、位相算出部２１２は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合には、位相差を算出しても、その算出値を補助情報に含めない。
【００１４】
さらに、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、入力信号（１）２０１と入力信号（２）２０２との一方の信号は、他方の信号に無相関な信号（ノイズ信号）とみなすことができる。従って、係数算出部２１３は、入力信号（１）２０１と入力信号（２）２０２との相関性が低い場合、まず、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグを生成する。混入信号を入力信号とする線形予測フィルタ（関数）を定義して、そのフィルタによる出力が混入前の一方の信号にできるだけなるように線形予測係数を導出する。混入信号が２つの信号からなるのであれば、２組の線形予測係数列を導出して、その両者を補助情報に出力してもよいし、一方だけ出力してもよい。混入信号が複数の入力信号からなる場合においても、少なくとも何れかの入力信号にできるだけなるような線形予測係数を導出する。このような構成で、係数算出部２１３は、この関数の線形予測係数を算出した上、算出された線形予測係数と、入力信号（１）２０１と入力信号（２）２０２との相関性が低いことを示すフラグとを補助情報として出力する。なお、ここでは入力信号（１）２０１と入力信号（２）２０２との相関性が低いことをフラグで示すとしているが、信号全体で比較する場合に限らず、ＱＭＦフィルタ処理などを用いて得られたサブバンド信号ごとにこのフラグを生成しても良い。
【００１５】
次に図３を用いて復号化方法を説明する。図３は、本発明のオーディオ信号復号化装置１００の主要部の構成を模式的に示した図である。オーディオ信号復号化装置１００は、入力される符号列から、あらかじめ混入信号情報と補助情報とを抽出し、復号化された混入信号情報から出力信号（１）１０５と、出力信号（２）１０６とを分離する復号化装置であって、混入信号復号化部１０２及び信号分離処理部１０３を備える。
【００１６】
オーディオ信号復号化装置１００の前段で、符号列から抽出された混入信号情報１０１は、混入信号復号化部１０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定されず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。混入信号復号化部１０２からの出力信号、および、補助情報１０４は、信号分離処理部１０３へと入力され、信号の分離合成がなされ、出力信号（１）１０５と、出力信号（２）１０６とが出力される。図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する２つの信号X1と信号X2とが分離される様子を示す図である。本発明のオーディオ信号復号化装置１００では、符号列から抽出された補助情報に基づいて、混入信号mXから、原信号である信号x1と信号x2とに聴覚上近似する信号X1と信号X2とが分離される。
【００１７】
以下、本発明の具体的な復号化方法について図５を用いて説明する。図５は、本実施の形態のオーディオ信号復号化装置１００においてゲイン制御を行なう場合の構成の一例を示す図である。本実施の形態のオーディオ信号復号化装置１００は、混入信号復号化部３０２、信号分離部３０３、ゲイン制御部３０４及び時間周波数マトリクス生成部３０８を備える。
【００１８】
図５に示すオーディオ信号復号化装置１００の前段で、あらかじめ符号列から抽出された混入信号情報３０１は、混入信号復号化部３０２へと入力される。混入信号情報３０１は、混入信号復号化部３０２で符号化データの形式からオーディオ信号の形式へと復号化される。前記のオーディオ信号の形式としては、時間軸上の信号形式に限定せず、周波数軸上の信号形式でもよいし、時間と周波数の両軸で表現される形式などでもよい。前記の混入信号復号化部３０２の出力信号、および、補助情報３０７は、信号分離部３０３へと入力される。信号分離部３０３では、補助情報３０７をもとに、復号化された混入オーディオ信号を、複数の信号に分離する。具体的には、補助情報３０７に含まれている時間周波数空間（または周波数空間）の分割方法を示した情報に従って、混入オーディオ信号の属する空間を分割する。ここでは簡単のために２つに分離する場合について記載するが、必ずしも２つに限定しない。一方、補助情報３０７に基づいて、時間周波数マトリクス生成部３０８では、混入信号復号化部３０２からの出力、または、信号分離部３０３からの複数の出力信号と同様のオーディオ信号の形式に対するゲインを生成する。例えば、オーディオ形式が単純に時間領域の信号である場合は、時間領域の１つ以上の時間に関するゲイン情報を時間周波数マトリクス生成部３０８の出力とするし、オーディオ形式がＱＭＦフィルタのような複数サブバンドからなる時間軸と周波数軸で表現されるような形式である場合は、時間と周波数の２次元のゲイン情報を時間周波数マトリクス生成部３０８の出力とする。そのようなゲイン情報と、信号分離部３０３からの複数のオーディオ信号に対して、ゲイン制御部３０４では、データ形式にあわせたゲイン制御を適用し、出力信号（１）３０５、および、出力信号（２）３０６を出力する。
【００１９】
このように構成されたオーディオ信号復号化装置では、混入されたオーディオ信号から、適切にゲインコントロールされた複数のオーディオ信号を得ることが可能である。
【００２０】
このゲインコントロールについては、以下の図６および図７を用いて詳細に説明する。図６（ａ）及び（ｂ）は、図５に示した混入信号復号化部３０２からの出力がＱＭＦフィルタである場合の各サブバンド信号に対するゲイン制御の一例を示す図である。図７は、混入信号復号化部３０２からの出力信号が表される空間の分割方法の一例を示す図である。図６（ａ）は、図５に示した混入信号復号化部３０２からの出力であるサブバンド信号を示す図である。このように、ＱＭＦフィルタから出力されるサブバンド信号は、時間軸と周波数軸とからなる二次元空間上の信号として表される。
【００２１】
従って、オーディオ形式がＱＭＦフィルタで構成される場合は、フレーム単位でオーディオ信号を扱う場合において、時間周波数マトリクスを用いたゲイン制御が容易である。
【００２２】
例えば、３２サブバンドからなるＱＭＦフィルタで構成するとして、１フレーム１０２４サンプルのオーディオ信号を扱えば、結果的に時間方向に３２サンプル、周波数方向（サブバンド）に３２バンドの時間周波数マトリクスをオーディオ形式として得ることができる。それら１０２４サンプルの信号にゲイン制御をおこなう場合、図７のように、周波数方向と時間方向とに領域を分割し、分割されたそれぞれの領域についてゲイン制御の係数（Ｒ１１、Ｒ１２、Ｒ２１、Ｒ２２）を定義すれば、ゲイン制御が容易である。ここではＲ１１からＲ２２まで４つの要素からなるマトリクスを便宜上用いるが、時間方向、周波数方向の係数の個数はこれらに限定されない。図６にゲイン制御の適用例を示した。すなわち、図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。図６（ｂ）に示すように、ＱＭＦフィルタが６サブバンドである場合に、低域から４バンドと高域から２バンドの２つに分け、時間方向には均一に２つに分けた場合、それら４領域に存在するＱＭＦフィルタから得られる信号列に、ゲインＲ１１、Ｒ１２、Ｒ２１、Ｒ２２を乗じた信号を出力するなどである。
【００２３】
混入される信号列について特に制限はないが、マルチチャネルのオーディオ信号列を扱う場合において、フロントチャネル信号に対して、バックチャネル信号が混入される場合や、さらにセンターチャネルが混入される場合などが考えられる。よって、混入後の信号は一般的にダウンミクス信号などと呼ばれる場合についても有効である。
【００２４】
図８は、符号化装置７００からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、ポータブルプレーヤ７１０及びヘッドホン又はスピーカ７２０を備える。符号化装置７００は、例えば、５．１チャネルのマルチチャネルオーディオ信号列を入力とし、５．１チャネルからダウンミクスされた２チャネルのオーディオ符号列と補助信号とを出力する符号化装置であって、ダウンミックス部７０１、補助情報生成部７０２及び符号化部７０３を備える。ダウンミックス部７０１は、５．１チャネルのマルチチャネルオーディオ信号列から２チャネルのダウンミクス信号を生成し、生成したダウンミクス信号DL及びDRを符号化部７０３に出力する。補助情報生成部７０２は、生成されたダウンミクス信号DL及びDRから５．１チャネルのマルチチャネル信号を復元するための情報を生成し、補助情報として符号化部７０３に出力する。符号化部７０３は、生成されたダウンミクス信号DL及びDRと、補助情報とを符号化及び多重化して、符号列として出力する。このオーディオ信号システムにおけるポータブルプレーヤ７１０は、２チャネルのヘッドホン又はスピーカ７２０に接続されており、２チャネルのステレオ再生のみが再生可能である。ポータブルプレーヤ７１０は混入信号復号化部７１１を備え、符号化装置７００から取得した符号列を混入信号復号化部７１１で復号化するだけで、２チャネルのヘッドホン又はスピーカ７２０で再生することができる。
【００２５】
図９は、符号化装置７００からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。同図に示すように、このオーディオ信号システムは、符号化装置７００、マルチチャネルホームプレーヤ７３０及びスピーカ７４０を備える。符号化装置７００の内部構成は、図８に示した符号化装置７００と同じであるので、説明を省略する。マルチチャネルホームプレーヤ７３０は、混入信号復号化部７１１及び信号分離処理部７３１を備え、５．１チャネルのマルチチャネル信号を再生可能なスピーカ７４０に接続されている。このマルチチャネルホームプレーヤ７３０において、混入信号復号化部７１１は、符号化装置７００から取得した符号列を復号化し、補助情報とダウンミクス信号DL及びDRとを抽出する。信号分離処理部７３１では、抽出されたダウンミクス信号DLとDRとから、抽出された補助情報に基づいて、５．１チャネルのマルチチャネル信号を生成する。
【００２６】
図８及び図９に示した例のように、同じ符号列を入力しても、２チャネルの信号しか再生しないポータブルプレーヤなどでは、単に符号列中の混入信号を復号化するだけで所望のダウンミクスオーディオ信号を再生することができ、電力の消費を抑えてバッテリーを長持ちさせることができるという効果がある。また、家庭に備え付けられるマルチチャネルのオーディオ信号を再生可能なホームプレーヤなどでは、バッテリー駆動ではないので、消費電力を気にせず、より高音質なオーディオ信号の再生を追求することができるという効果がある。
【００２７】
（実施の形態２）
以下では、本実施の形態の具体的な復号化装置について図１０を用いて説明する。
【００２８】
図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。実施の形態２のオーディオ信号復号化装置は、符号列である混入信号情報４０１及び補助情報４０７を入力し、入力された混入信号情報４０１及び補助情報４０７に基づいて、出力信号（１）４０５及び出力信号（２）４０６を出力するオーディオ信号復号化装置であって、混入信号復号化部４０２、信号分離部４０３、ゲイン制御部４０４、時間周波数マトリクス生成部４０８及び位相制御部４０９を備える。
【００２９】
実施の形態２の構成と前述の実施の形態１との構成上の違いは、位相制御部４０９が加わった点のみで、その他の構成は実施の形態１と同様である。よって本実施の形態２では、位相制御部４０９の構成のみ詳細に説明する。
【００３０】
符号化時に混入された信号が、相互に関連性がある場合、特に、ある一方の信号に対して、もう一方の信号が、遅延があり、ゲインが異なるものとして取り扱う場合、混入信号は、（数１）のように表記される。
【００３１】
【数１】
2005112002.tif 000016
【００３２】
ここでは、ｍｘは混入された後の信号、ｘ１、ｘ２が入力信号（混入前の信号）、Ａはゲイン補正、ｐｈａｓｅＦａｃｔｏｒは位相差に応じて乗じる係数とする。従って、混入信号ｍｘは信号ｘ１の関数として表されるため、位相制御部４０９では、混入信号ｍｘから信号ｘ１を容易に算出して分離することができる。信号ｘ２は、混入信号ｍxから信号ｘ１を分離することによって得られる。さらに、このように分離された信号ｘ１及びｘ２に対して、ゲイン制御部４０４が補助情報４０７から得られる時間周波数マトリクスに従ってゲイン制御を行なうので、より原音に近い出力信号（１）４０５及び出力信号（２）４０６を出力することができる。
【００３３】
ＡおよびｐｈａｓｅＦａｃｔｏｒは、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）から導出できるので、これらを予め符号化装置で補助情報４０７に符号化しておけば、位相制御部４０９では、分離した各々の信号の位相を制御可能である。
【００３４】
位相差は、整数に限定されないサンプル数として符号化されてもよいし、共分散行列で与えられてもよい。共分散行列は当該事業者には公知な技術であるので、説明を省略する。
【００３５】
位相情報が、聴感上、重要な周波数帯域もあれば、位相情報が音質に大きな影響を与えない信号や周波数帯域があるので、位相情報はすべての周波数帯域、および、すべての時間に送る必要はない。すなわち、位相情報が聴感上、重要でない周波数帯域や、音質に大きな影響を与えない信号や周波数帯域では、サブバンド信号の位相制御を省略することができる。従って、位相情報は、サブバンド信号ごとに生成しておけば、余計な情報を送らずに済み、補助情報のデータ量を削減することができる。
【００３６】
（実施の形態３）
本発明の具体的な復号化装置について図１１を用いて説明する。図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
【００３７】
実施の形態３のオーディオ信号復号化装置は、混入信号情報５０１と、補助情報５０７とを入力とし、元の入力信号同士に大きな相関がない場合、一方の信号を混入信号の関数で表される無相関信号（ノイズ信号）とみなして生成し出力信号（１）５０５と出力信号（２）５０６とを出力するオーディオ信号復号化装置であって、混入信号復号化部５０２、信号分離部５０３、ゲイン制御部５０４、時間周波数マトリクス生成部５０８、位相制御部５０９及び線形予測フィルタ適応部５１０を備える。
【００３８】
まず、この実施の形態３の復号化装置は、実施の形態１における復号化装置を詳細に説明するものである。
【００３９】
実施の形態３の構成と前述の実施の形態２との構成上の違いは、線形予測フィルタ適応部５１０が加わった点のみで、その他の構成は実施の形態２と同様である。よって本実施の形態３では、線形予測フィルタ適応部５１０の構成のみ詳細に説明する。
【００４０】
符号化時に混入された信号が、相互に相関が小さい場合、ある一方の信号に対して、もう一方の信号を、遅延などを用いて単純に表現できない。線形予測フィルタ適応部５１０は、この場合は、一方の信号に対して、もう一方の信号を無相関信号（ノイズ信号）と見なして、符号化することが考えられる。このような場合は、相関が小さいことを示すフラグなどを予め符号化列中に符号化しておけば、復号化時に相関の小さい場合の分離処理を実行することができる。この情報は周波数帯域ごとや時間間隔ごとに符号化してもよい。また、このフラグは、サブバンド信号ごとに符号列中に符号化しておいてもよい。
【００４１】
【数２】
2005112002.tif 000017
【００４２】
ここでは、ｍｘは混入された後の信号、ｘ１ｍ、ｘ２が入力信号（混入前の信号）、Ｆｕｎｃ（）は線形予測係数などからなる多項式である。
【００４３】
信号ｍｘ、ｘ１、ｘ２は、混入された後の信号から導出するのではなく、符号化時（つまり混入する前の複数の信号）に利用できるので、信号ｍｘ、ｘ１、ｘ２からＦｕｎｃ（）なる多項式の係数を導出し、これら係数を予め補助情報５０７に符号化しておけば、線形予測フィルタ適応部５１０では、ｘ１、ｘ２を導出可能である。
【００４４】
【数３】
2005112002.tif 000018
【００４５】
よって、（数３）とするようなＦｕｎｃ（）の係数を導出して符号化すればよい。
【００４６】
以上のように、入力信号同士の相関の有無を符号列中にフラグとして含めておくことにより、入力信号同士にあまり相関がない場合や、入力信号が２以上ある場合でそのうちのいずれか１つを基準信号として他の入力信号が基準信号とあまり相関がない場合には、他方の信号を混入信号の関数で表される無相関信号（ノイズ信号）として表すことができる。また、入力信号同士の相関性が高い場合には、他の信号を基準となる信号の遅延信号として表すことができる。そして、このようにして混入信号から分離された各信号に、時間周波数マトリクスで示されるゲインを乗算することによって、入力された原音に、より忠実な出力信号を得ることができるという効果がある。
【産業上の利用可能性】
【００４７】
本発明のオーディオ信号復号化装置、および、符号化装置は、従来からオーディオ符号化および復号化方法が適用されていたあらゆるアプリケーションにおいて、適用可能である。
【００４８】
オーディオ符号化されたビットストリームなる符号化列は、現在、放送コンテンツの伝送、ＤＶＤやＳＤカードなどの蓄積媒体に記録され再生される応用、携帯電話に代表される通信機器にＡＶコンテンツを伝送する場合などに用いられている。また、インターネット上でやりとりされる電子データとして、オーディオ信号を伝送する場合においても有用である。
【００４９】
本発明のオーディオ信号復号化装置は、電池などにより駆動される携帯電話機などのポータブルタイプのオーディオ信号再生装置として有用である。また、本発明のオーディオ信号復号化装置は、マルチチャネル再生と２チャネル再生とを切り替えて再生可能なマルチチャネルホームプレーヤとして有用である。また、本発明のオーディオ信号符号化装置は、帯域の狭い伝送路を介して、携帯電話機などのポータブルタイプのオーディオ信号再生装置にオーディオコンテンツを配信する放送局やコンテンツ配信サーバに備えられるオーディオ信号符号化装置として有用である。
【図面の簡単な説明】
【００５０】
【図１】図１は、従来のマルチチャネル信号の符号化方法及び復号化方法の一例を示す図である。
【図２】図２は、本発明のオーディオ信号符号化装置の主要部を概略的に示す図である。
【図３】図３は、本発明のオーディオ信号復号化装置の主要部を概略的に示す図である。
【図４】図４は、本実施の形態のオーディオ信号復号化装置において、２つの信号が混入された混入信号mXから、原信号に聴覚上近似する信号X1と信号X2とが分離される様子を示す図である。
【図５】図５は、本実施の形態のオーディオ信号復号化装置のより具体的な構成の一例を示す図である。
【図６】図６（ａ）は、図５に示した混入信号復号化部からの出力であるサブバンド信号を示す図である。図６（ｂ）は、図７に示した時間周波数空間の分割方法を図６（ａ）に示したサブバンド信号に適用した例を示している。
【図７】図７は、混入信号復号化部からの出力信号が表される空間の分割方法の一例を示す図である。
【図８】図８は、符号化装置からの符号列を２チャネルのポータブルプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。
【図９】図９は、符号化装置からの符号列をマルチチャネルのオーディオ再生可能なホームプレーヤで再生する場合のオーディオ信号システムの構成例を示す図である。
【図１０】図１０は、本実施の形態のオーディオ信号復号化装置において、さらに位相制御を行なう場合の構成の一例を示す図である。
【図１１】図１１は、本実施の形態のオーディオ信号復号化装置において、入力信号同士の相関が小さい場合に、線形予測フィルタを用いる場合の構成の一例を示す図である。
【符号の説明】
【００５１】
１０１    混入信号情報
１０２    混入信号復号化部
１０３    信号分離処理部
１０４    補助情報
１０５    出力信号（１）
１０６    出力信号（２）
２０１    入力信号（１）
２０２    入力信号（２）
２０３    混入信号符号化部
２０４    補助情報生成部
２０５    補助情報
２０６    混入信号情報
２１１    ゲイン算出部
２１２    位相算出部
２１３    係数算出部
３０１    混入信号情報
３０２    混入信号復号化部
３０３    信号分離部
３０４    ゲイン制御部
３０５    出力信号（１）
３０６    出力信号（２）
３０７    補助情報
３０８    時間周波数マトリクス生成部
４０１    混入信号情報
４０２    混入信号復号化部
４０３    信号分離部
４０４    ゲイン制御部
４０５    出力信号（１）
４０６    出力信号（２）
４０７    補助情報
４０８    時間周波数マトリクス生成部
４０９    位相制御部
５０１    混入信号情報
５０２    混入信号復号化部
５０３    信号分離部
５０４    ゲイン制御部
５０５    出力信号（１）
５０６    出力信号（２）
５０７    補助情報
５０８    時間周波数マトリクス生成部
５０９    位相制御部
５１０    線形予測フィルタ適応部
６００    従来のマルチチャネルＡＡＣ符号化装置
６１０    従来のプレーヤ
６１１    マルチチャネルＡＡＣ復号化部
６１２    ダウンミクス部
６１３    スピーカ又はヘッドホン
７００    符号化装置
７０１    ダウンミックス部
７０２    補助情報生成部
７０３    符号化部
７１０    ポータブルプレーヤ
７１１    混入信号復号化部
７２０    ヘッドホンまたはスピーカ
７３０    マルチチャネルホームプレーヤ
７４０    スピーカ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005112002.tif 000019
【図２】
2005112002.tif 000020
【図３】
2005112002.tif 000021
【図４】
2005112002.tif 000022
【図５】
2005112002.tif 000023
【図６】
2005112002.tif 000024
【図７】
2005112002.tif 000025
【図８】
2005112002.tif 000026
【図９】
2005112002.tif 000027
【図１０】
2005112002.tif 000028
【図１１】
2005112002.tif 000029
【国際調査報告】
2005112002.tif 000030
2005112002.tif 000031
2005112002.tif 000032
2005112002.tif 000033