(57)【要約】  本発明は、オーディオ信号処理方法および装置に関するものであって、少なくとも２チャンネルのオーディオ信号を符号化する方法において、第１オーディオ信号および第２オーディオ信号を受信するステップと、前記第１オーディオ信号と前記第２オーディオ信号に対する相関度を求めるステップと、前記相関度が基準値以上であるか否かを判断するステップと、前記判断結果が真の場合、前記第１オーディオ信号と前記第２オーディオ信号を用いて第１ゲイン値と第２ゲイン値を算出するステップと、前記第１オーディオ信号、第２オーディオ信号、第１ゲイン値、第２ゲイブ値を用いて第１伝送オーディオ信号と第２伝送オーディオ信号を生成するステップとを含み、前記第１伝送オーディオ信号と前記第２伝送オーディオ信号は、知覚符号化手法によって符号化するオーディオ信号処理方法が提供できる。
2015528925.tif 000002
【特許請求の範囲】
【請求項１】
第１伝送オーディオ信号、第２伝送オーディオ信号、および拡張和差使用情報を含むビット列を受信するステップと、
前記第１伝送オーディオ信号および第２伝送オーディオ信号に対応するチャンネルレベル差係数を受信するステップと、
前記拡張和差使用情報に基づいて、前記第１伝送オーディオ信号および第２伝送オーディオ信号から第１出力オーディオ信号および第２出力オーディオ信号を生成するステップとを含むが、
前記拡張和差使用情報の値が１の場合、前記生成するステップは、
前記チャンネルレベル差係数を用いて第１ゲイン値および第２ゲイン値を算出し、
前記第１伝送オーディオ信号、第２伝送オーディオ信号、第１ゲイン値および第２ゲイン値を用いて前記第１出力オーディオ信号および第２出力オーディオ信号を生成することを特徴とする、オーディオ信号処理方法。
【請求項２】
前記受信するステップは、
前記拡張和差使用情報の値が１の場合、前記チャンネルレベル差係数を受信することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記第１出力オーディオ信号は、前記第１伝送オーディオ信号と第２伝送オーディオ信号との和に前記第１ゲイン値を乗じて得られ、前記第２出力オーディオ信号は、前記第１伝送オーディオ信号と第２伝送オーディオ信号との差に前記第２ゲイン値を乗じて得られることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記第１伝送オーディオ信号と第２伝送オーディオ信号は、知覚符号化された信号であることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記第１ゲイン値は、前記チャンネルレベル差係数の二乗に定数１を加えた値の平方根に比例し、前記第２ゲイン値は、前記チャンネルレベル差係数の二乗に定数１を加えた値の平方根を、前記チャンネルレベル差係数で除した値に比例することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項６】
前記第１出力オーディオ信号と前記第２出力オーディオ信号は、２つのスピーカにそれぞれ出力されるステレオオーディオ信号であることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理方法および装置に関するものであって、より具体的には、デジタル媒体または放送、通信信号を介して受信した２チャンネル以上のオーディオ信号に対して、拡張された形態の和および差信号を用いてオーディオ信号をデコーディングする方法および装置に関するものである。
【背景技術】
【０００２】
従来の高音質のオーディオ符号化方法は、心理音響モデルを用いて人間の聴覚的マスキングによって聞こえない信号帯域を見つけ、符号化過程で発生する量子化雑音をマスキング帯域に集中させることで、聴取時、原オーディオ信号と同一の音質が可能でありながらも、高圧縮を可能にする方法を使用する。このような高音質のオーディオ符号化方法を、知覚符号化（Ｐｅｒｃｅｐｔｕａｌ  Ｃｏｄｉｎｇ）ともいう。
【０００３】
ＭＰ３（ＭＰＥＧ−１／２Ｌａｙｅｒ−ＩＩＩ）、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などは代表的な知覚符号化方法で、ステレオオーディオ信号に対する効果的な圧縮のために、ジョイントステレオ符号化方法の一つである和差符号化（Ｍｉｄ−Ｓｉｄｅ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）を使用したりする。ジョイントステレオ符号化せず、独立して２チャンネルを別に符号化する場合を、デュアルモノ（Ｄｕａｌ  Ｍｏｎｏ）と呼ぶ。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のデュアルモノ符号化および和差符号化方法では、マスキング対象になる量子化雑音がオーディオ信号と空間的に完全に一致せず、マスキング現象を最大に利用することができない問題が発生する。すなわち、知覚符号化の圧縮効率が制限的な場合が発生する。したがって、マスキング現象を最大に利用するために、符号化の対象になるオーディオ信号を変形する過程が必要である。
【課題を解決するための手段】
【０００５】
本発明の一態様によれば、少なくとも２チャンネルのオーディオ信号を符号化する方法において、第１オーディオ信号および第２オーディオ信号を受信するステップと、前記第１オーディオ信号と前記第２オーディオ信号に対する相関度を求めるステップと、前記相関度が基準値以上であるか否かを判断するステップと、前記判断結果が真の場合、前記第１オーディオ信号と前記第２オーディオ信号を用いて第１ゲイン値と第２ゲイン値を算出するステップと、前記第１オーディオ信号、第２オーディオ信号、第１ゲイン値、第２ゲイン値を用いて第１伝送オーディオ信号と第２伝送オーディオ信号を生成するステップとを含み、前記第１伝送オーディオ信号と前記第２伝送オーディオ信号は、知覚符号化手法によって符号化するオーディオ信号処理方法が提供できる。
【０００６】
本発明の他の態様によれば、第１伝送オーディオ信号、第２伝送オーディオ信号、拡張和差行列使用情報を受信するステップと、前記拡張和差行列使用情報に応じてチャンネルゲイン情報を受信するか否かが決定され、前記チャンネルゲイン情報が受信された場合、前記チャンネルゲイン情報を用いて第１ゲイン値および第２ゲイン値を算出するステップと、前記第１伝送オーディオ信号、前記第２伝送オーディオ信号、前記第１ゲイン値、前記第２ゲイン値を用いて第１出力オーディオ信号および第２出力オーディオ信号を生成するステップとを含み、前記チャンネルゲイン情報が受信されない場合、前記第１出力オーディオ信号は、前記第１伝送オーディオ信号と同一であり、前記第２出力オーディオ信号は、前記第１伝送オーディオ信号と同一であるオーディオ信号処理方法が提供できる。
【発明の効果】
【０００７】
本発明によれば、音源の空間上の位置にかかわらず、心理音響モデルによるマスキングを最大限に利用することができて、高音質オーディオ符号化の音質向上を期待することができる。
【０００８】
本発明の効果が前記効果に制限されるわけではなく、言及されていない効果は、本明細書および添付した図面から本発明の属する技術分野における通常の知識を有する者に明確に理解できる。
【図面の簡単な説明】
【０００９】
【図１】従来のデュアルモノ符号化方法において、信号および量子化雑音の空間上の位置を示す図である。
【図２】従来の和差符号化方法において、信号および量子化雑音の空間上の位置を示す図である。
【図３】従来のデュアルモノ符号化方法において、左右チャンネルの信号レベルが異なる場合の信号および量子化雑音の空間上の位置を示す図である。
【図４】従来の和差符号化方法において、左右チャンネルの信号レベルが異なる場合の信号および量子化雑音の空間上の位置を示す図である。
【図５】本発明による拡張和差符号化方法が適用されたオーディオ符号化器の例示的な構成図である。
【図６】本発明の一実施例により、拡張和差行列処理部が、入力信号を用いて伝送オーディオ信号を生成する第１信号処理過程を示す図である。
【図７】本発明による拡張和差行列処理の効果により量子化雑音がマスキングされることを説明するための例示図である。
【図８】本発明の他の実施例により、拡張和差行列処理部が、入力信号を用いて伝送オーディオ信号を生成する第２信号処理過程を示す図である。
【図９】本発明の実施例による拡張和差符号化過程を示すフローチャートである。
【図１０】本発明による拡張和差復号化方法が適用されたオーディオ復号化器の例示的な構成図である。
【図１１】本発明による拡張和差逆行列処理過程の例示的な構成図である。
【図１２】本発明による拡張和差逆行列が用いられない場合の例示的な構成図である。
【図１３】本発明の実施例による拡張和差逆行列処理過程を示すフローチャートである。
【図１４】本発明の一実施例によるオーディオ信号処理装置が実現された製品の関係を示す図である。
【発明を実施するための形態】
【００１０】
本発明の一態様によれば、少なくとも２チャンネルのオーディオ信号を符号化する方法において、第１オーディオ信号および第２オーディオ信号を受信するステップと、前記第１オーディオ信号と前記第２オーディオ信号に対する相関度を求めるステップと、前記相関度が基準値以上であるか否かを判断するステップと、前記判断結果が真の場合、前記第１オーディオ信号と前記第２オーディオ信号を用いて第１ゲイン値と第２ゲイン値を算出するステップと、前記第１オーディオ信号、第２オーディオ信号、第１ゲイン値、第２ゲイブ値を用いて第１伝送オーディオ信号と第２伝送オーディオ信号を生成するステップとを含み、前記第１伝送オーディオ信号と前記第２伝送オーディオ信号は、知覚符号化手法によって符号化するオーディオ信号処理方法が提供できる。
【００１１】
本発明において、前記オーディオ信号処理方法において、前記知覚符号化手法は、前記第１伝送オーディオ信号に対する第１マスキング閾値を算出し、前記第２伝送オーディオ信号に対する第２マスキング閾値を算出するステップをさらに含むことができる。
【００１２】
本発明において、前記オーディオ信号処理方法は、前記第１マスキング閾値を用いて前記第１伝送オーディオ信号を知覚符号化するオーディオ信号処理方法がさらに提供できる。
【００１３】
本発明において、前記オーディオ信号処理方法は、前記相関度が前記基準値未満の場合、第１伝送オーディオ信号は、第１オーディオ信号と同一であり、第２伝送オーディオ信号は、第２オーディオ信号と同一であるように生成するステップをさらに含むことができる。
【００１４】
本発明において、前記オーディオ信号処理方法は、前記第１ゲイン値と前記第２ゲイン値は、チャンネルレベル差値を用いて算出される。
【００１５】
ここで、前記第１伝送オーディオ信号は、少なくとも前記第１オーディオ信号および前記第２オーディオ信号より主音源をより多く含む。
【００１６】
また、前記第２伝送オーディオ信号は、少なくとも前記第１オーディオ信号および前記第２オーディオ信号より主音源をより少なく含む。
【００１７】
本発明の他の態様によれば、第１伝送オーディオ信号、第２伝送オーディオ信号、拡張和差行列使用情報を受信するステップと、前記拡張和差行列使用情報に応じてチャンネルゲイン情報を受信するか否かが決定され、前記チャンネルゲイン情報が受信された場合、前記チャンネルゲイン情報を用いて第１ゲイン値および第２ゲイン値を算出するステップと、前記第１伝送オーディオ信号、前記第２伝送オーディオ信号、前記第１ゲイン値、前記第２ゲイン値を用いて第１出力オーディオ信号および第２出力オーディオ信号を生成するステップとを含み、前記チャンネルゲイン情報が受信されない場合、前記第１出力オーディオ信号は、前記第１伝送オーディオ信号と同一であり、前記第２出力オーディオ信号は、前記第１伝送オーディオ信号と同一であるオーディオ信号処理方法が提供できる。
【００１８】
ここで、前記オーディオ信号処理方法は、前記拡張和差行列使用情報が１の場合、チャンネルゲイン情報を受信する。
【００１９】
また、前記オーディオ信号処理方法は、前記チャンネルゲイン情報が受信された場合、第１出力オーディオ信号は、第１伝送オーディオ信号と第２伝送オーディオ信号との和に第１ゲイン値を乗じて得られ、第２出力オーディオ信号は、第１伝送オーディオ信号と第２伝送オーディオ信号との差に第２ゲイン値を乗じて得られる。
【００２０】
さらに、前記オーディオ信号処理方法において、前記第１伝送オーディオ信号と第２伝送オーディオ信号は、知覚符号化された信号である。
【００２１】
ここで、前記第１ゲイン値は、チャンネルゲイン情報の二乗に定数１を加えた値に平方根した値に比例し、前記第２ゲイン値は、チャンネルゲイン情報の二乗に定数１を加えた値に平方根した値を、チャンネルゲイン情報で除した値に比例する。
【００２２】
ここで、前記第１出力オーディオ信号と前記第２出力オーディオ信号は、対からなる２つのスピーカにそれぞれ出力されるオーディオ信号である。
【００２３】
以下、添付した図面を参照して、本発明の好ましい実施例を詳細に説明する。これに先立ち、本明細書および請求の範囲に使用された用語や単語は、通常または辞書的な意味に限定して解釈されてはならず、発明者は自らの発明を最も最善の方法で説明するために用語の概念を適切に定義することができるという原則に則って、本発明の技術的思想に符合する意味と概念で解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点において、これらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
【００２４】
本発明において、次の用語は次のような基準により解釈され得、記載されていない用語でも下記の趣旨によって解釈され得る。コーディングは、場合によって、エンコーディングまたはデコーディングと解釈され得、情報（ｉｎｆｏｒｍａｔｉｏｎ）は、値（ｖａｌｕｅｓ）、パラメータ（ｐａｒａｍｅｔｅｒ）、係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）、成分（ｅｌｅｍｅｎｔｓ）などをすべて網羅する用語であって、場合によって、意味は異なって解釈できるが、本発明はこれに限定されない。
【００２５】
左右２つのスピーカを用いたオーディオ再生方法であるステレオオーディオを符号化するための方法のうち、和差符号化（Ｍｉｄ−Ｓｉｄｅ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）方法があるが、これは、特に心理音響実験に基づいて知られているＢＭＬＤ（Ｂｉｎａｕｒａｌ  Ｍａｓｋｉｎｇ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）現象を克服するために工夫された。すなわち、心理音響におけるマスキング現象は、マスキングを発生させるマスカー（Ｍａｓｋｅｒ）と、マスキングになるマスキー（Ｍａｓｋｅｅ）とが空間的に同一方向にある時に可能であるのがＢＭＬＤである。
【００２６】
図１は、従来のデュアルモノ符号化方法において、信号Ｓおよび量子化雑音Ｎ１、Ｎ２の空間上の位置を示しており、図２は、和差符号化方法において、信号Ｓおよび量子化雑音Ｎ１、Ｎ２の空間上の位置を示している。
【００２７】
ステレオオーディオ信号の２チャンネルのオーディオ信号の間の相関性が非常に高く、その大きさが等しい場合、その音に対する像（音像）が両スピーカの間の中央に結ばれ、相関性がない場合、各スピーカから独立した音が出て、その像がそれぞれスピーカに結ばれる。図１に示された例のように、相関性が最大である入力信号に対して各チャンネルを独立して符号化（ｄｕａｌ  ｍｏｎｏ）する場合、オーディオ信号Ｓの音像は中央に、量子化雑音Ｎ１、Ｎ２の音像は各スピーカに別に結ばれることとなる。すなわち、各チャンネルにおける量子化雑音Ｎ１、Ｎ２は互いに相関性がないため、その像が各スピーカに別に結ばれるのである。したがって、マスキーになるべき量子化雑音Ｎ１、Ｎ２が空間的不一致によってマスキングされず、結局、人に歪みとして聞こえる問題が発生する。図２に示された和差符号化は、このような問題を解決すべく、２つのチャンネル信号を加えた信号（Ｍｉｄ信号）と引いた信号（Ｄｉｆｆｅｒｅｎｃｅ）を生成した後、これを用いて心理音響モデルを行い、これを用いて量子化する。このような方法によれば、図２の例で発生した量子化雑音Ｎ１、Ｎ２がオーディオ信号Ｓと同じ位置に結ばれる。一方、２チャンネルのオーディオ信号の間の相関性がない独立した信号の場合は、従来通りデュアルモノで符号化することが好ましいので、このようなＭＳ符号化方法は、入力された信号の特性に応じて可変的に適用可能である。
【００２８】
図３および図４は、左（Ｌ）、右（Ｒ）チャンネルの信号レベルが異なる場合の信号Ｓおよび量子化雑音Ｎ１、Ｎ２の空間上の位置を示している。図３は従来のデュアルモノ符号化方式を、図４は従来の和差符号化方式を示す。
【００２９】
図３および図４は、左右チャンネルのレベル差が１０ｄＢ（左が１０ｄＢ大きい）の場合を例示している。図３および図４に例示したように、入力ステレオオーディオ信号の相関度は高いが、左右チャンネルの信号レベルが異なる場合、サウンド空間上に音源Ｓ（１１０）の位置が中央や左右側面のスピーカでない任意の位置に存在することとなる。この場合、図３に示された従来のデュアルモノ方法だけでなく、図４に示された和差符号化方法を利用しても、マスカーになるソース（Ｓ）１１０の位置と、マスキーである量子化雑音Ｎ１（１２０ａ、１３０ａ）、Ｎ２（１２０ｂ、１３０ｂ）の位置が一致しにくい問題が発生する。本発明は、このような問題を解決するために、拡張された形態の和差符号化方法を提示する。
【００３０】
図５は、本発明による拡張和差符号化方法が適用されたオーディオ符号化器５００の一実施例を示す。図５を参照すれば、２チャンネルのオーディオ信号ＣＨ１、ＣＨ２は、相関度算出部５１０、ゲイン情報算出部５２０、拡張和差行列処理部５３０にそれぞれ入力される。この時、ＣＨ１、ＣＨ２は、ステレオオーディオ信号の一定時間区間に相当するオーディオブロックデータであってよいし、あるいは、オーディオブロックに対してフィルタバンク変換された周波数領域の一部あるいは全部の信号であってよい。一方、本発明では、独立した１つのオーディオ信号をチャンネル（例えば、ＣＨ１、ＣＨ２）と表現するが、ここで、チャンネルは、１つのラウドスピーカを介して再生される１つの信号を示す。しかし、本発明はこれに限定されず、本発明のチャンネルは、独立した１つのオーディオオブジェクト信号や複数のオーディオ信号がまとまって表現された１つの信号などを含むことができる。
【００３１】
相関度算出部５１０は、入力ＣＨ１、ＣＨ２の当該区間における相関度がどれくらいになるかを計算する。ＣＨ１に相当する入力信号をｘ、ＣＨ２に相当する入力信号をｙとする時、本発明では、一実施例として、次のような式で定義されたＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ  Ｃｏｈｅｒｅｎｃｅ）値を用いることができる。
【００３２】
【数１】
2015528925.tif 000003
【００３３】
本発明の実施例によれば、前記数式１のようにＩＣＣを用いる方法のほか、多様な方法で相関度を求めることができ、本発明はこれに限定されない。本発明の一実施例によれば、前記算出された相関度に基づいて、拡張和差行列処理を行うか否かを決定することができる。しかし、本発明の実施例はこれに限定せず、本発明による拡張和差行列処理を行うか否かを決定するために他の方法を用いることができる。
【００３４】
ゲイン情報算出部５２０は、入力ＣＨ１、ＣＨ２を用いて、本発明による拡張和差行列処理に使用されるゲインｇ１とｇ２を算出する。拡張和差行列ゲインを得るために必要なチャンネルレベル差ｃは、次のように求められる。
【００３５】
【数２】
2015528925.tif 000004
【００３６】
すなわち、チャンネルレベル差係数ｃは、ＣＨ１とＣＨ２の信号の大きさ（パワーあるいはエネルギー）の割合を示す。チャンネルレベル差ｃを用いて拡張和差行列ゲインｇ１、ｇ２を計算する一実施例は、次の通りである。
【００３７】
【数３】
2015528925.tif 000005
【００３８】
本発明の他の実施例によれば、入力信号のエネルギーを補償するための追加的なゲインをさらに乗じて前記ゲインｇ１およびｇ２を算出することができる。拡張和差行列処理部５３０は、入力ＣＨ１、ＣＨ２信号を受けて、本発明による行列演算により拡張和差信号ＴＣＨ１とＴＣＨ２を生成する。
【００３９】
図６は、本発明の一実施例により、拡張和差行列処理部５３０が、入力信号ＣＨ１およびＣＨ２を用いて伝送オーディオ信号ＴＣＨ１およびＴＣＨ２を生成する第１信号処理（６００）過程を示している。これを数式で表すと、次の通りである。
【００４０】
【数４】
2015528925.tif 000006
【数５】
2015528925.tif 000007
【００４１】
すなわち、本発明の実施例による拡張和差行列処理部５３０は、入力信号ＣＨ１、ＣＨ２とゲインｇ１、ｇ２を用いて拡張和差信号ＴＣＨ１およびＴＣＨ２を生成する。前記生成された拡張和差信号ＴＣＨ１およびＴＣＨ２は、本発明の実施例による伝送オーディオ信号になってよい。
【００４２】
本発明の一実施例によれば、拡張和差行列処理部５３０は、相関度情報を用いて前記第１信号処理（６００）過程を行うか否かを決定することができる。例えば、数式１で求めた相関度ＩＣＣ値が予め設定された閾値より大きい場合、拡張和差行列処理部５３０は、前記信号処理（６００）過程を行うことができる。したがって、拡張和差行列処理部５３０は、拡張和差信号ＴＣＨ１およびＴＣＨ２を生成するために、入力信号ＣＨ１、ＣＨ２とともに、相関度情報と拡張和差行列ゲイン情報を必要とすることができる。
【００４３】
図７は、本発明の実施例による拡張和差行列処理の効果により量子化雑音がマスキングされる現象を示している。すなわち、図７は、図３および図４の実施例による入力オーディオ信号が、前記第１信号処理（６００）過程によって拡張和差信号に変換されて出力される時を示している。本発明の実施例による拡張和差行列処理過程を経ると、２チャンネルの間のサウンド空間で主音源Ｓ（１１０）が位置した地点を中心に、拡張和差信号ＴＣＨ１、ＴＣＨ２による像が位置するように変換される。したがって、このように変換された信号ＴＣＨ１とＴＣＨ２に対する知覚符号化の結果で発生した量子化雑音Ｎ１（１４０ａ）およびＮ２（１４０ｂ）は、図７に示されているように、音源Ｓ（１１０）によって空間的にもよくマスキングされ、結局、音質歪みが低減される効果を得ることができる。
【００４４】
図８は、本発明の他の実施例により、拡張和差行列処理部５３０が、入力信号ＣＨ１およびＣＨ２を用いて伝送オーディオ信号ＴＣＨ１およびＴＣＨ２を生成する第２信号処理（８００）過程を示している。前記言及したように、拡張和差行列処理部５３０において、第１信号処理（６００）過程によって拡張和差行列処理を行うか否かは、相関度情報および／またはチャンネルレベル差係数などに基づいて決定できる。例えば、ＩＣＣ値が予め設定された閾値以下であれば、拡張和差行列処理部５３０は、拡張和差符号化のための処理を行うことなく、従来のように各チャンネルを独立して符号化することができる。すなわち、図８および次の数式６〜７のように、拡張和差行列処理部５３０は、入力信号ＣＨ１およびＣＨ２を直ちに伝送オーディオ信号ＴＣＨ１およびＴＣＨ２としてそれぞれ出力することができる。
【００４５】
【数６】
2015528925.tif 000008
【数７】
2015528925.tif 000009
【００４６】
再び図５を参照すれば、心理音響モデル部５５０は、拡張和差行列処理部５３０の出力ＴＣＨ１とＴＣＨ２を受信して、各チャンネルごとに心理音響モデルを行って各チャンネル別マスキング閾値を出力する。例えば、特定分析区間のチャンネル信号において、各信号成分対比マスキングされる大きさの割合であるＳＭＲ（Ｓｉｇｎａｌ−ｔｏ−Ｍａｓｋ  Ｒａｔｉｏ）値が算出できる。したがって、本発明による拡張和差行列処理部５３０の実行結果に応じて、ＳＭＲを算出する対象信号が異なり得る。
【００４７】
量子化部５６０は、拡張和差行列処理部５３０の出力ＴＣＨ１とＴＣＨ２を受信し、心理音響モデル部５６０を介してマスキング閾値ＳＭＲを受信して量子化を行う。この時、量子化部５６０は、ＳＭＲに基づいて量子化の大きさを決定することで、量子化雑音が信号によってマスキングされ、再生時、聞き手の耳に聞こえないようにすることができる。これは、従来のＡＡＣのような知覚符号化方法で使用する方法と類似する。
【００４８】
エントロピー符号化部５７０は、前記量子化部５６０によって量子化された伝送オーディオ信号（ｑＴＣＨ１とｑＴＣＨ２）に対して、ハフマン符号化（Ｈｕｆｆｍａｎ  Ｃｏｄｉｎｇ）や代数符号化（Ａｒｉｔｈｍａｔｉｃ  Ｃｏｄｉｎｇ）のようなエントロピー符号化により追加的なデータ圧縮を行う。実現方法によって、量子化部５６０とエントロピー符号化５７０は、１つのループ内で繰り返し行って最適化できる。
【００４９】
一方、相関度算出部５１０の出力である相関度値ＩＣＣと、ゲイン情報算出部５２０の出力値であるチャンネルレベル差係数ｃは、拡張和差付加情報符号化部５４０の入力として入って符号化できる。例えば、相関度値によって、拡張和差行列演算を実行するか否かを表示した拡張和差使用情報ｅｍｓ＿ｆｌａｇとチャンネルレベル差係数ｃが符号化できる。この時、拡張和差行列演算が使用された場合は、ｅｍｓ＿ｆｌａｇ＝１に符号化され、使用されない場合は、ｅｍｓ＿ｆｌａｇ＝０に符号化されてよい。このように符号化された付加情報は復号化器に伝達できる。
【００５０】
一方、符号化器と復号化器で使用されるゲイン値の間の誤差を最小化するために、符号化器においても、チャンネルレベル差係数ｃとゲインｇ１、ｇ２などは、伝送のために量子化された値を用いることが好ましい。
【００５１】
マックス（ＭＵＸ）部５８０では、拡張和差付加情報符号化部５４０の出力、エントロピー符号化部５７０の出力、心理音響モデル部５５０の出力などを取りまとめて出力ビット列として生成する。前述のように、前記拡張和差付加情報符号化部５４０の出力には、相関度値ＩＣＣ、チャンネルレベル差係数ｃ、拡張和差使用情報ｅｍｓ＿ｆｌａｇなどが含まれてよい。また、前記エントロピー符号化部５７０の出力には、量子化された伝送オーディオ信号ｑＴＣＨ１、ｑＴＣＨ２のエントロピー符号化された信号が含まれてよい。また、前記心理音響モデル部５５０の出力には、各チャンネル別マスキング閾値、例えばＳＭＲ値が含まれてよい。マックス部５８０は、前記言及された出力のうちの少なくとも１つをマルチプレキシングして出力ビット列を生成する。
【００５２】
図９は、本発明の実施例による拡張和差符号化過程を示すフローチャートである。図９の各ステップは、図５を参照して説明した本発明のオーディオ符号化器５００によって行われてよい。
【００５３】
まず、本発明のオーディオ符号化器は、オーディオ信号ＣＨ１、ＣＨ２が入力され、入力された信号を用いてチャンネル間相関度ＩＣＣを計算することができる。次に、オーディオ符号化器は、前記相関度ＩＣＣ値が予め設定された閾値より大きいか否かを判別する。
【００５４】
仮に、相関度ＩＣＣが予め設定された閾値より大きい場合、オーディオ符号化器は、入力されたオーディオ信号ＣＨ１およびＣＨ２の間の入力レベル差係数ｃを算出する。また、オーディオ符号化器は、前述の実施例により拡張和差行列ゲインｇ１およびｇ２を算出する。次に、本発明のオーディオ符号化器は、入力されたオーディオ信号ＣＨ１およびＣＨ２に対して拡張和差行列処理を行い、伝送オーディオ信号ＴＣＨ１およびＴＣＨ２を生成する。また、オーディオ符号化器は、拡張和差使用情報をｅｍｓ＿ｆｌａｇ＝１に設定して符号化する。
【００５５】
一方、相関度ＩＣＣが予め設定された閾値より大きくない場合、入力されたオーディオ信号ＣＨ１およびＣＨ２をそのまま伝送オーディオ信号ＴＣＨ１およびＴＣＨ２に設定することができる。この時、オーディオ符号化器は、拡張和差使用情報をｅｍｓ＿ｆｌａｇ＝０に設定して符号化する。本発明のオーディオ符号化器は、このように生成された伝送オーディオ信号ＴＣＨ１およびＴＣＨ２を出力することができる。好ましい実施例によれば、オーディオ符号化器は、前記伝送オーディオ信号ＴＣＨ１およびＴＣＨ２それぞれの量子化された信号ｑＴＣＨ１およびｑＴＣＨ２を生成することができる。他の実施例によれば、オーディオ符号化器は、前記伝送オーディオ信号ＴＣＨ１およびＴＣＨ２に対して量子化およびエントロピー符号化を行った信号を出力することができる。
【００５６】
図１０は、本発明による拡張和差符号化方法で符号化されたビット列を復号化するためのオーディオ復号化器１０００の一実施例を示す。図１０を参照すれば、オーディオ復号化過程は、図５を参照して説明した符号化過程の逆過程で進行することができる。まず、オーディオ復号化器１０００は、伝送されたビット列を受信し、デマックス（ＤＥＭＵＸ）部１０１０を介して各復号化ステップに必要な情報に分離する。
【００５７】
エントロピー復号化部１０３０は、エントロピー符号化されたデータを量子化された信号に復元する。逆量子化部１０４０は、前記復元された信号を逆量子化して、ｑＴＣＨ１およびｑＴＣＨ２、すなわち伝送オーディオ信号を取得する。この時、逆量子化部１０４０は、別の付加情報に基づいて逆量子化の大きさを決定することができるが、前記付加情報は、図５で説明したマスキング閾値ＳＭＲに基づいて決定できる。逆量子化部１０４０で取得された伝送オーディオ信号ｑＴＣＨ１、ｑＴＣＨ２は、拡張和差逆行列処理部１０５０に送られる。
【００５８】
逆ゲイン情報算出部１０２０は、伝送されたチャンネルレベル差係数ｃを用いて、拡張和差逆行列処理に用いられる逆行列ゲイン値ｈ１、ｈ２を、次の数式のように計算する。
【００５９】
【数８】
2015528925.tif 000010
【数９】
2015528925.tif 000011
【００６０】
一方、前記数式３で説明したように、本発明の他の実施例により、ゲインｇ１、ｇ２にエネルギー補償ゲインが含まれた場合、数式８〜９においても、これに対応する別のゲインを追加的に乗じることができる。
【００６１】
拡張和差逆行列処理部１０５０は、伝送オーディオ信号ｑＴＣＨ１、ｑＴＣＨ２と、前記計算したゲイン値ｈ１、ｈ２を受信して、出力オーディオ信号ｑＣＨ１、ｑＣＨ２を出力する演算を行う。拡張和差逆行列処理部１０５０で行われる逆行列演算過程は、図１１に示された第３信号処理（１１００）過程、および図１２に示された第４信号処理（１２００）過程のうちのいずれか１つで行われてよい。前記第３信号処理（１１００）過程は、図６に示された第１信号処理（６００）過程に対応する和差逆行列演算であり、第４信号処理（１２００）過程は、図８に示された第２信号処理（８００）過程に対応する和差逆行列演算である。
【００６２】
本発明の実施例によるオーディオ復号化器１０００は、ビット列から取得される拡張和差付加情報（例えば、拡張和差使用情報ｅｍｓ＿ｆｌａｇ）に基づいて、前記第３信号処理（１１００）過程および第４信号処理（１２００）過程のうちの１つを用いて出力オーディオ信号ｑＣＨ１、ｑＣＨ２を生成する。仮に、取得された拡張和差付加情報ｅｍｓ＿ｆｌａｇ＝１の場合、拡張和差逆行列処理部１０５０は、第３信号処理（１１００）過程を用いて、下記の数式１０〜１１のように出力オーディオ信号ｑＣＨ１およびｑＣＨ２を生成することができる。
【００６３】
【数１０】
2015528925.tif 000012
【数１１】
2015528925.tif 000013
【００６４】
しかし、取得された拡張和差付加情報ｅｍｓ＿ｆｌａｇ＝０の場合、拡張和差逆行列処理部１０５０は、第４信号処理（１１００）過程によって伝送オーディオ信号ｑＴＣＨ１およびｑＴＣＨ２をバイパス（ｂｙｐａｓｓ）して、前記出力オーディオ信号ｑＣＨ１およびｑＣＨ２を生成することができる。本発明の一実施例によれば、拡張和差付加情報ｅｍｓ＿ｆｌａｇ＝０の場合、チャンネルレベル差係数ｃがオーディオ復号化器１０００に伝送されないことがあり、オーディオ復号化器１０００の逆ゲイン情報算出部１０２０も動作しないことがある。
【００６５】
拡張和差逆行列処理部１０５０の出力ｑＣＨ１およびｑＣＨ２が時間領域信号の場合、直ちに出力オーディオ信号としてスピーカで再生できる。しかし、前記出力ｑＣＨ１およびｑＣＨ２が周波数領域の信号の場合、逆フィルタバンク（ｅ．ｇ．ＩＭＤＣＴ、図示せず）を行い、最終オーディオ信号として出力できる。
【００６６】
図１３は、本発明の実施例による拡張和差逆行列処理過程を示すフローチャートである。図１３の各ステップは、図１０を参照して説明した本発明のオーディオ復号化器１０００によって行われてよい。
【００６７】
まず、本発明の実施例によるオーディオ復号化器は、ビット列を受信することができる。本発明の実施例において、前記ビット列には、量子化された信号ｑＴＣＨ１およびｑＴＣＨ２、チャンネルレベル差係数ｃ、拡張和差使用情報ｅｍｓ＿ｆｌａｇなどが含まれてよい。ただし、本発明はこれに限定せず、オーディオ復号化器の受信するビット列には、図５のマックス部５８０がビット列を生成する時、取りまとめられたオーディオ信号および付加情報が含まれてよい。
【００６８】
次に、本発明の実施例によるオーディオ復号化器は、受信されたビット列に含まれた拡張和差使用情報ｅｍｓ＿ｆｌａｇ＝１であるか否かを判別する。仮に、ｅｍｓ＿ｆｌａｇ＝１の場合、オーディオ復号化器は、拡張和差逆行列ゲインｈ１、ｈ２を算出する。また、算出されたゲインｈ１、ｈ２を用いて、信号ｑＴＣＨ１およびｑＴＣＨ２に対する拡張和差逆行列処理を行い、出力オーディオ信号ｑＣＨ１、ｑＣＨ２を生成する。
【００６９】
しかし、ｅｍｓ＿ｆｌａｇ＝１でない場合（すなわち、ｅｍｓ＿ｆｌａｇ＝０の場合）、オーディオ符号化器は、信号ｑＴＣＨ１およびｑＴＣＨ２をそのまま出力オーディオ信号ｑＣＨ１およびｑＣＨ２に設定することができる。
【００７０】
以上の過程により２チャンネルの入力信号を対象とするオーディオ信号の符号化および復号化方法を実施例として本発明による拡張和差行列処理方法を説明したが、同一の発明の思想に基づいて２チャンネル以上の入力信号に対しても適用が可能である。例えば、３次元空間上に３つのスピーカの出力信号の間に音源を位置させる方法であるＶＢＡＰ（Ｖｅｃｔｏｒ  Ｂａｓｅｄ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ）でレンダリングされたチャンネル信号が入力される場合、これを考慮して、３チャンネルの入力信号を各チャンネルごとに独立符号化する代わりに、類似の和差技術を利用して各チャンネル信号によるマスキング閾値およびそれに伴う量子化雑音が空間的に信号によってよりよくマスキングされるように符号化することが可能である。
【００７１】
また、本発明による拡張和差行列処理は、オーディオ信号のチャンネル別符号化復号化過程のほか、パラメトリック符号化においても適用可能である。すなわち、ステレオ信号をモノにダウンミックスし、別の付加情報によりステレオ信号を生成する方法の符号化を通称するパラメトリックステレオ（Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ）手法の場合、一般的に行うダウンミックスの代わりに、本発明で提案した方法のようにゲイン値を生成してダウンミックスすれば、これを符号化する知覚符号化におけるマスキングがより効果的に動作することができて、全体的な音質が向上する効果を期待することができる。
【００７２】
また、オーディオ符号化のほか、オーディオ信号をダウンミックスする信号処理過程や、オーディオのほか、イメージやビデオ信号、生体情報信号のような場合を対象にしても、２個以上として類似性を有している信号を伝送しなければならない場合に拡張して適用可能である。
【００７３】
図１４は、本発明の一実施例によるオーディオ信号処理装置が実現された製品の関係を示す図である。まず、図１４を参照すれば、有無線通信部３１０は、有無線通信方式によりビットストリームを受信する。具体的には、有無線通信部３１０は、有線通信部３１０Ａ、赤外線通信部３１０Ｂ、ブルートゥース部３１０Ｃ、無線ＲＡＮ通信部３１０Ｄのうちの１つ以上を含むことができる。
【００７４】
ユーザ認証部３２０は、ユーザ情報を受信してユーザ認証を行うものであって、指紋認識部３２０Ａ、虹彩認識部３２０Ｂ、顔認識部３２０Ｃ、および音声認識部３２０Ｄのうちの１つ以上を含むことができるが、それぞれ指紋、虹彩情報、顔輪郭情報、音声情報を受信して、ユーザ情報に変換し、ユーザ情報および既に登録されているユーザデータと一致するか否かを判断して、ユーザ認証を行うことができる。
【００７５】
入力部３３０は、ユーザが様々な種類の命令を入力するための入力装置であって、キーパッド部３３０Ａ、タッチパッド部３３０Ｂ、リモコン部３３０Ｃのうちの１つ以上を含むことができるが、本発明はこれに限定されない。
【００７６】
信号コーディングユニット３４０は、有無線通信部３１０を介して受信されたオーディオ信号および／またはビデオ信号に対してエンコーディングまたはデコーディングを行い、時間ドメインのオーディオ信号を出力する。前記信号コーディングユニット３４０は、オーディオ信号処理装置３４５を含むことができる。この時、オーディオ信号処理装置３４５は、先に説明した本発明の実施例（すなわち、一実施例による符号化器５００、および他の実施例による復号化器１０００）に相当するものであって、このようにオーディオ処理装置３４５およびこれを含む信号コーディングユニット３４０は、１つ以上のプロセッサによって実現できる。
【００７７】
制御部３５０は、入力装置から入力信号を受信し、信号コーディングユニット３４０および出力部３６０のすべてのプロセスを制御する。出力部３６０は、信号コーディングユニット３４０によって生成された出力信号などが出力される構成要素であって、スピーカ部３６０Ａと、ディスプレイ部３６０Ｂとを含むことができる。出力信号がオーディオ信号の時、出力信号はスピーカに出力され、ビデオ信号の時、出力信号はディスプレイを介して出力される。
【００７８】
本発明によるオーディオ信号処理方法は、コンピュータで実行されるためのプログラムに作成され、コンピュータ読み取り可能な記録媒体に格納されてよいし、本発明によるデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に格納されてよい。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み込まれるデータが格納されるすべての種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウエーブ（例えば、インターネットを介した伝送）の形態で実現されるものも含む。さらに、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納されたり、有／無線通信網を用いて伝送可能である。
【００７９】
以上、本発明は、限定された実施例と図面によって説明されたが、本発明はこれによって限定されず、本発明の属する技術分野における通常の知識を有する者によって本発明の技術思想と以下に記載される特許請求の範囲の均等範囲内で多様な修正および変形が可能であることは当然である。
【実施例】
【００８０】
上述のように、発明を実施するための形態において、関連事項を記述した。
【産業上の利用可能性】
【００８１】
本発明は、オーディオ信号をエンコーディングおよびデコーディングしたり、オーディオ信号に多様な処理をする過程に適用可能である。
【図１】
2015528925.tif 000014
【図２】
2015528925.tif 000015
【図３】
2015528925.tif 000016
【図４】
2015528925.tif 000017
【図５】
2015528925.tif 000018
【図６】
2015528925.tif 000019
【図７】
2015528925.tif 000020
【図８】
2015528925.tif 000021
【図９】
2015528925.tif 000022
【図１０】
2015528925.tif 000023
【図１１】
2015528925.tif 000024
【図１２】
2015528925.tif 000025
【図１３】
2015528925.tif 000026
【図１４】
2015528925.tif 000027
【国際調査報告】
2015528925.tif 000028
2015528925.tif 000029
2015528925.tif 000030
2015528925.tif 000031