(57)【要約】【課題】本発明は、オーディオ信号に対してマルチ解像度解析とベクトル量子化を行うマルチ解像度ベクトル量子化のオーディオCODEC方法及び装置を提供する。前記オーディオコーディング方法は、入力したオーディオ信号に対して、自己適応フィルターを行って、信号周波数フィルター係数を獲得して、フィルター信号を出力することと、前記フィルター信号に対して、時間周波数平面で分割して、ベクトル配列を獲得することと、ベクトル量子化しようとするベクトルを選択することと、選択したベクトルに対して、ベクトル量子化を行って、量子化残差を計算することと、量子化された後のコードブック情報を、コーダのサイド情報としてオーディオデコーダに伝送して、量子化残差に対して量子化コーディングを行うことを含んでいる。本発明は、オーディオ信号に対して、自己適応フィルターを行って、時間と周波数の解像度を調製することができ、フィルター係数に対して、異なる配列策略を選択して新たに配列することにより、前記マルチ解像度時間周波数解析結果を有効的に利用し、ベクトル量子化を採用して、コーディング効率を高めることができ、量子化精度を有益的に制御して、最適化することができる。【選択図】図１
2007506986.tif 000002
【特許請求の範囲】
【請求項１】
マルチ解像度ベクトル量子化のオーディオコーディング方法であって、入力したオーディオ信号に対して、自己適応フィルターを行って、信号周波数フィルター係数を獲得して、フィルター信号を出力することと、
前記フィルター信号に対して、時間周波数平面でベクトル分割して、ベクトル組合を獲得することと、
ベクトル量子化しようとするベクトルを選択することと、
選択したベクトルに対して、ベクトル量子化を行って、量子化残差を計算することと、
量子化された後のコードブック情報を、コーダのサイド情報としてオーディオデコーダに伝送して、量子化残差を量子化コードすることを含むマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項２】
前記オーディオ信号に対して、自己適応フィルターを行うステップが、
入力したオーディオ信号をフレームに分解して、信号フレームの過渡度量を計算し、
過渡度量の値としきい値の大きさを比較することにより、目前の信号フレームのタイプがゆっくり変化する信号であるか、或は速く変化する信号であるかを判定し、
ゆっくり変化する信号である場合には、同じ帯域幅のコサイン変調フィルターを行って、時間周波数平面のフィルター係数を獲得して、フィルター信号を出力し、
速く変化する信号である場合には、同じ帯域幅のコサイン変調フィルターを行って、時間周波数平面のフィルター係数を獲得してから、ウェーブレット変換を採用して、フィルター係数に対してマルチ解像度解析を行って、フィルター係数の時間周波数解像度を調整し、最後にフィルター信号を出力することを特徴とする、請求項1に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項３】
前記コサイン変調フィルターが、伝統的なコサイン変調フィルター或は修正離散コサイン変換フィルターであることを特徴とする、請求項2に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項４】
前記コサイン変調フィルターが、更に、高速フーリエ変換を行うことを含んでいることを特徴とする、請求項3に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項５】
速く変化する信号である場合、更に、速く変化する信号を、多種の速く変化する信号タイプに更に分けて、異なる速く変化する信号タイプに対して、別々にフィルターとマルチ解像度解析を行うことを含んでいることを特徴とする、請求項2に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項６】
異なるタイプの速く変化する信号に対して、前記マルチ解像度解析を行うウェーブレット変換のウェーブレット基が、固定なもの、或は自己適応なものであることを特徴とする、請求項5に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項７】
前記フィルター信号に対して、時間周波数平面でベクトル分割することが、時間方向、周波数方向と時間周波数区域の三種の方式に従ってベクトル分割することを含み、
前記時間方向に従って分割することが、更に、周波数方向の解像度を変化させないまま、時間に対して分割して、分割した後のベクトル個数がN/Dで，I型ベクトル配列を得ることを含み（その中で、Nは、オーディオ信号の周波数係数の長さを示し、Dは、ベクトルの次元数を示す）、
前記周波数方向に従って分割することが、更に、時間方向の解像度を変化させないまま、周波数に対して分割して、分割した後のベクトル個数がN/Dで、II型ベクトル配列を得ることを含み（その中で、Nは、オーディオ信号の周波数係数の長さを示し、Dは、ベクトルの次元数を示す）、
前記時間周波数区域に従って分割することが、更に、時間周波数平面の時間と周波数に対して分割して、分割した後のベクトル個数がN/Dで、III型ベクトル配列を得ることを含む（その中で、Nは、オーディオ信号の周波数係数の長さを示し、Dは、ベクトルの次元数を示す）ことを特徴とする、請求項5に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項８】
前記ベクトル量子化しようとするベクトルを選択するステップが、更に、時間周波数平面の全部ベクトルに対して量子化するかを判定し、全部量子化する場合、I型ベクトル配列と、II型ベクトル配列と、III型ベクトル配列の量子化ゲインを夫々計算して、量子化ゲイン値が大きいベクトル配列のベクトルを、量子化するベクトルとし、全部量子化しない場合、M個量子化しようとするベクトルを選択して、選択したベクトルのシリアル番号に対してコーディングすること含んでいることを特徴とする、請求項1に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項９】
前記M個の量子化しようとするベクトルを選択するステップが、更に、I型ベクトル配列と、II型ベクトル配列と、III型ベクトル配列のベクトルを一つのベクトル集合に構成して、前記ベクトル集合中のベクトル毎のエネルギーである係数の平方を計算すると同時に、ベクトル毎の各分量の分散を計算し、ベクトル集合中のベクトルを、大きいエネルギーから小さいエネルギーの順序で羅列し、前記順序に羅列した後のベクトルを、小さい分散から大きい分散までの順序で再び羅列し、信号エネルギー総量と目前選択されたベクトルのエネルギー総量の比で、選択するベクトルの個数Mを確定し、前のM個ベクトルを選択して、ベクトル量子化するベクトルとし、I型ベクトル配列と、II型ベクトル配列と、III型ベクトル配列を同時に含んでいる同一区域のベクトルである場合、分散の順序に従って、選択することを含んでいることを特徴とする、請求項8に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１０】
前記M個の量子化しようとするベクトルを選択するステップが、更に、I型ベクトル配列と、II型ベクトル配列と、III型ベクトル配列のベクトルを一つのベクトル集合に構成し、ベクトル集合中のベクトル毎のエネルギーとコーディングゲインを計算し、選択したM個ベクトルのエネルギーとエネルギー総量のパーセンテージが50%を超過するように、コーディングゲインが最大の前のM個ベクトルを選択することを含んでいることを特徴とする、請求項8に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１１】
前記Mの値が3から50までの何れの整数であることを特徴とする、請求項9或いは請求項10に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１２】
前記選択したベクトルに対してベクトル量子化を行うステップが、更に、時間周波数平面の区域毎のエネルギー値或いは絶対値最大値を計算し、グローバル正規化因子を確定し、選択したベクトルに対して正規化処理を行い、ベクトルの局所正規化因子を計算し、且つ第二回目の正規化処理を行い、正規化後のベクトルに対して量子化し、且つ量子化残差を計算することを含んでいることを特徴とする、請求項1に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１３】
前記選択したベクトルに対してベクトル量子化を行うステップが、更に、時間周波数平面の区域毎のエネルギー値或いは絶対値最大値を計算し、一次関数Y=f(X)を構成し（その中で、Xは区域のシリアル番号を示し、YはXの区域に対応するエネルギー或いは絶対値最大値を示す）、信号のエネルギー総量に従って、グローバルゲイン因子を確定し、それに対して、対数模型を用いて量子化コードし、グローバルゲイン因子を用いて選択したベクトルに対して正規化処理を行い、テイラー式により、目前のベクトル位置の局所正規化因子を計算し、且つ、目前のベクトルに対して再び正規化処理を行い、目前のベクトルの総正規化因子を前記二つの正規化因子の乗算によって獲得し、選択したM個区域の関数値をM次元ベクトルに構成し、当該ベクトルに対応する一階、二階差分を計算し、コードブック計算方法により、前記三つのベクトルに対応するコードブックを得ると共に前記三つのベクトルに対して量子化することを含み、前記ベクトルの量子化は、テイラー式の零階近似に対応し、コードブックをサーチする時のコンポジタ度量は、欧式距離を採用し、一階差分ベクトルの量子化は、テイラー式の一階近似に対応し、欧式距離によって、対応するコードブック中でコンポジタが最小である少量のコードワークをサーチしてから、目前のベクトルx0の小領域において、領域中の区域毎に対して量子化コンポジタを計算し、最後に、コンポジタの総和をコンポジタ度量とし、二階差分ベクトルの量子化は一階差分ベクトルの量子化と類似していることを特徴とする、請求項12に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１４】
前記選択したベクトルに対してベクトル量子化を行うステップが、更に、時間周波数平面の区域毎のエネルギー値或いは絶対値最大値を計算し、一次関数Y=f(X)を構成し（その中で、Xは区域のシリアル番号を示し、YはXの区域に対応するエネルギー或いは絶対値最大値を示す）、信号のエネルギー総量に従って、一つのグローバルゲイン因子を確定し、それに対して、対数模型を用いて量子化コードし、当該グローバルゲイン因子を用いて選択したベクトルに対して正規化処理を行い、スプライン曲線近似式により、目前のベクトル位置上の局所正規化因子を計算し、且つ目前のベクトルに対して再び正規化処理を行い、選択したM個区域の関数値をM次元ベクトルに構成し、前記ベクトルを、更に幾つかのベクトル（選択点ベクトル）に分解し、前記ベクトルに対して別々に量子化することを含んでいることを特徴とする、請求項12に記載のマルチ解像度ベクトル量子化のオーディオコーディング方法。
【請求項１５】
マルチ解像度ベクトル量子化のオーディオデコード方法であって、コードストリームに対して逆多重化して、マルチ解像度ベクトル量子化されたサイド情報を得て、選択点のエネルギー及びベクトル量子化された位置情報を確保し、上記情報に従って、逆ベクトル量子化により正規化されたベクトルを獲得し、且つ正規化因子を計算して、元の時間周波数平面の量子化ベクトルを再構成し、位置情報に従って、前記再構成されたベクトルを、対応する時間周波数係数の残差に相加し、マルチ解像度逆フィルターと周波数から時間までのマッピングにより、再構成されたオーディオ信号を得るステップを含んでいるマルチ解像度ベクトル量子化のオーディオデコード方法。
【請求項１６】
前記元の時間周波数平面の量子化ベクトルを再構成するステップが、サイド情報に従って、コードブックから選択点毎のエネルギー及び各階差分値を計算し、コードストリームから、時間周波数平面でのベクトル量子化の位置情報とグローバル正規化因子を確保し、コーディング過程で二回の正規化因子を計算する式により、対応する位置の二回正規化因子を確保し、ベクトル量子化インデックスに従って、正規化されたベクトルを獲得し、且つ前記二つの正規化因子と乗算して、時間周波数平面で量子化したベクトルを再構成するステップを含んでいることを特徴とする、請求項15に記載のマルチ解像度ベクトル量子化のオーディオデコード方法。
【請求項１７】
前記マルチ解像度逆フィルターのステップが、更に、再構成されたベクトルの時間周波数係数に対して時間周波数の配列を行い、デコードして得られた信号のタイプに従って、次のフィルター操作、即ち、ゆっくり変化する信号である場合、同じ帯域幅のコサイン変調フィルターを行って、時間領域のパルスコード変調の出力を確保し、速く変化する信号である場合、マルチ解像度合成を行ってから、同じ帯域幅のコサイン変調フィルターを行って、時間領域のパルスコード変調の出力を得るフィルター操作を実施することを含んでいることを特徴とする、請求項15に記載のマルチ解像度ベクトル量子化のオーディオデコード方法。
【請求項１８】
上述した速く変化する信号を多種の速く変化する信号タイプに更に分け、異なる速く変化する信号タイプに対して、夫々マルチ解像度合成とフィルターを行うことを特徴とする、請求項17に記載のマルチ解像度ベクトル量子化のオーディオデコード方法。
【請求項１９】
マルチ解像度ベクトル量子化のオーディオコーダであって、時間周波数マッピング装置と、マルチ解像度フィルターと、マルチ解像度ベクトル量子化器と、心理音響計算モジュールと量子化コーダを含み、
前記時間周波数マッピング装置が、オーディオ入力信号を受け取って、時間から周波数までのマッピングを行って、前記マルチ解像度フィルターに出力し、
前記マルチ解像度フィルターが、信号に対して自己適応フィルターを行って、前記心理音響計算モジュールと前記マルチ解像度ベクトル量子化器に、フィルターされた後の信号を出力し、
前記マルチ解像度ベクトル量子化器が、フィルターされた後の信号に対してベクトル量子化し、且つ量子化残差を計算して、量子化後の信号をサイド情報としてオーディオデコーダに伝送し、量子化残差を前記量子化コーダに出力し、
前記心理音響計算モジュールが、入力されたオーディオ信号に従って、心理音響モデルの掩蔽しきい値を計算して、前記量子化コーダに出力して、量子化の許容ノイズを制御し、
前記量子化コーダが、前記心理音響計算モジュールから出力した許容ノイズの制限で、前記マルチ解像度ベクトル量子化器から出力した残差に対して量子化とエントロピーコーディングを行って、コーディングされたコードストリーム情報を確保する、マルチ解像度ベクトル量子化のオーディオコーダ。
【請求項２０】
前記マルチ解像度フィルターが、過渡度量計算モジュールと、M個の同じ帯域幅のコサイン変調フィルターと、N個のマルチ解像度解析モジュールと、時間周波数フィルター係数の配列モジュールとを有し、M=N+1を満足させ、
前記過渡度量計算モジュールが、オーディオ入力信号フレームの過渡度量を計算して、前記信号フレームのタイプを確定し、
前記同じ帯域幅のコサイン変調フィルターが、信号をフィルターして、フィルター係数を確保し、ゆっくり変化する信号である場合、フィルター係数を前記時間周波数フィルター係数の配列モジュールに出力し、速く変化する信号である場合、フィルター係数を前記マルチ解像度解析モジュールに出力し、
前記マルチ解像度解析モジュールが、速く変化する信号のフィルター係数に対してウェーブレット変換を行って、係数の時間周波数解像度を調整して、変換された後の係数を前記時間周波数フィルター係数の配列モジュールに出力し、
前記時間周波数フィルター係数の配列モジュールが、フィルターして出力された係数を、時間周波数平面に従って配列して、フィルター信号を出力することを特徴とする、請求項19に記載のマルチ解像度ベクトル量子化のオーディオコーダ。
【請求項２１】
前記マルチ解像度ベクトル量子化器が、ベクトル配列モジュールと、ベクトル選択モジュールと、グローバル正規化モジュールと、局所正規化モジュールと、量子化モジュールとを含み、
前記ベクトル配列モジュールが、前記マルチ解像度フィルターから出力した時間周波数平面係数を、異なる分割策略に従って、ベクトルの形式に配列して、前記ベクトル選択モジュールに出力し、
前記ベクトル選択モジュールが、エネルギーの大きさ等の要素に従って、量子化しようとするベクトルを選択して、前記グローバル正規化モジュールに出力し、
前記グローバル正規化モジュールが、前記ベクトルに対して、グローバル正規化処理を行い、
前記局所正規化モジュールが、ベクトル毎の局所正規化因子を計算して、前記グローバル正規化モジュールから出力したベクトルに対して、局所正規化処理して、前記量子化モジュールに出力し、
前記量子化モジュールが、二回量子化された後のベクトルを量子化して、量子化後の残差を計算することを特徴とする、請求項19に記載のマルチ解像度ベクトル量子化のオーディオコーダ。
【請求項２２】
マルチ解像度ベクトル量子化のオーディオデコーダであって、
デコードと、逆量子化器と、マルチ解像度逆ベクトル量子化器と、マルチ解像度の逆フィルターと、周波数時間マッピング装置を含み、
前記デコードと逆量子化器が、コードストリームに対して逆多重化、エントロピーコーディングと逆量子化を行って、サイド情報とコーディングデータを得て、前記マルチ解像度逆ベクトル量子化器に出力し、
前記マルチ解像度逆ベクトル量子化器が、逆ベクトル量子化過程を行って、量子化されたベクトルを再構成して、量子化されたベクトルを時間周波数平面の残差係数に相加して、前記マルチ解像度逆フィルターに出力し、
前記マルチ解像度逆フィルターが、前記マルチ解像度逆ベクトル量子化器により再構成されたベクトルに対して逆フィルターを行って、前記周波数時間マッピング装置に出力し、
前記周波数時間マッピング装置が、周波数から時間までの信号のマッピングを完成して、最後に再構成されたオーディオ信号を得る、マルチ解像度ベクトル量子化のオーディオデコーダ。
【請求項２３】
前記マルチ解像度逆ベクトル量子化器が、逆多重化モジュールと、逆量子化モジュールと、正規化ベクトル計算モジュールと、ベクトル再構成モジュールと、加法モジュールを含み、
前記逆多重化モジュールが、受取ったコードストリームに対して逆多重化を行って、正規化因子と選択点の量子化インデックスを獲得し、
前記逆量子化モジュールが、前記逆多重化モジュールから出力された情報に従って、エネルギーエンベロープとベクトル量子化の位置情報を獲得し、逆量子化して引導点と選択点のベクトルを得て、二回の正規化因子を計算して、前記正規化ベクトル計算モジュールに出力し、
前記正規化ベクトル計算モジュールが、選択点ベクトルに対して二回の逆正規化を行って、正規化ベクトルを得て、前記ベクトル再構成モジュールに出力し、
前記ベクトル再構成モジュールが、エネルギーエンベロープにより、正規化ベクトルに対して一回の逆正規化を行って、再構成ベクトルを獲得し、
前記加法モジュールが、前記ベクトル再構成モジュールから出力した再構成ベクトルと時間周波数平面に対応する逆量子化残差を相加して、逆量子化の時間周波数係数を得て、マルチ解像度逆フィルターの出力とすることを特徴とする、請求項22に記載のマルチ解像度ベクトル量子化のオーディオデコーダ。
【請求項２４】
前記マルチ解像度逆フィルターが、更に、時間周波数係数の配列モジュールと、N個マルチ解像度合成モジュール及びM個同じ帯域幅のコサイン変調フィルターを含み、M=N+1を満足させ、
前記時間周波数係数の配列モジュールが、逆量子化係数を、フィルターの入力方式に従って配列し、ゆっくり変化する信号である場合、前記同じ帯域幅のコサイン変調フィルターに出力し、速く変化する信号である場合、前記マルチ解像度合成モジュールに出力し、
前記マルチ解像度合成モジュールが、マルチ解像度時間周波数係数を同じ帯域幅のコサイン変調フィルター係数にマッピングして、前記同じ帯域幅のコサイン変調フィルターに出力し、
前記同じ帯域幅のコサイン変調フィルターが、信号に対してフィルターして、時間領域のパルスコード変調出力を確保することを特徴とする、請求項22に記載のマルチ解像度ベクトル量子化のオーディオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理分野に関し、具体的に、オーディオ信号に対して、マルチ解像度の解析及びベクトル量子化を実現するCODEC方法及びその装置に関する。
【背景技術】
【０００２】
一般的に、オーディオコーディング方法には、心理音響モデルの計算、時間周波数領域のマッピング、量子化とコード等のステップが含まれる。その中で、時間周波数領域のマッピングとは、オーディオ入力信号を、時間領域から周波数領域或いは時間周波数領域にマッピングすることを意味する。
【０００３】
時間周波数領域のマッピングは、変換とフィルターとも言え、オーディオ信号に対してコードする基本操作の一つであり、コーディング効率を高めることができる。当該操作により、時間領域信号に含まれているほとんどの信号を、周波数領域或いは時間周波数領域の係数のサブセットに変換或いは集中させることができる。PAC（perceptual-audio-coder）の基本的な操作は、入力されたオーディオ信号を、時間領域から周波数領域或いは時間周波数領域にマッピングするものであり、その基本的な構想は、信号を各周波数帯の成分に分解し、入力信号が周波数領域で表れると、心理音響モデルは、感知と無関係の情報を除去することに用いることができる。その後、各周波数帯における成分を組み分け、最後に、ビット数を合理的に分配することにより、各組の周波数パラメータを示す。オーディオ信号が比較的に強い準周期性を表わせば、この過程は、データ量を大幅にダウンし、コーディング効率を高めることができる。現在、通常使用されている時間周波数領域のマッピング方法には、離散フーリエ変換DFT法、離散コサイン変換DCT法、鏡像分割フィルターQMF法、偽鏡像フィルターPQMF法、コサイン変調フィルターCMF法、修正離散コサイン変換MDCTと離散ウェーブレット（パッケージ）変換DW（P）T法等がある。しかし、前記方法は、一つの変換/フィルターの配置を用い、一つの入力信号フレームを圧縮して示したり、或は時間領域の解析区間が比較的に小さいフィルターバンク又は変換圧縮を採用して、強烈に変化する信号を示して、前の反響によるコーディング信号の影響を削除する。一つの入力信号フレームに、過渡特性の異なる成分を含む時、単なる変換は、異なる信号の子フレームが圧縮の最適化に対する基本的な要求を満たすことができない。時間領域の解析区間が比較的小さいフィルターバンク又は変換を簡単に採用して、速く変化する信号を処理すると、取り得られた係数の周波数解像度が低くなって、低周波数部分の周波数解像度が耳の臨界サブバンド帯域より大きくなって、コーディング効率に悪影響を及ぼす。
【０００４】
オーディオコーディング過程において、時間領域信号を時間周波数領域信号にマッピングした後、ベクトル量子化技術を用いて、コーディング効率を高めることができる。現在、オーディオコーディングで、ベクトル量子化技術を応用したオーディオコーディング方法は、変換領域重み付けインターリーブベクトル量子化（Transform-domain Weighted Interleave Vector Quantization，略称TWINVQ）コーディング方法である。当該方法は、信号に対してMDCT変換した後、信号スペクトルパラメータをクロス選択することにより、量子化しようとするベクトルを構成し、その後、高効率のベクトル量子化を実施すると、低いビットレートのコーディングオーディオ品質が明らかに向上される。しかし、量子化ノイズと耳の掩蔽の関係を効率的に制御することができないので、TWINVQコーディング方法は、感知的に損失のあるコーディング方法であり、最も高い主観的なオーディオ品質を向上しようとする場合、TWINVQコーディング方法を、更に改良する必要がある。それと同時に、TWINVQコーディング方法は、ベクトルを構成する時、係数をクロス配列する方式を採用したので、ベクトル間の統計の一致性を保証することができるが、信号エネルギーが局所の時間周波数領域に集中されている現象を有効的に利用することができなくなり、コーディング効率の更なる向上を制限する。そして、実際にMDCT変換は、同じ帯域幅のフィルターバンクであるので、信号エネルギーが時間周波数平面での集中性に従って信号を分解することができなく、TWINVQコーディング方法の効率を制限する。
【０００５】
従って、信号の時間周波数領域での局所集中性とベクトル量子化技術の高効率をどのように有効的に利用するかは、コーディング効率を向上させることの核心問題であり、具体的には、二つの面に関係する。まず、信号成分のクラスタ間距離ができるだけ大きくなり、クラスタ内距離ができるだけ小さくなるように、時間周波数平面に対して有効的に分割する必要がある。それは、信号のマルチ解像度フィルター問題を解決する。その後、時間周波数平面に対して有効的に分割した上で、ベクトルを新たに配列、選択及び量子化して、コーディングゲインを最大にさせる。それによって、信号のマルチ解像度ベクトル量子化問題を解決する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明が解決する技術課題は、異なる入力信号タイプに対して、時間周波数解像度を調整し、且つ信号の時間周波数領域での局所集中性を有効に利用してベクトル量子化を行って、コーディング効率を向上することができるマルチ解像度ベクトル量子化のオーディオCODEC方法及びその装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係るマルチ解像度ベクトル量子化のオーディオコーディング方法は、入力したオーディオ信号に対して、自己適応フィルターを行って、時間周波数フィルター係数を獲得して、フィルター信号を出力することと、前記フィルター信号に対して、時間周波数平面で分割して、ベクトル組合を獲得することと、ベクトル量子化しようとするベクトルを選択することと、選択したベクトルに対して、ベクトル量子化を行って、量子化残差を計算することと、量子化された後のコードブック情報を、コーダのサイド情報としてオーディオデコーダに伝送して、量子化残差を量子化コードすることを含んでいる。
【０００８】
本発明に係るマルチ解像度ベクトル量子化のオーディオデコード方法は、コードストリームに対して逆多重化して、マルチ解像度ベクトル量子化のサイド情報を得て、選択点のエネルギー及びベクトル量子化された位置情報を得て、上記情報に従って、逆ベクトル量子化により正規化されたベクトルを獲得し、且つ正規化因子を計算して、元の時間周波数平面の量子化ベクトルを再構成し、位置情報に従って、前記再構成されたベクトルを、対応する時間周波数係数の残差に相加して、マルチ解像度逆フィルターと周波数から時間までのマッピングにより、再構成されたオーディオ信号を得る。
【０００９】
本発明に係るマルチ解像度ベクトル量子化のオーディオコーダは、時間周波数マッピング装置と、マルチ解像度フィルターと、マルチ解像度ベクトル量子化器と、心理音響計算モジュールと量子化コーダを有し、前記時間周波数マッピング装置は、オーディオ入力信号を受け取って、時間から周波数までのマッピングを実施して、前記マルチ解像度フィルターに出力し、前記マルチ解像度フィルターは、信号に対して自己適応フィルターを行って、前記心理音響計算モジュールと前記マルチ解像度ベクトル量子化器に、フィルターされた後の信号を出力するために用いられる。前記マルチ解像度ベクトル量子化器は、フィルターされた後の信号に対してベクトル量子化し、且つ量子化残差を計算して、量子化後の信号をサイド情報としてオーディオデコーダに伝送し、量子化残差を前記量子化コーダに出力するために用いられる。前記心理音響計算モジュールは、入力されたオーディオ信号に従って、心理音響計算モジュールの掩蔽しきい値を計算して、前記量子化コーダに出力し、量子化の許容ノイズを制御するために用いられる。前記量子化コーダは、前記心理音響計算モジュールから出力した許容ノイズの制限で、前記マルチ解像度ベクトル量子化器から出力された残差に対して量子化とエントロピーコーディングを行って、コーディングされたコードストリーム情報を得る。
【００１０】
本発明に係るマルチ解像度ベクトル量子化のオーディオデコーダは、デコードと逆量子化器と、マルチ解像度逆ベクトル量子化器と、マルチ解像度の逆フィルターと、周波数-時間マッピング装置を有する。前記デコードと逆量子化器は、コードストリームに対して逆多重化、エントロピーコーディングと逆量子化を実施して、サイド情報とコーディングデータを得て、前記マルチ解像度逆ベクトル量子化器に出力するために用いられる。前記マルチ解像度逆ベクトル量子化器は、逆量子化過程を行って、量子化されたベクトルを再構成して、量子化されたベクトルを時間周波数平面の残差係数に相加して、前記マルチ解像度逆フィルターに出力するために用いられる。前記マルチ解像度逆フィルターは、前記マルチ解像度逆ベクトル量子化器により再構成されたベクトルと残差係数の和信号に対して逆フィルターを行って、前記周波数時間マッピング装置に出力するために用いられる。前記周波数時間マッピング装置は、周波数から時間までの信号のマッピングを完成して、最後に再構成されたオーディオ信号を得るために用いられる。
【００１１】
本発明に係るマルチ解像度ベクトル量子化（Multiresolution
Vector Quantization：MRVQ）技術に基づいたオーディオCODEC方法及びその装置は、オーディオ信号に対して自己適応にフィルターを行うことができ、マルチ解像度フィルターを通じて、信号エネルギーが局所の時間周波数区域で集中する現象をさらに有効に利用することができる。また、信号のタイプに応じて、自己適応に時間と周波数解像度を調整することができる。フィルター係数に対して新たに配列することにより、信号の集中特性に応じて異なる配列策略を選択して、前記マルチ解像度時間周波数の解析結果を有効に利用することができ、ベクトル量子化を採用してこれら区域を量子化して、コーディング効率を向上させると同時に、量子化精度を有効的に制御して、最適化することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明に係る実施例について、より詳しく説明する。
図1に示したフローチャートは、本発明に係るオーディオコーディング方法の全体技術を示したものである。入力されたオーディオ信号については、先ず、マルチ解像度のフィルターを行い、その後、フィルター係数に対して新たに配列して、在時間周波数平面でベクトルを分割する。更に、量子化しようとするベクトルを選択して確定し、ベクトルを確定した後、ベクトル毎に対して量子化を行って、対応するベクトル量子化コードブックと量子化残差を獲得する。ベクトル量子化コードブックは、サイド情報として、デコーダに伝送し、量子化残差については、量子化コーディング処理を行う。
【００１３】
図2に、オーディオ信号に対してマルチ解像度フィルターを行うフローチャートを示した。入力したオーディオ信号をフレームに分解し、信号フレームに対して、過渡度量（transient
measure）の計算を行い、過渡度量の値としきい値の大きさを比較することにより、目前の信号フレームのタイプがゆっくり変化する信号であるか或は速く変化する信号であるかを判断する。異なる信号フレームのタイプに従って、信号フレームのフィルター構造を選択し、ゆっくり変化する信号である場合、同じ帯域幅のコサイン変調フィルターを行って、時間周波数平面のフィルター係数を獲得して、フィルター信号を出力する。速く変化する信号である場合、同じ帯域幅のコサイン変調フィルターを行って、時間周波数平面のフィルター係数を獲得してから、ウェーブレット変換を採用して、フィルター係数に対してマルチ解像度解析を行って、フィルター係数の時間周波数解像度を調整し、最後にフィルター信号を出力する。速く変化する信号に対して、一連の速く変化する信号のタイプを更に定義することができ、即ち、複数のしきい値が存在して、速く変化する信号に対してごくわずかに分けて、異なるタイプの速く変化する信号に対して、異なるウェーブレット変換を採用してマルチ解像度解析を行う。例えば、ウェーブレット基は固定なものでもよい、自己適応なものでもよい。
【００１４】
上述したように、ゆっくり変化する信号と速く変化する信号に対するフィルターは、いずれもコサイン変調フィルターバンクの技術に従って行い、コサイン変調フィルターバンクには、伝統的なコサイン変調フィルター技術と修正離散コサイン変換MDCT技術である二種のフィルター形式が含まれる。図3でコサイン変調フィルターに基づいた信号ソースのコーディング/デコーディングシステムを示した。コーディング端において、入力信号は、解析フィルターバンクにより、M個のサブバンドに分解され、サブバンド係数を量子化及びエントロピーコーディングした。デコーディング端において、エントロピーデコードと逆量子化を経て、サブバンド係数を獲得し、サブバンド係数は、合成フィルターバンクによりフィルターされて、オーディオ信号に回復する。
【００１５】
伝統的なコサイン変調フィルター技術の衝撃応答は下記の通りである。
2007506986.tif 000003
その中で、０≦ｋ＜Ｍ−１、０≦ｎ＜２ＫＭ−１、Ｋは零より大きい整数であり、
2007506986.tif 000004
である。ここで、Ｍ個サブバンクのコサイン変調フィルターバンクの解析窓（解析プロトタイプフィルター）Ｐａ（ｎ）の衝撃応答長さをＮａにし、総合窓（或は総合プロトタイプフィルターとも言う）Ｐｓ（ｎ）の衝撃応答長さをＮｓにする時、全てのシステムの遅延時間Dは、［Ｍ−１，Ｎｓ＋Ｎａ−Ｍ＋１］の範囲内に規制することができ、システムの遅延時間はＤ＝２ｓＭ＋ｄ（０≦ｄ≦２Ｍ−１）である。
【００１６】
解析窓と総合窓が相等する場合、即ち、
2007506986.tif 000005
である場合、式（F-1）と（F-2）が示すコサイン変調フィルターバンクは直交フィルターバンクであり、その時、マトリックスＨとＦ（［Ｈ］ｎ，ｋ＝ｈｋ（ｎ），［Ｆ］ｎ，ｋ＝ｆｋ（ｎ））は、直交変換マトリックスである。直線性位相のフィルターバンクを獲得するために、対称窓を更に規定する。
2007506986.tif 000006
【００１７】
直交と双直交システムの完全再構成性を保証するために、窓函数を満足させる条件については、文献（P.P. Vaidynathan,“Multirate  Systems  and  Filter  Banks”,Prentice Hall,  Englewood  Cliffs,NJ,1993）に記載されている。
他の一種のフィルター形式は、修正離散コサイン変換MDCTであり、TDAC(Time
Domain Aliasing Cancellation)コサイン変調フィルターバンクとも言える、その衝撃応答は下記の通りである。
2007506986.tif 000007
その中で、０≦ｋ＜Ｍ−１、０≦ｎ＜２ＫＭ−１、Ｋは零より大きい整数である。また、ｐａ（ｎ）とｐｓ（ｎ）はそれぞれ解析窓（或は解析プロトタイプフィルター）と総合窓（或は総合プロトタイプフィルター）である。
同じように、解析窓と総合窓が相等する場合、即ち、
2007506986.tif 000008
である場合、式（F-5）と（F-6）が示すコサイン変調フィルターバンクは直交フィルターバンクであり、その時、マトリックスＨとＦ（［Ｈ］ｎ，ｋ＝ｈｋ（ｎ），［Ｆ］ｎ，ｋ＝ｆｋ（ｎ））は、直交変換マトリックスである。直線性位相のフィルターバンクを獲得するために、対称窓を更に規定すると、
2007506986.tif 000009
完全再構成を満足する。これから分かるように、解析窓と総合窓は下記のことを満たすべきである。
2007506986.tif 000010
そのなかで、
2007506986.tif 000011
である。
【００１８】
式（F-7）の拘束条件を広くして、即ち、解析窓と合成窓が相等する制限を取消すと、コサイン変調フィルターバンクは、双直交変調フィルターバンクである。
時間領域解析により既に証明されたように、下記のことを満たせば、式（F-5）及び（F-6）で獲得された双直交変調フィルターバンクは、依然として完全再構成性を満足させる。
2007506986.tif 000012
その中で、
2007506986.tif 000013
である。
上記解析から分かるように、コサイン変調フィルターバンク（MDCTを含む）の解析窓と合成窓は、何れも、フィルターバンクの完全再構成条件を満たす何れの窓形式をも採用することができ、例えば、オーディオコーディングで通常に採用されているSINEとKBD窓を採用することができる。
【００１９】
なお、コサイン変調フィルターバンクのフィルターは、高速フーリエ変換を採用して、計算効率を向上させることができる。この点については、文献“A New Algorithm for the Implementation of Filter Banks based on ‘Time
Domain Aliasing Cancellation’”（P.Duhamel,Y.Mahieux和J.P.Petit,Proc.ICASSP,1991年五月，第2209-2212頁）に記載されている。
【００２０】
同様に、ウェーブレット変換技術も、信号処理分野においてよく知られている技術であり、このウェーブレット変換技術は、「ウェーブレット変換理論及び信号処理中の応用」（陳逢時、国防工業出版社、1998）に記載されている。
【００２１】
図4に示したように、マルチ解像度解析してフィルターされた後の信号は、時間周波数平面で、新たな分配、信号エネルギーの集中の特性があり、図4aに示したように、サイン信号のような時間領域に対して安定な信号は、時間周波数平面で、そのエネルギーが時間方向に沿って一つの周波数帯に集中する。図4bに示したように、時間領域で速く変化する信号は、特にカスタネット信号のようなオーディオコーディングでプリエコー現象が顕著に速く変化する信号は、そのエネルギーが主に周波数方向に沿って分布され、即ち、ほとんどのエネルギー値が少数の幾つかの時間点に集中されている。図4cに示したように、時間領域ノイズ信号に対して、そのスペクトラムは広い範囲に分布されているので、エネルギーの集中方式に多様な模式がある。即ち、時間方向に沿った分布もあり、周波数方向に沿った分布もあり、更に区域に従った分布もある。
【００２２】
時間周波数のマルチ解像度分布において、低周波数部分の周波数解像度が高くて、中高周波数部分の周波数解像度が比較的に低い。プリエコー現象を起こす成分が主に中高周波数部分であるので、当該成分のコーディング品質が改良できれば、プリエコーを有効的に制御することができ、マルチ解像度ベクトル量子化の一つの重要な出発点は、それらの重要なフィルター係数に対して、量子化による誤差を最適化することである。従って、それらの係数に対して、高効率のコーディング策略を採用することが特に重要なことである。マルチ解像度フィルターした後に得られた信号フィルター係数の時間周波数分布に従って、重要なフィルター係数に対して、新たに配列及び分類することができる。前記解析から分かるように、マルチ解像度フィルターされた後の信号のエネルギー分布は、強い法則を表し、ベクトル量子化を導入して、そのような特性を有効的に利用して、係数の組合せを行うことができる。特定の方式を採用したベクトルを配列することにより、時間周波数平面での区域を一次元ベクトルのマトリックス形式に配列する。その後、当該ベクトルマトリックスの全部或いは部分マトリックス元素に対してベクトル量子化を実行し、量子化後の情報を、コーダのサイド情報として、デコーダに伝送し、量子化残差と量子化されなかった係数は、一緒に一つの残差システムを構成して、量子化コードする。
【００２３】
図5は、オーディオ信号がマルチ解像度フィルターされた後、マルチ解像度ベクトル量子化する過程を示し、マルチ解像度ベクトル量子化する過程には、ベクトル分割と、ベクトル選択と、ベクトル量子化との三つの過程が含くまれる。
【００２４】
時間周波数平面に対して、時間方向と、周波数方向と、時間周波数区域の三つの方式でベクトル分割を行うことができ、音調性が強い信号は、時間方向に従って、ベクトルを配列することが適応し、時間領域で速く変化する特性を有する信号は、周波数方向に従って、ベクトルを配列することに適応し、複雑なオーディオ信号は、時間周波数区域に従って、ベクトルを配列するのが適応する。信号の周波数係数の長さをNと設定すると、マルチ解像度でフィルターした後、時間周波数平面において時間方向の解像度がLであり、周波数方向の解像度がKであり、且つK*L=Nである。ベクトル分割を行う時、先ず、ベクトル次元数であるDの大きさを確定することにより、分割後のベクトルの個数であるN/Dを得る。時間方向に従ってベクトルを分割する時、周波数方向の解像度Kを変化させないまま、時間に対して分割する。周波数方向に従ってベクトルを分割する時、時間方向の解像度Lを変化させないまま、周波数に対して分割する。時間周波数区域に従ってベクトルを分割する時、その時間と周波数方向においての分割の個数は自由であり、最後に分割されたベクトル個数がN/Dであることを満足させればよい。図6で時間、周波数と時間周波数区域に従ってベクトルを分割する実施例を示した。周波数係数の長さをN=1024と設定し、マルチ解像度フィルターした後、時間周波数平面は、K*L
= 64*16形式に分割され、K=64は周波数方向の解像度であり、L=16は、時間方向の解像度である。ベクトルの次元数をD=8と設定すると、当該時間周波数平面に対して、異なる方式でベクトルを組合せ、取出すことができる。図6-a、図6-bと図6-cに示す通りである。図6-aにおいて、ベクトルは、周波数方向に従って8*16個の8次元ベクトルに分割され、それをI型ベクトル配列と略称する。図6-bは時間方向に従ってベクトルを分割した結果であり、共に64*2個の8次元ベクトルがあり、それをII型ベクトル配列と略称する。図6-cは、時間周波数区域に従ってベクトルを配列した結果であり、共に16*8個の8次元ベクトルがあり、それをIII型ベクトル配列と略称する。このようにして、異なる分割方法に従って分割しても、128個の8次元ベクトルを獲得することができる。I型配列で得られたベクトル集合を{vf}と記載し、II型配列で得られたベクトル集合を{vt}と記載し、III型配列で得られたベクトル集合を{vt-f}と記載することができる。
【００２５】
ベクトルを分割した後、量子化しようとするベクトルを確定するように、ベクトルを選択し、その場合には、二つの選択方式を採用することができる。
【００２６】
第一の方式は、全ての時間周波数平面の全部ベクトルを選択して量子化することであり、全部ベクトルとは、ある分割方式に従って得られた全ての時間周波数格子を覆うベクトルを指し、例えば、I型ベクトル配列で得られた全部ベクトル、或いはII型ベクトル配列で得られた全部ベクトル、或いはIII型ベクトル配列で得られた全部ベクトルであり、その中の一組の全部ベクトルを選択すればよい。どの組のベクトル集合を選択するかは、量子化ゲインにより確定し、量子化ゲインは、量子化する前のエネルギーと量子化誤差のエネルギーとの比を意味する。前記ベクトル配列に対して、ゲイン値が大きいベクトル配列のベクトルを選択する。
【００２７】
第二の方式は、最も重要なベクトルを選択して量子化することであり、最も重要なベクトルには、周波数方向のベクトルを含んでいてもよい。また、時間方向のベクトル或いは時間周波数区域のベクトルを含んでいてもよい。部分ベクトルを選択してベクトルを量子化する場合、サイド情報には、ベクトルの量子化インデックスの他に、それらのベクトルのシリアル番号を含んでいることが必要である。ベクトルを選択する具体的な方法は、以下の通りである。
【００２８】
量子化しようとするベクトルを確定した後、ベクトル量子化処理を行う。全部ベクトルを選択して量子化しても、或いは重要なベクトルを選択して量子化しても、その基本ユニットは単なるベクトル毎に対して量子化することである。単なるD次元ベクトルに対して、動態範囲とコードブックの大きさとの間のバランスを考量して、量子化する前に、ベクトルに対して正規化処理を行って、正規化された因子を取る必要があり、正規化因子は、異なるベクトルのエネルギーの動態範囲を表す値であり、変化する量である。正規化処理した後のベクトルが、更に量子化され、その量子化処理は、コードブックインデックスの量子化と正規化因子の量子化を含む。ビットレートとコーディングゲインの制限を考量して、精度を満足した条件で、正規化因子に対する量子化が占めるビット数は少ないほどよい。本発明において、曲線と曲面の近似、マルチ解像度解析と予測などの方法を採用して、マルチ解像度の時間周波数係数エンベロープを計算して、正規化因子を得る。
【００２９】
図7と図9において夫々マルチ解像度のベクトル量子化過程の二つの具体的な実施例のフローチャートを示した。図7で示した実施例において、エネルギーとベクトル内の分量の分散に従って、ベクトルを選択し、且つテイラー式を採用してマルチ解像度の時間周波数係数エンベロープを示し、正規化因子を得てから、量子化して、マルチ解像度ベクトル量子化を実現する。図9で示した実施例は、コーディングゲインに従ってベクトルを選択し、且つ、スプライン曲線近似を採用してマルチ解像度の時間周波数係数エンベロープを計算して、正規化因子を得てから、量子化を行って、マルチ解像度ベクトル量子化を実現する。以下、その二つの実施例について夫々説明する。
【００３０】
図7において、まず、周波数方向、時間方向と時間周波数区域に従って、ベクトルを配列し、周波数係数N=1024である場合、時間周波数のマルチ解像度フィルターは64*16の格子を発生し、ベクトルの次元数が8である時、周波数で分割して8*16マトリックス形式のベクトルを得ることができ、時間に従って分割して64*2マトリックス形式のベクトルを得ることができ、時間周波数区域に従って分割して16*8マトリックス形式のベクトルを得ることができる。
【００３１】
全部ベクトルを量子化しない場合、重要性に従って、ベクトルを選択する。本実施例において、ベクトルを選択する根拠は、ベクトルのエネルギーとベクトル内の各分量の分散であり、分散を計算する時、デジタル符号の影響を除くように、ベクトルの組成元素は絶対値を取る必要がある。集合をV={vf}U{vt}U{vt-f}に設定すると、ベクトルの選択過程は具体的に下記の通りである。先ず、集合V中のベクトル毎のエネルギーEvi
=|vi|2を計算すると同時に、ベクトル毎のdEviを計算する。dEviは第i個目のベクトルの各分量の分散を示す。その後、集合V中の元素をエネルギーの大きさに従って配列し、配列された後の元素を、小さい分散から大きい分散までの順序に羅列する。信号のエネルギー総量と目前選択されたベクトルのエネルギー総量の比で、選択しようとするベクトルの個数Mを確定し、典型的に3-50内の整数を取ることができる。その後、前のM個のベクトルを選択してベクトル量子化し、I型ベクトル配列、II型ベクトル配列とIII型ベクトル配列を同時に含んでいる同一区域のベクトルであれば、分散の順序的な羅列に従って、選択する。上記ステップにより、量子化しようとするM個のベクトルを選択する。
【００３２】
M個のベクトルを選択した後、テイラー（Taylor）近似式を採用して、異なるコンポジタ度量規則に従って、各乗分散の量子化サーチ過程を完成する。最も有効的に量子化するために、ベクトルに対して、二回目の正規化処理を行う必要があり、第一回目に正規化する時、グローバルで最大の絶対値を採用し、第二回目に正規化する時、ポイント・マルチポイントにより信号エンベロープに対して推定した後、推定値を用いて、対応する位置ベクトルに対して第二回目の正規化を行う。二回の正規化を経た後、ベクトル変化の動態範囲は有効的に制御される。信号エンベロープの推定方法は、テイラー式により実現され、後で詳しく説明する。
【００３３】
ベクトル量子化は以下のステップ通りに行う。先ず、テイラー近似計算式中のパラメータを決定して、テイラー式を用いて全ての時間周波数平面での何れのエネルギー近似値をも表し、またその最大エネルギー或いは最大絶対値を求める。その後、選択したベクトルに対して第一回目の正規化処理を行う。続いて、テイラー式を用いてベクトル量子化しようとするベクトルのエネルギー近似値を求めて、第二回目の正規化処理を行う。最後に、正規化された後のベクトルに対して最小のコンポジタで量子化を行い、同時に量子化残差を求める。以下、上述したステップに対して詳しく説明する。時間周波数平面で、時間周波数の格子毎の係数は、一つの確定エネルギーと対応する。時間周波数の格子の係数エネルギーを当該係数の二階或いは絶対値と定義する。ベクトルのエネルギーを、当該ベクトルを形成する全ての時間周波数の格子上の係数エネルギーの総和或いはこれらの係数の最大絶対値と定義する。時波数平面区域のエネルギーを、当該区域を形成する全ての時間周波数の格子上の係数エネルギー総和或いはこれら係数値の最大絶対値と定義する。従って、ベクトルのエネルギーを得るために、ベクトルに含まれている全ての時間周波数の格子の係数に対してエネルギー或いは絶対値の最大値を計算する必要がある。このため、全ての時間周波数平面に対して、図6-a、6-b及び/或いは6-cの分割方式を採用して、分割された区域に対して番号を付ける（1、2、……N)ことができる。周波数方向に従って分割することを採用すると、各区域は一つの周波数方向のベクトルに対応する、各区域のエネルギー或いは絶対値の最大値を求めて、一次函数Y=f(X)を構成する。その中で、Xは区域シリアル番号を示し、その値は[1,N]上の整数を取り、YはX区域のエネルギー或いは絶対値の最大値に対応する値を示し、点（Xi，Yi）は引導点とも呼ばれる。iの値は[1,N]上の整数を取る。テイラー式から、
2007506986.tif 000014
一次函数Y=f(X)のM個値が離散序列{y1,y2,y3,y4,…,yM}を構成する。当序列の一階、二階と三階差分は何れも回帰方法（Regression
Method）で求められる、即ち、YからDY、D2Y及びD3Yが得られる。
【００３４】
図8はテイラー展開式を用いて函数Y=f(X)を近似に示した図である、丸点は全てのN個区域から選択した量子化コードしようとする区域を表す。このNは全ての時間周波数平面を分割して得たベクトル数である。具体的に正規化因子を得る過程は以下の通りである。信号エネルギー総量に基づいて、一つのグローバルゲイン因子Global_Gainを決める、それに対して対数模型を用いて量子化コーディングを行う。その後、当該ゲイン因子Global_Gainを用いてベクトルに対して正規化を行う。また、テイラー式（1）により目前のベクトル位置上の局部正規化因子Local_Gainを求める。また、目前のベクトルに対して再び正規化処理を行う。目前のベクトルの総ゲイン因子Gainは、前記二個の正規化因子の乗算から得る。
2007506986.tif 000015
【００３５】
その中で、Local_Gainはコーダ端で量子化を必要とせず、デコーダ端で、テイラー式（1）により同じ過程を用いて局部正規化因子Local_Gainが求められる。Global_Gainと再構成した正規化ベクトルと乗算すると、目前ベクトルの再構成値が得られる。従って、コーダ端でコーディングが必要とされるサイド情報は、図8で選択した円点の函数値、及びそれらの一階、二階差分値である。本発明はベクトル量子化を採用してそれらをコードする。
【００３６】
ベクトル量子化の過程は下記の通りである。予め選択したM個区域の函数値f(x)は、M次元ベクトルyを構成し、当該ベクトルと対応する一階、二階差分は、既知であり、別々にdyとd2yで示し、その三つのベクトルに対して、それぞれに量子化を行う。コーダ端において、コードブック計算法で三つのベクトルに対応するコードブックを既に獲得し、量子化過程は、最もマッチングするベクトルをサーチする過程である。ベクトルyは、テイラー式の零階近似表示に対応し、コードブックをサーチする時のコンポジタ度量は、欧式距離を採用する。一階差分dyの量子化は、テイラー式の一階近似に対応する。
2007506986.tif 000016
【００３７】
従って、一階差分の量子化は、先ず欧式距離に従って、対応するコードブック中でコンポジタが最小である少量のコードワードをサーチし、目前のベクトルx0の小さい領域で、領域中の区域毎に対して、式（3）を利用して、量子化コンポジタを計算し、最後にコンポジタの総合をコンポジタ度量とする。即ち、
2007506986.tif 000017
【００３８】
その中で、
2007506986.tif 000018
は、量子化前の値を示し、
2007506986.tif 000019
は、テイラー式で求めた近似値を示し、Mは領域の範囲を示す。二階差分d2yの量子化は、類似する過程を用いて行うことができる。上記過程により、最後に三つの量子化された後のコードワードインデックスが得られ、サイド情報としてデコーダに返送する。量子化残差については量子化コーディング処理を行う。
【００３９】
上記方法は、二次元時間周波数曲面の場合に容易に展開することができる。
図9はマルチ解像度ベクトル量子化過程のほかの実施例の図面である。先ず、別々に周波数方向、時間方向と区域に従ってベクトルを配列する。全部ベクトルに対して量子化しない場合、ベクトル毎のコーディングゲインを計算して、コーディングゲインが最大の前のM個ベクトルを選択してベクトル量子化する。M値の確定方法は、ベクトルに対して、大きいエネルギーから小さいエネルギーまでの順序で羅列した後、エネルギー総量で占めるパーセンテージが経験しきい値（例えば、50%-90%）を超過するベクトルの個数をMとして確定する方法である。最も有効的に量子化するために、ベクトルに対して二回の正規化を行う必要があり、第一回目は、グローバル最大絶対値を採用し、第二回目は、スプライン近似を採用してベクトル内の正規化値を計算し、二回の正規化を経て、ベクトルの変化する動態範囲が有効的に制御される。
【００４０】
図7で示した実施例と同様に、先ず、全ての時間周波数平面に対して新たに分割して、（1，2，……，N）番号を付け、区域毎のエネルギー或いは最大絶対値を計算して、一次函数Y=f(X)を構成する。その中で、Xは、区域番号を示し、その値は、[1,N]上の整数である。また、Yは、Xの区域に対応するエネルギー或いは最大絶対値である。Bスプライン曲線近似によった式は、下記の通りである。
第I個目サブ区間の常数（0回）Bスプライン函数は、下記の通りである。
2007506986.tif 000020
区間[xi,xi+m+1]で、第m回目のBスプライン函数は下記のように定義される。
2007506986.tif 000021
そうすると、Bスプライン函数を基礎として、何れのスプラインをも下記のように表すことができる。
2007506986.tif 000022
【００４１】
このようにして、式（5）、（6）と（7）により、x点スプラインの函数値を計算することができ、これらの補間用の点は、引導点とも言われる。
【００４２】
図8も同様に、スプライン曲線近似して得られた函数Y=f(X)の図面とすることができる。丸点は全てのN個区域から選択したコーディングしようとする区域を示し、ここのNは時間周波数平面の全部に対して分割して得たベクトル数である。具体的には、ベクトル量子化過程は下記の通りである。コーダ端において、量子化しようとするベクトルに対して、信号のエネルギー総量に従って、一つのグローバルゲイン因子Global_Gainを確定し、それに対して、対数模型を用いて量子化コードし、その後、当該ゲイン因子Global_Gainを用いて、ベクトルを正規化する。近似式（7）により、目前のベクトル位置上の局所正規化因子Local_Gainを計算し、且つ、目前のベクトルに対して再び正規化処理を行う。目前ベクトルの総正規化因子Gainは、上記二つの因子の乗算である。
2007506986.tif 000023
【００４３】
その中で、Local_Gainはコーダ端で量子化する必要がない。同様に、デコーダ端は、近似式（7）によって、同じ過程を用いて、Local_Gainを求めることができる。総ゲインと再構成の正規化ベクトルを乗算して、目前のベクトルの再構成値を得ることができる。従って、スプライン曲線近似方法を採用する時、コーダ端でコーディングしようとするサイド情報は図8で選択した丸点の函数値であり、本発明では、ベクトル量子化を採用してコーディングする。
【００４４】
ベクトル量子化過程は下記の通りである。先ず、M個区域の函数値f(x)を選択して、M次元のベクトルyを構成し、ベクトルyは、更に幾つかの分ベクトルに分解させて、ベクトルのサイズを制御し、ベクトルの量子化精度を高めることができる。それらのベクトルは選択点ベクトルとも言える。その後、ベクトルyに対してそれぞれ量子化を行う。コーダ端において、コードブック計算法により、対応するベクトルのコードブックが得られる。量子化過程は、最もマッチングするベクトルをサーチする過程であり、サーチして得られたコードワードインデックスをサイド情報としてデコーダに伝送する。量子化誤差にういては、続いて後続の量子化コーディング処理を行う。
【００４５】
以上の方法は、二次元時間周波数曲面の場合に、容易に展開することができる。
図10で示すオーディオコーダは、時間周波数マッピング装置、マルチ解像度フィルター、マルチ解像度ベクトル量子化器、心理音響計算モジュール及び量子化コーダを含んでいる。コーディングしようとする入力オーディオ信号は二つの経路に分け、一つの経路は、時間周波数マッピング装置を経て、マルチ解像度フィルターに入って、マルチ解像度解析を行い、その解析結果をベクトル量子化の入力と心理音響計算モジュールの計算とする。他方の経路は、心理音響計算モジュールに入って、目前の信号の心理音響の掩蔽しきい値を推定して、量子化コーダの感知無関係の成分を制御する。マルチ解像度ベクトル量子化器は、マルチ解像度フィルターの出力に従って、時間周波数平面の係数をベクトルに分割して、ベクトル量子化を行い、量子化残差については、量子化コーダにより量子化とエントロピーコーディングを行う。
【００４６】
図11は、図10で示すオーディオコーディングのマルチ解像度フィルターの構造を示す図である。マルチ解像度フィルターには、過渡度量計算モジュールと、複数の同じ帯域幅のコサイン変調フィルターと、複数のマルチ解像度解析モジュールと時間周波数フィルター係数の配列モジュールが含まれる。その中で、マルチ解像度解析モジュールは、同じ帯域幅のコサイン変調フィルターより１個少ない。その作業原理は下記の通りである。即ち、入力オーディオ信号は、過渡度量計算モジュールの解析を経て、ゆっくり変化する信号と速く変化する信号に分け、速く変化する信号は、更にI型の速く変化する信号と類似する信号と、II型の早く変化する信号と類似する信号に分ける。ゆっくり変化する信号は、同じ帯域幅のコサイン変調フィルターに入力されてフィルターされ、必要とする時間周波数フィルター係数を得る。各類の速く変化する信号は、何れも先ず同じ帯域幅のコサイン変調フィルターを経てフィルターされた後、マルチ解像度解析モジュールに入って、フィルター係数に対してウェーブレット変換を行って、係数の時間周波数解像度を調整し、最後に時間周波数フィルター係数の配列モジュールを介してフィルター後の信号を出力する。
【００４７】
図12に示したように、マルチ解像度ベクトル量子化器は、ベクトル配列モジュールと、ベクトル選択モジュールと、グローバル正規化モジュールと、局所正規化モジュールと量子化モジュールを含んでいる。マルチ解像度フィルターから出力した時間周波数平面係数は、ベクトル配列モジュールを介して、異なる分割策略に従って、ベクトルの形式に配列された後、ベクトル選択モジュールで、エネルギーの大きさ等の要素に従って量子化しようとするベクトルを選択して、グローバル正規化モジュールに出力する。グローバル正規化モジュールにおいて、グローバル正規化因子により、全てのベクトルに対して第一回目の正規化処理を行った後、局所正規化モジュールにおいて、ベクトル毎の局所正規化因子を計算し、且つ、第二回目の局所正規化処理を行って、量子化モジュールに出力する。量子化モジュールにおいて、二回正規化された後のベクトルに対して量子化し、且つ量子化後の残差を計算して、マルチ解像度ベクトル量子化器の出力とする。
【００４８】
本発明は、マルチ解像度ベクトル量子化のオーディオデコード方法を提供する。図13に示したように、先ず、受取ったコードストリームに対して、逆多重化、エントロピーコーディングと逆量子化し、量子化されたグローバル正規化因子及び選択点の量子化インデックスを得る。インデックスに従って、コードブックから各選択点のエネルギー及び各階差分値を計算する。コードストリームから、時間周波数平面でベクトル量子化した位置情報を得て、テイラー式或はスプライン曲線近似式により、対応する位置の二回正規化因子を得る。そして、量子化インデックスに従って、正規化されたベクトルを得て、上記二つの正規化因子と乗算して、時間周波数平面で量子化したベクトルを再構成する。再構成されたベクトルとデコード逆量子化された時間周波数平面の対応位置の係数と相加し、マルチ解像度の逆フィルターと周波数から時間までのマッピングを行って、デコーディングを完成して、再構成されたオーディオ信号を得る。
【００４９】
図14でデコード方法中のマルチ解像度逆フィルター過程を示した。先ず、再構成されたベクトルの時間周波数係数に対して、時間周波数を配列し、デコードして得られた信号のタイプに従って、下記のフィルター操作を行う。即ち、ゆっくり変化する信号である場合、同じ帯域幅のコサイン変調フィルターを行って、時間領域のパルスコード変調PCMの出力を得る。速く変化する信号である場合、マルチ解像度合成を行ってから、同じ帯域幅のコサイン変調フィルターを行って、時間領域のPCM出力を得る。速く変化する信号については、更に多種のタイプに分けることができ、異なるタイプの早く変化する信号について行うマルチ解像度合成方法も異なる。
【００５０】
図15に示したように、オーディオデコーダには、具体的に、デコードと、逆量子化器と、マルチ解像度逆ベクトル量子化器と、マルチ解像度逆フィルター及び周波数-時間マッピング装置を含んでいる。デコードと逆量子化器は、受取ったコードストリームに対して逆多重化を行い、且つエントロピーコーディングと逆量子化を行って、マルチ解像度ベクトル量子化のサイド情報を得て、マルチ解像度逆ベクトル量子化器に出力する。マルチ解像度逆ベクトル量子化器は、逆量子化結果とサイド情報に従って、ベクトルを再構成し、且つ時間周波数平面の値を回復する。マルチ解像度逆フィルターは、マルチ解像度逆ベクトル量子化器により再構成されたベクトルに対して逆フィルターを行い、周波数時間マッピング装置により、周波数から時間までのマッピングを完成して、最後に再構成されたオーディオ信号を得る。
【００５１】
図16に示したように、前記マルチ解像度逆ベクトル量子化器は、逆多重化モジュールと、逆量子化モジュールと、正規化ベクトル計算モジュールと、ベクトル再構成モジュールと加法モジュールを含んでいる。先ず、逆多重化モジュールは、受取ったコードストリームに対して逆多重化を行って、正規化因子と選択点の量子化インデックスを獲得する。その後、逆量子化モジュールで、量子化インデックスに従って、エネルギーエンベロープを獲得し、逆多重化結果により、ベクトル量子化の位置情報を獲得し、且つ正規化因子と量子化インデックスにより、引導点と選択点のベクトルを逆量子化して得て、二回の正規化因子を計算して、正規化ベクトル計算モジュールに出力する。正規化ベクトル計算モジュールにおいて、選択点ベクトルに対して二回の逆正規化を行って、正規化ベクトルを獲得して、ベクトル再構成モジュールに出力してから、エネルギーエンベロープにより、正規化ベクトルに対して一回目の逆正規化を行って、再構成ベクトルを獲得する。加法モジュールにおいて、再構成ベクトルと時間周波数平面に対応する逆量子化残差を相加して、逆量子化の時間周波数係数を得て、マルチ解像度逆フィルターの出力とする。
【００５２】
図17に示したように、マルチ解像度逆フィルターは、時間周波数係数の配列モジュールと、複数のマルチ解像度合成モジュール及び複数の同じ帯域幅のコサイン変調フィルターを含んで、マルチ解像度合成モジュールは、同じ帯域幅のコサイン変調フィルターより1個少ない。再構成されたベクトルは、時間周波数係数の配列モジュールを経て、ゆっくり変化する信号と速く変化する信号に分け、速く変化する信号は、更にI、II……K型のように分けることができる。ゆっくり変化する信号に対して、同じ帯域幅のコサイン変調フィルターに入力されてフィルターされて、時間領域のPCM出力を得る。相違した速く変化する信号は、異なるマルチ解像度合成モジュールに出力して合成した後、同じ帯域幅のコサイン変調フィルターに出力して、フィルターさせて、時間領域のPCM出力を得る。
【００５３】
尚、上述した実施例は本発明を説明するために便宜的に採用したに過ぎないものであって、本発明を何等限定するものではない。好ましい実施例を参照して、本発明を詳細に説明したが、本発明の趣旨を逸脱しない範囲において本発明に対して修正或いは変更を加えることができることは、当業者にとって理解できるであろう。
【図面の簡単な説明】
【００５４】
【図１】本発明に係るマルチ解像度ベクトル量子化のオーディオコーディング方法のフローチャートである。
【図２】本発明に係るコーディング方法中のマルチ解像度フィルターのフローチャートである。
【図３】コサイン調製フィルターに基づいた信号ソースのコーディング/デコーディングシステムを示す図である。
【図４】マルチ解像度フィルター後のエネルギーの三種類の集中模式を示す図である。
【図５】マルチ解像度ベクトル量子化過程のフローチャートである。
【図６】三種類の方式によってベクトルを分割した図である。
【図７】マルチ解像度ベクトル量子化の一つ実施例のフローチャートである。
【図８】区域エネルギー/最大値を示す図である。
【図９】マルチ解像度ベクトル量子化の別の実施例のフローチャートである。
【図１０】本発明に係るマルチ解像度ベクトル量子化のオーディオコーダの構造を示す図である。
【図１１】オーディオコーダ中のマルチ解像度フィルターの構造を示す図である。
【図１２】オーディオコーダ中のマルチ解像度ベクトル量子化器の構造を示す図である。
【図１３】本発明に係るマルチ解像度ベクトル量子化のオーディオデコーディング方法のフローチャートである。
【図１４】マルチ解像度逆フィルターのフローチャートである。
【図１５】本発明に係るマルチ解像度ベクトル量子化のオーディオデコーダの構造を示す図である。
【図１６】オーディオデコーダ中のマルチ解像度逆ベクトル量子化器の構造を示す図である。
【図１７】オーディオデコーダ中のマルチ解像度逆フィルターの構造を示す図である。
【図１】
2007506986.tif 000024
【図２】
2007506986.tif 000025
【図３】
2007506986.tif 000026
【図４】
2007506986.tif 000027
【図５】
2007506986.tif 000028
【図６】
2007506986.tif 000029
【図７】
2007506986.tif 000030
【図８】
2007506986.tif 000031
【図９】
2007506986.tif 000032
【図１０】
2007506986.tif 000033
【図１１】
2007506986.tif 000034
【図１２】
2007506986.tif 000035
【図１３】
2007506986.tif 000036
【図１４】
2007506986.tif 000037
【図１５】
2007506986.tif 000038
【図１６】
2007506986.tif 000039
【図１７】
2007506986.tif 000040
【国際調査報告】
2007506986.tif 000041
2007506986.tif 000042
2007506986.tif 000043
2007506986.tif 000044