(57)【要約】  符号化された音信号の、サブフレームを含むフレームにおける励振信号の固定寄与分の利得を量子化するための装置および方法であって、固定励振寄与分の利得は、フレームの分類を表すパラメータを使用してサブフレームにおいて推定される。固定励振寄与分の利得は、次に推定された利得を使用してサブフレームにおいて量子化される。この装置および方法は、符号化された音信号のフレーム中の励振信号の適応寄与分および固定寄与分の利得を共同量子化する際に使用される。フレームのサブフレームにおける励振信号の固定寄与分の量子化された利得を検索するために、固定励振寄与分の利得は、フレームの分類を表すパラメータを使用して推定され、利得符号帳が、受信された、利得符号帳のインデックスに応じて補正係数を供給し、乗算器が、推定利得にこの補正係数を掛けて、固定励振寄与分の量子化された利得を提供する。
2014509407.tif 000002
【特許請求の範囲】
【請求項１】
符号化された音信号の、サブフレームを含むフレームにおける励振信号の固定寄与分の利得を量子化するための装置であって、
前記フレームの分類を表わすパラメータ用の入力と、
前記フレームの前記分類を表わす前記パラメータを供給される、前記フレームのサブフレームにおける前記励振信号の前記固定寄与分の前記利得の推定器と、
前記推定利得を使用して、前記サブフレームにおける前記励振信号の前記固定寄与分の前記利得の予測量子化器と
を備える装置。
【請求項２】
前記予測量子化器が、前記推定利得の補正係数を前記励振信号の前記固定寄与分の前記利得の量子化として決定し、前記補正係数を掛けた前記推定利得が、前記励振信号の前記固定寄与分の前記量子化された利得をもたらす、請求項1に記載の量子化装置。
【請求項３】
前記推定器が、前記フレームの第1のサブフレームについて、前記フレームの前記分類を表わす前記パラメータに応じた前記励振信号の前記固定寄与分の前記利得の第1の推定の計算機と、前記第1の推定から固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算して、前記推定利得を取得する減算器とを備える、請求項1または2に記載の量子化装置。
【請求項４】
前記推定器が、前記フレームの第1のサブフレームについて、
前記フレームの前記分類を表わす前記パラメータに応じて対数領域で前記励振信号の前記固定寄与分の前記利得を線形推定する計算機と、
前記計算機からの前記線形利得推定から対数領域の固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算し、対数領域の利得を生成する減算器と、
前記減算器からの対数領域の前記利得を線形領域にして、前記推定利得を生成する変換器と、
前記推定利得に前記補正係数を掛けて、前記励振信号の前記固定寄与分の前記量子化された利得を生成する乗算器と
を備える、請求項2に記載の量子化装置。
【請求項５】
前記推定器が、前記第1のサブフレームに続く前記フレームの各サブフレームについて、前記フレームの前記分類を表わす前記パラメータ、ならびに前記フレームの少なくとも1つの前のサブフレームの前記励振信号の適応寄与分および固定寄与分の利得に対応して、前記励振信号の前記固定寄与分の利得を推定する、請求項1から4のいずれか一項に記載の量子化装置。
【請求項６】
前記推定器が、前記第1のサブフレームに続く各サブフレームについて、対数領域の前記励振信号の前記固定寄与分の前記利得を線形推定する計算機と、対数領域の前記線形推定を線形領域にして前記推定利得を生成する変換器とを備える、請求項5に記載の量子化装置。
【請求項７】
前記フレームの少なくとも1つの前のサブフレームの前記励振信号の前記適応寄与分および固定寄与分の前記利得が、量子化された利得であり、前記励振信号の前記適応寄与分の前記量子化された利得が、前記計算機に直接供給され、一方前記励振信号の前記固定寄与分の前記量子化された利得が、対数計算機を介して対数領域で前記計算機に供給される、請求項6に記載の量子化装置。
【請求項８】
前記励振信号の前記固定寄与分の前記利得の前記推定の前記計算機が、前記分類パラメータに関連して、大規模トレーニングデータベースを使用して決定される推定係数を使用する、請求項3または4に記載の量子化装置。
【請求項９】
対数領域における前記励振信号の前記固定寄与分の前記利得の線形推定の前記計算機が、前記フレームの前記分類パラメータ、および少なくとも1つの前のサブフレーム推定係数の励振信号の適応寄与分および固定寄与分の利得に関連して、各サブフレームによって異なり、大規模トレーニングデータベースを使用して決定される推定係数を使用する、請求項6または7に記載の量子化装置。
【請求項１０】
前記推定器が、前記励振信号の前記固定寄与分の前記利得を推定するために、前記フレームの各サブフレームによって異なる推定係数を使用する、請求項1から9のいずれか一項に記載の量子化装置。
【請求項１１】
前記推定器が、前記励振信号の前記固定寄与分の前記利得の推定を前記フレームに限定して、フレーム消失に対する耐性を増大させる、請求項1から10のいずれか一項に記載の量子化装置。
【請求項１２】
符号化された音信号のフレームにおける励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置であって、
前記励振信号の前記適応寄与分の前記利得の量子化器と、
請求項1から11のいずれか一項に定義する前記励振信号の前記固定寄与分の前記利得を量子化するための前記装置と
を備える、装置。
【請求項１３】
前記励振信号の前記適応寄与分の前記量子化された利得と、前記推定利得の補正係数とをそれぞれ含んだエントリを有する利得符号帳を備える、請求項12に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項１４】
前記励振信号の前記適応寄与分の前記利得の前記量子化器、および前記励振信号の前記固定寄与分の前記利得の前記予測量子化器が、前記利得符号帳を探索し、前記利得符号帳の1つのエントリから前記励振信号の前記適応寄与分の前記利得、および前記利得符号帳の前記同じエントリの前記補正係数を、前記励振信号の前記固定寄与分の前記利得の量子化として選択する、請求項13に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項１５】
前記フレームの各サブフレームに対する前記利得符号帳の設計部(designer)を備える、請求項13に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項１６】
前記利得符号帳が、前記フレームの異なるサブフレームで異なるサイズを有する、請求項15に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項１７】
前記励振信号の前記適応寄与分の前記利得の前記量子化器、および前記励振信号の前記固定寄与分の前記利得の予測量子化器が、各サブフレームにおいて前記利得符号帳を完全に探索する、請求項14に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項１８】
利得符号帳のインデックスの受信機と、
フレームの分類を表わすパラメータを供給される、前記サブフレームにおける励振信号の固定寄与分の前記利得の推定器と、
前記利得符号帳のインデックスに応じて補正係数を供給するための利得符号帳と、
前記推定利得に前記補正係数を乗算して、前記サブフレームにおける前記励振信号の前記固定寄与分の量子化された利得を提供する乗算器と
を備える、フレームのサブフレームにおける励振信号の固定寄与分の量子化された利得を検索するための装置。
【請求項１９】
前記推定器が、前記フレームの第1のサブフレームについて、前記フレームの前記分類を表わす前記パラメータに応じた前記励振信号の前記固定寄与分の前記利得の第1の推定の計算機と、前記第1の推定から固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算して、前記推定利得を取得する減算器とを備える、請求項18に記載の励振信号の固定寄与分の量子化された利得を検索するための装置。
【請求項２０】
前記推定器が、前記第1のサブフレームに続く前記フレームの各サブフレームについて、前記フレームの前記分類を表わす前記パラメータ、および前記フレームの少なくとも1つの前のサブフレームの前記励振信号の適応寄与分および固定寄与分の利得に対応して、前記励振信号の前記固定寄与分の前記利得を推定する、請求項18に記載の励振信号の固定寄与分の量子化された利得を検索するための装置。
【請求項２１】
前記推定器が、前記励振信号の前記固定寄与分の前記利得を推定するために、前記フレームの各サブフレームによって異なる推定係数を使用する、請求項18から20のいずれか一項に記載の励振信号の固定寄与分の量子化された利得を検索するための装置。
【請求項２２】
前記推定器が、前記励振信号の前記固定寄与分の前記利得の推定を前記フレームに限定して、フレーム消失に対する耐性を増大させる、請求項18から21のいずれか一項に記載の励振信号の固定寄与分の量子化された利得を検索するための装置。
【請求項２３】
フレームのサブフレームにおける励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための装置であって、
利得符号帳のインデックスの受信機と、
前記フレームの分類を表わすパラメータを供給される、前記サブフレームにおける前記励振信号の前記固定寄与分の前記利得の推定器と、
前記利得符号帳のインデックスに応じて前記サブフレームに対して、前記励振信号の前記適応寄与分の前記量子化された利得、および補正係数を供給するための利得符号帳と、
前記推定利得に前記補正係数を乗算して、前記サブフレームにおける前記励振信号の固定寄与分の量子化された利得を提供する乗算器と
を備える、装置。
【請求項２４】
前記利得符号帳が、前記励振信号の前記適応寄与分の前記量子化された利得と、前記推定利得の前記補正係数とをそれぞれ含んだエントリを含む、請求項23に記載の励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための装置。
【請求項２５】
前記利得符号帳が、前記フレームの異なるサブフレームで異なるサイズを有する、請求項23または24に記載の励振信号の適応寄与分および固定寄与分の前記量子化された利得を検索するための装置。
【請求項２６】
符号化された音信号の、サブフレームを含むフレームにおける励振信号の固定寄与分の利得を量子化するための方法であって、
前記フレームの分類を表わすパラメータを受信するステップと、
前記フレームの前記分類を表わす前記パラメータを使用して、前記フレームのサブフレームにおける前記励振信号の前記固定寄与分の前記利得を推定するステップと、
前記推定された利得を使用して、前記サブフレームにおける前記励振信号の前記固定寄与分の前記利得を予測量子化するステップと
を含む方法。
【請求項２７】
前記励振信号の前記固定寄与分の前記利得を予測量子化するステップが、前記推定利得の補正係数を、前記励振信号の前記固定寄与分の前記利得の量子化として決定し、前記補正係数を乗算した前記推定利得が、前記励振信号の前記固定寄与分の前記量子化された利得をもたらすステップを含む、請求項26に記載の量子化方法。
【請求項２８】
前記励振信号の前記固定寄与分の前記利得を前記推定するステップが、前記フレームの第1のサブフレームについて、前記フレームの前記分類を表わす前記パラメータに応じて前記励振信号の前記固定寄与分の前記利得の第1の推定を計算するステップと、前記第1の推定から固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算して、前記推定利得を取得するステップとを含む、請求項26または27に記載の量子化方法。
【請求項２９】
前記励振信号の前記固定寄与分の前記利得を推定するステップが、前記フレームの第1のサブフレームについて、
前記フレームの前記分類を表わす前記パラメータに応じて対数領域の前記励振信号の前記固定寄与分の前記利得の線形推定を計算するステップと、
前記線形利得推定から対数領域の固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算して、対数領域の利得を生成するステップと、
前記減算からの対数領域の前記利得を線形領域に変換して、前記推定利得を生成するステップと、
前記推定利得に前記補正係数を乗算して、前記励振信号の前記固定寄与分の前記量子化された利得を生成するステップと
を含む、請求項27に記載の量子化方法。
【請求項３０】
前記励振信号の前記固定寄与分の前記利得を推定するステップが、前記第1のサブフレームに続く前記フレームの各サブフレームについて、前記フレームの前記分類を表わす前記パラメータ、および前記フレームの少なくとも1つの前のサブフレームの前記励振信号の適応寄与分および固定寄与分の利得に対応して、前記励振信号の前記固定寄与分の前記利得を推定する、請求項26から29のいずれか一項に記載の量子化方法。
【請求項３１】
前記励振信号の前記固定寄与分の前記利得を推定するステップが、前記第1のサブフレームに続く各サブフレームについて、対数領域の前記励振信号の前記固定寄与分の前記利得の線形推定を計算するステップと、対数領域の前記線形推定を線形領域に変換して、前記推定利得を生成するステップとを含む、請求項30に記載の量子化方法。
【請求項３２】
前記フレームの少なくとも1つの前のサブフレームの前記励振信号の前記適応寄与分の前記利得が、量子化された利得であり、前記フレームの少なくとも1つの前のサブフレームの前記励振信号の前記固定寄与分の前記利得が、対数領域の量子化された利得である、請求項31に記載の量子化方法。
【請求項３３】
前記励振信号の前記固定寄与分の前記利得の前記推定を計算するステップが、前記分類パラメータに関連して、大規模トレーニングデータベースを使用して決定される推定係数を使用するステップを含む、請求項28または29に記載の量子化方法。
【請求項３４】
対数領域の前記励振信号の前記固定寄与分の前記利得の線形推定を計算するステップが、前記フレームの前記分類パラメータおよび少なくとも1つの前のサブフレーム推定係数の前記励振信号の前記適応寄与分および固定寄与分の前記利得に関連して、各サブフレームによって異なり、大規模トレーニングデータベースを使用して決定される推定係数を使用するステップを含む、請求項31または32に記載の量子化方法。
【請求項３５】
前記励振信号の固定寄与分の前記利得を推定するステップが、前記励振信号の前記固定寄与分の前記利得を推定するために、前記フレームの各サブフレームによって異なる推定係数を使用するステップを含む、請求項26から34のいずれか一項に記載の量子化方法。
【請求項３６】
前記励振信号の前記固定寄与分の前記利得の推定が、フレーム消失に対する耐性を増大させるために前記フレームに限定される、請求項26から35のいずれか一項に記載の量子化方法。
【請求項３７】
符号化された音信号のフレームにおける励振信号の適応寄与分および固定寄与分の利得を共同量子化するための方法であって、
前記励振信号の前記適応寄与分の前記利得を量子化するステップと、
請求項26から36のいずれか一項に定義する方法を使用して、前記励振信号の前記固定寄与分の前記利得を量子化するステップと
を含む方法。
【請求項３８】
前記励振信号の前記適応寄与分の前記量子化された利得と、前記推定利得の補正係数とをそれぞれ含んだエントリを有する利得符号帳を使用する、請求項37に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための方法。
【請求項３９】
前記励振信号の前記適応寄与分の前記利得を量子化するステップ、および前記励振信号の前記固定寄与分の前記利得を量子化するステップが、前記利得符号帳を探索するステップと、前記励振信号の前記固定寄与分の前記利得の量子化として、前記利得符号帳の1つのエントリから前記励振信号の前記適応寄与分の前記利得、および前記利得符号帳の前記同じエントリの前記補正係数を選択するステップを含む、請求項38に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための方法。
【請求項４０】
前記フレームの各サブフレームに対して前記利得符号帳を設計するステップを含む、請求項38に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置。
【請求項４１】
前記利得符号帳が、前記フレームの異なるサブフレームで異なるサイズを有する、請求項40に記載の励振信号の適応寄与分および固定寄与分の利得を共同して量子化するための方法。
【請求項４２】
前記励振信号の前記適応寄与分の前記利得を量子化するステップ、および前記励振信号の前記固定寄与分の前記利得を量子化するステップが、各サブフレームにおいて前記利得符号帳を完全に探索するステップを含む、請求項39に記載の励振信号の適応寄与分および固定寄与分の利得を共同量子化するための方法。
【請求項４３】
フレームのサブフレームにおける励振信号の固定寄与分の量子化された利得を検索するための方法であって、
利得符号帳のインデックスを受信するステップと、
前記フレームの分類を表わすパラメータを使用して、前記サブフレームにおける前記励振信号の前記固定寄与分の前記利得を推定するステップと、
利得符号帳から、前記サブフレームに対して、前記利得符号帳のインデックスに応じて補正係数を供給するステップと、
前記推定利得に前記補正係数を乗算して、前記サブフレームにおける前記励振信号の前記固定寄与分の量子化された利得を提供するステップと
を含む方法。
【請求項４４】
前記励振信号の前記固定寄与分の前記利得を推定するステップが、前記フレームの第1のサブフレームについて、前記フレームの前記分類を表わす前記パラメータに応じて前記励振信号の前記固定寄与分の前記利得の第1の推定を計算するステップと、前記第1の推定から固定符号帳からのフィルタ処理済みイノベーションコードベクトルのエネルギを減算して、前記推定利得を取得するステップとを含む、請求項43に記載の励振信号の固定寄与分の量子化された利得を検索するための方法。
【請求項４５】
前記励振信号の固定寄与分の前記利得を推定するステップが、前記第1のサブフレームに続く前記フレームの各サブフレームにおいて、前記フレームの前記分類を表す前記パラメータ、および前記フレームの少なくとも1つの前のサブフレームの前記励振信号の適応寄与分および固定寄与分の利得を使用して、前記励振信号の前記固定寄与分の前記利得を推定するステップを含む、請求項43に記載の励振信号の固定寄与分の量子化された利得を検索するための方法。
【請求項４６】
前記励振信号の前記固定寄与分の前記利得を推定するステップが、前記フレームの各サブフレームによって異なる推定係数を使用するステップを含む、請求項43から45のいずれか一項に記載の励振信号の固定寄与分の量子化された利得を検索するための方法。
【請求項４７】
前記推定器が、前記励振信号の前記固定寄与分の前記利得の推定を前記フレームに限定して、フレーム消失に対する耐性を増大させる、請求項43から46のいずれか一項に記載の励振信号の固定寄与分の量子化された利得を検索するための方法。
【請求項４８】
フレームのサブフレームにおける励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための方法であって、
利得符号帳のインデックスを受信するステップと、
前記フレームの分類を表わすパラメータを使用して、前記サブフレームにおける前記励振信号の前記固定寄与分の前記利得を推定するステップと、
利得符号帳から、前記サブフレームに対して、前記励振信号の前記適応寄与分の前記量子化された利得、および前記利得符号帳のインデックスに応じて補正係数を供給するステップと、
前記推定利得に前記補正係数を乗算して、前記サブフレームにおける前記励振信号の固定寄与分の量子化された利得を提供するステップと
を含む方法。
【請求項４９】
前記利得符号帳が、前記励振信号の前記適応寄与分の前記量子化された利得と、前記推定利得の前記補正係数とをそれぞれ含んだエントリを含む、請求項48に記載の励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための方法。
【請求項５０】
前記利得符号帳が、前記フレームの異なるサブフレームで異なるサイズを有する、請求項48または49に記載の励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、符号化された音信号における励振信号の固定寄与分の利得の量子化に関する。本開示はまた、励振信号の適応寄与分および固定寄与分の利得の共同量子化(joint quantization)に関する。
【背景技術】
【０００２】
コーデック構造の符号器、例えばACELP(Algebraic Code-Excited Linear Prediction)のようなCELP(Code-Excited Linear Prediction、符号励振線形予測)コーデック構造では、入力音声または音響信号(音信号)を、フレームと呼ばれる短いセグメントで処理する。入力音信号の急速に変化する特性を捉えるために、各フレームはサブフレームにさらに分割される。CELPコーデック構造はまた、適応符号帳寄与分および固定符号帳寄与分を生成し、これらが加算されて全励振信号(total excitation)を形成する。励振信号の適応符号帳寄与分および固定符号帳寄与分に関連する利得が量子化され、他の符号化パラメータと併せて復号器に送信される。本文書を通して、励振信号の適応符号帳寄与分および固定符号帳寄与分を、励振信号の「適応寄与分」および「固定寄与分」と呼ぶ。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】3GPP TS 26.190,「Adaptive Multi-Rate - Wideband (AMR-WB) speech codec; Transcoding functions」
【非特許文献２】MacQueen, J. B. (1967)「Some Methods for classification and Analysis of Multivariate Observations」、Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability,University of California Press, pp. 281-297
【非特許文献３】Jelinek, M., Vaillancourt, T., Gibbs, J.,「G.718: A new embedded speech and audio coding standard with high resilience to error-prone transmission channels」,In IEEE Communications Magazine,vol. 47, pp. 117-123, October 2009
【非特許文献４】J. D. Johnston，「Transform Coding of Audio Signals Using Perceptual Noise Criteria」，IEEE Journal on Selected Areas in Communications，vol. 6、no. 2，pp. 314-323，February 1988
【非特許文献５】Jelinek, M. et al.,「Advances in source-controlled variable bitrate wideband speech coding」、Special Workshop in MAUI (SWIM): Lectures by masters in speech processing, Maui,Hawaii, January 12-14, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００４】
符号化パラメータを符号器から復号器に送信中に発生する可能性があるフレーム消失またはパケット損失に対するコーデックの耐性を向上させる適応励振信号寄与分および固定励振信号寄与分の利得を量子化するための技術が必要である。
【課題を解決するための手段】
【０００５】
第1の態様によれば、本開示は、符号化された音信号の、サブフレームを含むフレームにおける励振信号の固定寄与分の利得を量子化するための装置であって、フレームの分類を表すパラメータの入力と、フレームの分類を表すパラメータを供給される、フレームのサブフレームにおける励振信号の固定寄与分の利得の推定器と、推定利得を使用する、サブフレームにおける励振信号の固定寄与分の利得の予測量子化器とを備える装置に関する。
【０００６】
本開示はまた、符号化された音信号の、サブフレームを含むフレームにおける励振信号の固定寄与分の利得を量子化するための方法であって、フレームの分類を表すパラメータを受信することと、フレームの分類を表すパラメータを使用してフレームのサブフレームにおける励振信号の固定寄与分の利得を推定することと、推定利得を使用してサブフレームにおける励振信号の固定寄与分の利得を予測量子化することとを含む方法に関する。
【０００７】
第3の態様によれば、符号化された音信号のフレームにおける励振信号の適応寄与分および固定寄与分の利得を共同量子化するための装置であって、励振信号の適応寄与分の利得の量子化器と、励振信号の固定寄与分の利得を量子化するための上述の装置とを備える装置が提供される。
【０００８】
本開示はさらに、符号化された音信号のフレームにおける励振信号の適応寄与分および固定寄与分の利得を共同量子化するための方法であって、励振信号の適応寄与分の利得を量子化することと、上述の方法を使用して励振信号の固定寄与分の利得を量子化することとを含む方法に関する。
【０００９】
第5の態様によれば、フレームのサブフレームにおける励振信号の固定寄与分の量子化された利得を検索するための装置であって、利得符号帳のインデックスの受信機と、フレームの分類を表すパラメータを供給される、サブフレームにおける励振信号の固定寄与分の利得の推定器と、利得符号帳のインデックスに応じて補正係数を供給するための利得符号帳と、推定利得に補正係数を乗算してサブフレームにおける励振信号の固定寄与分の量子化された利得を提供する乗算器とを備える装置が提供される。
【００１０】
本開示はまた、フレームのサブフレームにおける励振信号の固定寄与分の量子化された利得を検索するための方法であって、利得符号帳のインデックスを受信することと、フレームの分類を表すパラメータを使用して、サブフレームにおける励振信号の固定寄与分の利得を推定することと、利得符号帳からサブフレームに対して、利得符号帳のインデックスに応じて補正係数を供給することと、推定利得に補正係数を乗算して上記サブフレームにおける励振信号の固定寄与分の量子化された利得を提供することとを含む方法に関係している。
【００１１】
本開示はさらに、フレームのサブフレームにおける励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための装置であって、利得符号帳のインデックスの受信機と、フレームの分類を表すパラメータを供給される、サブフレームにおける励振信号の固定寄与分の利得の推定器と、利得符号帳のインデックスに応じてサブフレームに対して励振信号の適応寄与分の量子化された利得および補正係数を供給するための利得符号帳と、推定利得に補正係数を乗算してサブフレームにおける励振信号の固定寄与分の量子化された利得を提供する乗算器とを備える装置に関係している。
【００１２】
さらなる態様によれば、本開示は、フレームのサブフレームにおける励振信号の適応寄与分および固定寄与分の量子化された利得を検索するための方法であって、利得符号帳のインデックスを受信することと、フレームの分類を表すパラメータを使用して、サブフレームにおける励振信号の固定寄与分の利得を推定することと、利得符号帳からサブフレームに対して、利得符号帳のインデックスに応じて励振信号の適応寄与分の量子化された利得および補正係数を供給することと、推定利得に補正係数を乗算してサブフレームにおける励振信号の固定寄与分の量子化された利得を提供することとを含む方法について記載する。
【００１３】
前述の特徴および他の特徴は、単に添付の図面を参照して、一例として提供する例示の実施形態の次の非限定的な説明を読めば、さらに明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】CELPによる符号器におけるフィルタ処理された励振信号の構築を説明する概略図である。
【図２】各フレームの第1のサブフレームにおける励振信号の固定寄与分の利得の推定器を説明する概略ブロック図である。
【図３】第1のサブフレームに続くすべてのサブフレームおける励振信号の固定寄与分の利得の推定器を説明する概略ブロック図である。
【図４】各サブフレームの利得符号帳を設計するために推定係数(estimation coefficients)が計算されて使用される状態機械を説明する概略ブロック図である。
【図５】利得量子化器を説明する概略ブロック図である。
【図６】図5の利得量子化器と等しい利得量子化器の別の実施形態の概略ブロック図である。
【発明を実施するための形態】
【００１５】
以下に、符号化された音信号における励振信号の固定寄与分の利得の量子化、ならびに励振信号の適応寄与分および固定寄与分の利得の共同量子化について記載する。量子化は、任意数のサブフレームに適用し、任意のサンプリング周波数で標本化された入力音声または音響信号(入力音信号)で実施することができる。また、励振信号の適応寄与分および固定寄与分の利得は、フレーム間予測を必要とすることなく量子化される。フレーム間予測をしないことにより、符号化されたパラメータの送信中に発生する恐れのあるフレーム消失またはパケット損失に対する耐性が向上する。
【００１６】
励振信号の適応寄与分の利得は直接に量子化されるが、励振信号の固定寄与分の利得は、推定利得を通して量子化される。励振信号の固定寄与分の利得の推定は、符号器と復号器の両方に存在するパラメータに基づく。こうしたパラメータは、現フレームの処理中に計算される。したがって、量子化または復号化の過程で前フレームからの情報は必要とされず、このため上述のように、フレーム消失に対するコーデックの耐性が向上する。
【００１７】
次の説明は、CELP(Code-Excited Linear Prediction)コーデック構造、例えばACELP(Algebraic Code-Excited Linear Prediction)に言及するが、本開示の対象物は、他のタイプのコーデック構造に適用できることに留意されたい。
【００１８】
励振信号の適応寄与分および固定寄与分の最適な非量子化利得
CELP符号化の技術では、励振信号は、2つの寄与分、すなわち適応寄与分(適応符号帳励振)および固定寄与分(固定符号帳励振)から構成される。適応符号帳は、長期予測に基づいており、したがって過去の励振信号と関連している。励振信号の適応寄与分は、ピッチラグの推定値付近の閉ループ探索によって見出される。推定ピッチラグは、相関分析によって見出される。閉ループ探索は、ターゲット信号(CELP符号化では、入力音声または音響信号(入力音信号)を知覚的にフィルタ処理されたもの)と、適応符号帳の利得でスケーリングされた励振信号のフィルタ処理済み適応寄与分との間で、平均二乗重み付き誤差(mean square weighted error、MSWE)を最小化することで構成される。閉ループ探索におけるフィルタは、CELP符号化の技術で知られている重み付けされた合成フィルタに対応する。固定符号帳探索もまた、(励振信号の適応寄与分を除去後の)更新されたターゲット信号と、固定符号帳の利得でスケーリングされた励振信号のフィルタ処理済み固定寄与分との間で平均二乗誤差(MSE)を最小化することによって実行される。フィルタ処理済み全励振信号の構築を図1に示す。さらに参考までに、CELP符号化の実行については、次の文書、3GPP TS 26.190、「Adaptive Multi-Rate - Wideband (AMR-WB) speech codec; Transcoding functions」に記載されており、その全内容を参照により本明細書に組み込む。
【００１９】
図1は、CELP符号化におけるフィルタ処理済み全励振信号の構築を記載する概略図である。上述のターゲット信号によって形成された入力信号101は、x(i)として示され、励振信号の適用寄与分および固定寄与分に対する利得の探索中に基準(reference)として使用される。励振信号のフィルタ処理済み適応寄与分は、y(i)として示され、励振(イノベーション(innovation))のフィルタ処理済み固定寄与分は、z(i)として示される。対応する利得は、励振信号の適応寄与分についてはgpとして、固定寄与分についてはgcとして示される。図1に示すように、増幅器104が、励振信号のフィルタ処理済み適応寄与分y(i)に利得gpを適用し、増幅器105が、励振信号のフィルタ処理済み固定寄与分z(i)にgcを適用する。ターゲット信号xiから増幅器104の出力で信号gpy(i)を減算する第1の減算器107、および減算器107からの減算の結果から増幅器105の出力で信号gcz(i)を減算する第2の減算器108を介して計算された誤差信号e(i)の平均二乗の最小化によって、最適な量子化利得を見出す。図1中のすべての信号について、インデックスiは、異なる信号サンプルを示し、0からL-1の範囲にわたり、ここでLは各サブフレームの長さである。当業者にはよく知られているように、フィルタ処理済み適応符号帳寄与分は、通常、適応符号帳励振ベクトルv(n)と、重み付き合成フィルタのインパルス応答h(n)との間の畳み込みとして計算され、すなわちy(n) = v(n)*h(n)である。同様に、フィルタ処理された固定符号帳励振信号z(n)は、z(n) = c(n)*h(n)によって求められ、ここでc(n)は固定符号帳励振信号である。
【００２０】
ターゲット信号x(i)、励振y(i)のフィルタ処理済み適応寄与分および励振信号z(i)のフィルタ処理済み固定寄与分がわかると仮定すると、非量子化利得gpおよびgcの最適セットは、次の関係で求められる誤差信号e(i)のエネルギを最小化することによって見出される。
e (i) = x(i) - gpy(i) - gcz(i), i = 0,…, L-1           (1)
【００２１】
式(1)は、次のようなベクトル形式で求めることができ、
e = x - gpy - gcz        (2)
誤差信号、
【数１】
2014509407.tif 000003
のエネルギを最小にし、ここでtは転置ベクトルを示し、最適な非量子化利得
【数２】
2014509407.tif 000004
がもたらされ、ここで定数または相関c0, c1, c2, c3, c4およびc5は、
c0 = yty, c1 = xty, c2 = ztz, c3 = xtz, c4 = ytz, c5 = xtx     (4)
のように計算される。
【００２２】
式(3)中の最適利得は、直接に量子化されていないが、後に説明するようにこれらは利得符号帳をトレーニング(training)する際に使用される。利得は、励振信号の固定寄与分の利得に予測を適用した後に、共同量子化される。予測は、励振信号の固定寄与分の利得の推定値gc0を計算することによって行われる。励振信号の固定寄与分の利得は、gc = gc0.γによって求められ、ここでγは補正係数である。したがって、各符号帳のエントリは、2つの値を含んでいる。第1の値は、励振信号の適応寄与分の量子化された利得gpに対応する。第2の値は、励振信号の固定寄与分の推定利得gc0に乗算するために使用される補正係数γに対応する。利得符号帳(gpおよびγ)の最適インデックスは、ターゲット信号とフィルタ処理済み全励振信号との間の平均二乗誤差を最小化することによって見出される。励振信号の固定寄与分の利得の推定について、以下に詳細に述べる。
【００２３】
励振信号の固定寄与分の利得の推定
各フレームは、いくつかのサブフレームを含む。フレーム中のサブフレームの数をK、現在のサブフレームのインデックスをkと示すものとする。励振信号の固定寄与分の利得の推定gc0は、各サブフレームで別々に行われる。
【００２４】
図2は、各フレームの第1のサブフレームにおける励振信号の固定寄与分の利得(以下、固定符号帳の利得)の推定器200を説明する概略ブロック図である。
【００２５】
推定器200はまず、現フレームの分類を表すパラメータtに応じて固定符号帳の利得の推定を計算する。次いで、固定符号帳からのイノベーションコードベクトルのエネルギを、推定された固定符号帳の利得から減算して、フィルタ処理済みイノベーションコードベクトルのこのエネルギを考慮に入れる。結果として生じる、推定された固定符号帳の利得に、利得符号帳から選択された補正係数を乗算して、量子化された固定符号帳の利得gcを生成する。
【００２６】
1つの実施形態では、推定器200は、対数領域(logarithmic domain)における固定符号帳の利得の線形推定の計算機201を備える。固定符号帳からイノベーションコードベクトル202のユニティエネルギ(unity-energy)を想定して、固定符号帳の利得を推定する。ただ1つの推定パラメータが計算機201によって使用され、パラメータtは、現フレームの分類を表す。次いで減算器203が、計算機201の出力において対数領域における線形推定された固定符号帳の利得から、対数領域における固定符号帳からのフィルタ処理済みイノベーションコードベクトル202のエネルギを減算する。変換器204が、減算器203からの対数領域の推定された固定符号帳の利得を線形領域に変換する。変換器204からの線形領域の出力は、推定された固定符号帳の利得gc0である。乗算器205が推定利得gc0に、利得符号帳から選択された補正係数206を掛ける。前節で述べたように、乗算器205の出力は、量子化された固定符号帳の利得gcとなる。
【００２７】
励振信号の適応寄与分の量子化された利得gp(以下、適応符号帳の利得)は、利得符号帳から直接選択される。乗算器207が、適応符号帳からのフィルタ処理済み適応励振信号208に量子化された適応符号帳の利得gpを乗算して、フィルタ処理済み励振信号のフィルタ処理済み適応寄与分209を生成する。別の乗算器210が、固定符号帳からのフィルタ処理済みイノベーションコードベクトル202に量子化された固定符号帳の利得gcを乗算して、フィルタ処理済み励振信号のフィルタ処理済み固定寄与分211を生成する。最後に、加算器212が、励振信号のフィルタ処理済み適応寄与分209と固定寄与分211とを合計して、フィルタ処理済み全励振信号214を形成する。
【００２８】
現フレームの第1のサブフレームでは、減算器203の出力における対数領域の推定された固定符号帳の利得は、次のように求められる。
【００２９】
【数３】
2014509407.tif 000005
ただし
【数４】
2014509407.tif 000006
【００３０】
式(5)の対数内の内項は、フィルタ処理済みイノベーションコードベクトル202のエネルギの平方根に対応する(Eiはフレームnの第1のサブフレームにおけるフィルタ処理済みイノベーションベクトルのエネルギである)。この内項(エネルギEiの平方根)は、フィルタ処理済みイノベーションベクトル202のエネルギEiの第1の計算機215、およびエネルギEiの平方根の計算機216によって決定される。次いで計算機217が、減算器203の負入力に適用するためにエネルギEiの平方根の対数を計算する。内項(エネルギΕiの平方根)は、非ゼロのエネルギを有し、エネルギは、log(0)を回避するためにすべてゼロのフレームの場合、少量だけインクリメントされる。
【００３１】
計算機201における固定符号帳の利得の推定は、次の説明で述べるように、大信号データベース(トレーニング)での平均二乗の最小化によって各サブフレームに対して見出される推定係数a0およびa1を有して対数領域において線形である。式中の唯一の推定パラメータ202、tは、フレームnの分類パラメータを示す(1つの実施形態では、この値はフレームnのすべてのサブフレームに対して一定である)。フレームの分類に関する詳細を、以下に示す。最終的に、対数領域の利得の推定値は、計算機204によって元の線形領域
【数５】
2014509407.tif 000007
に変換され、次の説明で述べるように、利得符号帳の最良のインデックスの探索処理で使用される。
【００３２】
上付き文字(1)は、現フレームnの第1のサブフレームを示す。
【００３３】
前述の記述で説明したように、現フレームの分類を表すパラメータtは、推定された固定符号帳の利得gc0の計算に使用される。音声信号の異なるクラスに対して、異なる符号帳を設計することができる。しかし、これによりメモリ必要量が増大することになる。また、第1のフレームに続くフレームにおける固定符号帳の利得の推定は、フレーム分類パラメータt、ならびに現フレーム中の前のサブフレームからの利用可能な適応符号帳の利得および固定符号帳の利得に基づくことができる。推定は、フレーム境界に限定されて、フレーム消失に対する耐性を増大させる。
【００３４】
例えば、フレームを、無声フレーム、有声フレーム、汎用(generic)フレーム、または遷移(transition)フレームとして分類することができる。異なる代替物を分類に使用することができる。以下に限定ではない例示的実施形態として一例を示す。さらに、音声クラスの数は、以上に使用した数とは異なる可能性がある。例えば、分類は、1つの実施形態では単に有声か、無声かとすることができる。別の実施形態では、強度に有声(strongly voiced)および強度に無声(strongly unvoiced)など、より多くの分類を追加することができる。
【００３５】
分類推定パラメータtの値は、任意に選択することができる。例えば、狭帯域信号については、パラメータtの値を、無声フレーム、有声フレーム、汎用フレーム、および遷移フレームに対してそれぞれ1、3、5、および7に設定し、広帯域信号については、パラメータtの値をそれぞれ0、2、4、および6に設定する。しかし、各クラスに対して推定パラメータtの他の値を使用することができる。設計において、この推定、分類パラメータtを組み込むこと、および推定パラメータを決定するためのトレーニングにより、固定符号帳の利得のより良い推定gc0がもたらされる。
【００３６】
フレーム中の第1のサブフレームに続くサブフレームは、わずかに異なる推定方式を使用する。その違いは、これらのサブフレームでは、現フレーム中の(1つまたは複数の)前のサブフレームからの量子化された適応符号帳の利得および量子化された固定符号帳の利得の両方を補助推定パラメータとして使用して、効率を上げることである。
【００３７】
図3は、現フレームの第1のサブフレームに続くサブフレームにおける固定符号帳の利得を推定するための推定器300の概略ブロック図である。推定パラメータは、分類パラメータtと、現フレームの前のサブフレームからの適応符号帳の利得および固定符号帳の利得の両方の量子化された値(パラメータ301)とを含む。こうしたパラメータ301は、gp(1)、gc(1)、gp(2)、gc(2)などと示され、ここで上付き文字は、第1のサブフレーム、第2のサブフレーム、その他の前のサブフレームを指す。固定符号帳の利得の推定を計算し、利得符号帳から選択された補正係数を乗算して、量子化された固定符号帳の利得gcを生成し、励振信号の固定寄与分の利得を形成する(この推定された固定符号帳の利得は、第1のサブフレームのものとは異なる)。
【００３８】
1つの実施形態では、計算機302が、再び対数領域で固定符号帳の利得の線形推定を計算し、変換器303が、この利得の推定を元の線形領域に変換する。前のサブフレームからの量子化された適応符号帳の利得gp(1)、gp(2)などは、直接計算機302に供給されるが、前のサブフレームからの量子化された固定符号帳の利得gc(1)、gc(2)などは、対数計算機304を介して対数領域で計算機302に供給される。次いで乗算器305が、変換器303からの推定された固定符号帳の利得gc0(第1のサブフレームのものとは異なる)に、利得符号帳から選択された補正係数306を乗算する。前節で述べたように、乗算器305は次に、量子化された固定符号帳の利得gcを出力し、これが励振信号の固定寄与分の利得を形成する。
【００３９】
第1の乗算器307が、適応符号帳からのフィルタ処理済み適応励振信号308に、利得符号帳から直接選択された量子化された適応符号帳の利得gpを乗算して、励振信号の適応寄与分309を生成する。第2の乗算器310が、固定符号帳からのフィルタ処理済みイノベーションコードベクトル311に量子化された固定符号帳の利得gcを乗算して、励振信号の固定寄与分312を生成する。加算器313が、励振信号のフィルタ処理済み適応寄与分309およびフィルタ処理済み固定寄与分312をまとめて合計し、現フレームのフィルタ処理済み全励振信号314を形成する。
【００４０】
対数領域で現フレームのk番目のサブフレームにおける計算機302からの推定された固定符号帳の利得は、
【００４１】
【数６】
2014509407.tif 000008
【００４２】
によって求められ、
ここで
【数７】
2014509407.tif 000009
は、サブフレームkの対数領域における量子化された固定符号帳の利得であり、
【数８】
2014509407.tif 000010
は、サブフレームkにおける量子化された適応符号帳の利得である。
【００４３】
例えば、1つの実施形態では、4つの(4)サブフレームが使用され(K = 4)、したがって対数領域における、計算機302からの第2、第3、および第4のサブフレームの推定された固定符号帳の利得は、次の関係で求められる:
【００４４】
【数９】
2014509407.tif 000011
【００４５】
固定符号帳の利得の上記の推定は、現フレームの前のすべてのサブフレームの量子化された適応符号帳の利得および固定符号帳の利得の両方に基づく。またこの推定方式と第1のサブフレームで使用される推定方式との間には、もう1つの違いがある。固定符号帳からのフィルタ処理済みイノベーションベクトルのエネルギは、計算機302からの対数領域において固定符号帳の利得の線形推定から減算されない。この推定方程式では前のサブフレームからの量子化された適応符号帳および固定符号帳の利得を使用するからである。第1のサブフレームでは、線形推定は、イノベーションベクトルの単位エネルギ(unit energy)を想定して計算機201によって行われる。その後、このエネルギが減算されて、推定された固定符号帳の利得をその最適値と同じエネルギレベル(または少なくともそれに近いもの)にする。第2のサブフレームおよび後続のサブフレームでは、固定符号帳の利得の前の量子化された値はすでにこのレベルであるので、フィルタ処理済みイノベーションベクトルのエネルギを考慮に入れる必要はない。推定係数aiおよびbiは、各サブフレームによって異なり、以下に説明するように、これらは大規模トレーニングデータベースを使用してオフラインで決定される。
【００４６】
推定係数の計算
推定係数の最適セットは、様々な言語およびレベルで、ならびに男性および女性の話者に伴って、クリーンな音声信号、雑音の多い音声信号、混合した音声信号を含む、大規模データベースで見つけられる。
【００４７】
推定係数は、大規模データベースで適応符号帳の利得および固定符号帳の利得の最適な非量子化値を用いてコーデックを実行することによって計算される。最適な非量子化適応符号帳の利得および最適な非量子化固定符号帳の利得は、式(3)および(4)に従って見出されることを思い出す。
【００４８】
次の説明では、データベースはN+1個のフレームを含み、フレームのインデックスは、n = 0,...,Nであると仮定する。フレームのインデックスnは、フレームの基準によって変わるトレーニングに使用されるパラメータ(分類、第1のサブフレームのイノベーションエネルギ、および最適な適応符号帳の利得および固定符号帳の利得)に追加される。
【００４９】
推定係数は、データベース中のすべてのフレームにわたって対数領域において推定固定符号帳の利得と最適利得との間の平均二乗誤差を最小にすることによって見出される。
【００５０】
第1のサブフレームについては、平均二乗誤差エネルギは、
【数１０】
2014509407.tif 000012
によって求められる。
【００５１】
式(5)から、フレームの第1のサブフレームにおける推定固定符号帳の利得は、
【数１１】
2014509407.tif 000013
によって求められる。ここで平均二乗誤差エネルギは、
【数１２】
2014509407.tif 000014
によって求められる。
【００５２】
上記の式(8)では、Eestは、共に対数領域の、推定固定符号帳の利得と最適な固定符号帳の利得との誤差の(データベース全体での)総エネルギである。第1のサブフレームにおける最適な、固定符号帳の利得は、g(1)c,optと示される。先の説明で述べたように、Ei(n)は、固定符号帳からのフィルタ処理済みイノベーションベクトルのエネルギであり、t(n)は、フレームnの分類パラメータである。上付き文字(1)は、第1のサブフレームを示すために使用され、nはフレームのインデックスである。
【００５３】
最小化の問題は、対数領域においてイノベーションベクトルの正規化された利得を定義することによって簡略化することができる。すなわち、
【数１３】
2014509407.tif 000015
である。
【００５４】
次に全誤差エネルギは、
【数１４】
2014509407.tif 000016
である。
【００５５】
上に定義したMSE(Mean Square Error、平均二乗誤差)の問題の解は、偏導関数の次のペア
【数１５】
2014509407.tif 000017
によって求められる。
【００５６】
上記の式の結果として得られる推定係数の最適値は、
【数１６】
2014509407.tif 000018
によって求められる。
【００５７】
第1のサブフレームの固定符号帳の推定は、対数領域で行われ、推定された固定符号帳の利得は、対数領域、
【数１７】
2014509407.tif 000019
においてイノベーションベクトルの正規化された利得にできる限り近いものであるべきである。
【００５８】
第2のサブフレームおよび他の後続サブフレームについては、推定方法はわずかに異なる。誤差エネルギは、
【数１８】
2014509407.tif 000020
によって求められ、ここで
【数１９】
2014509407.tif 000021
である。式(6)を式(12)に代入すると、以下が得られる。
【００５９】
【数２０】
2014509407.tif 000022
【００６０】
各フレームの第2のサブフレームおよび後続のサブフレームにおける推定係数の計算については、前のサブフレームの固定符号帳および適応符号帳の利得の両方の量子化された値は、上記の式(13)で使用される。最適な非量子化利得を代わりに使用することができるが、量子化された値を使用すると、すべてのサブフレームにおいて最大の推定効率をもたらし、結果として利得量子化器のより良い総合的性能をもたらす。
【００６１】
このように、推定係数の数は、現在のサブフレームのインデックスが進むにつれて増える。利得の量子化自体について、次の説明で述べる。推定係数aiおよびbiは、各サブフレームによって異なるが、簡略化のために同じ記号を使用した。通常これらは、関連する上付き文字(k)を有するか、またはこれらを各サブフレームによって異なるように示し、ここでkはサブフレームのインデックスである。
【００６２】
式(13)における誤差関数を最小化すると、次の線形方程式系
【数２１】
2014509407.tif 000023
につながる。
【００６３】
この系の解、すなわち推定係数の最適なセットa0、a1、b0、...、b2k-3は、複雑な公式となるので本明細書では提供しない。通常これは、線形方程式のソルバ(solver)、例えばMATLABを備えた数学ソフトウェアによって解かれる。これは有利には、オフラインで、符号化処理中でないときに行われる。
【００６４】
第2のサブフレームについては、式(14)は
【数２２】
2014509407.tif 000024
に低減する。
【００６５】
上述のように、推定係数の計算は、図4に示すように利得の量子化と交互に行われる。より詳細には、図4は、各サブフレームに対して推定係数が計算される(401)状態機械400を説明する概略ブロック図である。次いで計算された推定係数を使用して、各サブフレームに対して利得符号帳を設計する(402)。次いで、計算された推定係数および利得符号帳の設計に基づいて、サブフレームの利得量子化(403)が行われる。固定符号帳の利得自体の推定は、各サブフレームでわずかに異なり、推定係数は、最小平均二乗誤差によって見出され、利得符号帳は、例えばその全内容を参照により本明細書に組み込む、MacQueen, J. B. (1967)「Some Methods for classification and Analysis of Multivariate Observations」, Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability、University of California Press, pp. 281-297に記載されるように、KMEANSアルゴリズムを使用することによって設計することができる。
【００６６】
利得の量子化
図5は、利得量子化器500を説明する概略ブロック図である。
【００６７】
利得の量子化の前に、適応符号帳からのフィルタ処理済み適応励振信号501と固定符号帳からのフィルタ処理済みイノベーションコードベクトル502との両方がすでにわかっていると仮定する。符号器における利得の量子化は、MMSE(最小平均二乗誤差)の意味で設計された利得符号帳503を探索することによって行われる。前述の説明で述べたように、利得符号帳503中の各エントリは、2つの値、すなわち励振信号の量子化された適応符号帳の利得gpと、固定寄与分の補正係数γとを含む。固定符号帳の利得の推定は事前に行われ、推定された固定符号帳の利得gc0を使用して、利得符号帳503から選択された補正係数γに乗算する。各サブフレームでは、利得符号帳503は完全に、すなわち、Qが利得符号帳のインデックスの数であるとすると、インデックスq=0,..,Q-1について探索される。量子化された適応符号帳の利得gpが、ある閾値未満であることを要求される場合、探索領域を限定することができる。探索領域を削減できるようにするために、適応符号帳の利得gpの値に従って符号帳のエントリを昇べきの順にソートすることができる。
【００６８】
図5を参照すると、2つのエントリの利得符号帳503が探索され、各インデックスが2つの値、すなわち適応符号帳の利得gpと補正係数γとを提供している。乗算器504が、補正係数γに推定された固定符号帳の利得gc0を乗算し、結果として生じる値を励振信号の固定寄与分の量子化された利得505(量子化された固定符号帳の利得)として使用する。別の乗算器506が、適応符号帳からのフィルタ処理済み適応励振信号501に、利得符号帳503からの量子化された適応符号帳の利得gpを乗算して、励振信号の適応寄与分507を生成する。乗算器508が、フィルタ処理済みイノベーションコードベクトル502に、量子化された固定符号帳の利得505を乗算して、励振信号の固定寄与分509を生成する。加算器510が、励振信号の適応寄与分507と固定寄与分509をまとめて合計し、フィルタ処理済み全励振信号511を形成する。減算器512が、ターゲット信号xiからフィルタ処理済み全励振信号511を減算して、誤差信号eiを生成する。計算機513は、誤差信号eiのエネルギ515を計算し、これを利得符号帳探索機構に戻す。利得符号帳503のインデックスの全部または一部がこのように探索され、最低誤差エネルギ515を生じる利得符号帳503のインデックスが獲得インデックス(winning index)として選択され、復号器に送信される。
【００６９】
利得の量子化は、式(2)中の誤差のエネルギを最小化することによって行うことができる。このエネルギは、以下によって求められる。
E = ete = (x - gpy - gcz)t(x - gpy - gcz)          (15)
【００７０】
gcをγgc0に置き換えると、次の関係が得られる。
【数２３】
2014509407.tif 000025
ここで定数または相関c0、c1、c2、c3、c4、およびc5は、上記の式(4)のように計算される。定数または相関c0、c1、c2、c3、c4およびc5、ならびに推定利得gc0は、利得符号帳503の探索前に計算され、次いで式(16)のエネルギが、各符号帳のインデックスに対して計算される(エントリの値gpおよびγの各セット)。
【００７１】
誤差信号eiの最低エネルギ515につながる利得符号帳503からのコードベクトルは、獲得コードベクトルとして選択され、そのエントリの値が、量子化された値gpおよびγに対応する。次いで固定符号帳の利得の量子化された値は、以下のように計算される。
gc = gc0・γ
【００７２】
図6は、式(16)を使用して誤差信号eiのエネルギEiの計算を行う、図5中と等価の利得量子化器600の概略ブロック図である。より詳細には、利得量子化器600は、利得符号帳601と、定数または相関の計算機602と、誤差信号のエネルギ604の計算機603とを備える。計算機602は、式(4)、ならびにターゲットベクトルx、適応符号帳からのフィルタ処理済み適応励振信号ベクトルy、および固定符号帳からのフィルタ処理済み固定コードベクトルzを使用して、定数または相関c0、c1、c2、c3、c4およびc5を計算する。ここでtは転置ベクトルを示す。計算機603は、式(16)を使用して、推定された固定符号帳の利得gc0、計算機602からの相関c0、c1、c2、c3、c4およびc5、ならびに利得符号帳601からの量子化された適応符号帳の利得gpおよび補正係数γにより、誤差信号eiのエネルギEiを計算する。計算機603からの誤差信号のエネルギ604は、利得符号帳探索機構に戻される。再び、利得符号帳601のインデックスの全部または一部がこのように探索され、最低誤差エネルギ604を生じる利得符号帳601のインデックスが獲得インデックスとして選択され、復号器に送信される。
【００７３】
図6の利得量子化器600では、利得符号帳601は、サブフレームに応じて異なるものとすることができるサイズを有する。フレームの後方のサブフレームでは推定パラメータの数が増加することにより、固定符号帳の利得をよりよく推定することができる。したがって、より後方のサブフレームではより小さい数のビットを使用することができる。1つの実施形態では、4つの(4)のサブフレームが使用され、利得符号帳のビット数は、サブフレーム1、2、3、および4にそれぞれ対応して8、7、6、および6である。より低ビットレートの別の実施形態では、各サブフレームに6ビットが使用される。
【００７４】
復号器では、受信されたインデックスを使用して、量子化された適応符号帳の利得gpおよび利得符号帳からの補正係数γの値を検索する。固定符号帳の利得の推定は、前述の説明で述べたように、符号器と同じ方法で行われる。固定符号帳の利得の量子化された値は、式gc = gc0・γによって計算される。適応コードベクトルおよびイノベーションコードベクトルの両方が、ビットストリームから復号されて、適応励振信号の寄与分および固定励振信号の寄与分になり、これらにそれぞれの適応符号帳の利得および固定符号帳の利得を乗算する。両方の励振信号の寄与分がまとめて加算されて、全励振信号を形成する。合成信号は、CELPコーディングの技術で知られているようにLP合成フィルタを通して全励振信号をフィルタ処理することによって見出される。
【００７５】
信号の分類
図1の例示のパラメータtについては、フレームの分類を決定するために異なる方法を使用することができる。次の説明では、フレームが、無声フレーム、有声フレーム、汎用フレーム、または遷移フレームとして分類される非限定的な例をあげる。しかし、音声クラスの数は、この例で使用される数とは異なる可能性がある。例えば、分類は、1つの実施形態では単に有声か、無声かとすることができる。別の実施形態では、強度に有声および強度に無声など、より多くの分類を追加することができる。
【００７６】
信号の分類は、3つのステップで行うことができ、各ステップが特定の信号クラスを区別する。まず、信号動作検出器(SAD)が、アクティブ音声フレームと非アクティブ音声フレームとを区別する。非アクティブ音声フレームが検出される(背景雑音信号)場合、分類チェーンは終了し、フレームはコンフォートノイズ生成器(comfort noise generation、CNG)を用いて符号化される。アクティブ音声フレームが検出される場合、フレームは、第2の分類器に従って、無声フレームを区別する。分類器が、フレームを無声音声信号として分類する場合、分類チェーンは終了し、フレームは無声信号に最適化された符号化方法を使用して符号化される。その他の場合は、フレームは、「安定した有声(stable voiced)」分類モジュールを介して処理される。フレームが、安定した有声フレームとして分類される場合、フレームは安定した有声信号に最適化された符号化方法を使用して符号化される。その他の場合は、フレームは、有声の立ち上がり(voiced onset)または急速に発達する(evolving)有声信号のような非定常信号セグメントを含む可能性がある。こうしたフレームは一般的に、優れた主観的品質を維持するために、汎用符号器および高ビットレートを必要とする。開示する利得量子化技術は、安定した有声フレームおよび汎用フレームに対して開発され、最適化されてきた。しかし、この技術は、いかなる他の信号クラスにも容易に拡張することができる。
【００７７】
以下では、無声信号フレームおよび有声信号フレームの分類について説明する。
【００７８】
音信号の無声部分は、周期的成分がないことによって特徴付けられ、エネルギおよびスペクトルが急速に変化する不安定フレームと、こうした特徴が比較的安定して維持される安定フレームとにさらに分割することができる。無声フレームの分類は、次のパラメータを使用する:
・平均正規化相関として計算される、有声化尺度(voicing measure)
【数２４】
2014509407.tif 000026
・平均スペクトル傾斜尺度(average spectral tilt measure)
【数２５】
2014509407.tif 000027
・破裂音信号セグメントを効率的に検出するための低レベルにおける最大短時間エネルギ増加
【数２６】
2014509407.tif 000028
・フレーム安定性を評価するための最大短時間エネルギ変動(dE)
・その全内容を参照により本明細書に組み込んでいる[Jelinek, M., Vaillancourt, T.,Gibbs, J.,「G.718: A new embedded speech and audio coding standard with high resilience to error-prone transmission channels」,In IEEE Communications Magazine, vol. 47, pp. 117-123, October 2009]に記載されるように、無声信号から音楽を見分けるための音色安定性(tonal stability)
・極めて低エネルギの信号を検出するための相対フレームエネルギ(Erel)
【００７９】
有声化尺度
有声化尺度を測定するために使用する正規化相関を、開ループピッチ解析の一部として計算する。CELP符号化の技術では、開ループ探索モジュールは、通常、フレームあたり2つの推定を出力する。ここでは、開ループ探索モジュールはまた、正規化相関尺度(normalized correlation measures)を出力するためにも使用される。こうした正規化相関は、開ループピッチ遅延で重み付き信号および過去の重み付き信号について計算される。重み付き音声信号sw(n)は、聴覚重み付けフィルタを使用して計算される。例えば、広帯域信号に適した、分母(denominator)を固定した聴覚重み付けフィルタが使用される。聴覚重み付けフィルタの伝達関数の一例が、次の関係により求められる:
【数２７】
2014509407.tif 000029
ここで、A(z)は、レヴィンソンダービン(Levinson-Durbin)のアルゴリズムによって計算される線形予測(LP)フィルタの伝達関数であり、次の関係によって求められる。
【００８０】
【数２８】
2014509407.tif 000030
【００８１】
LP解析および開ループピッチ解析は、CELP符号化の技術ではよく知られており、したがって本説明ではさらに説明しない。
【００８２】
有声化尺度
【数２９】
2014509407.tif 000031
は、次の関係によって求められる平均正規化相関として定義される:
【数３０】
2014509407.tif 000032
ここで、Cnorm(d0)、Cnorm(d1)、およびCnorm(d2)はそれぞれ、現フレームの前半の正規化相関、現フレームの後半の正規化相関、および先読み(次のフレームの初め)の正規化相関である。相関への引数は、開ループピッチラグである。
【００８３】
スペクトル傾斜
スペクトル傾斜は、エネルギの周波数分布に関する情報を含む。スペクトル傾斜は、低周波数に集中しているエネルギと、高周波数に集中しているエネルギとの比として周波数領域で推定することができる。しかし、スペクトル傾斜はまた、信号の2つの第1の自己相関係数の比のような異なる方法で推定することもできる。
【００８４】
高周波数および低周波数のエネルギは、その全内容を、参照により本明細書に組み込む、[J. D. Johnston，「Transform Coding of Audio Signals Using Perceptual Noise Criteria」，IEEE Journal on Selected Areas in Communications，vol. 6，no. 2, pp. 314-323，February 1988]に記載されるように、知覚臨界帯域(perceptual critical band)に従って計算される。高周波数のエネルギは、次の関係を使用して、最後の2つの臨界帯域の平均エネルギとして計算される:
【数３１】
2014509407.tif 000033
ここでECB (i)はi番目の帯域の臨界帯域エネルギであり、bmaxは最終臨界帯域である。低周波数のエネルギは、次の関係を使用して、最初の10の臨界帯域の平均エネルギとして計算される:
【数３２】
2014509407.tif 000034
ここでbminは、第1の臨界帯域である。
【００８５】
中間臨界帯域は、低周波数に高エネルギが集中した(概して有声)フレームと、高周波数に高エネルギが集中した(概して無声)フレームとの間の区別を向上させる傾向にないため、計算から除外される。中間ではエネルギ含量は、さらに述べるクラスのいずれについても特徴的ではなく、決定の混乱を増大させる。
【００８６】
スペクトル傾斜は、
【数３３】
2014509407.tif 000035
によって求められ、
【００８７】
ここで、
【数３４】
2014509407.tif 000036
および
【数３５】
2014509407.tif 000037
は、それぞれ
【数３６】
2014509407.tif 000038
および
【数３７】
2014509407.tif 000039
と同じ方法で計算された最後の2つの臨界帯域および最初の10の臨界帯域の平均雑音エネルギである。推定雑音エネルギは、傾斜の計算結果に加えられて、背景雑音の存在を説明する。スペクトル傾斜の計算は、フレームあたり2回行われ、平均スペクトル傾斜が計算されて、その後、無声フレームの分類においてこれを使用する。すなわち
【数３８】
2014509407.tif 000040
ここで、eoldは、前フレームの後半のスペクトル傾斜である。
【００８８】
低レベルにおける最大短時間エネルギ増加
低レベルにおける最大短時間エネルギ増加dE0は、入力音信号s(n)で評価され、n=0が現フレームの第1のサンプルに対応する。信号エネルギは、サブフレームあたり2回評価される。例えばフレームあたり4つのサブフレームのシナリオを仮定すると、エネルギはフレームあたり8回計算される。全フレーム長が、例えば256サンプルである場合、これらの短いセグメントのそれぞれが32サンプルを有することができる。計算では、前フレームからの最後の32サンプル、および次フレームからの最初の32サンプルの短時間エネルギもまた、考慮に入れる。短時間エネルギは、次の関係を使用して計算される:
【００８９】
【数３９】
2014509407.tif 000041
【００９０】
ここで、j=-1およびj=8は、それぞれ前フレームの最後、および次フレームの最初に対応する。9個の短時間エネルギの別のセットは、次の関係を使用して、先の式において信号インデックスを16サンプルだけ移動させることによって計算される:
【００９１】
【数４０】
2014509407.tif 000042
【００９２】
十分に低い、すなわち条件
【数４１】
2014509407.tif 000043
を満たすエネルギについては、第1のセットのエネルギに対して次の比
【数４２】
2014509407.tif 000044
が計算され、同じ計算がj=0,..,7で
【数４３】
2014509407.tif 000045
に対して繰り返されて、2つのセットの比rat(1)およびrat(2)を取得する。これらの2つのセットの最大値のみが、以下によって探索され、
dE0 = max(rat(1),rat(2) )
これが、低レベルにおける最大短時間エネルギ増加である。
【００９３】
最大短時間エネルギ変動
このパラメータdEは、低レベル条件は適用されないという違いがあるが、低レベルにおける最大短時間エネルギ増加と同様である。したがって、パラメータは、次の4つの値の最大値として計算される:
【００９４】
【数４４】
2014509407.tif 000046
【００９５】
無声信号の分類
無声信号フレームの分類は、上述のパラメータ、すなわち有声化尺度
【数４５】
2014509407.tif 000047
、平均スペクトル傾斜
【数４６】
2014509407.tif 000048
、低レベルにおける最大短時間エネルギ増加dE0、および最大短時間エネルギ変動dEに基づく。アルゴリズムは、雑音エネルギ更新フェーズ中に計算される、音色安定性パラメータ、SADフラグ、および相対フレームエネルギによってさらに支援される。こうしたパラメータに関するさらなる詳細については、例えば、その全内容を参照により本明細書に組み込む、[Jelinek, M. et al.，「Advances in source-controlled variable bitrate wideband speech coding」，Special Workshop in MAUI (SWIM): Lectures by masters in speech processing，Maui，Hawaii，January 12-14, 2004]を参照されたい。
【００９６】
相対フレームエネルギは、以下によって求められる。
【００９７】
【数４７】
2014509407.tif 000049
【００９８】
ここで、Etは(dB中の)全フレームエネルギであり、
【数４８】
2014509407.tif 000050
は、
【数４９】
2014509407.tif 000051
によって各アクティブフレームの間に更新される長期平均フレームエネルギである。
【００９９】
広帯域信号の無声分類のルールを以下にまとめる。
【０１００】
【数５０】
2014509407.tif 000052
【０１０１】
この条件の第1の行は、低エネルギの信号およびそのエネルギを高周波数に集中させている低相関を有する信号に関連している。第2の行は、有声オフセットを扱い、第3の行は、破裂音信号セグメントを扱い、第4の行は、有声の立ち上がりに関連している。最終行は、別の方法では無声として宣言される音楽信号を区別する。
【０１０２】
組み合わせられた条件が満たされる場合、現フレームを無声と宣言することによって分類は終了する。
【０１０３】
有声信号の分類
フレームが非アクティブフレームとして、または無声フレームとして分類されない場合、フレームは、安定した有声フレームであるかどうかをテストされる。決定ルールは、各サブフレーム(1/4サブサンプル分解能を有する)における正規化相関
【数５１】
2014509407.tif 000053
平均スペクトル傾斜
【数５２】
2014509407.tif 000054
およびすべてのサブフレーム(1/4サブサンプル分解能を有する)における開ループピッチ推定に基づく。
【０１０４】
開ループピッチ推定手順は、3つの開ループピッチラグ、すなわち前半フレーム、後半フレーム、および先読み(次のフレームの前半フレーム)に対応するd0、d1、およびd2を計算する。4つのすべてのサブフレームにおける正確なピッチ情報を取得するために、1/4サンプル分解能の分数ピッチ高精度化(fractional pitch refinement)を計算する。この高精度化は、知覚的に重み付けされた入力信号swd(n)(例えば、上述の聴覚重み付けフィルタによってフィルタリングされた入力音信号s(n))で計算される。各サブフレームの初めで、1サンプルの分解能を有する短い相関解析(40サンプル)が、次の遅延、すなわち第1および第2のサブフレームにはd0、第3および第4のサブフレームにはd1を使用して区間(-7, +7)で行われる。次いで相関は、その最大値付近の分数位置dmax-3/4、dmax-1/2、dmax-1/4、dmax、dmax+1/4、dmax+1/2、dmax+3/4で補間される。最大相関を生じる値は、高精度化ピッチラグとして選択される。
【０１０５】
4つのすべてのサブフレームの高精度化された開ループピッチラグをT(0)、T(1)、T(2)、およびT(3)として示し、これらの対応する正規化相関をC(0)、C(1)、C(2)、およびC(3)として示す。次に、有声信号の分類条件は、以下によって求められる。
【０１０６】
【数５３】
2014509407.tif 000055
【０１０７】
上記の有声信号の分類条件は、正規化相関はすべてのサブフレームで十分に高くなければならないこと、ピッチの推定はフレームにわたって発散してはならないこと、エネルギは低周波数に集中しなければならないことを示す。この条件が満たされる場合、現フレームを有声として宣言することによって、分類は終了する。そうでない場合、現フレームは汎用として宣言される。
【０１０８】
本発明を、その非限定的な例示的実施形態を参照して上記の説明で述べたが、これらの実施形態は、本発明の趣旨および本質を逸脱することなく添付の特許請求の範囲の範囲内で自在に変更することができる。
【符号の説明】
【０１０９】
500  利得量子化器
501  フィルタ処理済み適応励振信号
502  フィルタ処理済みイノベーションコードベクトル
503  利得符号帳
504  乗算器
505  固定寄与分の量子化された利得
507  励振信号の適応寄与分
508  乗算器
509  励振信号の固定寄与分
510  加算器
511  フィルタ処理済み全励振信号
512  減算器
513  計算機
515  誤差信号のエネルギ
【図１】
2014509407.tif 000056
【図２】
2014509407.tif 000057
【図３】
2014509407.tif 000058
【図４】
2014509407.tif 000059
【図５】
2014509407.tif 000060
【図６】
2014509407.tif 000061
【国際調査報告】
2014509407.tif 000062
2014509407.tif 000063
2014509407.tif 000064
2014509407.tif 000065
2014509407.tif 000066