(57)【要約】【課題】PLPと分析／合成を用い人の聴覚的効果を考慮した音声符号化装置及び方法を提供する。【解決手段】音声符号化装置は、入力された音声サンプルのピッチ周期を出力し、該入力音声サンプルをPLPで分析しPLP係数を出力するPLP分析バッファ310、励振信号を発生し出力する励振信号発生部320、ピッチ周期と励振信号とを合成し出力するピッチ合成フィルタ330、ピッチ合成フィルタ330の出力にPLP係数を適用して、合成された音声信号を出力するスペクトル包絡線フィルタ、PLP分析バッファ310から出力された元音声信号とスペクトル包絡線フィルタ340から出力された合成信号とを減算し差を求める加算器350、加算器350から出力される元音声信号と合成信号との差に人の聴覚的効果を考慮した加重値を与えて誤差を計算する知覚加重フィルタ360、誤差を最小にする励振信号を探索する最小誤差計算部370、を含んで構成される。【選択図】図3
2006171751.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声サンプルのピッチ周期を出力し、前記入力された音声サンプルを知覚線形予測により分析して知覚線形予測係数を出力する知覚線形予測分析バッファと、
励振信号を発生して出力する励振信号発生部と、
前記知覚線形予測分析バッファから入力されたピッチ周期と、前記励振信号発生部から入力された励振信号とを合成して出力するピッチ合成フィルタと、
該ピッチ合成フィルタの出力に、前記知覚線形予測分析バッファから入力された知覚線形予測係数を適用することにより、合成された音声信号を出力するスペクトル包絡線フィルタと、
前記知覚線形予測分析バッファから出力された元の音声信号から、前記スペクトル包絡線フィルタから出力された合成信号を減算して差を求める加算器と、
該加算器から出力された元の音声信号と合成信号との差に、人の聴覚的効果を考慮した加重値を与えて誤差を計算する知覚加重フィルタと、
前記誤差を最小にする励振信号を探索する最小誤差計算部と、
を含んで構成されることを特徴とする音声符号化装置。
【請求項２】
前記知覚線形予測係数は、
入力された音声信号を離散化する高速フーリエ変換段階と、
前記離散化された信号に、信号の周波数帯による人の認知効果を適用する臨界帯域積分及びリサンプリング段階と、
前記臨界帯域積分及びリサンプリングを経た周波数成分に、等ラウドネス曲線を乗算する段階と、
前記等ラウドネス曲線が乗算された信号に、音の大きさの変化による人の認知効果を適用する聴覚のべき法則（Power law of hearing）を適用する段階と、
前記聴覚のべき法則が適用された周波数領域の信号を時間領域信号に変える逆離散フーリエ変換過程により線形方程式を得る段階と、
前記線形方程式を解き、その結果にケプストラム再帰過程を適用してケプストラム係数を求める段階と、を経て出力されることを特徴とする請求項１に記載の音声符号化装置。
【請求項３】
前記励振信号発生部は、
コードブックインデックスやコードブックゲインなどの内部パラメータを保存するコードブックを備え、前記最小誤差計算部により計算された誤差を最小にする励振信号を前記コードブックから検索することを特徴とする請求項１に記載の音声符号化装置。
【請求項４】
前記コードブックインデックス、前記コードブックゲイン、前記ピッチ周期、及び前記知覚線形予測係数を転送することを特徴とする請求項３に記載の音声符号化装置。
【請求項５】
音声サンプルが入力されると、元の音声信号の音声サンプルからピッチ周期及び知覚線形予測係数を求める段階と、
音声合成のために励振信号を発生し、前記発生した励振信号に、前記ピッチ周期を合成する段階と、
前記励振信号及びピッチ周期が合成された信号に、知覚線形予測係数を適用することで合成された音声信号を出力する段階と、
元の音声信号から前記合成された音声信号を減算して差を求める段階と、
前記元の音声信号と合成信号との差に、人の聴覚的効果を考慮した加重値を与えて誤差を計算する段階と、
前記計算された誤差を最小にする励振信号を探索する段階と、
前記ピッチ周期、前記知覚線形予測係数、前記誤差を最小にする励振信号のコードブックインデックス及びコードブックゲインを転送する段階と
を含んで構成されることを特徴とする音声符号化方法。
【請求項６】
前記知覚線形予測係数は、
入力された音声信号を離散化する高速フーリエ変換段階と、
前記離散化された信号に、信号の周波数帯による人の認知効果を適用する臨界帯域積分及びリサンプリング段階と、
前記臨界帯域積分及びリサンプリングを経た周波数成分に、等ラウドネス曲線を乗算する段階と、
前記等ラウドネス曲線が乗算された信号に、音の大きさの変化による人の認知効果を適用する聴覚のべき法則を適用する段階と、
前記聴覚のべき法則が適用された周波数領域の信号を時間領域信号に変える逆離散フーリエ変換過程により線形方程式を得る段階と、
前記線形方程式を解き、その結果にケプストラム再帰過程を適用してケプストラム係数を求める段階と、を経て出力されることを特徴とする請求項５に記載の音声符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声符号化に関し、特に、知覚線形予測（Perceptual Linear Prediction： 以下、ＰＬＰと略称する）と分析／合成方法（Analysis-by-synthesis method）を用いた音声符号化装置及び方法に関する。
【背景技術】
【０００２】
近年、通信のために音声を転送したり、デジタルレコーダのように音声を保存する音声処理システムに対する需要が急増しているが、このような音声処理システムにおいて、限定されたメディアを効率的に使用するための最も核心的な技術は、音声を圧縮／復元する音声符号化（speech coding）技術である。音声符号化とは、入力された音声信号から信号の相関度に基づいて主要パラメータを抽出して、これを符号化する過程である。
【０００３】
従来、電話通信のために多くの音声符号化器（speech coder）が設計されたが、特に、デジタル通信のためには、線形予測（linear prediction： 以下、ＬＰと略称する）に基づいた線形予測分析／合成符号化器（Linear Prediction Analysis-by-Synthesis coder： ＬＰＡＳ符号化器）が多用されている。ここで、分析／合成とは、音声信号から音声の特徴係数を抽出し、該抽出された特徴係数から音を再生することである。
【０００４】
ＬＰＡＳ符号化器に最も多く適用される技術は、符号励振線形予測（Code Excited Linear Prediction: ＣＥＬＰ）をベースとした技術である。国際電気通信連合（ＩＴＵ−Ｔ）では、ＣＥＬＰ技術に基づいてＧ.７２３.１、Ｇ.７２８、Ｇ.７２９のような多様なＣＥＬＰ標準を定め、他の団体でも多様なＣＥＬＰ標準を選択することで、その種類が非常に多くなったが、その根本的な方式は基本的に同様である。
【０００５】
ＣＥＬＰは、Ｍ個（一般に、Ｍ＝１０２４）の異なるコードベクトルによりコードブック（codebook）を構成し、原音と合成音との認知誤差が最小になる最適コードベクトルに該当する代表値（codeword）のインデックス（index）を転送することにより、該転送されたインデックスが残余信号の代わりに用いられる方法である。
【０００６】
一般に、ＣＥＬＰ音声符号化器の転送速度範囲は４〜８ｋｂｐｓであるので、時変デジタルフィルタ係数を１ｋｂｐｓ以下に量子化及び符号化しなければならないという難しさがあり、さらに、フィルタ係数の量子化誤差は再生音質を大きく低下させる。従って、低い転送速度でフィルタ係数を符号化するときは、スカラー量子化器の代わりにベクトル量子化器を使用して量子化誤差を最小化することにより、良好な音の再生が可能となる。ＣＥＬＰ音声符号化器は、コードブック探索に多くの計算量が要求されるので、リアルタイム処理のためには効率的なコードブック探索アルゴリズムが必要である。
【０００７】
ＣＥＬＰに効率的な探索を可能にするコードブック構造を付加した符号化方式のうち代表的な符号化方式として、モトローラ社が開発したベクトル和励振線形予測（Vector Sum Excited Linear Prediction: ＶＳＥＬＰ）音声符号化方式がある。これは、いくつかの基本ベクトルなどが線形結合された構造のコードブックを使用することにより、乱数コードブックを利用した典型的なＣＥＬＰに比べてチャネルエラーに強く、コードブック保存に要求されるメモリ容量を低減している。
【０００８】
しかしながら、ＣＥＬＰ及びＶＳＥＬＰなどの従来の分析／合成方法を用いたＬＰＡＳ符号化器は、ＬＰを利用して特徴係数を抽出するときに、音声の特徴のみを考慮して人の聴覚的な効果は考慮せず、元の信号との誤差を計算するときにのみ人の聴覚的な効果を考慮するため、復元される音声の品質が低下し、ビットレートは増加するという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、前述したような問題を解決するために提案されたもので、本発明の目的は、ＰＬＰと分析／合成を利用して人の聴覚的効果を考慮した音声符号化装置及び方法を提供することにある。
【課題を解決するための手段】
【００１０】
このような目的を達成するために本発明に係る音声符号化装置は、入力された音声サンプルのピッチ周期を出力し、前記入力された音声サンプルをＰＬＰにより分析してＰＬＰ係数を出力するＰＬＰ分析バッファと、励振信号（excitation signal）を発生して出力する励振信号発生部と、前記ＰＬＰ分析バッファから入力されたピッチ周期及び前記励振信号発生部から入力された励振信号を合成して出力するピッチ合成フィルタ(pitch synthesis filter)と、前記ピッチ合成フィルタの出力に、前記ＰＬＰ分析バッファから入力されたＰＬＰ係数を適用することにより、合成された音声信号を出力するスペクトル包絡線フィルタ(spectral envelope filter)と、前記ＰＬＰ分析バッファから出力された元の音声信号から、前記スペクトル包絡線フィルタから出力された合成信号を減算して差を求める加算器と、該加算器から出力される元の音声信号と合成信号との差に、人の聴覚的効果を考慮した加重値を与えて誤差を計算する知覚加重フィルタ(perceptual weighting filter)と、前記誤差を最小にする励振信号を探索する最小誤差計算部と、を含んで構成されることを特徴とする。
【００１１】
また、このような目的を達成するために本発明に係る音声符号化方法は、音声サンプルが入力されると、元の音声信号の音声サンプルからピッチ周期及びＰＬＰ係数を求める過程と、音声合成のために励振信号を発生し、前記発生した励振信号に、前記ピッチ周期を合成する過程と、前記励振信号及びピッチ周期が合成された信号に、ＰＬＰ係数を適用することで合成された音声信号を出力する過程と、元の音声信号から前記合成された音声信号を減算して差を求める過程と、前記元の音声信号と合成信号との差に人の聴覚的効果を考慮した加重値を与えて誤差を計算する過程と、前記計算された誤差を最小にする励振信号を探索する過程と、前記ピッチ周期、前記ＰＬＰ係数、前記誤差を最小にする励振信号のコードブックインデックスとコードブックゲインを転送する過程と、を含んで構成されることを特徴とする。
【００１２】
また、前記ＰＬＰ係数は、入力された音声信号を離散化する高速フーリエ変換(Fast Fourier Transform: ＦＦＴ) 過程と、前記離散化された信号に、信号の周波数帯による人の認知効果を適用する臨界帯域積分(critical-band integration) 及びリサンプリング過程と、前記臨界帯域積分及びリサンプリングを経た周波数成分に、等ラウドネス曲線（Eqaul loudness curve）を乗算する過程と、前記等ラウドネス曲線が乗算された信号に、音の大きさの変化による人の認知効果を適用する聴覚のべき法則（Power law of hearing）を適用する過程と、前記聴覚のべき法則が適用された周波数領域の信号を時間領域信号に変える逆離散フーリエ変換(Inverse Discrete Fourier Transform: ＩＤＦＴ) により線形方程式を得る過程と、前記線形方程式を解いた結果にケプストラム再帰(Cepstral recursion) 過程を適用してケプストラム係数（cepstral coefficient）を求める過程と、を経て出力されることを特徴とする。
【発明の効果】
【００１３】
本発明に係る音声符号化装置及び方法は、人の聴覚的効果をパラメータ抽出過程と誤差計算過程に適用することにより、全体的な音質を向上し得るという効果がある。また、本発明に使用されたＰＬＰは、ＬＰより低い係数を使っても音声の全体的なスペクトルを描くことができるので、データ転送ビットレートを低減し得るという効果がある。
【発明を実施するための最良の形態】
【００１４】
本発明は、ＰＬＰという聴覚的効果を考慮したパラメータを使用することにより、音質の向上及びビットレートの低減を図る。
【００１５】
以下、添付図面に基づいて本発明の好ましい実施形態を説明する。
【００１６】
図１は、ＰＬＰ係数を求める方法を示すフローチャートである。
【００１７】
図１に示すように、本発明に係るＰＬＰ係数を求める方式においては、最初に音声が入力されると、入力された音声に対して高速フーリエ変換を行って音声信号を離散化する（Ｓ１１０）。ここで、高速フーリエ変換とは、単純にフーリエ変換を離散化して離散フーリエ変換を計算するとき、三角関数の周期性を利用して計算速度の効率を向上させるアルゴリズムである。つまり、離散フーリエ変換を行うときに現れるe(-j2πnk/N)(k=0~N-1)項の計算を全て行うのでなく、周期性を利用して、予め計算した項と同一の値を有する項の計算を省略することにより、計算量を減らすアルゴリズムである。
【００１８】
高速フーリエ変換が完了すると、離散化された信号に、信号の周波数帯による人の認知効果を適用する臨界帯域積分及びリサンプリング過程を行う（Ｓ１２０）。ここで、臨界帯域積分とは、音声のパワースペクトルをヘルツ周波数領域からバーク周波数領域（bark frequency domain）に変換することであり、バークスケール（Bark scale）に基づいて求めることができる。バークスケールは、次の数式１により表現される。
【００１９】
【数１】
2006171751.tif 000003
【００２０】
臨界帯域積分のために使用されるフィルタバンク（Filter Bank）は、元信号の完全復元のためにツリー構造を有する（Tree-structured）不均一サブバンドフィルタバンク（Non-uniform sub-band filter bank）である。ここで、図２は、ツリー構造の不均一サブバンドフィルタバンクにより、チャネル別に異なるサンプリング比率で分割された周波数帯域の形態を示す。図２を参照すると、人間が認知し得ない高周波領域よりも、人間が認知し得る低周波領域を細かく分割してサンプリングすることにより、人間の聴覚的な特性を考慮したことが分かる。臨界帯域積分及びリサンプリングにより、低い周波数の場合は周波数変化が強調され、高い周波数の場合は周波数変化が小さくなる信号を得ることができる。
【００２１】
図１に示すように、臨界帯域積分及びリサンプリングが完了すると、臨界帯域積分及びリサンプリングを経た周波数成分に等ラウドネス曲線を乗算する（Ｓ１３０）。
【００２２】
等ラウドネス曲線とは、同じ大きさに聞こえる純音の周波数と音圧レベルとの関係を求めた曲線であり、人の聴覚的特性が周波数帯域ごとに音の大きさを判断する程度が異なるという点に基づいて２０Ｈｚから２０,０００Ｈｚまでの全オーディオ周波数帯域に対する人の耳の反応を示す。等ラウドネス曲線は、 フレッチャー（Fletcher）とマンソン（Munson）により測定されたので、フレッチャー・マンソンカーブともいう。
【００２３】
等ラウドネス曲線の乗算が完了すると、聴覚のべき法則を適用する（Ｓ１４０）。聴覚のべき法則とは、人の聴覚が、小さい音が少しずつ大きくなることには敏感であるが、大きい音がより大きくなることには鈍感であることを数学的に描写したもので、周波数成分の絶対値を１／３乗する。
【００２４】
臨界帯域積分及びリサンプリング過程、等ラウドネス曲線を乗算する過程、聴覚のべき法則の適用過程により人の聴覚的な特性が反映された信号、すなわち、人の聴覚的特性に対する加重値（weight）が反映された信号に逆離散フーリエ変換を行うことにより、周波数領域の信号を再び時間領域信号に変換する（Ｓ１５０）。逆離散フーリエ変換が完了すると、線形方程式を得ることができる。
【００２５】
その後、線形方程式を解くが（Ｓ１６０）、該線形方程式を解くために線形予測係数分析で使用される、演算量が少ないダービン再帰法（Durbin recursion）を使用する。
【００２６】
線形方程式を解いた結果に対してケプストラム再帰過程によりケプストラム係数を求める（Ｓ１７０）。ケプストラム再帰過程とは、分光平滑フィルタ（spectrally smoothed filter）を得るときによく使用される方法であり、直接線形予測係数を使用するよりケプストラムを利用する方が、性能面で良い。
【００２７】
このように求められたケプストラム係数の種類（type）をＰＬＰという。このＰＬＰ特性を得る過程では、多様な人の聴覚的効果を考慮してモデリングを行うため、ＰＬＰ特性を音声認識などに使用した場合、非常に高い認識率を期待することができる。
【００２８】
図３は、本発明に係る音声符号化装置の構造を示す構造図である。
【００２９】
図３を参照すると、本発明に係る音声符号化装置は、入力される音声サンプルをバッファリングして出力し、入力された音声のピッチ周期を出力し、入力された音声に対してＰＬＰ分析を行ってＰＬＰ係数を出力するＰＬＰ分析バッファ３１０と、励振信号を発生して出力する励振信号発生部３２０と、ＰＬＰ分析バッファ３１０から出力されたピッチ周期と、励振信号発生部３２０から入力された励振信号とを合成して出力するピッチ合成フィルタ３３０と、該ピッチ合成フィルタ３３０の出力に、ＰＬＰ分析バッファ３１０から入力されたＰＬＰ係数を適用して合成された音声信号を出力するスペクトル包絡線フィルタ３４０と、ＰＬＰ分析バッファ３１０から入力された元の音声信号から、スペクトル包絡線フィルタ３４０から出力された合成信号を減算して差を求める加算器３５０と、該加算器３５０から出力された元の音声信号と合成信号との差に人の聴覚的効果を考慮した加重値を与えて誤差を計算する知覚加重フィルタ３６０と、誤差を最小にする励振信号を探索する最小誤差計算部３７０と、から構成される。
【００３０】
ＰＬＰ分析バッファ３１０のＰＬＰ分析は、図１で説明した過程により行われる。
【００３１】
励振信号発生部３２０は、コードブックインデックスやコードブックゲインなどの内部パラメータをコードブックとして備え、最小誤差計算部３７０で計算された誤差を最小にする励振信号を該コードブックから検索する。
【００３２】
信号転送の時、音声符号化装置３００は、ピッチ周期、ＰＬＰ係数、及び誤差を最小にする励振信号に該当するコードブックインデックスとコードブックゲインを転送する。
【００３３】
図４は、本発明に係る音声符号化方法の実現過程を示すフローチャートである。
【００３４】
図４を参照すると、本発明に係る音声符号化方法は、元の音声信号の音声サンプルからピッチ周期及びＰＬＰ係数を求める（Ｓ４１０）。ここで、ＰＬＰ係数は、前述の図１の過程により求められる。
【００３５】
音声を合成するために励振信号を発生し、該発生した励振信号にピッチ周期を合成し（Ｓ４２０）、励振信号及びピッチ周期が合成された信号にＰＬＰ係数を適用して合成された音声信号を出力する（Ｓ４３０）。励振信号は、肺から発生する音源に該当し、励振信号にピッチ周期を合成すると、音源が声道を経る前の効果を有する。ここに再びＰＬＰ係数を適用すると、声道の効果を考慮しながら人の聴覚的特性を反映することになるため、この合成信号だけで元の音声信号と類似する。
【００３６】
その後、元の音声信号から合成された音声信号を減算して差を求める（Ｓ４４０）。合成信号が元の音声信号と類似しているとしてもやはり人為的に作られた信号であるため、元の音声信号とは差がある。この差を考慮することにより、元の音声信号とほぼ差のない正確な音声を転送し得る。
【００３７】
次に、元の音声信号と合成信号との差に人の聴覚的効果を考慮した加重値を与えて誤差を計算する（Ｓ４５０）。単純に信号の周波数及び大きさの誤差のみを計算するのではなく、聴覚的効果を考慮した加重値を与えて誤差を計算することにより、話者の音声を直接聞くのと同様な効果を得ることができる。
【００３８】
その後、計算された誤差を最小にする励振信号を探索する（Ｓ４６０）。励振信号発生部のコードブックを検索して誤差を最小にする励振信号を検索する過程が完了すると、ピッチ周期、ＰＬＰ係数、及び誤差を最小にする励振信号のコードブックインデックス及びコードブックゲインを転送する（Ｓ４７０）。よって、音声を転送するのでなく、コードブックインデックス及びコードブックゲイン、ピッチ周期及びＰＬＰ係数を転送することにより、転送データ量を減少させることができる。
【００３９】
本発明は、単純に符号化器だけでなく復号化器を共に適用してコーデックとして活用することもできる。符号化装置に対して、受信部、すなわち、復号化装置は、転送されたピッチ周期、ＰＬＰ係数、及び誤差を最小にする励振信号のコードブックインデックスとコードブックゲインを受信し、受信されたコードブックインデックスとコードブックゲインに合う励振信号を発生してピッチ周期を合成し、ＰＬＰ係数を適用して元の音声信号を復元できる。
【図面の簡単な説明】
【００４０】
【図１】ＰＬＰ係数を求める方法を示すフローチャートである。
【図２】ツリー構造の不均一サブバンドフィルタバンクによりチャネル別に異なるサンプリング比率で分割された周波数帯域の形態を示す図である。
【図３】本発明に係る音声符号化装置の構造を示す構造図である。
【図４】本発明に係る音声符号化方法の実現過程を示すフローチャートである。
【符号の説明】
【００４１】
３１０：ＰＬＰ分析バッファ
３２０：励振信号発生部
３３０：ピッチ合成フィルタ
３４０：スペクトル包絡線フィルタ
３５０：加算器
３６０：知覚加重フィルタ
３７０：最小誤差計算部
【図１】
2006171751.tif 000004
【図２】
2006171751.tif 000005
【図３】
2006171751.tif 000006
【図４】
2006171751.tif 000007