(57)【特許請求の範囲】
【請求項１】
入力音声信号を時間軸上でブロック単位で区分して各ブロック単位で符号化を行う音声符号化方法において、
入力音声信号の短期予測残差を求める工程と、
上記短期予測残差をサイン合成波で表現する工程と、
上記サイン合成波の周波数スペクトル情報を符号化する工程と
を具備し、
上記周波数スペクトルを聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化によって処理することを特徴とする音声符号化方法。
【請求項２】
上記入力音声信号が有音声か無音声かを判別し、
有音声と判別された場合にはサイン波合成のためのパラメータを抽出し、
無音声と判別された場合には時間波形の特徴量を抽出する
ことを特徴とする請求項１記載の音声符号化方法。
【請求項３】
上記有声音か無声音かの判別は、上記ブロック毎に行うことを特徴とする請求項２記載の音声符号化方法。
【請求項４】
上記短期予測残差として、線形予測分析によるＬＰＣ残差を用い、ＬＰＣ係数を表現するパラメータ、上記ＬＰＣ残差の基本周期であるピッチ情報、上記ＬＰＣ残差のスペクトルエンベロープをベクトル量子化又はマトリクス量子化した出力であるインデクス情報、及び上記入力音声信号が有声音か無声音かの判別情報、を出力することを特徴とする請求項１記載の音声符号化方法。
【請求項５】
上記無声音の部分では、上記ピッチ情報の代わりに上記ＬＰＣ残差波形の特徴量を示す情報を出力することを特徴とする請求項４記載の音声符号化方法。
【請求項６】
上記特徴量を示す情報は、上記１ブロック内のＬＰＣ残差波形の短時間エネルギの列を示すベクトルのインデクスであることを特徴とする請求項５記載の音声符号化方法。
【請求項７】
上記聴覚重み付けには、過去のブロックの聴覚重み付け係数を現在の重み付け係数の計算に用いることを特徴とする請求項１記載の音声符号化方法。
【請求項８】
上記短期予測残差の周波数スペクトルをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることを特徴とする請求項１記載の音声符号化方法。
【請求項９】
上記ＬＰＣ係数を示すパラメータをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることを特徴とする請求項４記載の音声符号化方法。
【請求項１０】
上記入力音声信号のピッチを検出し、この検出ピッチに基づいて上記入力音声信号が男声か女声かを判別し、この判別結果に応じて上記男声用コードブックと女声用コードブックとを切換制御することを特徴とする請求項８記載の音声符号化方法。
【請求項１１】
音声信号をブロック毎に分割して短期予測残差を求め、前記短期予測残差をブロック単位でサイン合成波で表現し、前記サイン合成波の周波数スペクトル情報を符号化した符号化音声信号を復号化する音声復号化方法において、
聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化して符号化された固定数の周波数スペクトルデータを受け取って可変数の周波数スペクトルデータに変換する工程と、
上記周波数スペクトルデータからサイン波合成によって短期予測残差を求める工程と、
上記短期予測残差に基づいて時間軸波形を合成する工程と
を具備することを特徴とする音声復号化方法。
【請求項１２】
上記短期予測残差として、線形予測分析によるＬＰＣ残差を用い、ＬＰＣ係数を表現するパラメータ、上記ＬＰＣ残差の基本周期であるピッチ情報、上記ＬＰＣ残差のスペクトルエンベロープをベクトル量子化又はマトリクス量子化した出力であるインデクス情報、及び上記入力音声信号が有声音か無声音かの判別情報、を上記符号化音声信号として用いることを特徴とする請求項１１記載の音声復号化方法。
【請求項１３】
入力音声信号を時間軸上でブロック単位で区分して各ブロック単位で符号化を行う音声符号化装置において、
入力音声信号の短期予測残差を求める手段と、
上記短期予測残差をサイン合成波で表現する手段と、
上記サイン合成波の周波数スペクトル情報を符号化する手段と、
上記周波数スペクトルを聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化によって量子化する手段と
を具備することを特徴とする音声符号化装置。
【請求項１４】
上記入力音声信号が有音声か無音声かを判別する判別手段を更に具備し、
上記判別手段によって、有音声と判別された場合にはサイン波合成のためのパラメータを抽出し、
上記判別手段によって、無音声と判別された場合には時間波形の特徴量を抽出する
ことを特徴とする請求項１３記載の音声符号化装置。
【請求項１５】
上記判別手段は、上記ブロック毎に有声音か無声音かの判別を行うことを特徴とする請求項１４記載の音声符号化装置。
【請求項１６】
上記短期予測残差として、線形予測分析によるＬＰＣ残差を用い、ＬＰＣ係数を表現するパラメータ、上記ＬＰＣ残差の基本周期であるピッチ情報、上記ＬＰＣ残差のスペクトルエンベロープをベクトル量子化又はマトリクス量子化した出力であるインデクス情報、及び上記入力音声信号が有声音か無声音かの判別情報、を出力することを特徴とする請求項１３記載の音声符号化装置。
【請求項１７】
上記無声音の部分では、上記ピッチ情報の代わりに上記ＬＰＣ残差波形の特徴量を示す情報を出力することを特徴とする請求項１６記載の音声符号化装置。
【請求項１８】
上記特徴量を示す情報は、上記１ブロック内のＬＰＣ残差波形の短時間エネルギの列を示すベクトルのインデクスであることを特徴とする請求項１７記載の音声符号化装置。
【請求項１９】
上記聴覚重み付けには、過去のブロックの聴覚重み付け係数を現在の重み付け係数の計算に用いることを特徴とする請求項１３記載の音声符号化装置。
【請求項２０】
上記短期予測残差の周波数スペクトルをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることを特徴とする請求項１３記載の音声符号化装置。
【請求項２１】
上記ＬＰＣ係数を示すパラメータをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることを特徴とする請求項１６記載の音声符号化装置。
【請求項２２】
上記入力音声信号のピッチを検出し、この検出ピッチに基づいて上記入力音声信号が男声か女声かを判別し、この判別結果に応じて上記男声用コードブックと女声用コードブックとを切換制御することを特徴とする請求項２０記載の音声符号化装置。
【請求項２３】
音声信号をブロック毎に分割して短期予測残差を求め、前記短期予測残差をブロック単位でサイン合成波で表現し、前記サイン合成波の周波数スペクトル情報を符号化した符号化音声信号を復号化する音声復号化装置において、
聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化して符号化された固定数の周波数スペクトルデータを受け取って可変数の周波数スペクトルデータに変換する手段と、
上記周波数スペクトルデータからサイン波合成によって短期予測残差を求める手段と、
上記短期予測残差に基づいて時間軸波形を合成する手段と
を具備することを特徴とする音声復号化装置。
【請求項２４】
上記短期予測残差として、線形予測分析によるＬＰＣ残差を用い、ＬＰＣ係数を表現するパラメータ、上記ＬＰＣ残差の基本周期であるピッチ情報、上記ＬＰＣ残差のスペクトルエンベロープをベクトル量子化又はマトリクス量子化した出力であるインデクス情報、及び上記入力音声信号が有声音か無声音かの判別情報、を上記符号化音声信号として用いることを特徴とする請求項２３記載の音声復号化装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、入力音声信号をブロック単位で区分して、区分されたブロックを単位として符号化処理を行うような音声符号化方法、この符号化された信号を復号化する音声復号化方法、及び音声符号化復号化方法に関する。
【０００２】
【従来の技術】
オーディオ信号（音声信号や音響信号を含む）の時間領域や周波数領域における統計的性質と人間の聴感上の特性を利用して信号圧縮を行うような符号化方法が種々知られている。この符号化方法としては、大別して時間領域での符号化、周波数領域での符号化、分析合成符号化等が挙げられる。
【０００３】
音声信号等の高能率符号化の例として、ＭＢＥ（Ｍｕｌｔｉｂａｎｄ  Ｅｘｃｉｔａｔｉｏｎ：  マルチバンド励起）符号化、ＳＢＥ（Ｓｉｎｇｌｅｂａｎｄ  Ｅｘｃｉｔａｔｉｏｎ：シングルバンド励起）符号化、ハーモニック（Ｈａｒｍｏｎｉｃ）符号化、ＳＢＣ（Ｓｕｂ−ｂａｎｄ  Ｃｏｄｉｎｇ：帯域分割符号化）、ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ：  線形予測符号化）、あるいはＤＣＴ（離散コサイン変換）、ＭＤＣＴ（モデファイドＤＣＴ）、ＦＦＴ（高速フーリエ変換）等において、スペクトル振幅やそのパラメータ（ＬＳＰパラメータ、αパラメータ、ｋパラメータ等）のような各種情報データを量子化する場合に、従来においてはスカラ量子化を行うことが多い。
【０００４】
上記ＰＡＲＣＯＲ法等の音声分析・合成系では、励振源を切り換えるタイミングは時間軸上のブロック（フレーム）毎であるため、同一フレーム内では有声音と無声音とを混在させることができず、結果として高品質な音声は得られなかった。
【０００５】
これに対して、上記ＭＢＥ符号化においては、１ブロック（フレーム）内の音声に対して、周波数スペクトルの各ハーモニクス（高調波）や２〜３ハーモニクスをひとまとめにした各バンド（帯域）毎に、又は固定の帯域幅（例えば３００〜４００Ｈｚ）で分割された各バンド毎に、そのバンド中のスペクトル形状に基づいて有声音／無声音判別（Ｖ／ＵＶ判別）を行っているため、音質の向上が認められる。この各バンド毎のＶ／ＵＶ判別は、主としてバンド内のスペクトルがいかに強くハーモニクス構造を有しているかを見て行っている。
【０００６】
【発明が解決しようとする課題】
ところで、上記ＭＢＥ符号化においては、一般に演算処理量が多いことから演算ハードウェアやソフトウェアの負担が大きい点が指摘されている。また、再生信号として自然な音声を得ようとすると、スペクトルエンベロープの振幅のビット数をあまり少なくすることができないという点と、更に位相情報を伝送しなければならない点が挙げられる。さらに、ＭＢＥ特有の現象として、合成された音声に鼻詰まり感がある。
【０００７】
本発明は、このような実情に鑑みてなされたものであり、少ないビット数でも比較的スムーズな合成波形を得ることができ、鼻詰まり感のない明瞭度の高い合成音声が得られ、少ない演算量で高品質の再生音が得られるような音声符号化方法、音声復号化方法及び音声符号化復号化方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る音声符号化方法は、入力音声信号を時間軸上でブロック単位で区分して各ブロック単位で符号化を行う音声符号化方法において、入力音声信号の短期予測残差を求める工程と、上記短期予測残差をサイン合成波で表現する工程と、上記サイン合成波の周波数スペクトル情報を符号化する工程とを具備し、上記周波数スペクトルを聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化によって処理することにより、上述の課題を解決する。
【０００９】
本発明に係る音声復号化方法は、音声信号をブロック毎に分割して短期予測残差を求め、前記短期予測残差をブロック単位でサイン合成波で表現し、前記サイン合成波の周波数スペクトル情報を符号化した符号化音声信号を復号化する音声復号化方法において、聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化して符号化された固定数の周波数スペクトルデータを受け取って可変数の周波数スペクトルデータに変換する工程と、上記周波数スペクトルデータからサイン波合成によって短期予測残差を求める工程と、上記短期予測残差に基づいて時間軸波形を合成する工程とを具備することにより、上述の課題を解決する。
【００１０】
本発明に係る音声符号化装置は、入力音声信号を時間軸上でブロック単位で区分して各ブロック単位で符号化を行う音声符号化装置において、入力音声信号の短期予測残差を求める手段と、上記短期予測残差をサイン合成波で表現する手段と、上記サイン合成波の周波数スペクトル情報を符号化する手段と、上記周波数スペクトルを聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化によって量子化する手段とを具備することにより、上述の課題を解決する。
本発明に係る音声復号化装置は、音声信号をブロック毎に分割して短期予測残差を求め、前記短期予測残差をブロック単位でサイン合成波で表現し、前記サイン合成波の周波数スペクトル情報を符号化した符号化音声信号を復号化する音声復号化装置において、聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化して符号化された固定数の周波数スペクトルデータを受け取って可変数の周波数スペクトルデータに変換する手段と、上記周波数スペクトルデータからサイン波合成によって短期予測残差を求める手段と、上記短期予測残差に基づいて時間軸波形を合成する手段とを具備することにより、上述の課題を解決する。
【００１１】
なお、上記時間軸方向のブロックとは、符号化や伝送の単位の意味であり、後述する２５６サンプル分のブロックのみならず、符号伝送単位となる１６０サンプル分のフレームも含む概念である。
【００１２】
ここで、上述の音声符号化方法又は音声符号化装置においては、上記入力音声信号が有音声か無音声かを判別し、有音声と判別された場合にはサイン波合成のためのパラメータを抽出し、無音声と判別された場合には時間波形の特徴量を抽出することが好ましい。この有声音か無声音かの判別は、上記ブロック毎に行うことが挙げられる。
【００１３】
上記短期予測残差として、線形予測分析によるＬＰＣ残差を用い、ＬＰＣ係数を表現するパラメータ、上記ＬＰＣ残差の基本周期であるピッチ情報、上記ＬＰＣ残差のスペクトルエンベロープをベクトル量子化又はマトリクス量子化した出力であるインデクス情報、及び上記入力音声信号が有声音か無声音かの判別情報、を出力することが好ましい。この場合、上記無声音の部分では、上記ピッチ情報の代わりに上記ＬＰＣ残差波形の特徴量を示す情報を出力することが好ましく、上記特徴量を示す情報は、上記１ブロック内のＬＰＣ残差波形の短時間エネルギの列を示すベクトルのインデクスであることが考えられる。
【００１４】
また、上記聴覚重み付けには、過去のブロックの聴覚重み付け係数を現在の重み付け係数の計算に用いることが挙げられる。
【００１５】
また、上記短期予測残差の周波数スペクトルをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることが好ましい。また、上記ＬＰＣ係数を示すパラメータをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声用コードブックと女声用コードブックとを用い、上記入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることが好ましい。これらの場合、上記入力音声信号のピッチを検出し、この検出ピッチに基づいて上記入力音声信号が男声か女声かを判別し、この判別結果に応じて上記男声用コードブックと女声用コードブックとを切換制御することが挙げられる。
【００１６】
【作用】
本発明によれば、入力音声信号のＬＰＣ残差の短期予測残差を求め、その短期予測残差をサイン合成波で表現し、そのサイン合成波の周波数スペクトル情報を符号化し、周波数スペクトルを聴覚重み付けマトリクス量子化又は聴覚重み付けベクトル量子化によって量子化しているため、合成される短期予測残差信号がほぼ平坦なスペクトルエンベロープとなっており、少ないビット数でベクトル量子化又はマトリクス量子化しても、スムーズな合成波形が得られ、復号化側の合成フィルタ出力も聴き易い音質となる。合成時に最小位相推移の全極フィルタ（ＬＰＣ合成フィルタ）を通ることで、残差では位相伝送せずに零移動合成を行っても、最終出力は略々最小位相となるため、鼻つまり感が殆ど感じられなくなり、明瞭度の高い合成音が得られる。またベクトル量子化又はマトリクス量子化のための次元変換において、量子化誤差が拡大される可能性が減り、量子化効率が高められる。また、上記短期予測残差の周波数スペクトルをベクトル量子化又はマトリクス量子化する際に聴覚重み付けしているため、マスキング効果等を考慮した入力信号に応じた最適の量子化が行える。
【００１７】
また、入力音声信号が有声音か無声音かを判別し、無声音の部分では、ピッチ情報の代わりにＬＰＣ残差波形の特徴量を示す情報を出力することにより、ブロックの時間間隔よりも短い時間での波形変化を合成側で知ることができ、子音等の不明瞭感や残響感の発生を未然に防止することができる。また、無声音と判別されたブロックでは、ピッチ情報を送る必要がないことから、このピッチ情報を送るためのスロットに上記無声音の時間波形の特徴量抽出情報を入れ込んで送ることにより、データ伝送量を増やすことなく、再生音（合成音）の質を高めることができる。
【００１８】
また、この聴覚重み付けにおいて、過去のブロックの聴覚重み付け係数を現在の重み付け係数の計算に用いることにより、いわゆるテンポラルマスキングをも考慮した重みが求められ、量子化の品質をさらに高めることができる。
【００２０】
また、短期予測残差の周波数スペクトルや、ＬＰＣ係数を示すパラメータをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声と女声とで別々に最適化された男声用コードブックと女声用コードブックとを用い、入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることにより、少ないビット数でも良好な量子化特性を得ることができる。
【００２１】
【実施例】
以下、本発明に係るいくつかの好ましい実施例について説明する。
【００２２】
先ず、図１は、本発明に係る音声符号化方法の一実施例が適用された符号化装置の概略構成を示している。
【００２３】
ここで、図１の音声信号符号化装置と、後述する図７の音声信号復号化装置とから成るシステムの基本的な考え方は、短期予測残差、例えばＬＰＣ残差（線形予測残差）を、ハーモニクスコーディングとノイズで表現する、あるいはマルチバンド励起（ＭＢＥ）符号化あるいはＭＢＥ分析することである。
【００２４】
従来の符号励起線形予測（ＣＥＬＰ）符号化においては、ＬＰＣ残差を直接時間波形としてベクトル量子化していたが、本実施例では、残差をハーモニクスコーディングやＭＢＥ分析で符号化するため、少ないビット数でハーモニクスのスペクトルエンベロープの振幅をベクトル量子化しても比較的滑らかな合成波形が得られ、ＬＰＣ合成波形フィルタ出力も非常に聴きやすい音質となる。なお、上記スペクトルエンベロープの振幅の量子化には、本件発明者等が先に提案した特開平６−５１８００号公報に記載の次元変換あるいはデータ数変換の技術を用い、一定の次元数にしてベクトル量子化を行っている。
【００２５】
図１に示された音声信号符号化装置において、入力端子１０に供給された音声信号は、フィルタ１１にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析回路１２及び逆フィルタリング回路２１に送られる。
【００２６】
ＬＰＣ分析回路１２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋＨｚのとき、１フレーム間隔は１６０サンプルで２０ｍｓｅｃ  となる。
【００２７】
ＬＰＣ分析回路１２からのαパラメータは、α→ＬＳＰ変換回路１３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。
【００２８】
α→ＬＳＰ変換回路１３からのＬＳＰパラメータは、ＬＳＰベクトル量子化器１４によりベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよい。あるいは、複数フレーム分をまとめてマトリクス量子化してもよい。ここでの量子化では、２０ｍｓｅｃ  を１フレームとし、２０ｍｓｅｃ  毎に算出されるＬＳＰパラメータをベクトル量子化している。
【００２９】
このＬＳＰベクトル量子化器１４からの量子化出力、すなわちＬＳＰベクトル量子化のインデクスは、端子１５を介して取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１６に送られる。
【００３０】
ＬＳＰ補間回路１６は、上記２０ｍｓｅｃ  毎にベクトル量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍｓｅｃ  毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をＭＢＥ符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍｓｅｃ  毎に急激に変化すると、異音を発生することがあるからである。すなわち、２．５ｍｓｅｃ  毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。
【００３１】
このような補間が行われた２．５ｍｓｅｃ  毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１７からの出力は、上記逆フィルタリング回路２１に送られ、この逆フィルタリング回路２１では、２．５ｍｓｅｃ  毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。この逆フィルタリング回路２１からの出力は、ハーモニクス／ノイズ符号化回路２２、具体的には例えばマルチバンド励起（ＭＢＥ）分析回路、に送られる。
【００３２】
ハーモニクス／ノイズ符号化回路あるいはＭＢＥ分析回路２２では、逆フィルタリング回路２１からの出力を、例えばＭＢＥ分析と同様の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスの振幅Ａｍの個数を次元変換して一定数にしている。なお、ピッチ検出には、後述するように、入力されるＬＰＣ残差の自己相関を用いている。
【００３３】
この回路２２として、マルチバンドエクサイテイション（ＭＢＥ）符号化の分析回路の具体例について、図２を参照しながら説明する。
【００３４】
この図２に示すＭＢＥ分析回路においては、同時刻（同じブロックあるいはフレーム内）の周波数軸領域に有声音（Ｖｏｉｃｅｄ）部分と無声音（Ｕｎｖｏｉｃｅｄ）部分とが存在するという仮定でモデル化している。
【００３５】
図２の入力端子１１１には、上記逆フィルタリング回路２１からのＬＰＣ残差あるいは線形予測残差が供給されており、このＬＰＣ残差の入力に対してＭＢＥ分析符号化処理を施すわけである。
【００３６】
入力端子１１１から入力されたＬＰＣ残差は、ピッチ抽出部１１３、窓かけ処理部１１４、及び後述するサブブロックパワー計算部１２６にそれぞれ送られる。
【００３７】
ピッチ抽出部１１３では、入力がすでにＬＰＣ残差となっているので、この残差の自己相関の最大値を検出することにより、ピッチ検出が行える。このピッチ抽出部１１３ではオープンループによる比較的ラフなピッチのサーチが行われ、抽出されたピッチデータは高精度（ファイン）ピッチサーチ部１１６に送られて、クローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。
【００３８】
窓かけ処理部１１４では、１ブロックＮサンプルに対して所定の窓関数、例えばハミング窓をかけ、この窓かけブロックを１フレームＬサンプルの間隔で時間軸方向に順次移動させている。窓かけ処理部１１４からの時間軸データ列に対して、直交変換部１１５により例えばＦＦＴ（高速フーリエ変換）等の直交変換処理が施される。
【００３９】
サブブロックパワー計算部１２６では、ブロック内の全バンドが無声音（ＵＶ）と判別されたときに、該ブロックの無声音信号の時間波形のエンベロープを示す特徴量を抽出する処理が行われる。
【００４０】
高精度（ファイン）ピッチサーチ部１１６には、ピッチ抽出部１１３で抽出された整数（インテジャー）値の粗（ラフ）ピッチデータと、直交変換部１１５により例えばＦＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１１６では、上記粗ピッチデータ値を中心に、０．２〜０．５きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析  （Ａｎａｌｙｓｉｓ  ｂｙ  Ｓｙｎｔｈｅｓｉｓ）法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。
【００４１】
すなわち、上記ピッチ抽出部１１３で求められたラフピッチを中心として、例えば０．２５きざみで上下に数種類ずつ用意する。これらの複数種類の微小に異なるピッチの各ピッチに対してそれぞれエラー総和値Σεｍ  を求める。この場合、ピッチが定まるとバンド幅が決まり、周波数軸上データのパワースペクトルと励起信号スペクトルとを用いて上記エラーεｍ  を求め、その全バンドの総和値Σεｍ  を求めることができる。このエラー総和値Σεｍ  を各ピッチ毎に求め、最小となるエラー総和値に対応するピッチを最適のピッチとして決定するわけである。以上のようにして高精度ピッチサーチ部で最適のファイン（例えば  ０．２５  きざみ）ピッチが求められ、この最適ピッチに対応する振幅｜Ａｍ  ｜が決定される。このときの振幅値の計算は、有声音の振幅評価部１１８Ｖにおいて行われる。
【００４２】
以上ピッチのファインサーチの説明においては、全バンドが有声音（Ｖｏｉｃｅｄ）の場合を想定しているが、上述したようにＭＢＥ分析合成系においては、同時刻の周波数軸上に無声音（Ｕｎｖｏｉｃｅｄ）領域が存在するというモデルを採用していることから、上記各バンド毎に有声音／無声音の判別を行うことが必要とされる。
【００４３】
上記高精度ピッチサーチ部１１６からの最適ピッチ及び振幅評価部（有声音）１１８Ｖからの振幅｜Ａｍ  ｜のデータは、有声音／無声音判別部１１７に送られ、上記各バンド毎に有声音／無声音の判別が行われる。この判別のためにＮＳＲ（ノイズｔｏシグナル比）を利用する。
【００４４】
ところで、上述したように基本ピッチ周波数で分割されたバンドの数（ハーモニックスの数）は、声の高低（ピッチの大小）によって約８〜６３程度の範囲で変動するため、各バンド毎のＶ／ＵＶフラグの個数も同様に変動してしまう。そこで、本実施例においては、固定的な周波数帯域で分割した一定個数のバンド毎にＶ／ＵＶ判別結果をまとめる（あるいは縮退させる）ようにしている。具体的には、音声帯域を含む所定帯域（例えば０〜４０００Ｈｚ）をＮＢ  個（例えば１２個）のバンドに分割し、各バンド内の上記ＮＳＲ値に従って、例えば重み付き平均値を所定の閾値Ｔｈ２  で弁別して、当該バンドのＶ／ＵＶを判断している。
【００４５】
次に、無声音の振幅評価部１１８Ｕには、直交変換部１１５からの周波数軸上データ、ピッチサーチ部１１６からのファインピッチデータ、有声音振幅評価部１１８Ｖからの振幅｜Ａｍ  ｜のデータ、及び上記有声音／無声音判別部１１７からのＶ／ＵＶ（有声音／無声音）判別データが供給されている。この振幅評価部（無声音）１１８Ｕでは、有声音／無声音判別部１１７において無声音（ＵＶ）と判別されたバンドに関して、再度振幅を求めている。すなわち振幅再評価を行っている。
【００４６】
この振幅評価部（無声音）１１８Ｕからのデータは、データ数変換（一種のサンプリングレート変換）部１１９に送られる。このデータ数変換部１１９は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数（特に振幅データの数）が異なることを考慮して、一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋＨｚまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅｜Ａｍ  ｜（ＵＶバンドの振幅｜Ａｍ  ｜ＵＶも含む）データの個数ｍＭＸ＋１も８〜６３と変化することになる。このためデータ数変換部１１９では、この可変個数ｍＭＸ＋１の振幅データを一定個数Ｍ（例えば４４個）のデータに変換している。
【００４７】
ここで、本実施例においては、例えば、周波数軸上の有効帯域１ブロック分の振幅データに対して、ブロック内の最後のデータからブロック内の最初のデータまでの値を補間するようなダミーデータを付加してデータ個数をＮＦ  個に拡大した後、帯域制限型のＯＳ  倍（例えば８倍）のオーバーサンプリングを施すことによりＯＳ  倍の個数の振幅データを求め、このＯＳ  倍の個数（（ｍＭＸ＋１）×ＯＳ  個）の振幅データを直線補間してさらに多くのＮＭ  個（例えば２０４８個）に拡張し、このＮＭ  個のデータを間引いて上記一定個数Ｍ（例えば４４個）のデータに変換している。
【００４８】
このデータ数変換部１１９からのデータ（上記一定個数Ｍ個の振幅データ）が上記ベクトル量子化器２３に送られて、所定個数のデータ毎にまとめられてベクトルとされ、ベクトル量子化が施される。
【００４９】
高精度のピッチサーチ部１１６からのピッチデータについては、上記切換スイッチ２７の被選択端子ａを介して出力端子２８に送っている。これは、ブロック内の全バンドがＵＶ（無声音）となってピッチ情報が不要となる場合に、無声音信号の時間波形を示す特徴量の情報をピッチ情報と切り換えて送っているものであり、本件発明者等が特願平５−１８５３２５号の明細書及び図面において開示した技術である。
【００５０】
なお、これらの各データは、上記Ｎサンプル（例えば２５６サンプル）のブロック内のデータに対して処理を施すことにより得られるものであるが、ブロックは時間軸上を上記Ｌサンプルのフレームを単位として前進することから、伝送するデータは上記フレーム単位で得られる。すなわち、上記フレーム周期でピッチデータ、Ｖ／ＵＶ判別データ、振幅データが更新されることになる。また、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別データについては、上述したように、必要に応じて１２バンド程度に低減（縮退）したデータを用いてもよく、全バンド中で１箇所以下の有声音（Ｖ）領域と無声音（ＵＶ）領域との区分位置を表すデータを用いるようにしてもよい。あるいは、全バンドをＶ又はＵＶのどちらかで表現してもよく、また、フレーム単位のＶ／ＵＶ判別としてもよい。
【００５１】
ここで、ブロック全体がＵＶ（無声音）と判別された場合には、ブロック内の時間波形を表す特徴量を抽出するために、１ブロック（例えば２５６サンプル）を、複数個（８個）の小ブロック（サブブロック、例えば３２サンプル）に分割して、サブブロックパワー計算部１２６に送っている。
【００５２】
サブブロックパワー計算部１２６においては、各サブブロック毎の１サンプル当りの平均パワー、あるいはいわゆる平均ＲＭＳ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）値についての、ブロック内全サンプル（例えば２５６サンプル）の平均パワーあるいは平均ＲＭＳ値に対する割合（比率、レシオ）を算出している。
【００５３】
すなわち、例えばｋ番目のサブブロックの平均パワーを求め、次に１ブロック全体の平均パワーを求めた後、この１ブロックの平均パワーと上記ｋ番目のサブブロックの平均パワーｐ（ｋ）  との比の平方根を算出する。
【００５４】
このようにして得られた平方根値を、所定次元のベクトルとみなし、次のベクトル量子化部１２７においてベクトル量子化を行う。
【００５５】
このベクトル量子化部１２７では、例えば、８次元８ビット（コードブックサイズ＝２５６）のストレートベクトル量子化を行う。このベクトル量子化の出力インデクス（代表ベクトルのコード）ＵＶ＿Ｅを、切換スイッチ２７の被選択端子ｂに送っている。この切換スイッチ２７の被選択端子ａには、上記高精度ピッチサーチ部１１６からのピッチデータが送られており、切換スイッチ２７からの出力は、出力端子２８に送られている。
【００５６】
切換スイッチ２７は、有声音／無声音判別部１１７からの判別出力信号により切換制御されるようになっており、通常の有声音伝送時、すなわち上記ブロック内の全バンドの内の１つでもＶ（有声音）と判別されたときには被選択端子ａに、ブロック内の全バンドがＵＶ（無声音）と判別されたときには被選択端子ｂに、それぞれ切換接続される。
【００５７】
従って、上記サブブロック毎の正規化された平均ＲＭＳ値のベクトル量子化出力は、本来はピッチ情報を伝送していたスロットに入れ込んで伝送されることになる。すなわち、ブロック内の全バンドがＵＶ（無声音）と判別されたときにはピッチ情報は不要であり、上記有声音／無声音判別部１１７からのＶ／ＵＶ判別フラグを見て、全てＵＶのときに限って、ベクトル量子化出力インデクスＵＶ＿Ｅをピッチ情報の代わりに伝送するようにしている。
【００５８】
次に、図１に戻って、ベクトル量子化器２３におけるスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化について説明する。
【００５９】
ベクトル量子化器２３は、Ｌ次元、例えば４４次元の２ステージ構成とする。
【００６０】
すなわち、４４次元でコードブックサイズが３２のベクトル量子化コードブックからの出力ベクトルの和に、ゲインｇｉ  を乗じたものを、４４次元のスペクトルエンベロープベクトルｘの量子化値として使用する。これは、図３に示すように、２つのシェイプコードブックをＣＢ０、ＣＢ１とし、その出力ベクトルをｓ０ｉ、ｓ１ｊ、ただし０≦ｉ，ｊ≦３１、とする。また、ゲインコードブックＣＢｇの出力をｇｌ  、ただし０≦ｌ≦３１、とする。ｇｌ  はスカラ値である。この最終出力は、ｇｉ（ｓ０ｉ＋ｓ１ｊ）  となる。
【００６１】
ＬＰＣ残差について上記ＭＢＥ分析によって得られたスペクトルエンベロープＡｍを一定次元に変換したものをｘとする。このとき、ｘをいかに効率的に量子化するかが重要である。
【００６２】
ここで、量子化誤差エネルギＥを、
0003557662.tif 000002
と定義する。この（１）式において、ＨはＬＰＣの合成フィルタの周波数軸上での特性であり、Ｗは聴覚重み付けの周波数軸上での特性を表す重み付けのための行列である。
【００６３】
現フレームのＬＰＣ分析結果によるαパラメータを、αｉ  （１≦ｉ≦Ｐ）として、
【００６４】
【数１】
0003557662.tif 000003
【００６５】
の周波数特性からＬ次元、例えば４４次元の各対応する点の値をサンプルしたものである。
【００６６】
算出手順としては、一例として、１、α１、α２、・・・、αｐ  に０詰めして、すなわち、１、α１、α２、・・・、αｐ  、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、（ｒｅ２＋Ｉｍ２）１／２  を０〜πに対応する点に対して算出して、その逆数をとる。それをＬ点、すなわち例えば４４点に間引いたものを対角要素とする行列を、
【００６７】
【数２】
0003557662.tif 000004
【００６８】
とする。
【００６９】
聴覚重み付け行列Ｗは、
【００７０】
【数３】
0003557662.tif 000005
【００７１】
とする。この（３）式で、αｉ  は入力のＬＰＣ分析結果である。また、λａ、λｂは定数であり、一例として、λａ＝０．４、λｂ＝０．９が挙げられる。
【００７２】
行列あるいはマトリクスＷは、上記（３）式の周波数特性から算出できる。一例として、１、α１λｂ、α２λｂ２、・・・、αｐλｂｐ、０、０、・・・、０として２５６点のデータとしてＦＦＴを行い、０以上π以下の区間に対して（ｒｅ２［ｉ］＋Ｉｍ２［ｉ］）１／２  、０≦ｉ≦１２８、を求める。次に、１、α１λａ、α２λａ２  、・・・、αｐλａｐ  、０、０、・・・、０として分母の周波数特性を２５６点ＦＦＴで０〜πの区間を１２８点で算出する。これを（ｒｅ’２［ｉ］＋Ｉｍ’２［ｉ］）１／２  、０≦ｉ≦１２８、とする。
【００７３】
【数４】
0003557662.tif 000006
【００７４】
として、上記（３）式の周波数特性が求められる。
【００７５】
これをＬ次元、例えば４４次元ベクトルの対応する点について、以下の方法で求める。より正確には、直線補間を用いるべきであるが、以下の例では最も近い点の値で代用している。
【００７６】
すなわち、
ω［ｉ］＝ω０［ｎｉｎｔ（１２８ｉ／Ｌ）］      １≦ｉ≦Ｌ
ただし、ｎｉｎｔ（ｘ）は、ｘに最も近い整数を返す関数
である。
【００７７】
また、上記Ｈに関しても同様の方法で、ｈ（１）、ｈ（２）、・・・、ｈ（Ｌ）を求めている。すなわち、
【００７８】
【数５】
0003557662.tif 000007
【００７９】
となる。
【００８０】
ここで、他の例として、ＦＦＴの回数を減らすのに、Ｈ（ｚ）Ｗ（ｚ）を先に求めてから、周波数特性を求めてもよい。すなわち、
【００８１】
【数６】
0003557662.tif 000008
【００８２】
この（５）式の分母を展開した結果を、
【００８３】
【数７】
0003557662.tif 000009
【００８４】
とする。ここで、１、β１、β２、・・・、β２ｐ、０、０、・・・、０として、例えば２５６点のデータにする。その後、２５６点ＦＦＴを行い、振幅の周波数特性を、
【００８５】
【数８】
0003557662.tif 000010
【００８６】
とする。これより、
【００８７】
【数９】
0003557662.tif 000011
【００８８】
これをＬ次元ベクトルの対応する点について求める。上記ＦＦＴのポイント数が少ない場合は、直線補間で求めるべきであるが、ここでは最寄りの値を使用している。すなわち、
【００８９】
【数１０】
0003557662.tif 000012
【００９０】
である。これを対角要素とする行列をＷ’とすると、
【００９１】
【数１１】
0003557662.tif 000013
【００９２】
となる。（６）式は上記（４）式と同一のマトリクスとなる。
【００９３】
このマトリクス、すなわち重み付き合成フィルタの周波数特性を用いて、上記（１）を書き直すと、
【００９４】
【数１２】
0003557662.tif 000014
【００９５】
となる。
【００９６】
ここで、シェイプコードブックとゲインコードブックの学習法について説明する。
【００９７】
先ず、ＣＢ０に関しコードベクトルｓ０ｃを選択する全てのフレームｋに関して歪の期待値を最小化する。そのようなフレームがＭ個あるとして、
【００９８】
【数１３】
0003557662.tif 000015
【００９９】
を最小化すればよい。この（８）式中で、Ｗ’ｋはｋ番目のフレームに対する重み、ｘｋ  はｋ番目のフレームの入力、ｇｋ  はｋ番目のフレームのゲイン、ｓ１ｋはｋ番目のフレームについてのコードブックＣＢ１からの出力、をそれぞれ示す。
【０１００】
この（８）式を最小化するには、
【０１０１】
【数１４】
0003557662.tif 000016
【０１０２】
【数１５】
0003557662.tif 000017
【０１０３】
次に、ゲインに関しての最適化を考える。
【０１０４】
ゲインのコードワードｇｃ  を選択するｋ番目のフレームに関しての歪の期待値Ｊｇ  は、
【０１０５】
【数１６】
0003557662.tif 000018
【０１０６】
上記（１１）式及び（１２）式は、シェイプｓ０ｉ、ｓ１ｉ及びゲインｇｉ  、０≦ｉ≦３１の最適なセントロイドコンディション（Ｃｅｎｔｒｏｉｄ  Ｃｏｎｄｉｔｉｏｎ）、すなわち最適なデコーダ出力を与えるものである。なお、ｓ１ｉに関してもｓ０ｉと同様に求めることができる。
【０１０７】
次に、最適エンコード条件（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒ  Ｃｏｎｄｉｔｉｏｎ  ）を考える。
【０１０８】
歪尺度の上記（７）式、すなわち、Ｅ＝‖Ｗ’（ｘ−ｇｌ（ｓ０ｉ＋ｓ１ｊ））‖２  を最小化するｓ０ｉ、ｓ１ｊを、入力ｘ、重みマトリクスＷ’  が与えられる毎に、すなわち毎フレームごとに決定する。
【０１０９】
本来は、総当り的に全てのｇｌ  （０≦ｌ≦３１）、ｓ０ｉ  （０≦ｉ≦３１）、ｓ１ｊ  （０≦ｊ≦３１）の組み合せの、３２×３２×３２＝３２７６８通りについてＥを求めて、最小のＥを与えるｇｌ  、ｓ０ｉ、ｓ１ｊの組を求めるべきであるが、膨大な演算量となるので、本実施例では、シェイプとゲインのシーケンシャルサーチを行っている。なお、ｓ０ｉとｓ１ｊとの組み合せについては、総当りサーチを行うものとする。これは、３２×３２＝１０２４通りである。以下の説明では、簡単化のため、ｓ０ｉ＋ｓ１ｊをｓｍ  と記す。
【０１１０】
上記（７）式は、Ｅ＝‖Ｗ’（ｘ−ｇｌｓｍ）‖２  となる。さらに簡単のため、ｘｗ＝Ｗ’ｘ、ｓｗ＝Ｗ’ｓｍ  とすると、
【０１１１】
【数１７】
0003557662.tif 000019
【０１１２】
となる。従って、ｇｌ  の精度が充分にとれると仮定すると、
【０１１３】
【数１８】
0003557662.tif 000020
【０１１４】
という２つのステップに分けてサーチすることができる。元の表記を用いて書き直すと、
【０１１５】
【数１９】
0003557662.tif 000021
【０１１６】
となる。この（１５）式が最適エンコード条件（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｕｒ  Ｃｏｎｄｉｔｉｏｎ）  である。
【０１１７】
ここで上記（１１）、（１２）式の条件（Ｃｅｎｔｒｏｉｄ  Ｃｏｎｄｉｔｉｏｎ）と、（１５）式の条件を用いて、一般化ロイドアルゴリズム（Ｇｅｎｅｒａｌｉｚｅｄ  Ｌｌｏｙｄ  Ａｌｇｏｒｉｔｈｍ：ＧＬＡ）によりコードブック（ＣＢ０、ＣＢ１、ＣＢｇ）を同時にトレーニングできる。
【０１１８】
ところで、図１の実施例において、ベクトル量子化器２３は、切換スイッチ２４を介して、有声音用コードブック２５Ｖと、無声音用コードブック２５Ｕとに接続されており、回路２２からのＶ／ＵＶ判別出力に応じて切換スイッチ２４が切換制御されることにより、有声音時には有声音用コードブック２５Ｖを用いたベクトル量子化が、無声音時には無声音用コードブック２５Ｕを用いたベクトル量子化がそれぞれ施されるようになっている。
【０１１９】
このように有声音（Ｖ）／無声音（ＵＶ）の判断によってコードブックを切り換える意味は、上記（１１）、（１２）式の新たなセントロイドの算出において、Ｗ’ｋとｇｌ  とによる重み付き平均を行っているため、著しく異なるＷ’ｋとｇｌ  とを同時に平均化してしまうのは好ましくないからである。
【０１２０】
なお、本実施例では、Ｗ’として、入力ｘのノルムで割り込んだＷ’を使用している。すなわち、上記（１１）、（１２）、（１５）式において、事前にＷ’にＷ’／‖ｘ‖  を代入して使用している。
【０１２１】
Ｖ／ＵＶでコードブックを切り換える場合は、同様の方法でトレーニングデータを振り分けて各々のトレーニングデータからＶ（有声音）用、ＵＶ（無声音）用のコードブックを作ればよい。
【０１２２】
また、本実施例では、Ｖ／ＵＶのビット数を減らすため、単一バンド励起（ＳＢＥ）とし、Ｖの含有率が５割を越える場合は有声音（Ｖ）フレーム、それ以外は無声音（ＵＶ）フレームとしている。
【０１２３】
なお、図４、図５に入力ｘ及び重みＷ’／‖ｘ‖  の平均値を、Ｖ（有声音）のみ、ＵＶ（無声音）のみでまとめたものと、ＶとＵＶとを区別せずにひとまとめにしたものとを示す。
【０１２４】
図４より、ｘ自体のｆ軸上のエネルギ分布は、Ｖ、ＵＶで大きく差はなく、ゲインの（‖ｘ‖）平均値が大きく異なるのみであるように見える。しかし、図５から明らかなように、ＶとＵＶでは重みの形が異なり、ＶではＵＶに比べより低域にビットアサインを増やすような重みとなっている。これが、ＶとＵＶとを分けてトレーニングすることでより高性能なコードブックが作成される根拠である。
【０１２５】
次に、図６は、Ｖ（有声音）のみ、ＵＶ（無声音）のみ、ＶとＵＶとをまとめたものの３つの例について、それぞれのトレーニングの様子を示している。すなわわち、図６の曲線ａがＶのみの場合で終値が３．７２であり、曲線ｂがＵＶのみで終値が７．０１１であり、曲線ｃがＶとＵＶとをまとめたもので終値が６．２５である。
【０１２６】
この図６から明らかなように、ＶとＵＶとの各コードブックのトレーニングを分離することで出力の歪の期待値が減少する。曲線ｂのＵＶのみの場合で若干悪化しているが、Ｖ／ＵＶの頻度としては、Ｖの区間が長いので、トータルとしては改善される。ここで、ＶとＵＶの頻度の一例として、Ｖ及びＵＶのトレーニングデータ長を１としたとき、実測によるとＶのみの割合が０．５３８、ＵＶのみの割合が０．４６２であり、図６の各曲線ａ、ｂの終値より、
３．７２×０．５３８＋７．０１１×０．４６２＝５．２４
がトータルの歪の期待値となり、ＶとＵＶとをまとめてトレーニングする場合の歪の期待値の６．２５に比べて、上記値５．２４は、約０．７６ｄＢの改善がなされたことになる。
【０１２７】
トレーニングの様子から判断すると、前述のように０．７６ｄＢ程度の改善であるが、実際にトレーニングセット外の音声（男女４人ずつ）を処理し、量子化を行わないときとのＳＮＲあるいはＳＮ比をとると、コードブックをＶ、ＵＶに分割することで平均して１．３ｄＢ程度のセグメンタルＳＮＲの向上が確認された。これは、Ｖの比率がＵＶに比べてかなり高いためと考えられる。
【０１２８】
ところで、ベクトル量子化器２３でのベクトル量子化の際の聴覚重み付けに用いられる重みＷ’については、上記（６）式で定義されているが、過去のＷ’も加味して現在のＷ’を求めることにより、テンポラルマスキングも考慮したＷ’が求められる。
【０１２９】
上記（６）式中のｗｈ（１），ｗｈ（２），・・・，ｗｈ（Ｌ）に関して、時刻ｎ、すなわち第ｎフレームで算出されたものをそれぞれｗｈｎ（１），ｗｈｎ（２），・・・，ｗｈｎ（Ｌ）  とする。
【０１３０】
時刻ｎで過去の値を考慮した重みをＡｎ（ｉ）、１≦ｉ≦Ｌ  と定義すると、
0003557662.tif 000022
とする。ここで、λは例えばλ＝０．２とすればよい。このようにして求められたＡｎ（ｉ）、１≦ｉ≦Ｌ  について、これを対角要素とするマトリクスを上記重みとして用いればよい。
【０１３１】
次に、図７は、本発明に係る音声復号化方法の一実施例が適用された音声信号復号化装置の概略構成を示している。
【０１３２】
この図７において、端子３１には、上記図１の端子１５からの出力に相当するＬＳＰのベクトル量子化出力、いわゆるインデクスが供給されている。
【０１３３】
この入力信号は、ＬＳＰ逆ベクトル量子化器３２に送られてＬＳＰ（線スペクトル対）データに逆ベクトル量子化され、ＬＳＰ補間回路３３に送られてＬＳＰの補間処理が施された後、ＬＳＰ→α変換回路３４でＬＰＣ（線形予測符号）のαパラメータに変換され、このαパラメータが合成フィルタ３５に送られる。
【０１３４】
また、図７の端子４１には、上記図１のエンコーダ側の端子２６からの出力に対応するスペクトルエンベロープ（Ａｍ）の重み付けベクトル量子化されたデータが供給され、端子４３には、上記図１の端子２８からのピッチ情報やＵＶ時のブロック内の時間波形の特徴量を表すデータが供給され、端子４６には、上記図１の端子２９からのＶ／ＵＶ判別データが供給されている。
【０１３５】
端子４１からのＡｍのベクトル量子化されたデータは、逆ベクトル量子化器４２に送られて逆ベクトル量子化が施され、スペクトルエンベロープのデータとなって、ハーモニクス／ノイズ合成回路、例えばマルチバンド励起（ＭＢＥ）合成回路４５に送られている。この合成回路４５には、端子４３からのデータが上記Ｖ／ＵＶ判別データに応じて切換スイッチ４４により上記ピッチデータとＵＶ時の波形の特徴量データとに切り換えられて供給されており、また、端子４６からのＶ／ＵＶ判別データも供給されている。
【０１３６】
この合成回路４５の具体例としてのＭＢＥ合成回路の構成については、図８を参照しながら後述する。
【０１３７】
合成回路４５からは、上述した図１の逆フィルタリング回路２１からの出力に相当するＬＰＣ残差データが取り出され、これが合成フィルタ回路３５に送られてＬＰＣの合成処理が施されることにより時間波形データとなり、さらにポストフィルタ３６でフィルタ処理された後、出力端子３７より再生された時間軸波形信号が取り出される。
【０１３８】
次に、上記合成回路４５の一例としてのＭＢＥ合成回路構成の具体例について、図８を参照しながら説明する。
【０１３９】
この図８において、入力端子１３１には、図７のスペクトルエンベロープの逆ベクトル量子化器４２からのスペクトルエンベロープデータ、実際にはＬＰＣ残差のスペクトルエンベロープデータが供給されている。各端子４３、４６に供給されるデータは図７と同様である。なお端子４３に送られたデータは、切換スイッチ４４で切換選択され、ピッチデータが有声音合成部１３７へ、ＵＶ波形の特徴量データが逆ベクトル量子化器１５２へそれぞれ送られている。
【０１４０】
端子１３１からの上記ＬＰＣ残差のスペクトル振幅データは、データ数逆変換部１３６に送られて逆変換される。このデータ数逆変換部１３６では、上述した図２のデータ数変換部１１９と対照的な逆変換が行われ、得られた振幅データが有声音合成部１３７及び無声音合成部１３８に送られる。端子４３から切換スイッチ４４の被選択端子ａを介して得られた上記ピッチデータは、有声音合成部１３７及び無声音合成部１３８に送られる。また端子４６からの上記Ｖ／ＵＶ判別データも、有声音合成部１３７及び無声音合成部１３８に送られる。
【０１４１】
有声音合成部１３７では例えば余弦（ｃｏｓｉｎｅ）波合成あるいは正弦（ｓｉｎｅ）波合成により時間軸上の有声音波形を合成し、無声音合成部１３８では例えばホワイトノイズをバンドパスフィルタでフィルタリングして時間軸上の無声音波形を合成し、これらの各有声音合成波形と無声音合成波形とを加算部１４１で加算合成して、出力端子１４２より取り出すようにしている。
【０１４２】
また、Ｖ／ＵＶ判別データとして上記Ｖ／ＵＶコードが伝送された場合には、このＶ／ＵＶコードに応じて全バンドを１箇所の区分位置で有声音（Ｖ）領域と無声音（ＵＶ）領域とに区分することができ、この区分に応じて、各バンド毎のＶ／ＵＶ判別データを得ることができる。ここで、分析側（エンコーダ側）で一定数（例えば１２程度）のバンドに低減（縮退）されている場合には、これを解いて（復元して）、元のピッチに応じた間隔で可変個数のバンドとすることは勿論である。
【０１４３】
以下、無声音合成部１３８における無声音合成処理を説明する。
【０１４４】
ホワイトノイズ発生部１４３からの時間軸上のホワイトノイズ信号波形を窓かけ処理部１４４に送って、所定の長さ（例えば２５６サンプル）で適当な窓関数（例えばハミング窓）により窓かけをし、ＳＴＦＴ処理部１４５によりＳＴＦＴ（ショートタームフーリエ変換）処理を施すことにより、ホワイトノイズの周波数軸上のパワースペクトルを得る。このＳＴＦＴ処理部１４５からのパワースペクトルをバンド振幅処理部１４６に送り、上記ＵＶ（無声音）とされたバンドについて上記振幅｜Ａｍ  ｜ＵＶを乗算し、他のＶ（有声音）とされたバンドの振幅を０にする。このバンド振幅処理部１４６には上記振幅データ、ピッチデータ、Ｖ／ＵＶ判別データが供給されている。
【０１４５】
バンド振幅処理部１４６からの出力は、ＩＳＴＦＴ処理部１４７に送られ、位相は元のホワイトノイズの位相を用いて逆ＳＴＦＴ処理を施すことにより時間軸上の信号に変換する。ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６を介し、後述する乗算部１５７を介して、オーバーラップ加算部１４８に送られ、時間軸上で適当な（元の連続的なノイズ波形を復元できるように）重み付けをしながらオーバーラップ及び加算を繰り返し、連続的な時間軸波形を合成する。このオーバーラップ加算部１４８からの出力信号が上記加算部１４１に送られる。
【０１４６】
ブロック内のバンドの少なくとも１つがＶ（有声音）の場合には、上述したような処理が各合成部１３７、１３８にて行われるわけであるが、ブロック内の全バンドがＵＶ（無音声）と判別されたときには、切換スイッチ４４が被選択端子ｂ側に切換接続され、ピッチ情報の代わりに無声音信号の時間波形に関する情報が逆ベクトル量子化部１５２に送られる。
【０１４７】
すなわち、逆ベクトル量子化部１５２には、上記図２のベクトル量子化部１２７からのデータに相当するデータが供給される。これを逆ベクトル量子化することにより、上記無音声信号波形の特徴量抽出データが取り出される。
【０１４８】
ここで、ＩＳＴＦＴ処理部１４７からの出力は、パワー分布整形部１５６により時間軸方向のエネルギ分布の整形処理を行った後、乗算部１５７に送られている。この乗算部１５７では、上記逆ベクトル量子化部１５２からスムージング部（スムージング処理部）１５３を介して得られた信号と乗算されている。なお、スムージング部１５３でスムージング処理を施すことで、耳障りな急激なゲイン変化を抑えることができる。
【０１４９】
以上のようにして合成された無声音信号が無声音合成部１３８から取り出され、上記加算部１４１に送られて、有声音合成部１３７からの信号と加算され、出力端子１４２よりＭＢＥ合成出力としてのＬＰＣ残差信号が取り出される。
【０１５０】
このＬＰＣ残差信号が、上記図７の合成フィルタ３５に送られることにより、最終的な再生音声信号が得られるわけである。
【０１５１】
次に、図９は本発明のさらに他の実施例として、上記図１に示すエンコーダ側構成中のＬＳＰベクトル量子化器１４のコードブックを、男声用コードブック２０Ｍと、女声用コードブック２０Ｆとに区別すると共に、振幅Ａｍの重み付けベクトル量子化器２３の有声音用コードブック２５Ｖを男声用コードブック２５Ｍと、女声用コードブック２５Ｆとに区別した例を示している。なお、この図９の構成において、上記図１の各部と対応する部分については、同じ指示符号を付して説明を省略する。なお、ここでの男声、女声は、それぞれの音声の特徴を便宜的に表したものであり、実際の発声者の性別が男性か女性かとは直接関係ないものである。
【０１５２】
すなわち図９において、ＬＳＰベクトル量子化器１４は、切換スイッチ１９を介して、男声用コードブック２０Ｍと、女声用コードブック２０Ｆとに接続されている。また、Ａｍの重み付け量子化部２３の切換スイッチ２４を介して接続される有声音用コードブック２５Ｖは、切換スイッチ２４Ｖを介して、男声用コードブック２５Ｍと、女声用コードブック２５Ｆとに接続されている。
【０１５３】
これらの切換スイッチ１９、２４Ｖは、上記図２のピッチ抽出部あるいはピッチ検出器１１３において求められたピッチ等に基づいて判別された男声、女声の判別結果に応じて切換制御され、判別結果が男声の場合には男声用コードブック２０Ｍ、２５Ｍに切換接続され、判別結果が女声の場合には女声用コードブック２０Ｆ、２５Ｆに切換接続されるようになっている。
【０１５４】
このピッチ検出部１１３における男声、女声の判別は、主としてピッチそのものの大きさを所定の閾値で弁別することで行っているが、ピッチ強度による検出ピッチの信頼度や、フレームパワー等についても条件判別を行い、さらに、過去の安定したピッチ区間の何フレームかの平均を用いて閾値との比較を行うようにし、これらの結果に基づいて最終的な男声、女声の決定を行っている。
【０１５５】
このように男声か、女声かに応じてコードブックを切り換えることにより、伝送ビットレートを増やさずに量子化特性を向上することができる。これは、男声と女声とで母音のフォルマント周波数の分布に偏りがあるため、特に母音部で男声、女声の切り換えを行うことで、量子化すべきベクトルの存在する空間が小さくなり、すなわちベクトルの分散が減り、良好なトレーニング、すなわち量子化誤差を小さくする学習が可能となるからである。
【０１５６】
なお、上述したように、男声、女声の判別は、必ずしも話者の性別に一致する必要はなく、トレーニングデータのふり分けと同一の基準でコードブックの選択が行われていればよい。本実施例での男声用コードブック／女声用コードブックという呼称は説明のための便宜上のものである。
【０１５７】
以上説明したような音声符号化復号化方式を用いることにより、次のような利点が得られる。
【０１５８】
先ず第１に、ＬＰＣ合成時に最小位相推移の全極フィルタを通ることで、ＭＢＥ分析／合成自体は位相伝送しないで零位相合成しても最終出力はほぼ最小位相になるため、ＭＢＥ特有の鼻詰まり感が低減され、より明瞭度の高い合成音が得られる。
【０１５９】
第２に、ＭＢＥの分析／合成にとってみると、ほぼフラットなスペクトルエンベロープになるため、ベクトル量子化のための次元変換において、ベクトル量子化で発生した量子化誤差が次元変換によって拡大される可能性が減る。
【０１６０】
第３に、無声音（ＵＶ）部の時間波形の特徴両による強調処理がほぼホワイトなノイズに対して施されることになり、その後ＬＰＣ合成フィルタを通るため、ＵＶ部の強調処理が効果的となり、明瞭度も増す。
【０１６１】
なお、本発明は上記実施例のみに限定されるものではなく、例えば上記図１、図２の音声分析側（エンコード側）の構成や、図７、図８の音声合成側（デコード側）の構成については、各部をハードウェア的に記載しているが、いわゆるＤＳＰ（ディジタル信号プロセッサ）等を用いてソフトウェアプログラムにより実現することも可能である。また、上記ベクトル量子化の代わりに、複数フレームのデータをまとめてマトリクス量子化を施してもよい。さらに、本発明が適用される音声符号化方法や復号化方法は、上記マルチバンド励起を用いた音声分析／合成方法に限定されるものではなく、有声音部分に正弦波合成を用いたり、無声音部分をノイズ信号に基づいて合成するような種々の音声分析／合成方法に適用でき、用途としても、伝送や記録再生に限定されず、ピッチ変換やスピード変換、規則音声合成、あるいは雑音抑圧のような種々の用途に応用できることは勿論である。
【０１６２】
【発明の効果】
以上の説明から明らかなように、本発明に係る音声符号化方法によれば、入力音声信号の短期予測残差、例えばＬＰＣ残差を求め、その短期予測残差をサイン合成波で表現し、そのサイン合成波の周波数スペクトル情報を符号化し、周波数スペクトルを視聴重み付けマトリックス量子化又はベクトル量子化によって量子化しており、また、本発明に係る音声復号化方法によれば、上記音声符号化方法により符号化された信号を符号化する際に、視聴重み付けマトリックス量子化又はベクトル量子化して符号化された固定数の周波数スペクトルデータを受け取って可変数の周波数スペクトルデータに変換し、周波数スペクトルデータからサイン波合成によって短期予測残差を求め、その短期予測残差に基づいて時間軸波形を合成しているため、合成される信号が短期予測残差信号となってほぼ平坦なスペクトルエンベロープとなっており、少ないビット数でベクトル量子化又はマトリクス量子化しても、スムーズな合成波形が得られ、復号化側の合成フィルタ出力も聴き易い音質となる。またベクトル量子化又はマトリクス量子化のための次元変換において、量子化誤差が拡大される可能性が減り、量子化効率が高められる。また、上記短期予測残差の周波数スペクトルをベクトル量子化又はマトリクス量子化する際に聴覚重み付けしているため、マスキング効果等を考慮した入力信号に応じた最適の量子化が行える。
【０１６３】
また、入力音声信号が有声音か無声音かを判別し、無声音の部分では、ピッチ情報の代わりにＬＰＣ残差波形の特徴量を示す情報を出力することにより、ブロックの時間間隔よりも短い時間での波形変化を合成側で知ることができ、子音等の不明瞭感や残響感の発生を未然に防止することができる。また、無声音と判別されたブロックでは、ピッチ情報を送る必要がないことから、このピッチ情報を送るためのスロットに上記無声音の時間波形の特徴量抽出情報を入れ込んで送ることにより、データ伝送量を増やすことなく、再生音（合成音）の質を高めることができる。
【０１６４】
また、この聴覚重み付けにおいて、過去のブロックの聴覚重み付け係数を現在の重み付け係数の計算に用いることにより、いわゆるテンポラルマスキングをも考慮した重みが求められ、マトリクス量子化を用いる際の量子化の品質をさらに高めることができる。
【０１６５】
この量子化のためのコードブックを有声音用と無声音用とで区別することにより、有声音用コードブックと無声音用コードブックとのトレーニングを分離し、出力の歪の期待値を低減することができる。
【０１６６】
また、短期予測残差の周波数スペクトルや、ＬＰＣ係数を示すパラメータをベクトル量子化又はマトリクス量子化するためのコードブックとして、男声と女声とで別々に最適化された男声用コードブックと女声用コードブックとを用い、入力音声信号が男声か女声かに応じてこれらの男声用コードブックと女声用コードブックとを切換選択して用いることにより、少ないビット数でも良好な量子化特性を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る音声符号化方法が適用される装置の具体例としての音声信号符号化装置の概略構成を示すブロック図である。
【図２】図１に用いられるハーモニクス／ノイズ符号化回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）分析回路の構成を示すブロック図である。
【図３】ベクトル量子化器の構成を説明するための図である。
【図４】入力ｘの平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図５】重みＷ’／‖ｘ‖の平均を有声音、無声音、有声音と無声音をまとめたものについてそれぞれ示すグラフである。
【図６】ベクトル量子化に用いられるコードブックについて、有声音、無声音、有声音と無声音をまとめた場合のそれぞれのトレーニングの様子を示すグラフである。
【図７】本発明に係る音声復号化方法が適用される装置の具体例としての音声信号復号化装置の概略構成を示すブロック図である。
【図８】図７に用いられるハーモニクス／ノイズ合成回路の具体例としてのマルチバンドエクサイテイション（ＭＢＥ）合成回路の構成を示すブロック図である。
【図９】本発明に係る音声符号化方法が適用される装置の他の具体例としての音声信号符号化装置の概略構成を示すブロック図である。
【符号の説明】
１２・・・・・ＬＰＣ分析回路
１３・・・・・α→ＬＳＰ変換回路
１４、２３、１２７・・・・・ベクトル量子化器
１６、３３・・・・・ＬＳＰ補間回路
１７、３４・・・・・ＬＳＰ→α変換回路
１８・・・・・聴覚重み付けフィルタ算出回路
２１・・・・・逆フィルタリング回路
２２・・・・・ハーモニクス／ノイズ符号化（ＭＢＥ分析）回路
２４、２７、４４・・・・・切換スイッチ
３２、４２、１５２・・・・・逆ベクトル量子化器
３５・・・・・合成フィルタ
３６・・・・・ポストフィルタ
４５・・・・・ハーモニクス／ノイズ合成（ＭＢＥ合成）回路
１１３・・・・・ピッチ抽出部
１１４・・・・・窓かけ処理部
１１５・・・・・直交変換（ＦＦＴ）部
１１６・・・・・高精度（ファイン）ピッチサーチ部
１１７・・・・・有声音／無声音（Ｖ／ＵＶ）判別部
１１８Ｖ・・・・・有声音の振幅評価部
１１８Ｕ・・・・・無声音の振幅評価部
１１９・・・・・データ数変換（データレートコンバート）部
１２７・・・・・サブブロックパワー計算部
１３７・・・・・有声音合成部
１３８・・・・・無声音合成部
１４１・・・・・加算部
１４３・・・・・ホワイトノイズ発生部
１４４・・・・・窓かけ処理部
１４６・・・・・バンド振幅処理部
１５３・・・・・スムージング（処理）部
１５６・・・・・（時間軸）パワー分布整形部
１５７・・・・・乗算部
１４８・・・・・オーバーラップ加算部
【図１】
0003557662.tif 000023
【図２】
0003557662.tif 000024
【図３】
0003557662.tif 000025
【図４】
0003557662.tif 000026
【図５】
0003557662.tif 000027
【図６】
0003557662.tif 000028
【図７】
0003557662.tif 000029
【図８】
0003557662.tif 000030
【図９】
0003557662.tif 000031