(57)【特許請求の範囲】
【請求項１】
基本周波数、パワー、動的特徴量の時間変化特性、基本周波数のフレーム間差分、パワーのフレーム間差分、動的特徴量の時間変化特性のフレーム間差分の６つのうち少なくともいずれか１つを含む特徴量の組から成る音声特徴量ベクトルと、前記音声特徴量ベクトルの強調状態での出現確率および前記音声特徴量ベクトルの平静状態での出現確率とを対応させて格納した符号帳を用い、
音響信号をフレームごとに分析して前記音声特徴量を求め、
前記音響信号をフレームごとに無音区間か否か、有声区間か否か判定し、
前記音響信号の所定フレーム数以上の無音区間で囲まれ、有声区間を含む部分を音声小段落と判定し、音声小段落に含まれる有声区間の平均パワーが該音声小段落内の平均パワーの所定の定数倍より小さい音声小段落を末尾とする音声小段落群を音声段落と判定し、
各音声小段落の各フレームの前記音声特徴量の組を量子化してコードを求め、そのコードと対応する音声特徴量ベクトルの強調状態での出現確率および平静状態での出現確率を前記符号帳から求め、
前記音声小段落の各フレームの前記音声特徴量ベクトルの前記強調状態での前記出現確率を利用して、該音声小段落が強調状態となる確率を算出し、
前記音声小段落の各フレームの前記音声特徴量ベクトルの前記平静状態での前記出現確率を利用して、該音声小段落が平静状態となる確率を算出し、
前記強調状態となる確率が前記平静状態となる確率よりも高い音声小段落を強調状態と判定し、
前記音声段落ごとに、強調状態と判定された音声小段落の数が多いほど、高いビット率で圧縮符号化し、
前記符号化により得られた符号と、ビット率またはビット率の変化を示す符号を出力する
ことを特徴とする音響信号符号化方法。
【請求項２】
前記符号帳に動的特徴量の時間変化特性または動的特徴量の時間変化特性のフレーム間差分が少なくとも含まれている場合であって、
前記音響信号を分析する処理は、前記音響信号から線形予測係数を算出し、その線形予測係数から動的特徴量を求める処理を含み、
前記線形予測係数を、前記圧縮符号化する処理での符号の決定に用いる
ことを特徴とする請求項１記載の音響信号符号化方法。
【請求項３】
前記圧縮符号化の処理に用いる符号帳として、各ビット率に対応した個数の各音声特徴量と符号の組を記憶する複数の符号帳群を用意し、
前記圧縮符号化する処理では、決定されたビット率に対応する１つの符号帳群を選択して用いて、前記抽出された各音声特徴量に対応する符号を決定して、前記圧縮符号化した符号とし、
前記ビット率又はビット率変化を示す符号として前記選択された符号帳群を示す符号を用いる
ことを特徴とする請求項１記載の音響信号符号化方法。
【請求項４】
前記圧縮符号化する処理では、決定されたビット率に対応した符号化方法を選択し、選択した符号化方法を用いて前記音響信号を符号化して前記圧縮符号化した符号を求め、
前記ビット率又はビット率変化を示す符号として前記選択された符号化方法を示す符号を用いる
ことを特徴とする請求項１記載の音響信号符号化方法。
【請求項５】
基本周波数、パワー、動的特徴量の時間変化特性、基本周波数のフレーム間差分、パワーのフレーム間差分、動的特徴量の時間変化特性のフレーム間差分の６つのうち少なくともいずれか１つを含む特徴量の組から成る音声特徴量ベクトルと、前記音声特徴量ベクトルの強調状態での出現確率および前記音声特徴量ベクトルの平静状態での出現確率とを対応させて格納した符号帳と、
音響信号をフレームごとに分析して前記音声特徴量を求める特徴量抽出部と、
前記音響信号をフレームごとに無音区間か否か、有声区間か否か判定する有声／無音判定手段と、
前記音響信号の所定フレーム数以上の無音区間で囲まれ、有声区間を含む部分を音声小段落と判定する小段落判定手段と、
音声小段落に含まれる有声区間の平均パワーが該音声小段落内の平均パワーの所定の定数倍より小さい音声小段落を末尾とする音声小段落群を音声段落と判定する音声段落判定手段と、
各音声小段落の各フレームの前記音声特徴量の組を量子化してコードを求め、そのコードと対応する音声特徴量ベクトルの強調状態での出現確率および平静状態での出現確率を前記符号帳から求める確率計算手段と、
前記音声小段落内の各フレームの前記音声特徴量ベクトルの前記強調状態での前記出現確率を利用して、該音声小段落が強調状態となる確率を算出し、
前記音声小段落内の各フレームの前記音声特徴量ベクトルの前記平静状態での前記出現確率を利用して、該音声小段落が平静状態となる確率を算出し、
前記強調状態となる確率が前記平静状態となる確率よりも高い音声小段落を強調状態と判定する強調状態判定部と、
前記音声段落ごとに、強調状態と判定された音声小段落の数が多いほど、高いビット率で圧縮符号化することを表すビット率制御信号を生成するビット率制御信号生成部と、
前記ビット率制御信号に応じて、前記ビット率制御信号に対応する予め決められたビット率で前記音響信号を符号化すると共に、ビット率またはビット率の変化を示す符号を出力する符号化部と
を備える音響信号符号化器。
【請求項６】
前記符号帳に動的特徴量の時間変化特性または動的特徴量の時間変化特性のフレーム間差分が少なくとも含まれている場合であって、
前記特徴量抽出部が、前記音響信号から線形予測係数を算出し、その線形予測係数から動的特徴量を求める手段を有しており、
前記符号化部が、前記線形予測係数を、前記圧縮符号化する処理での符号の決定に用いる
ことを特徴とする請求項５記載の音響信号符号化器。
【請求項７】
前記符号化部には、
前記圧縮符号化の処理に用いる符号帳として、各ビット率に対応した個数の各音声特徴量と符号の組を記憶する複数の符号帳群が用意されており、
前記符号化部が前記圧縮符号化する処理では、決定された圧縮符号化のビット率に対応する１つの符号帳群を選択して用いて、前記抽出された各音声特徴量に対応する符号を決定して前記圧縮符号化した符号とし、前記ビット率又はビット率変化を示す符号として前記選択された符号帳群を示す符号を用いる
ことを特徴とする請求項５記載の音響信号符号化器。
【請求項８】
前記符号化部が、
前記圧縮符号化する処理では、決定されたビット率に対応した符号化方法を選択し、選択した符号化方法を用いて前記音響信号を符号化して前記圧縮符号化した符号を求め、前記ビット率又はビット率変化を示す符号として前記選択された符号化方法を示す符号を用いる
ことを特徴とする請求項５記載の音響信号符号化器。
【請求項９】
請求項１〜４の何れかに記載の音響信号符号化方法の各手順をコンピュータに実行させるための符号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は音声信号、音楽信号などの音響信号を圧縮符号化、特に音響信号の状態に応じて圧縮率、つまり符号化ビット率を変更する符号化方法、その符号化器及びそのプログラムに関する。
【０００２】
【従来の技術】
従来において、音声信号の圧縮符号化を効率的に行うため、例えば特開平７−２２５５９９号公報に、入力音声信号が非音声の場合と無声音の場合と、過渡有声音の場合と、定常有声音の場合とに分け、これらの場合に応じてビット率を適応的に変更するＣＥＬＰ符号化方法が示されている。この符号化方法はあくまでも音声信号の各部において聴覚的な品質を維持しながら情報量をなるべく少なくしようとするものである。
【０００３】
また例えば複数の利用者が低ビット率の符号化を利用して回線を共用するようにし、かつ利用者の数や品質の要求に応じてビット率を適応的に切り換えるＡＤＰＣＭ（差分ＰＣＭ）符号化方法が例えば電子情報通信学会、平成１０年１０月２０日発行、守谷健弘著「音声符号化」１２４〜１２８頁に示されている。
更に入力音響信号が音声信号か音楽信号であるかを検出して、前者の場合はＣＥＬＰ符号化法により、後者の場合はＴｗｉｎＶＱ符号化法により符号化方法を切り換えて、それぞれの入力信号に適した符号化を行うことが特開平８−２６３０９８号公報に示されている。
【０００４】
【発明が解決しようとする課題】
従来においては符号化ビット率の変更は、要求される品質に応じて、あるいは、信号の部分的な状態に応じて品質に影響を与えない範囲で適応的に行うものであった。
しかし、音声の発話内容の重要部分、ある１つの音楽中における特に強調したい部分については高ビット率とし、特に品質を高め、例えば些細な感情的な変化も聴きとれるように、あるいは音楽において特に高品質なものとすれば一層効率的な符号化、あるいは同一情報量でも従来よりも有意義な情報とすることができる。この発明はこのような圧縮符号化を可能とする符号化方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
（１）この発明の音響信号を圧縮符号化する方法によれば上記音響信号をフレーム毎に分析して少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はこれらのフレーム間差分（Δ成分）をパラメータとして含む、音響特徴量を抽出し、音響特徴量とその強調状態での出現確率を含むデータの組を少なくとも２以上格納した確率符号帳を参照して上記抽出した音響特徴量の強調状態での出現確率を求め、求めた強調状態での出現確率に基づき上記音響信号の強調度を、フレーム又はフレームを含む段落ごとに決定し、上記決定した強調度が大きい程、高いビット率で上記音響信号を圧縮符号化した符号と、ビット率又はビット率変化を示す符号を出力する。
【０００６】
（２）前記（１）項の方法において好ましくは、上記音響信号の分析において線形予測係数を算出し、その線形予測係数から上記動的特徴量を算出し、
上記音響特徴量として抽出した上記基本周波数と上記パワーと上記線形予測係数を、上記圧縮符号化した符号の決定に用いる。
（３）前記（１）項の方法において好ましくは、各ビット率に対応した個数の各音響特徴量と符号の組を記憶する複数の符号帳群を用意し、上記強調度に対応するビット率の１つの符号帳群を選択して用いて、上記抽出された各音響特徴量に対応する符号を決定して、上記圧縮符号化した符号とし、上記ビット率又はビット率変化を示す符号として上記選択された符号帳群を示す符号を用いる。
【０００７】
（４）前記（１）項の方法において、好ましくは上記強調度に対応する符号化方法を選択し、選択した符号化方法を用いて上記音響特徴量を符号化して上記圧縮符号化した符号を求め、上記ビット率又はビット率変化を示す符号として上記選択された符号化方法を示す符号を用いる。
（５）前記（１）〜（４）項の方法において好ましくは、音響信号の音響段落ごとに強調度を、その音響段落中における強調状態での出現確率から決定する。
（６）前記（５）項の方法において好ましくは、確率符号帳は各音響特徴量ごとの平静状態での出現確率を含み、上記音響段落に含まれる小段落ごとに上記出現確率を求め、その小段落が強調状態であるか平静状態であるかを判定し、音響段落内中の小段落の状態判定結果に基づき上記強調度を求める。
【０００８】
（７）前記（６）項の方法において、好ましくは上記音響段落内の強調状態と判定された小段落の数に基づき上記強調度を求める。
（８）前記（６）項の方法において、好ましくは上記確率符号帳は各音響特徴量ごとの平静状態での出現確率を含み、上記強調状態での出現確率、上記平静状態での出現確率の少くとも一方に重みを与え、その重みを変化させ、強調状態と判定される小段落の数を所定値以下に制御し、その時の重みの大きさに基づきその音響段落の上記強調度を求める。
【０００９】
（９）前記（６）項の方法において、好ましくは上記音楽信号をフレームごとに、無音区間か、有音区間かを判定し、所定数以上の無音区間で囲まれた有音区間を上記小段落として検出し、小段落に含まれる一つ以上の有音区間の平均パワーがその小段落内の平均パワーの定数倍より小さい小段落を末尾とし、隣接する末尾小段落間の小段落群を上記音響段落として検出する。
（１０）前記（１）〜（６）項の何れかの方法において好ましくは、上記確率符号帳は各音響特徴量ごとの平静状態での出現確率を含み、強調状態での出現確率と平静状態での出現確率との比から、上記強調度を決定する。
【００１０】
この発明の符号化器によれば、入力音響信号を、ビット率制御信号に応じて異なるビット率で圧縮符号化することができる符号化部と、少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はこれらのフレーム間差分（Δ成分）をパラメータとして含む音響特徴量とその強調状態での出現確率を含むデータの組が少なくとも２以上格納された確率符号帳と、入力音響信号をフレーム毎に分析して、上記音響特徴量を抽出する特徴抽出部と、上記抽出された音響特徴量の強調状態での出現確率を上記確率符号帳を参照して求め、これら求めた出現確率に基づき、音響信号のフレームごと又はフレームを含む段落ごとに強調度を求め、強調度が大きい程、高いビット率とするビット率制御信号を上記符号化部へ供給する強調度判定部とを具備する。
この発明のプログラムは前記（１）〜（１０）の何れかに記載の音響信号符号化方法の各手順をコンピュータに実行させるための符号化プログラムである。
【００１１】
【発明の実施の形態】
概  要
図１Ａにこの発明の実施形態を示す。入力端子１１からの音響信号は特徴量抽出部１２でフレームごとに分析して、少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はこれらのフレーム間差分（Δ成分とも書く）をパラメータとして含む音響特徴量を抽出する。
確率符号帳１３には音響特徴量とその強調状態での出現確率及び平静状態での出現確率の組を少なくとも２以上格納されている。強調度判定部１４において特徴量抽出部１２で抽出された音響特徴量の各状態での出現確率を確率符号帳１３を参照して求め、これら出現確率を用いて、入力音響信号の音響段落ごとに強調度を決定し、この決定した強調度が大きい程、高いビット率の制御信号を出力する。符号化部１５では入力端子１１からの入力音響信号を、強調度判定部１４からのビット率制御信号により決まるビット率で圧縮符号化し、その圧縮符号とビット率又はビット率の変化を示す符号とを出力端子１６に出力する。
特徴量、確率符号帳
音声特徴量としては基本周波数（ｆ０）、パワー（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポーズ時間長（無音区間）（ｐｓ）、などがあり音声の動的特徴量の時間変化特性（ｄ）は発話速度の尺度となるパラメータであり、動的変化量としてスペクトル包絡を反映するＬＰＣスペクトラム係数の時間変化特性を求め、その時間変化をもとに発話速度係数が求められるものであり、より具体的にはフレーム毎にＬＰＣケプストラム係数Ｃｌ（ｔ），…，Ｃｋ（ｔ）を抽出して次式のような動的特徴量ｄ（ダイナミックメジャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0t+f0［ｆ×Ｃi(ｔ）］／（Σf=t-f0t+f0ｆ2)］2 ここで、ｆ０は前後の音声区間フレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）、ｋはＬＰＣケプストラムの次数、ｉ＝１，２，…，ｋである。発話速度の係数として動的特徴量の変化の極大点の単位時間当たりの個数、もしくは単位時間当たりの変化率が用いられる。
【００１２】
例えば１００ｍｓを１フレームとし、シフトを５０ｍｓとする。１フレームごとの平均の基本周波数を求める（ｆ０′）。パワーについても同様に１フレームごとの平均パワー（ｐ′）を求める。更に現フレームのｆ０′と±ｉフレーム前後のｆ０′との差分をとり、±Δｆ０′ｉ（Δ成分）とする。パワーについても同様に現フレームのｐ′と±ｉフレーム前後のｐ′との差分±Δｐ′ｉ（Δ成分）を求める。ｆ０′、±Δｆ０′ｉ、ｐ′、±Δｐ′ｉを規格化する。この規格は例えばｆ０′、±Δｆ０′ｉをそれぞれ、音声波形全体の平均基本周波数で割り規格化する。ｐ′、±Δｐ′ｉについても同様に、発話状態判定の対象とする音声波形全体の平均パワーで割り、規格化する。規格化するにあたり、後述する小段落、音声段落ごとの平均パワーで割ってもよい。ｉの値は例えばｉ＝４とする。現フレームの前後±Ｔ１ｍｓの、ダイナミックメジャーのピーク本数、即ち動的特徴量の変化の極大点の個数を数える（ｄｐ）。これと、現フレームの開始時刻の、Ｔ２ｍｓ前の時刻を区間に含むフレームのｄｐとの差分（−Δｄｐ）を求める。前記±Ｔ１ｍｓのｄｐ数と、現フレームの終了時刻の、Ｔ３ｍｓ後の時刻を区間に含むフレームのｄｐとの差成分（＋Δｄｐ）を求める。これら、Ｔ１，Ｔ２，Ｔ３の値は例えばＴ１＝Ｔ２＝Ｔ３＝４５０ｍｓとする。フレームの前後の無音区間を±ｐｓとする。ステップ１ではこれらパラメータの各値を音声特徴量としてフレームごとに抽出する。これらパラメータとしては少なくとも基本周波数（又はピッチ周期）、パワー、動的特徴量の時間変化特性又はこれらのフレーム間差分（Δ成分）を含むものとする。
【００１３】
次に確率符号帳１３の作成方法について簡単に述べる。
多数の学習用音声を被験者が聴取し、発話状態が、平静状態であるものと、強調状態であるものをラベリングする。
例えば、被験者は強調状態とする理由として、
（ａ）声が大きく、名詞や接続詞を伸ばすように発話する
（ｂ）話し始めを伸ばして話題変更を主張、意見を集約するように声を大きくする
（ｃ）声を大きく高くして重要な名詞などを強調する時
（ｄ）高音であるが声はそれほど大きくない
（ｅ）苦笑いしながら、焦りから本音をごまかすような時
（ｆ）周囲に同意を求める、あるいは問いかけるように、語尾が高音になる時
（ｇ）ゆっくりと力強く、念を押すように、語尾の声が大きくなる時
（ｈ）声が大きく高く、割り込んで発話するという主張、相手より大きな声で
（ｉ）声が小さくボソボソ、ヒソヒソという感じ、大きな声では憚られる真意や秘密を発言、普段、声の大きい人にとっての重要なことを発話する時
を挙げた。この例では、平静状態とは、前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静であると被験者が感じたものとした。
【００１４】
平静状態と強調状態の各ラベル区間について、学習音声から前記音声特徴量を抽出し、パラメータを選択し、平静状態と強調状態のラベル区間の、前記パラメータを用いて、ＬＢＧアルゴリズムでコードブックを作成する。このようにして得られた各量子化音声特徴量（コード）についてその強調状態での出現確率と平静状態での出現確率との組を符号帳１３に格納する。その強調状態での出現確率は、その音声特徴量が過去のフレームでの音声特徴量と無関係に強調状態で出現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）のみ、又はこれと、過去のフレームでの音声特徴量から現在のフレームの音声特徴量に至るフレーム単位の音声特徴量列ごとにその音声特徴量が強調状態で出現する条件付確率との組合せの何れかであり、平静状態での出現確率も同様に、その音声特徴量が過去のフレームでの音声特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）のみ、又はこれと、過去のフレームでの音声特徴量から現在のフレームの音声特徴量に至るフレーム単位の音声特徴量列ごとにその音声特徴量が平静状態で出現する条件付確率と組合せの何れかである。
例えば図２に示すように確率符号帳１３には各コードＣ１，Ｃ２，…ごとにその音声特徴量と、その単独出現確率が強調状態、平静状態について、また条件付確率が強調状態、平静状態についてそれぞれ組として格納されている。
【００１５】
強調度判定
次に強調度判定部１４の具体例を図１Ｂを参照して説明する。この例では音声信号の小段落ごとにその出現確率から強調状態か平静状態かを判定し、これに基づき音声段落の強調度を決定している。
小段落の検出のために入力音声信号に有声／無音判定部２１で有声区間か無声区間かの判定が行われる。入力音声信号のフレームごとにパワーが所定以下であれば無音区間と判定し、有声区間は例えばフレームごとの相関関数が所定値以上であれば有声区間と判定する。
小段落判定部２２で有声区間を挟む無音区間の時間がそれぞれｔ秒、例えば４００ｍｓ以上であれば、その挟まれた有声区間を小段落と判定する。末尾小段落検出部２３において、例えば図３に示すように入力音声信号が小段落ｊ−１，ｊ，ｊ＋１と判定されたとする。音声小段落ｊは、ｎ個の有声区間から構成され、平均パワーをＰｊとし、音声小段落ｊの後部、つまりｉ＝ｎ−α番目からｎ番目までの有声区間の平均パワーｐｉの平均が音声小段落ｊの平均パワーＰｊより小さい時、すなわち、
Σｐｉ／（α＋１）＜βＰｊ，Σはｉ＝ｎ−αからｎまでの総和、α，βは定数
を満たす時、この音声小段落ｊを音声段落ｋの末尾音声小段落として検出し、この末尾音声小段落から、その直前の末尾音声小段落までの小段落群を音声段落ｋと音声段落判定部２４は判定する。例えばαは３、βは０．８である。このようにして末尾音声小段落を区切りとして隣接する末尾音声小段落間の音声小段落群を音声段落と判定する。
【００１６】
各小段落の各フレームごとの音声特徴量についてこれに近い量子化音声特徴量（コード）を確率符号帳１３からそれぞれ探し、その各コードと組をなすその強調状態での出現確率Ｐ（ｎ）、平静状態での出現確率Ｐ（ｅ）を、強調状態確率計算部２５、平静状態確率計算部２６でそれぞれ取出す。
強調状態確率計算部２５、平静状態確率計算部２６ではそれぞれ、これら各フレームごとに取出した確率を用いて、それぞれその小段落が強調状態になる確率、平静状態になる確率を計算する。例えば音声小段落ｓがフレーム数Ｎｓであり、その各フレームについての音声特徴量と対応するコードがそのフレーム順にＣｉ１，Ｃｉ２，…，ＣｉＮｓであるとする。この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）と平静状態になる確率Ｐｓ（ｎ）をそれぞれ次式により計算する。
【００１７】
Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））
Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））
ここで例えばＰｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）はＣｉ１Ｃｉ２の次にＣｉ３が強調状態で出現する確率を表わす。このＰｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）を求めるには符号帳１３からＣｉ３の強調状態の各単独出現確率と、Ｃｉ２の次にＣｉ３が強調状態で出現する条件付確率と更にＣｉ３がＣｉ１，Ｃｉ２の次に、強調状態で出現する条件付確率を求め、これらを線形補間法により求めることが好ましい。その他の強調状態での出現確率、また平静状態での出現確率も同様にそれぞれ線形補間法により求めることが好ましい。線形補間法については例えば「音声言語処理」（北  研二、他、森北出版、１９９６年２９頁）などに示されている。
【００１８】
このようにして小段落ｓの強調状態での出現確率Ｐｓ（ｅ）、平静状態での出現確率Ｐｓ（ｎ）がそれぞれ確率計算部２５，２６で計算され、これら計算結果に基づき強調状態判定部２７はＰｓ（ｅ）＞Ｐｓ（ｎ）であればその小段落ｓを強調状態であり、Ｐｓ（ｅ）＜Ｐｓ（ｎ）であれば小段落ｓを平静状態であると判定する。強調状態判定部２７は同様にして各小段落についてそれが強調状態であるか平静状態であるかを判定する。
強調度決定部２８は、音声段落判定部２４で判定された音声段落の強調度を、その音声段落を構成する全ての小段落に対して強調状態判定部２７により判定された結果に基づいて決定する。例えば図４Ａに示すように強調度を０，１，２の３段階に分ける場合は、音声段落中に強調状態と判定された小段落が１つもない場合は強調度０とし、強調状態と判定された小段落の数が１個又は２個の場合は、強調度１とし、３個以上の場合は強調度２とする。
【００１９】
あるいは図４Ｂに示すように、強調状態判定部２７における判定の際に、強調状態での出現確率に、重み０≦ｗ＜εを乗算した場合において、音声段落中で強調状態と判定された小段落の数が１以上の場合は、強調度２とし、ε≦ｗ＜1/εを乗算した状態で判定した場合に音声段落中に強調状態と判定された小段落の数が１個の場合は、強調度１とし、1/ε≦ｗを乗算した状態で判定した場合に音声段落中に強調状態と判定された小段落の数が０又は１個の場合は強調度０とする。εは１未満の正の実数、好ましくは０．５〜０．８程度である。
【００２０】
なおこの強調状態での出現確率に対する重みｗの乗算は図１Ｂ中に破線で示すように乗算部２７ａで行い、その重みｗの値の制御は強調度決定部２８により行う。
強調度決定部２８で決定された強調度がビット率制御信号生成部２９へ入力され、ビット率制御信号生成部２９は図４Ａ、図４Ｂの例の場合、強調度が０の場合は低ビット率制御信号を、強調度が１の場合は中ビット率制御信号を、強調度が２の場合は高ビット率制御信号をそれぞれ生成して、図１Ａ中の符号化部１５へ供給する。
【００２１】
符号化部１５は入力されたビット率制御信号に応じ、低ビット率制御信号の場合は予め決められた低いビット率で入力音声信号を低レート部１５Ｌにより圧縮符号化し、中ビット率制御信号の場合は、前記低いビット率よりも高い予め決められた中ビット率で入力音声信号を中レート部１５Ｍにより符号化し、高ビット率制御信号の場合は中ビット率より更に高い、予め決められた高いビット率で入力音声信号を高レート部１５Ｈにより符号化する。
符号化部１５として各ビット率に応じてこの例では３つの符号化部１５Ｌ，１５Ｍ，１５Ｈを示したが、これは便宜的なものであり、これらを独立の符号化部で構成してもよいが、従来の技術の項で示した公知例のようにビット率に応じて一部機能構成を切り替えたり、付加したり、除去したりして符号化するようにしてもよく、各種の構成をとることができ、従来の可変ビット率符号化器と同様に構成することができる。またビット率制御信号が生成されるまでの時間遅れに応じて入力音声信号をバッファ記憶部１７で遅延させて符号化部１５へ供給するようにする。
【００２２】
符号化部１５は例えば図４Ｃに示すように、音声信号に対する圧縮符号列３１に先立ち、その圧縮符号列３１の符号化ビット率を示す符号３２を付けて出力する。このビット率符号３２は、少なくとも符号化ビット率が変更されるごとに付加する。
この符号化器によれば、音声信号中の意味内容の重要な部分は一般には強調状態の小段落を含むため、高いビット率で符号化され、その復号音声信号をより明確に、場合によっては話者の感情がこもった音声も復元でき、平静状態の音声段落は低ビット率とされるため、符号化効率を高くすることができる。
【００２３】
図１Ａに示した符号化器よりの符号化出力を復号する復号器の例を図５に示す。入力端子４１からの符号列は分離部４２により符号化列３１とビット率符号３２に分離され、符号化列３１は復号部４３へ供給される。ビット率符号３２はビット率符号復号部４４で復号され、復号されたビット率制御信号に応じて、復号部４３において高ビット率復号部４３Ｈ、中ビット率復号部４３Ｍ、低ビット率復号部４３Ｌの何れかにより符号化列３１が復号される。この復号部４３は図１Ａ中の符号化部１５と対応したものであり、各ビット率復号部４３Ｈ，４３Ｍ，４３Ｌが独立に構成される場合や、共通化され、一部の機能構成が切替えられたり、外されたり、付加される。従来の可変ビット率復号器と同様に構成することができる。つまりこの発明では強調度が高いほどビットレートが高い、即ち高精度に符号化が行われるが、復号音響信号は、強調度が高い区間ほど高品質なものが得られる。
【００２４】
図１に示した符号化器と対応するこの発明の符号化方法の手順の例を図６を参照して説明する。
音響信号、この例では音声信号が入力されると、一旦記憶部に記憶し（Ｓ１）、その音声信号の音声特徴量をフレームごとに抽出する（Ｓ２）。また無音区間か有声区間かの判別を行い（Ｓ３）、所定長以上の無音区間に挟まれた有声区間を音声小段落として抽出し（Ｓ４）、その音声小段落中の末尾音声小段落を検出して、隣接する末尾音声小段落間の音声小段落群からなる音声段落を抽出する（Ｓ５）。
【００２５】
ステップＳ２で抽出したフレームごとの音声特徴量を、確率符号帳１３を参照して量子化し、つまり距離が最も近い確率符号帳１３中のコードと対応付け（Ｓ６）、その各コードの強調状態及び平静状態での各独立出現確率又はこれらと各条件付出現確率を符号帳１３から取り出して、各音声小段落ごとの強調状態及び平静状態での出現確率Ｐｓ（ｅ），Ｐｓ（ｎ）を求める（Ｓ７）。更にこれら出現確率から各小段落が強調状態であるか平静状態であるかを判定し、音声段落ごとにその強調状態の小段落の数に応じて又は小段落が強調状態であるか平静状態であるかの判定の際に強調状態での出現確率に重みを与えることにより、あるいはこれらの併用により、音声段落の強調度を決定する（Ｓ８）。
【００２６】
この決定した強調度に応じてビット率を決定し（Ｓ９）、その決定したビット率で対応音声段落の音声信号を符号化し（Ｓ１０）、その符号化列とその符号化のビット率を示す符号とを出力する（Ｓ１１）。
変形例
符号化部１５における符号化において、その符号方法によっては特徴量抽出部１２で抽出した音声特徴量のパラメータと同一のものを用いる場合は、特徴量抽出部１２で抽出したものを用いることができる。逆に符号化部１５で符号化のために抽出した音声特徴量パラメータの一部又は全部を、特徴量抽出部１２の抽出パラメータに流用してもよい。つまり例えば図７に示すように入力音響信号は特徴量抽出部１２でフレームごとに特徴量が抽出され、その抽出された特徴量の少くとも一部のパラメータを用いて、強調度判定部１４により音響信号の音響段落ごとの強調度が判定され、これに応じたビット率制御信号が符号化部１５へ供給される。符号化部１５では特徴量抽出部１２で抽出された少くとも一部のパラメータについて入力されたビット率制御信号に応じたビット率になるように入力音響信号のその音響段落の部分が符号化される。
【００２７】
この発明は音声信号の符号化のみならず、音楽信号に対しても同様に重要な音楽段落に対して高いビット率で符号化し、重要でない部分は低ビット率で符号化して符号化効率を上げることもできる。音楽の場合における確率符号帳１３の作成時に被験者が強調状態と感じた理由を下記に示す。
（ａ）声が大きく、かつ声が高い
（ｂ）声が力強い
（ｃ）声が高く、かつアクセントが強い
（ｄ）声が高く、声質が変化する
（ｅ）声を伸長させ、かつ声が大きい
（ｆ）声が大きく、かつ、声が高く、アクセントが強い
（ｇ）声が大きく、かつ、声が高く、叫んでいる
（ｈ）声が高く、アクセントが変化する
（ｉ）声を伸長させ、かつ、声が大きく、語尾が高い
（ｊ）声が高く、かつ、声を伸長させる
（ｋ）声を伸長させ、かつ、叫び、声が高い
（ｌ）語尾上がり力強い
（ｍ）ゆっくり強め
（ｎ）曲調が不規則
（ｏ）曲調が不規則、かつ、声が高い
次にこの発明をＴｗｉｎＶＱに適用した例を図８を参照して説明する。ＴｗｉｎＶＱについては例えば雑誌日経エレクトロニクス１９９７、４．２１、（Ｎｏ．６８７）１８１〜２０２頁、その他に示されている。入力端子１１よりの音響信号は直交変換に先立ってフレーム内の信号を分析して、変換長、即ちフレームの分割数を分割選択部５１で決定する。例えばフレーム長が２０４８サンプルの場合、フレームのデータに対して２０４８点の変換を１回適用するか、５１２点の変換を４回適用するか、１２８点の変換を１６回適用するかを判定する。この判定に従って窓分割ＭＤＣＴ部５２で音響信号を決定された変換長ごとに変形離散余弦変換（Modified Discrete Cosine Transform）により周波数領域の信号（係数）に変換する。
【００２８】
この変換とは別にＬＰＣ分析部５３で音響信号のスペクトル包絡の推定を線形予測分析により行い、そのスペクトル包絡により、周波数領域の係数を割算部５４で正規化する。この平坦化された周波数領域係数の低周波部から周期的なピーク成分（ピッチ成分）をピッチ分析部５５で抽出し、この成分を割算部５４の出力から減算部５６で差し引き、更にその割算部５４の出力を、バーク尺度スペクトル分析部５７でバーク尺度に比例する非線形な分割で平均化した包絡を求め、この包絡により減算部の出力を割算部５８で割算する。これにより、割算部５４よりの平坦化された周波数領域係数における微細なスペクトルピークがピッチ成分で平坦化され、更に割算部５８で平坦化される。
【００２９】
このようにして平坦化された周波数領域係数全体の平均パワーをパワー分析部５９で計算し、この平均パワーで割算部５８の出力を正規部６１で正規化する。この正規化された全ての周波数領域係数をインターリーブ分割部６２でインタリーブして副ベクトルに分割し、この分割された正規化周波数領域係数を二つの符号帳からの和で表わす共役構造の重み付きベクトル量子化部６３によりベクトル量子化する。この際に、ＬＰＣ分析部５３よりのスペクトル包絡特性、ピッチ成分分析部５５よりのピッチ成分、バーク尺度スペクトル分析部５７よりの平均化スペクトル包絡、パワー分析部５９よりの副フレームごとのパワーに基づき聴覚心理モデルをモデル生成部５４で作り、この聴覚心理モデルでベクトル量子化部６３で選択されたベクトルに対し重み付けして、復号信号が聴覚的に歪が最小になるような距離尺度でベクトル量子化を行う。
【００３０】
この発明のこの実施例ではＬＰＣ分析部５３、ピッチ成分分析部５５、パワー分析部５９の各分析結果が強調度判定部１４に入力され、その入力された分析結果の少なくとも一部を用いて前述した音響特徴量とし、また入力分析結果に基づき、小段落、音響段落を抽出し、更に確率符号帳１３を参照して、各小段落ごとの強調状態での出現確率、平静状態での出現確率を計算して、強調状態や平静状態更に音響段落の強調度を判定する。なお、ＬＰＣ分析部５３からの線形予測係数は先に述べたようにこれよりＬＰＣケプストラムを求め、更にその時間変化特性を求めて、動的特徴量が動的特徴量計算部７８で計算されて強調度判定部７６に入力される。
【００３１】
この例では強調度を０と１の２段階とした場合でこれに応じてＬＰＣ用符号帳６５Ｌと６５Ｈがピッチ用符号帳６６Ｌと６６Ｈが、スペクトル用符号帳６７Ｌと６７Ｈが、パワー用符号帳６８Ｌと６８Ｈが、共役構造符号帳６９Ｌと６９Ｈがそれぞれ設けられる。符号帳６６Ｌ，６７Ｌ，６８Ｌ，６９Ｌはそれぞれ対応する符号帳６６Ｈ，６７Ｈ，６８Ｈ，６９Ｈよりも各符号ベクトルの要素数が少なく、従って収容する符号ベクトルの数も少ない、つまり前者の符号帳により符号化した符号（インデックス）は後者のそれより少ないビット数のものとなる。
【００３２】
強調度判定部１４が強調度０と判定すると、強調度判定部１４からの低ビット率制御信号により各符号帳切替部７１〜７５に制御され、ＬＰＣ分析部５５において分析スペクトル包絡を表わすＬＳＰパラメータがＬＰＣ用符号帳６５Ｌを用いて符号化され、ピッチ成分分析部５５において、ピッチ用符号帳６６Ｌを用いて抽出ピッチ成分が符号化され、バーク尺度スペクトル分析部５７において分析平均化包絡がスペクトル用符号帳６７Ｌを用いて符号化され、パワー分析部５９において、検出平均パワーがパワー符号帳６８Ｌを用いて符号化され、重み付きベクトル量子化部６３において、共役構造符号帳６９Ｌを用いて平坦化周波数領域係数が符号化される。これら符号化出力は合成部７６で統合されて出力される。
【００３３】
強調度判定部１４が強調度１と判定すると、強調度判定部１４からのビット率制御信号により各符号帳切替部７１〜７５がそれぞれ、符号帳６５Ｈ〜６９Ｈ側に切替えられ、各分析部５３，５５，５７，５９はそれぞれ符号帳６５Ｈ，６６Ｈ，６７Ｈ，６８Ｈを用い、ベクトル量子化部６３は符号帳６９Ｈを用いてそれぞれ符号化を行い、これらの符号化出力は合成部７６で統合されて出力される。なお合成部７６では少なくともビット率制御信号が変化するごとにそのことを示すビット率符号を統合した符号の先頭に付けて出力する。この例では強調度は０と１の何れかであるからビット率符号は１ビットでよく、また強調度変化は０から１，または１から０の何れかであるから、ビット率制御信号が変化したことが示す符号も１ビットでよい。
【００３４】
これと対応する復号器においては従来のＴｗｉｎＶＱ復号器において、符号帳として符号帳６５Ｌと６５Ｈ、６６Ｌと６６Ｈ、６７Ｌと６７Ｈ、６８Ｌと６８Ｈ、６９Ｌと６９Ｈと同一のものを設け、入力されたビット率符号に応じてこれら符号帳の何れかの組を用いて、復号すればよい。
この実施例では以上の説明から明らかなように、ＬＰＣ分析部５３、ピッチ成分分析部５５、パワー分析部６９は、強調度判定のために用いる特徴量を抽出すると共に、入力音響信号を符号化するための特徴量をも抽出する特徴量抽出部７９を構成している。
【００３５】
またこの実施例は、予め決められた複数の符号化ビット率と対応した複数の符号帳群、この例では符号帳６５Ｌ，６６Ｌ，６７Ｌ，６８Ｌ，６９Ｌからなる符号帳群と、符号帳６５Ｈ，６６Ｈ，６７Ｈ，６８Ｈ，６９Ｈからなる符号帳群との二つの符号帳群を用意し、強調度判定部１４により決定されたビット率に応じて、その１つの符号帳群を用いて入力音響信号を符号化する例である。この符号帳群の選択によるビット率の変更は、その符号化器に用いる全ての符号帳をビット率に応じて選択する場合に限らず、例えば図８中に破線で示すようにＬＰＣ用符号帳はビット率の変更にかかわらず１個の符号帳６５を用いて符号化するようにしてもよい。
【００３６】
次に強調度に応じて符号化ビット率の変更を符号化方法を変更する例を図９を参照して説明する。この実施例は特開平８−２６３０９８号公報に示す「音響信号符号化方法」における符号化方法の変更を強調度により決定された符号化ビット率に応じて行うようにした場合であり、以下に簡単に述べる。
入力音響信号は特徴抽出部７９でフレームごとに特徴量が抽出され、その抽出された特徴量に応じて強調度判定部１４で強調度が判定され、これに応じたビット率制御信号が出力される。この例では判定される強調度は０又は１の何れかであり、強調度が０と判定されると、ビット率制御信号により切替え部８１が制御され、入力端子が第１符号化部、この例ではＣＥＬＰ符号化部８２に接続され、入力音響信号は符号化部８２中の逆フィルタ８３に入力され、入力音響信号のスペクトル包絡の周波数依存性が抑圧され、残差信号が得られる。この残差信号は符号帳選択部８５に入力され、適応符号帳８６から各ピッチ周期分過去の残差信号である適応符号帳ベクトルとの歪を算出し、歪が最小となる適応符号帳ベクトルに対応するピッチ周期が選択される。このピッチ周期即ち選択された適応符号帳ベクトルに対応する符号Ｃbが符号化出力となる。適応符号化ベクトルとして前符号化フレームで得られた復号化残差信号を各種ピッチ周期に基づいて周期化して生成してもよい。その選択ベクトルが差回路８７で逆フィルタ８３よりの残差信号より差し引かれ、その残差信号が時間領域ベクトル量子化部８８で固定符号帳８９を参照してベクトル量子化される。その逆量子化出力と符号帳選択部８５で選択したベクトルとが加算回路９１で加算されて残差信号が復号（合成）され、これが適応符号帳８６へ供給される。逆フィルタ８３のフィルタ係数は特徴量抽出部７９内のＬＰＣ分析部８４の分析結果が利用され、また適応符号帳８６からピッチ周期長に応じた切り出しは、特徴量抽出部７９内で抽出した基本周波数に基づき行うことにより、符号化と強調度決定とに音響特徴パラメータを共通に利用できる。ＬＰＣ分析部８４の分析結果がＬＰＣ量子化部９２で符号化され、その符号Ｃa 、適応符号帳選択部８５からの選択ベクトルを示すＣb 、量子化部８８からの選択ベクトルを示す符号Ｃc 、ＣＥＬＰ符号化部８２を選択したことを示す符号（ビット率を示す符号）とを合成部７６から出力する。
【００３７】
一方、強調度が１と判定されると、ビット率制御信号により切替え部８１が制御されて、入力端子が第２符号化部、この例ではＴｗｉｎＶＱ符号化部９４に接続され、入力音響信号はその符号化部９４内のＭＤＣＴ部５２に周波数領域の信号に変換され、この周波数領域の係数は量子化された周波数領域のスペクトル概形で割算回路５４において割算されて正規化され、周波数領域残差係数とされ、この周波数領域残差係数はフレーム間予測部９５よりのフレーム間予測スペクトルで割算回路５８において割算されて正規化され、一層平坦化された係数（周波数領域微細構造）となり、周波数領域量子化部９６でベクトル量子化され、またこの量子化部９６からその逆量子化微細構造と微細構造の量子化符号Ｃe が出力される。一方、逆量子化微細構造はフレーム間予測部９５よりのフレーム間予測スペクトルが掛算器９７で乗算されて残差係数が復号され、これがフレーム間予測部９５に入力され、フレーム間予測スペクトルとフレーム間予測係数の量子化符号Ｃf が出力される。これら符号Ｃe ，Ｃf と、ＬＰＣ量子化部９２からのＬＰＣ量子化符号Ｃa と、Ｔｗｉｎ ＶＱ符号化部９４を選択したことを示す符号（ビット率を示す符号）とが合成部７６で統合されて出力される。
【００３８】
この場合も特徴量抽出部７９において抽出したＬＰＣ係数は強調度判定と、符号化の両者に利用され、また図９中には示していないが、周波数領域量子化部９６内で行っているパワーによる規格化に、特徴量抽出部７９で抽出したパワーを用いることもできる。
判定する強調度の数を増加し、例えば強調度０を２段階とし、固定符号帳８９とサイズが異なる（収容された固定ベクトルの数が異なる）固定符号帳８９′を設け、２段階に分けた強調度０の一方で、固定符号帳８９，８９′の一方を用いて符号化し、２段階の他方で固定符号帳８９，８９′の他方を用いて符号化するようにしてもよい。同様に、周波数領域量子化部９６で用いる符号帳として収容されたベクトル数の異なるものを複数用意し、強調度１を複数の段階に分け、強調度が高いほど収容されたベクトルの数が多い符号帳を用いて周波数領域量子化部９６での符号化を行うようにすることもできる。
【００３９】
上述において強調度判定時に、強調状態での出現確率に重みｗを掛けて判定を行う例において、この代りに平静状態での出現確率に重みｗを掛けて判定を行ってもよい。この場合は、例えば図１Ａ中に破線枠で示すように乗算部２７ｂで乗算する重みｗを制御して、重みｗが大きくても強調状態となる小段落が残る場合に強調度と判定する。強調度の判定の手法としては、例えば図１中に破線で示すように、強調状態確率計算部２５で求めた強調状態での出現確率Ｐ（ｎ）と平静状態確率計算部２６で求めた平静状態での出現確率Ｐ（ｅ）との比をＰ（ｅ）／Ｐ（ｎ）又はＰ（ｎ）／Ｐ（ｅ）を割算部３０で求め、この比の大きさに応じて、強調度を決定してもよい。例えばＰ（ｅ）／Ｐ（ｎ）を求めた場合は、この比が小さい程、強調度を大とする。この図示の例の場合は小段落ごとに強調度を決定して、対応したビット率を決めることになる。更に強調状態での出現確率Ｐ（ｎ）のみを用い、この値が予め設定した以上であればその小段落は強調状態にあると判定してもよい。
【００４０】
強調度の決定は、フレームを含む段落ごと、つまり音響段落ごと、小段落ごと、有声区間（有声段落）ごと、またはフレームごと、あるいは１０秒や５秒などの一定時間ごとなど各種の段落ごとに行なってもよい。
テレビジョンなどのように音声信号と密接な関係の映像信号を符号化する際に、音声信号に対し、強調度に応じたビット率で符号化し、これと同様にビット率の変更をしながら映像信号を符号化してもよい。
上述において符号化ビット率の制御を強調度を４つ以上に分けてより細かに行ってもよい。更に小段落や音響段落はそれぞれ固定長としてもよい。
【００４１】
この発明の符号化器、例えば図１に示したものとして、コンピュータにプログラムを実行させて機能させてもよい。この場合は、例えば図６に示した符号化方法の各手順をコンピュータにより実行するための符号化プログラムを、コンピュータのプログラムメモリにＣＤ−ＲＯＭ、可撓性磁気ディスク、などの記録媒体からインストールし、あるいは通信回線を通じてダウンロードしてそのプログラムをコンピュータに実行させればよい。
【００４２】
【発明の効果】
以上述べたようにこの発明によれば音響信号中の内容が重要な部分、強調したい部分のビット率を高くし、その他の部分のビット率を低くすることにより、効率的な符号化ができる。
【図面の簡単な説明】
【図１】Ａはこの発明による符号化器の一例の機能構成を示す図、Ｂはその強調度判定部１４の具体的機能構成例を示す図である。
【図２】図１中の確率符号帳１３の記憶例を示す図。
【図３】音声小段落、末尾音声小段落、音声段落を説明するための図。
【図４】Ａ及びＢは強調度判定テーブルの例を示す図、Ｃは出力符号のフォーマットの例を示す図である。
【図５】図１Ａの符号化器と対応する復号器の機能構成例を示す図。
【図６】この発明の符号化方法の処理手順の例を示す流れ図。
【図７】この発明の他の実施例の機能構成例を示す図。
【図８】この発明をＴｗｉｎＶＱに適用した符号化器の機能構成例を示す図。
【図９】この発明の更に他の実施例の機能構成例を示す図。
【図１】
0003803306.tif 000002
【図２】
0003803306.tif 000003
【図３】
0003803306.tif 000004
【図４】
0003803306.tif 000005
【図５】
0003803306.tif 000006
【図６】
0003803306.tif 000007
【図７】
0003803306.tif 000008
【図８】
0003803306.tif 000009
【図９】
0003803306.tif 000010