(57)【要約】【課題】話者に依存することなく会話などにおける強調状態の判定を行って要約区間を抽出する。【解決手段】基本周波数、パワー、動的特徴量の時間変化特性などの音声特徴量の組の強調状態での出現確率をコードごとに格納され、また各コードごとの前記出現確率を初期状態確率とし、隠れマルコフモデルを用いた各フレーム間の各遷移確率と、状態遷移ごとの出力確率とが格納された符号帳を用い、音声信号中の無声区間に挟まれた有声区間を含む音声小段落の各最初のフレームの音声特徴量の組の初期状態確率を求め、２番目以降の各フレームについて、音声特徴量の組の状態遷移ごととの出力確率と、各フレーム間の遷移確率を求め、音声小段落の全ての状態遷移経路ごとの初期状態確率と出力確率と遷移確率の積の最大値又は積の総和に基きその音声小段落の尤度を求める。【選択図】図２２
2006146261.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎の音声特徴量の組に基づき音声の強調状態を判定する音声処理方法であって、
基本周波数、パワー、動的特徴量の時間変化特性、基本周波数のフレーム間差分、パワーのフレーム間差分、動的特徴量の時間変化特性のフレーム間差分の６つのうちの少なくともいずれか１つを含む音声特徴量の組から成る音声特徴量ベクトルと強調状態でのその音声特徴量ベクトルの出現確率がコードごとに格納された符号帳を用い、
上記符号帳の各コードごとの上記強調状態での出現確率を強調状態での初期状態確率とし、上記音声特徴量ベクトルに対応する状態遷移ごとの出力確率と状態遷移に対応する強調状態での遷移確率からなる強調状態音響モデルを用い、上記強調状態での各フレーム間の各遷移確率と音声特徴量ベクトルに対応する状態遷移ごとの上記強調状態での出力確率も上記符号帳に格納し、
(a-1) フレーム毎の音声信号について、無声区間か有声区間か判定し、
(a-2) 所定フレーム数以上の無声区間に挟まれ、少なくとも１フレーム以上の有声区間を含む部分を音声小段落とし、
(a-3) 上記音声小段落の最初のフレームの上記音声特徴量の組を量子化したコードと対応する音声特徴量ベクトルの強調状態での初期状態確率を上記符号帳から求め、
上記強調状態音響モデルより上記音声小段落の２番目以降の各フレームについて上記音声特徴量の組を量子化したコードと対応する音声特徴量ベクトルに対応する状態遷移ごとの強調状態での出力確率を求め、上記音声小段落内の各フレーム間の強調状態での遷移確率を求めるステップと、
(b) 上記音声小段落における全ての状態遷移経路ごとの上記強調状態での初期状態確率と上記出力確率と上記遷移確率の積の最大値又は上記積の総和に基づき、上記音声小段落が強調状態となる尤度を算出するステップと、
(c) 上記強調状態となる尤度に基づいて上記音声小段落が強調状態であるか否かを判定するステップとを含むことを特徴とする音声処理方法。
【請求項２】
請求項１に記載の方法において、上記符号帳に格納されているコードの音声特徴量ベクトルと対応して更に平静状態でのその音声特徴量ベクトルの出現確率も上記符号帳に格納されており、上記符号帳の各コードごとの上記平静状態での出現確率を平静状態での初期状態確率とし、上記音声特徴量ベクトルに対応する状態遷移ごとの出力確率と状態遷移に対応する平静状態での遷移確率からなる平静状態音響モデルも用い、上記平静状態での各フレーム間の各遷移確率と音声特徴量ベクトルに対応する状態遷移ごとの上記平静状態での出力確率も上記符号帳に格納し、
上記ステップ(a-3) は、更に上記音声小段落の最初のフレームの上記音声特徴量の組を量子化したコードと対応する音声特徴量ベクトルの平静状態での初期状態確率を求め、
上記平静状態音響モデルより上記音声小段落の２番目以降の各フレームについて上記音声特徴量ベクトルの組の量子化した音声特徴量ベクトルに対応する状態遷移ごとの平静状態での出力確率を求め、上記音声小段落内の各フレーム間の平静状態での遷移確率を求めるステップも含み、
上記ステップ(b) は、更に上記音声小段落における上記平静状態音響モデルの全ての状態遷移経路ごとの上記平静状態での初期状態確率と上記出力確率と上記遷移確率の積の最大値又は上記積の総和に基づき、上記音声小段落が平静状態となる尤度として算出するステップを含み、
上記ステップ(c)における上記音声小段落が上記強調状態であるか否かの判定は、上記
強調状態音響モデルを用いて求めた上記強調状態となる尤度と、上記平静状態音響モデルを用いて求めた上記平静状態となる尤度とを比較して判定することを特徴とする音声処理方法。
【請求項３】
請求項１又は２に記載の方法において、上記ステップ(a-2) は、更に上記音声小段落の後半部に含まれる１フレーム以上の有声区間の平均パワーがその音声小段落内の平均パワーの定数倍より小さい音声小段落を末尾とする音声小段落群を音声段落と判定するステップを含み、
上記ステップ(c)は、強調状態であると判定することに加えて、上記強調状態と判定さ
れた音声小段落を含む上記音声段落を要約区間と判定するステップも含むことを特徴とする音声処理方法。
【請求項４】
請求項２に記載の方法において、上記ステップ(a-2) は、更に上記音声小段落の後半部に含まれる１フレーム以上の有声区間の平均パワーがその音声小段落内の平均パワーの定数倍より小さい音声小段落を末尾とする音声小段落群を音声段落と判定するステップを含み、
上記ステップ(c) における上記比較して判定することは、
(c-1) 上記音声小段落が強調状態となる尤度と平静状態となる尤度の尤度比を算出するステップと、
(c-2) 上記尤度比を基準値と比較し、基準値より大きければ上記音声小段落が強調状態であると判定するステップを有し、
上記ステップ(c)は上記強調状態であると判定することに加えて、上記強調状態と判定
された音声小段落を含む上記音声段落を要約区間と判定するステップ(c-3)も含むことを
特徴とする音声処理方法。
【請求項５】
請求項４に記載の方法において、
(c-4) 上記ステップ(c-3)で得られた要約区間の要約率または要約時間が所定の要約率または要約時間であるか否かを判断し、
所定の要約率または要約時間でない場合は上記基準値を変更してステップ(c-2)に戻るステップを含むことを特徴とする音声処理方法。  
【請求項６】
請求項１乃至５のいずれかに記載の音声処理方法の各ステップをコンピュータに実行させる音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声信号を分析して、人間が発声した内容のうち強調した部分を抽出する方法、その方法に用いる音声処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
音声信号から、その発声内容のうち発話者が重要なものとして強調している部分を抽出して、その発話内容の要約を自動的に作成することが提案されている。例えば特許文献１では、音声信号を解析してＦＦＴスペクトルやＬＰＣケプストラムなどを音声特徴量として求め、任意の区間の音声特徴量系列と、他の区間の音声特徴量系列とのＤＰマッチングを行って、これら系列間の距離を求め、この距離が所定以下の場合、これらの両区間は音韻的に類似した区間であると抽出し、時間位置情報を加えて重要部分としている。つまり音声中の繰り返し出現する言葉は重要であることが多いという現象を利用したものである。
【０００３】
また特許文献２では、話者同士による対話音声などの音声信号からＦＦＴスペクトルやＬＰＣケプストラムなどを音声特徴量として求め、この音声特徴量を用いて音素片を認識して音素片記号系列を求め、区間どうしの音素片系列のＤＰマッチングにより、両区間の距離を求め、その距離が小さいものを、つまり音韻的に類似した区間を重要部分と抽出し、更にシソーラスを用いて、複数の話題内容を推定している。
また音声中の文や単語単位を抽出する技術として、音声中の文や単語単位の語調成分とアクセント成分とを合わせたピッチパターンが、低いピッチ周波数から始まって中ごろ前半で一番高く、後半徐々に低くなり、語尾で急激に低くなって発音がとまるという日本語によく現れる性質を活用した方法がある。例えば、非特許文献１などである。
【０００４】
音声信号を伴う映像情報から重要なシーンをその音声信号を利用して抽出することが特許文献３で提案されている。これには音声信号を解析してスペクトル情報、急な立ち上がりと短時間持続する信号レベルなどの音声特徴量をとらえ、予め設定されている条件、例えば観客の歓声があがった時の音声信号の音声特徴量と比べて類似または近似する部分を抽出し、それらをつなぎ合わせることが開示されている。
【特許文献１】特開平10-39890号公報
【特許文献２】特開2000-284793号公報
【特許文献３】特開平3−80782号公報
【非特許文献１】板橋等、「韻律情報を考慮した音声要約の一方法」日本音響学会2000年春季研究発表会講演論文集I 239〜240
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特開平10−39890号公報に示すものは、ＦＦＴスペクトルやＬＰＣケプストラムなど音声特徴量が、話者に依存するため、不特定発声者の音声信号や、複数の不特定話者の会話に対応できない問題があった。また、スペクトル情報を用いているため、原稿などを使用しない、自然な話し言葉や会話への適応は難しく、複数話者の同時発話が出現する環境への実現は困難である。
特開2000−284793号公報に示すものでは、重要部分を音素片記号系列として認識しているため、特開平10−39890号公報の技術と同様に原稿などを使用しない、自然な話し言葉や会話への適応は難しく、複数話者の同時発話が出現する環境への実現は困難である。また要約音声の単語認識結果とシソーラスを用いて話題要約を試みているが、定量的な評価を行っておらず、重要な単語は出現頻度が高く継続時間が長いという仮定に基づいているが、言語的な情報を利用していないため、話題に関係のない単語が抽出されてしまう問題があった。
【０００６】
また、原稿などを使用しない、自然な話し言葉は、文法が適切でないことが多く、発話方法が話者に依存するため、意味を理解できる単位としての音声段落を、基本周波数から抽出するのは、板橋秀一等、「韻律情報を考慮した音声要約の一方法」  日本音響学会2000年春季研究発表会講演論文集I 239〜240の方法では問題がある。
特開平3−80782号公報に示すものは、予め抽出する条件を設定しなければならなく、また、抽出した音声区間が短く、再構成のために切り取り、合わせた場合、その切り取った部分の前後において音声の特徴が不連続となるため聞き取りにくい問題があった。
【０００７】
この発明は、前記のような従来の技術の有する欠点に鑑みてなされたもので、予め抽出したい条件を設定することなく、また、原稿などを使用しない、自然な話し言葉や会話においても、話者に依存せず、複数話者の同時発話にも依存せず、雑音環境でも安定して、音声が強調状態であるか平静状態であるかの判定ができる音声処理方法、またその方法を利用して音声の要約区間を自動的に抽出できる音声処理方法、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の方法によれば、
基本周波数、パワー、動的特徴量の時間変化特性、基本周波数のフレーム間差分、パワーのフレーム間差分、動的特徴量の時間変化特性のフレーム間差分の６つのうちの少なくともいずれか１つを含む音声特徴量の組から成る音声特徴量ベクトルと強調状態でのその音声特徴量ベクトルの出現確率がコードごとに格納された符号帳を用い、
上記符号帳の各コードごとの上記強調状態での出現確率を強調状態での初期状態確率とし、上記音声特徴量ベクトルに対応する状態遷移ごとの出力確率と状態遷移に対応する強調状態での遷移確率からなる強調状態音響モデルを用い、上記強調状態での各フレーム間の各遷移確率と音声特徴量ベクトルに対応する状態遷移ごとの上記強調状態での出力確率も上記符号帳に格納し、
(a-1) フレーム毎の音声信号について、無声区間か有声区間か判定し、
(a-2) 所定フレーム数以上の無声区間に挟まれ、少なくとも１フレーム以上の有声区間を含む部分を音声小段落とし、
(a-3) 上記音声小段落の最初のフレームの上記音声特徴量の組を量子化したコードと対応する音声特徴量ベクトルの強調状態での初期状態確率を上記符号帳から求め、
上記強調状態音響モデルより上記音声小段落の２番目以降の各フレームについて上記音声特徴量の組を量子化したコードと対応する音声特徴量ベクトルに対応する状態遷移ごとの強調状態での出力確率を求め、上記音声小段落内の各フレーム間の強調状態での遷移確率を求め、
(b) 上記音声小段落における全ての状態遷移経路ごとの上記強調状態での初期状態確率と上記出力確率と上記遷移確率の積の最大値又は上記積の総和に基づき、上記音声小段落が強調状態となる尤度を算出し、
(c) 上記強調状態となる尤度に基づいて上記音声小段落が強調状態であるか否かを判定する。
【発明の効果】
【０００９】
以上述べたようにこの発明によれば、自然な話し言葉の音声の、音声強調状態や音声段落を抽出でき、音声小段落の発話の強調状態を判定できる。この方法を使用して、強調状態である音声小段落を含む音声段落を切り取り、合わせて再構成した音声が、元の音声の重要部分を伝える、要約音声を作成することが可能となる。しかも発話状態の判定や音声要約は話者に依存しない。
【発明を実施するための最良の形態】
【００１０】
以下に図面を参照してこの発明の音声強調状態判定を行う音声処理方法とともにこの方法を用いた音声強調状態要約方法を説明する。まずこの発明の実施例においても一部を用いる参考例を説明する。
第１参考例
図１にこの参考例による音声要約方法の基本手順を示す。ステップＳ１で入力音声信号を分析して音声特徴量を抽出する。この音声特徴量の組は音声処理技術においては規格化して使用されるので後で述べるように話者に依存しない規格化したパラメータとして使用する。ステップＳ２で入力音声信号の音声小段落と、複数の音声小段落から構成される音声段落を抽出し、ステップＳ３で各音声小段落を構成するフレームが平静状態か、強調状態かの発話状態を判定し、この判定に基づきステップＳ４で要約音声を作成し、音声要約を得る。
【００１１】
以下に、原稿などを使用しない、自然な話し言葉や会話音声の、音声要約に適応する場合の第１参考例を述べる。音声特徴量としては、スペクトル情報などに比べて、雑音環境下でも安定して得られ、かつ発話状態の判定が話者に依存し難いものを用いる。入力音声信号から音声特徴量として基本周波数f0、パワーｐ、音声の動的特徴量の時間変化特性ｄ、無声区間Tsを抽出する。これらの音声特徴量の抽出法は、たとえば、「音響・音声工学」（古井貞煕、近代科学社、1992）、「音声符号化」（守谷健弘、電子情報通信学会、1998）、「ディジタル音声処理」（古井貞煕、東海大学出版会、1985）、「複合正弦波モデルに基づく音声分析アルゴリズムに関する研究」（嵯峨山茂樹、博士論文、1998）などに述べられている。音声の動的特徴量の時間変化は発話速度の尺度となるパラメータであり日本国特許第2976998号に記載のものを用いてもよい。即ち、スペクトル包絡を反映するLPCスペクトラム係数の時間変化特性を求め、その時間変化をもとに発話速度係数、即ち動的特徴量が求められる。より具体的にはフレーム毎にLPCケプストラム係数C1(t), …, CK(t)を抽出して次式のような時点tでの動的特徴量d（ダイナミックメジャー）を求める。
【００１２】
【数１】
2006146261.tif 000003
【００１３】
ここで、±F0は前後の音声区間フレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）、KはLPCケプストラムの次数、k = 1, 2, …,Kである。発話速度の係数として動的特徴量の変化の極大点の単位時間当たりの個数、もしくは単位時間当たりの変化率が用いられる。
参考例では例えば100msを１フレーム長とし、フレームの開始点を50msずつシフトし、１フレームごとに入力信号の平均の基本周波数f0'を求める。パワーについても同様に１フレームごとに入力信号の平均パワーp'を求める。更に現フレームのf0'とｉフレーム前のf0'と後のf0'との差分をとり、それぞれΔf0'(-i), Δf0'(i)とする。パワーについても同様に現フレームのp'とｉフレーム前後のp'との差分Δp'(-i), Δp'(i)を求める。次にこれらf0'、Δf0'(-i), Δf0'(i)、p'、Δp'(-i), Δp'(i)を規格化する。この規格化は例えばf0'、 Δf0'(-i),Δf0'(i)をそれぞれ、例えば音声波形全体の平均基本周波数で割り算することにより規格化する。あるいは後述する音声小段落、又は音声段落ごとの平均基本周波数で割り算してもよいし、あるいは数秒後と又は数分後との平均基本周波数で割り算してもよい。これら規格化された値をf0"、Δf0"(-i),Δf0"(i)と表わす。p'、Δp'(-i), Δp'(i)についても同様に、発話状態判定の対象とする音声波形全体の平均パワーで割算し、規格化する。あるいは、音声小段落、音声段落ごとの平均パワーで割算してもよい。あるいは数秒毎又は数分毎の平均パワーで割算していもよい。これら規格化された値をp"、Δp"(-i), Δp"(i)と表わす。ｉの値は例えばｉ＝４とする。
【００１４】
現フレームの例えば開始時刻の前後±T1msの区間（幅2T1ただし、T1は例えばフレーム長の１０倍程度と、フレーム長より十分長く選ぶので、幅2T1の中心点は現フレームのどの時点に選んでもよい）内の、ダイナミックメジャーのピーク本数、即ち動的特徴量の変化の極大点の個数dpを計数する。これと、現フレームの開始時刻のT2ms前の時刻を中心とする幅2T1内のdpとの差成分Δdp(-T2)を求める。同様に、前記±T1ms内のdp数と、現フレームの終了時刻からT3ms後の時刻を中心とする幅2T1の区間内のdpとの差成分Δdp(T3)を求める。これら、T1，T2，T3の値はフレーム長より十分長く、ここでは例えばT1＝T2＝T3＝450msとする。フレームの前後の無声区間の長さをtSR, TSFとする。ステップＳ１ではこれらパラメータの各値をフレームごとに抽出する。
【００１５】
ステップＳ２における入力音声の音声小段落と、音声段落を抽出する方法の例を図２に示す。音声小段落とは発話状態判定を行う単位であり、音声段落は例えば400msec以上の無声区間ではさまれた少なくとも１つ以上の音声小段落を含む区間である。
ステップS201で、入力音声信号の無声区間と有声区間を抽出する。有声／無声の判定は、周期性／非周期性の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値で判定を行なうことが多い。入力信号の短時間スペクトルからスペクトル包絡を除去した予測残差の自己相関関数、即ち変形相関関数であり、変形相関関数のピークが所定の閾値より大きいか否かによって有声／無声の判定を行う。またそのピークを与える遅延時間によってピッチ周期1/f0（基本周波数f0）の抽出を行なう。
【００１６】
ここでは音声信号から各音声特徴量をフレーム毎に分析することについて述べたが、音声信号が例えばＣＥＬＰ(Code-Excited Linear Prediction)などにより既にフレーム毎に符号化（即ち、分析）されて得られている係数もしくは符号が表す音声特徴量を用いてもよい。ＣＥＬＰによる符号には一般に線形予測係数、利得係数、ピッチ周期等が符号化されて含まれている。従ってＣＥＬＰによる符号を復号してこれらの音声特徴量を得ることができる。例えば、復号された利得係数の絶対値もしくは二乗値をパワーとして用い、ピッチ成分の利得係数の、非周期成分の利得係数に対する比に基づいて有声／無声判定を行うことができる。復号されたピッチ周期の逆数をピッチ周波数、即ち基本周波数として用いることができる。また、式(1) で説明した動的特徴量の計算に使用するLPCケプストラムは復号して得られたLPC係数を変換して求めることができる。もちろんＣＥＬＰによる符号にLSP係数が含まれていれば、これを一旦LPC係数に変換し、それから求めてもよい。このようにＣＥＬＰによる符号にはこの発明で使用できる音声特徴量が含まれているので、ＣＥＬＰによる符号を復号し、フレーム毎の必要な音声特徴量の組を取り出し、それらの音声特徴量の組に対し以下の処理を行えばよい。
【００１７】
ステップS202で、有声区間の両側の無声区間の時間tSR, tSFがそれぞれ予め決めたts秒以上になるとき、その無声区間で囲まれた有声区間を含む部分を音声小段落Sとする。この無声区間の時間tsは例えばts＝400msとする。
ステップS203で、この音声小段落内の、好ましくは後半部の、有声区間内の平均パワーｐと、その音声小段落の平均パワー値PS の定数β倍とを比較し、ｐ＜βPSであればその音声小段落を末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現に検出した末尾音声小段落までを音声段落と決定する。
【００１８】
図３に、有声区間、音声小段落、音声段落を模式的に示す。音声小段落を前記の、有声区間を囲む無声区間の時間がts秒以上の条件で、抽出する。図３では、音声小段落Sj-1，Sj，Sj+1について示している。これより、音声小段落Sjについて述べる。音声小段落Sjは、Qj個の有声区間から構成され、その平均パワーをPjとする。音声小段落Sjに含まれるｑ番目の有声区間Vq(q=1,2,…,Qj)の平均パワーをpqと表す。音声小段落Sjが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Sjを構成する後半部分の有声区間のパワーから判定する。q=Qj-αからQjまでの有声区間の平均パワーpqの平均が音声小段落Sjの平均パワーPjより小さい時、即ち、
【００１９】
【数２】
2006146261.tif 000004
【００２０】
を満たす時、音声小段落Sjが音声段落Ｂの末尾音声小段落であるとする。式(2) のα，βは定数であり、αはQj/2以下の値であり、βは例えば0.5〜1.5程度の値である。これらの値は、音声段落の抽出を最適化するように予め実験により決める。ただし、有声区間の平均パワーpqはその有声区間内の全フレームの平均パワーであり、またこの参考例では、α=3、β=0.8とした。このようにして末尾音声小段落を区切りとして隣接する末尾音声小段落間の音声小段落群を音声段落と判定できる。
図１中のステップＳ３における音声小段落発話状態判定方法の例を図４に示す。ここで、発話状態とは、話者が強調して発話している状態か、平静に発話している状態かをさす。予め作成した符号帳を使ってステップS301で入力音声小段落の音声特徴量の組をベクトル量子化する。発話状態はあとで詳述するように、前述の音声特徴量である基本周波数f0", その前後ｉフレームとの差分Δf0"(-i), Δf0"(i)、平均パワーp", その前後ｉフレームとの差分Δp"(-i), Δp"(i)、ダイナミックメジャーのピーク本数dp, 及びその差分Δdp(-T), Δdp(T) などのうち、予め決めた１つ以上の音声特徴量の組を使って判定する。音声特徴量の組の例は後で詳しく述べる。符号帳には予め、各コード（インデックス）と対応して量子化された音声特徴量の組の値が音声特徴量ベクトルとして格納されており、符号帳に蓄えられた音声特徴量ベクトルの中から入力音声もしくは既に分析して得られた音声のフレーム毎の音声特徴量の組と最も近いものを特定する。その特定には、一般に入力信号の音声特徴量の組と符号帳中の音声特徴量ベクトルとの歪（距離）を最小にするものを特定する。
符号帳の作成
図５に、この符号帳の作成法の例を示す。多数の学習用音声を被験者から採取し、発話状態が、平静状態であるものと、強調状態であるものをそれぞれ識別できるようにラベリングする（S501）。
【００２１】
例えば、日本語による発話の場合、被験者の発話が強調状態にあると判断する理由として、
(a) 声が大きく、名詞や接続詞を伸ばすように発話している場合、
(b) 話し始めを伸ばして話題変更を主張、意見を要約するように声を大きくしている場合、
(c) 声を大きく高くして重要な名詞などを強調している場合、
(d) 高音であるが声はそれほど大きくない場合、
(e) 苦笑いしながら、焦りから本音をごまかすようにしている場合、
(f) 周囲に同意を求める、あるいは問いかけるように、語尾が高音にしている場合、
(g) ゆっくりと力強く、念を押すように、語尾の声が大きくしている場合、
(h) 声が大きく高く、割り込んで発話する、相手より大きな声で主張している場合、
(i) 大きな声では憚れるような本音や秘密をひそひそ発言している場合、あるいは普段、声の大きい人が重要なことを小さくボソボソ発言している場合、
を挙げることができる。この例では、平静状態とは、前記の(a)〜(i)のいずれでもなく、発話が平静であると被験者が感じたものとした。
【００２２】
尚、上述では強調状態と判定する対象を発話であるものとして説明したが、音楽でも強調状態を特定することができる。ここでは歌曲において、歌声から強調状態を特定しようとした場合に、強調と感じる理由として、
(a') 声が大きく、かつ声が高い
(b') 声が力強い
(c') 声が高く、かつアクセントが強い
(d') 声が高く、声質が変化する
(e') 声を伸長させ、かつ声が大きい
(f') 声が大きく、かつ、声が高く、アクセントが強い
(g') 声が大きく、かつ、声が高く、叫んでいる
(h') 声が高く、アクセントが変化する
(i') 声を伸長させ、かつ、声が大きく、語尾が高い
(j') 声が高く、かつ、声を伸長させる
(k') 声を伸長させ、かつ、叫び、声が高い
(l') 語尾上がり力強い
(m') ゆっくり強め
(n') 曲調が不規則
(o') 曲調が不規則、かつ、声が高い
また、音声を含まない楽器演奏のみの楽曲でも強調状態を特定することができる。その強調と感じる利用として、
(a") 強調部分全体のパワー増大
(b") 音の高低差が大きい
(c") パワーが増大する
(d") 楽器の数が変化する
(e") 曲調、テンポが変化する
等がある。これらを基に符号帳を作成しておくことにより、発話に限らず歌、器楽曲の要約も行うことができることになる。従って、請求項において使用されている用語「音声」は歌や器楽曲も含むものである。
【００２３】
平静状態と強調状態の各ラベル区間について、図１中のステップＳ１と同様に、音声特徴量を抽出し（S502）、状態判定に使用する音声特徴量の組を選択する（S503）。平静状態と強調状態のラベル区間の、前記パラメータを用いて、ＬＢＧアルゴリズムで符号帳を作成する（S504）。ＬＢＧアルゴリズムについては、例えば、（Y.Linde,A.Buzo and R.M.Gray,“An algorithm for vector quantizer design,”IEEE Trans.Commun., vol.Com-28, pp.84-95,1980）がある。符号帳サイズは2m個（ｍは１以上の整数）に可変であり、ｍビットコードC=00...0〜C=11...1に対応した量子化ベクトルが予め決められる。この符号帳作成は音声小段落ごとの全音声特徴量、又はこれより長い適当な区間ごとの全音声特徴量、あるいは学習音声全体の音声特徴量を例えばその平均値と標準偏差で標準化処理をして2m個の音声特徴量ベクトルを生成して用いることが好ましい。
【００２４】
図４の発話状態判定処理に戻って、ステップS301で、入力音声小段落の各フレームごとに得られる音声特徴量を符号帳作成に用いたと同じ平均値と標準偏差により標準化処理し、その標準化処理された音声特徴量をこの符号帳を用いてベクトル量子化（符号化）し、フレームごとに量子化ベクトルに対応するコードを得る。この際の入力音声信号から抽出した音声特徴量パラメータのうち、発話状態判定に使用するパラメータの組は前記の符号帳作成に用いたパラメータの組と同じものである。
強調状態が含まれる音声小段落を特定するために、音声小段落中のコードＣ（量子化音声特徴量ベクトルのインデックス）を用いて、発話状態の尤度を、平静状態と強調状態のそれぞれについて求める。このために、予め、任意のコードの出現確率を、平静状態の場合と、強調状態の場合について求めておき、この出現確率とそのコードとを組として符号帳に格納しておく。以下にこの出現確率の求め方の例を述べる。前記の符号帳作成に用いた学習音声中のラベルが与えられた１つの区間（ラベル区間）内のフレーム数をｎとし、それぞれのフレームから得られる音声特徴量ベクトルのコードが時系列でC1，C2，C3，…，Cnであるとき、そのラベル区間Ａが強調状態となる確率PAemp、平静状態となる確率PAnrmは次式、
【００２５】
【数３】
2006146261.tif 000005
【００２６】
で表される。ただし、Pemp(Ci｜C1…Ci-1)はコード列C1…Ci-1の次にコードCiが強調状態となる条件付確率、Pnrm(Ci｜C1…Ci-1)は同様にC1…Ci-1に対しコードCiが平静状態となる確率である。またPemp(C1)は符号帳を使って全学習音声についてフレーム毎に音声特徴量ベクトルを量子化し、これらコード中の、音声が強調状態とラベリングされた部分に存在したコードC1の総個数を計数し、その計数値を強調状態とラベリングされた音声データの全コード数（＝フレーム数）で割算した値であり、Pnrm(C1)はコードC1が平静状態とラベリングされた部分に存在した個数を平静状態とラベリングされた音声データの全コード数で割算した値である。
【００２７】
この各条件付確率の計算を簡単にするために、この例ではN-gramモデル(Ｎ＜ｉ)を用いる。N-gramモデルは、ある時点でのある事象の出現はその直前のN-1個の事象の出現に依存すると近似するモデルであり、例えばｉ番目のフレームにコードCiが出現する確率をP(Ci)=(Ci｜Ci-N+1…Ci-1)として求める。式(3), (4) 中の各条件付確率Pemp(Ci｜C1…Ci-1), Pnrm(Ci｜C1…Ci-1)にN-gramモデルを適用すると次式
Pemp(Ci|C1…Ci-1)＝Pemp(Ci|Ci-N+1…Ci-1)             (5)
Pnrm(Ci|C1…Ci-1)＝Pnrm(Ci|Ci-N+1…Ci-1)             (6)
のように近似できる。このような式(3), (4) 中の条件付確率Pemp(Ci｜C1…Ci-1), Pnrm(Ci｜C1…Ci-1) をN-gramモデルで近似した条件付確率Pemp(Ci｜Ci-N+1…Ci-1), Pnrm(Ci｜Ci-N+1…Ci-1)をラベリングされた学習音声の量子化コード列から全て求めるが、入力音声信号の音声特徴量の量子化したコード列と対応するものが学習音声から得られていない場合もある。そのため、高次の（即ちコード列の長い）条件付確率と単独出現確率とから低次の条件付出現確率とを補間して求める。具体的には以下に定義するN=3の場合であるtrigram、N=2の場合であるbigram、N=1の場合であるunigramを用いて線形補間法を施す。即ち、
N=3(trigram)：Pemp(Ci｜Ci-2Ci-1)、Pnrm(Ci｜Ci-2Ci-1)
N=2(bigram)：Pemp(Ci｜Ci-1)、Pnrm(Ci｜Ci-1)
N=1(unigram)：Pemp(Ci)、Pnrm(Ci)
であり、これら３つの強調状態でのCiの出現確率、また３つの平静状態でのCiの出現確率をそれぞれ用いて次の線形補間式、
Pemp(Ci｜Ci-2Ci-1)＝λemp1Pemp(Ci｜Ci-2Ci-1)＋λemp2Pemp(Ci｜Ci-1)＋λemp3Pemp(Ci)
(7)
Pnrm(Ci｜Ci-2Ci-1)＝λnrm1Pnrm(Ci｜Ci-2Ci-1)＋λnrm2Pnrm(Ci｜Ci-1)＋λnrm3Pnrm(Ci)
(8)
によりPemp(Ci｜Ci-2Ci-1)、Pnrm(Ci｜Ci-2Ci-1)を得ることにする。
【００２８】
Trigramの強調状態とラベリングされた学習データのフレーム数をｎとし、時系列でコードC1, C2, ..., Cnが得られたとき、λemp1, λemp2, λemp3の再推定式は次のようになる。
【００２９】
【数４】
2006146261.tif 000006
【００３０】
以下同様にしてλnrm1, λnrm2, λnrm3も求められる。
この例では、ラベル区間Ａのフレーム数がFAであり、得られたコードがC1，C2，…，CFAのとき、このラベル区間Ａが強調状態となる確率PAemp及び平静状態となる確率PAnrmはそれぞれ、
PAemp=Pemp(C3｜C1C2)…Pemp(CFA｜CFA-2CFA-1)                 (9)
PAnrm=Pnrm(C3｜C1C2)…Pnrm(CFA｜CFA-2CFA-1)                 (10)
となる。この計算ができるように前記のtrigram, bigram, unigramを任意のコードについて求めて符号帳に格納しておく。つまり符号帳には各コードに対応して音声特徴量ベクトルと、その強調状態での出現確率と、平静状態での出現確率との組が格納される。その強調状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に強調状態で出現する確率（単独出現確率）及び／又は直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが強調状態で出現する条件付確率を使用する。平静状態での出現確率も同様に、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率及び／又は直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付確率を使用する。
【００３１】
例えば図１２に示すように符号帳には各コードC1，C2，…ごとにその音声特徴量ベクトルと、その単独出現確率が強調状態、平静状態について、また条件付確率が強調状態、平静状態についてそれぞれ組として格納されている。ここで、コードC1, C2, C3,…は符号帳の各音声特徴量ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値"00...00", "00...01", "00...10",…である。符号帳におけるｈ番目のコードをChで表し、例えばC1は第１番目のコードを表すものとする。
この発明に適用する好ましい音声特徴量の組の例としてパラメータf0"，p"，dpを使用し、符号帳サイズ（音声特徴量ベクトル数）が25の場合の強調状態及び平静状態での、unigram及びbigramの例について説明する。図６は、unigramである。縦軸はPemp(Ch)，Pnrm(Ch)で、横軸はコードChの値であり、各Chの値の左の棒グラフはPemp(Ch)、右の棒グラフはPnrm(Ch)である。この例では、コードC17のunigramは
Pemp(C17)＝0.065757
Pnrm(C17)＝0.024974
となった。図６から、任意のChについて、Pemp(Ch)とPnrm(Ch)とに有意な差があることから、強調状態の音声特徴量の組をベクトル量子化したコードと、平静状態の音声特徴量の組をベクトル量子化したコードのunigramが互いに分離していることがわかる。図７は、bigramである。Pemp(Ci｜Ci-1)とPnrm(Ci｜Ci-1)の値の一部を図１４〜１６に示す。ただしｉはフレーム番号に対応する時系列番号であり、各コードＣは任意のコードChを取り得る。この例では、コードCh=C27のbigramは図８に示すようになった。縦軸はPemp(C27｜Ci-1)、Pnrm(C27｜Ci-1)で、横軸はコードCh=0, 1, …，31であり、各Ci-1の左の棒グラフはPemp(C27｜Ci-1)、右の棒グラフはPnrm(C27｜Ci-1)である。この例ではコードC9からコードC27に遷移する確率は、
Pemp(C27｜C9)＝0.11009
Pnrm(C27｜C9)＝0.05293
であった。図８から、任意のコードCi-1について、Pemp(C27｜Ci-1)とPnrm(C27｜Ci-1)間に値の有意な差があり、図１４〜１６から任意のコードCiについても同様の結果が得られたことから、強調状態の音声特徴量の組をベクトル量子化したコードと、平静状態の音声特徴量の組をベクトル量子化したコードのbigramが互いに異なる値をとっており、分離していることがわかる。このことは、その符号帳に基づいて計算するbigramが強調状態と平静状態に対し互いに異なる確率を与えることを保証している。
【００３２】
図４中のステップS302では、入力音声小段落の全フレームのコードについてのその符号帳に格納されている前記確率から、発話状態の尤度を、平静状態と強調状態について求める。図９に参考例の模式図を示す。時刻ｔから始まる音声小段落のうち、第４フレームまでをi〜i+3で示している。前記のように、ここでは、フレーム長は100ms、フレームシフトを50msとした。フレーム番号ｉ、時刻ｔ〜t+100でコードC1が、フレーム番号i+1、時刻t+50〜t+150でコードC2が、フレーム番号i+2、時刻t+100〜t+200でコードC3が、フレーム番号i+3、時刻t+150〜t+250でコードC4が得られ、つまりフレーム順にコードがC1，C2，C3，C4であるとき、フレーム番号i+2以上のフレームでtrigramが計算できる。音声小段落Ｓが強調状態となる確率をPSemp、平静状態となる確率をPSnrmとすると第４フレームまでの確率はそれぞれ、
PSemp＝Pemp(C3｜C1C2)Pemp(C4｜C2C3)                  (11)
PSnrm＝Pnrm(C3｜C1C2)Pnrm(C4｜C2C3)                  (12)
となる。ただし、この例では、符号帳からC3，C4の強調状態及び平静状態の各単独出現確率を求め、またC2の次にC3が強調状態及び平静状態で各出現する条件付確率、更にC3が、連続するC1，C2の次に、C4が、連続するC2，C3の次にそれぞれ強調状態及び平静状態でそれぞれ出現する条件付確率を求めると以下のようになる。
【００３３】
Pemp(C3｜C1C2)＝λemp1Pemp(C3｜C1C2)＋λemp2Pemp(C3｜C2)＋λemp3Pemp(C3)  (13)
Pemp(C4｜C2C3)＝λemp1Pemp(C4｜C2C3)＋λemp2Pemp(C4｜C3)＋λemp3Pemp(C4)  (14)
Pnrm(C3｜C1C2)＝λnrm1Pnrm(C3｜C1C2)＋λnrm2Pnrm(C3｜C2)＋λnrm3Pnrm(C3)  (15)
Pnrm(C4｜C2C3)＝λnrm1Pnrm(C4｜C2C3)＋λnrm2Pnrm(C4｜C3)＋λnrm3Pnrm(C4)  (16)
上記式(13)〜(16)を用いて式(11)と(12)で示される第3フレームまでの強調状態となる確率PSempと、平静状態となる確率PSnrmが求まる。ここで、Pemp(C3|C1C2), Pnrm(C3|C1C2)はフレーム番号i+2において計算できる。
【００３４】
上述は第４フレームi+3までの計算について説明したが、この例では、フレーム数FSの音声小段落Ｓのそれぞれのフレームから得たコードがC1，C2，…，CFSのとき、この音声小段落Ｓが強調状態になる確率PSempと平静状態になる確率PSnrmを次式により計算する。
PSemp＝Pemp(C3｜C1C2)…Pemp(CFS｜CFS-2CFS-1)                 (17)
PSnrm＝Pnrm(C3｜C1C2)…Pnrm(CFS｜CFS-2CFS-1)                 (18)
これらの確率が、PSemp＞PSnrmであれば、その音声小段落Ｓは強調状態、PSemp≦PSnrmであれば、平静状態とする。
【００３５】
図１中のステップＳ４の要約音声作成は、図４中のステップS302で強調状態と判定された音声小段落を含む音声段落を繋ぎ合わせて構成される。
この参考例の方法で、企業で行われた、原稿などを使用しない、自然な話し言葉や会話による会議音声を用いて、音声要約実験を行った。この例では図６〜図８に示した場合と異なる条件で強調状態の判定、要約部分の抽出を行っている。
これより、符号帳サイズ（符号数）を256として、50msを１フレームとし、シフトを50msとし、符号帳に格納された各音声特徴量ベクトルを構成する音声特徴量の組を
[f0",Δf0"(1),Δf0"(-1),Δf0"(4),Δf0"(-4),p",Δp"(1),Δp"(-1),Δp"(4),Δp"(-4),dp,Δdp(T),Δdp(-T)]
としたときの実験例について述べる。発話状態判定実験は、被験者により強調状態及び平静状態とラベルがつけられた音声区間の音声特徴量を用いた。符号帳作成に用いた、強調状態707個と平静状態807個のラベルについて、各ラベル区間の、全フレームのコードを、前記の式(9), (10)によって、発話状態を判定し、この実験をclose実験とした。close実験は、符号帳の作成に使用した音声データを用いた実験であり、open実験は符号帳の作成に使用してない音声データを用いた実験である。
【００３６】
一方、符号帳作成に用いていない、強調状態173個、平静状態193個のラベルについて、各ラベル区間の、全フレームのコードを、前記の式(9), (10)によって、発話状態を判定し、この実験をopen実験とした。
評価は再現率と適合率を用いて行った。ここで再現率は被験者が設定した正解集合に対して、この参考例の方法が判定した発話状態の正解の割合であり、適合率はこの参考例の方法が判定した発話状態の数のうち、正解した割合である。結果は、
close実験    強調状態：再現率８９％、適合率８７％
平静状態：再現率８８％、適合率９０％
open実験      強調状態：再現率８４％、適合率９１％
平静状態：再現率９２％、適合率８７％
となった。ただし、
λemp1＝λnrm1＝0.41
λemp2＝λnrm2＝0.41
λemp3＝λnrm3＝0.08
とした。
【００３７】
音声特徴量は前記のように、参考例として前後参照フレーム範囲を±ｉ(i=4)とした場合は２９個存在し、組み合わせはΣ29Cn個ある。ただし、Σの範囲はｎ＝１〜２９であり、29Cnは29からｎ個を取る組合せである。これより、そのうちの１８種類の音声特徴量を一組とするベクトルから成る符号帳を用いた参考例について述べる。以下では再びフレームを100ms、シフト量を50msとする。図１７に示すその１８種類の音声特徴量の組み合わせ番号と、各々の音声特徴量を示す。発話状態判定実験は、被験者が設定した強調状態と平静状態のラベル区間の音声特徴量を用いた。close実験として、符号帳作成に用いた、強調状態613個と平静状態803個のラベルについて、open実験として、符号帳作成に用いていない、強調状態171個、平静状態193個のラベルについて発話状態を判定した。符号帳サイズは128で、
λemp1＝λnrm1＝0.41
λemp2＝λnrm2＝0.41
λemp3＝λnrm3＝0.08
とした。図１０は、１８組の音声特徴量の組み合わせで実験した、close実験と、open実験の再現率を示している。縦軸は再現率、横軸はパラメータの組み合わせ番号であり、○印はclose実験、×印はopen実験である。再現率の平均と分散は、
close実験    平均0.94546、分散0.00013507
open実験    平均0.78788、分散0.00046283
であった。図１０には、再現率0.95と0.8にそれぞれ実線を表示した。それぞれ、close実験、open実験に対応しており、例えばclose実験の再現率で0.95以上かつ、open実験の再現率で0.8以上を得るためには、音声特徴量の組み合わせで７番、１１番、１８番のいずれも使用することができる。これらはいずれも動的特徴量の時間変化特性dpを含んでおり、これが重要なパラメータであることがわかる。また、7番及び１１番のパラメータの組は、基本周波数、パワー、動的特徴量の時間変化特性、及びそれらのフレーム間差分を含んでいることを特徴としている。又、番号１９の組はopen実験での上記条件をわずかに満たしていないが、基本周波数f0"、パワーp"、動的特徴量の時間変化特性dpの３つのみであり、演算処理量が少なくてすむ利点がある。
【００３８】
図１０の結果より、符号帳作成に用いていない、被験者が前記(a)〜(i)の理由で、設定した強調状態のラベルと、(a)〜(i)のいずれでもなく、発話が平静であるとした平静状態であるラベルの、発話状態を判定し（open実験）、再現率を0.8以上にすることは、音声特徴量の組み合わせを選択することで可能となることがわかる。また、このことは、使用している符号長が適正に作成されていることを示している。
これより、図１７中の１８番目の音声特徴量の組み合わせの符号帳サイズ依存性についての実験例を述べる。符号帳サイズを2, 4, 8, 16, 32, 64, 128, 256と変化させたときのclose実験とopen実験の再現率を図１１に示す。縦軸に再現率、横軸は２n のｎを示し、実線曲線はclose実験を、破線曲線はopen実験を示す。ただし、
λemp1＝λnrm1＝0.41
λemp2＝λnrm2＝0.41
λemp3＝λnrm3＝0.08
とした。図１１から、符号帳サイズを増加すると、再現率が上昇することがわかり、例えば、再現率を0.8以上にすることは、符号帳サイズ（符号帳に格納されているコードの数）を選択することで可能となることがわかる。また符号帳サイズが２でも再現率が0.5以上となっている。これは条件付確率を用いているためと思われる。この参考例によれば、被験者が前記(a)〜(i)の理由で、設定した強調状態と、(a)〜(i)のいずれでもなく、発話が平静であるとした平静状態の音声特徴量の組をベクトル量子化して符号帳を作成した場合、任意のコードの強調状態と平静状態の出現確率は統計的に分離するので、発話状態を判定することが可能であることがわかる。
【００３９】
この参考例の方法で、原稿などを使用しない、自然な話し言葉や会話による、１時間の会議音声の要約音声を作成した。要約音声は２３の音声段落から構成され、要約音声時間は、元の音声時間の、１１％の時間であった。音声段落の評価として、被験者が２３の音声段落を聴取し、８３％が意味を理解できると判定した。作成した要約音声を評価するため、要約音声を被験者が聴取し、作成した議事録と、元の音声を聴取し、作成した議事録を比較した。再現率が８６％で、検出率が８３％であった。この発明の、音声要約方法により、原稿などを使用しない、自然な話し言葉や会話の音声要約が可能になることがわかる。
【００４０】
この参考例の音声強調状態判定方法の別形態を説明する。この場合も前述と同様に図１中のステップＳ１と同様に入力音声信号のフレームごとの音声特徴量を抽出し、例えば図１２に示した符号帳を用い、図４を参照して説明したように、入力音声信号のフレームごとの音声特徴量の組を符号帳によりベクトル量子化（ベクトル符号化）し、得られたコードが強調状態で出現する確率と平静状態で出現する確率を符号帳にコードと対応して格納されている出現確率を用いて求めるが、ここでは各フレームのコードの出現確率を、直前の２つの連続するフレームのコード列を条件とする条件付出現確率として求め、フレームごとに発話状態の判定、即ち強調状態であるか否かの判定を行う。つまり図４のステップS303における発話状態の尤度計算において、図９に示したように音声特徴量の組がベクトル符号化された場合、フレーム番号i+2では強調状態尤度Pe(i+2)と平静状態尤度Pn(i+2)を、
Pe(i+2)＝Pemp(C3｜C1C2)
Pn(i+2)＝Pnrm(C3｜C1C2)
により計算する。この場合も、Pemp(C3｜C1C2)を式(13) により計算し、またPnrm(C3｜C1C2)を式(15)により計算することが好ましい。このようにして求めたPe(i+2)とPn(i+2)とを比較し、Pe(i+2)＞Pn(i+2)であればこのフレーム番号i+2は強調状態と判定し、Pe(i+2)＞Pn(i+2)でなければ、このフレームは強調状態でないと判定する。
【００４１】
次のフレーム番号i+3においては、
Pe(i+3)＝Pemp(C4｜C2C3)，
Pn(i+3)＝Pnrm(C4｜C2C3)
をそれぞれ計算して、Pe(i+3)＞Pn(i+3)であればこのフレームを強調状態と判定する。以下同様に各フレームについて順次強調状態か否かを判定する。
このようにして音声小段落中の強調状態と判定されたフレームの条件付出現確率Peの音声小段落にわたる積ΠPeと平静状態と判定されたフレームの条件付確率Pnの音声小段落にわたる積ΠPnを求め、ΠPe＞ΠPnであればその音声小段落は強調状態であると判定し、ΠPe≦ΠPnであれば平静状態であると判定する。あるいは、強調状態と判定されたフレームのPeの音声小段落にわたる総和ΣPeと平静状態と判定されたフレームのPnの音声小段落にわたる総和ΣPnを求め、ΣPe＞ΣPnならその音声小段落は強調状態であると判定し、ΣPe≦ΣPnであれば平静状態と判定してもよい。あるいは、これら条件付確率の総積あるいは条件付確率の総和を重み付け比較して音声小段落の発話状態を判定してもよい。
【００４２】
この音声強調状態判定方法においても、用いる音声特徴量については上記の方法の場合と同様であり、出現確率も単独出現確率又はこれと条件付確率の組合せでもよく、更にこの組合せを用いる場合は、条件付確率の計算に対し線形補間法を用いることが好ましい。またこの音声強調状態判定方法においても、音声小段落又はこれよりも長い適当な区間ごとに、あるいは全体の音声信号の各音声特徴量の平均値で各音声特徴量を規格化してフレームごとの音声特徴量の組を形成し、図４のステップS301のベクトル量子化以後の処理を行うことが好ましい。音声強調状態判定方法及び音声要約方法の何れにおいても、音声特徴量の組としてはf0"、p0"、Δf0"(i)、Δf0"(-i)、Δp"(i)、Δp"(-i)、dp、Δdp(T)、Δdp(-T)の少なくともいずれかを含む組を用いる。
【００４３】
図１３を参照してこの参考例による音声強調状態判定装置及び音声要約装置を説明する。
入力部１１に音声強調状態が判定されるべき、又は音声の要約を検出する対象とする音声信号が入力され、入力部１１には必要に応じて入力音声信号をデジタル信号に変換する機能も含まれる。ディジタル化された音声信号は必要に応じて記憶部１２に一旦格納される。音声特徴量抽出部１３で前述した音声特徴量の組がフレームごとに算出される。算出した各音声特徴量は必要に応じて、音声特徴量の平均値で規格化され、量子化部１４で各フレームの音声特徴量の組が符号帳メモリ１５を参照して量子化されコードを出力する。このコードは強調状態確率計算部１６と平静状態確率計算部１７に与えられる。符号帳メモリ１５は例えば図１２に示したようなものである。
【００４４】
強調確率計算部１６によりその量子化された音声特徴量の組のコードの強調状態での出現確率が、符号帳メモリ１５に格納されている対応する出現確率を用いて、例えば式(13)又は(14) により計算される。同様に平静確率計算部１７により、前記量子化された音声特徴量の組の平静状態での出現確率が符号帳メモリ１５に格納されている対応する音声特徴量ベクトルの出現確率を用いて、例えば式(15)又は(16)により計算される。強調確率計算部１６及び平静確率計算部１７で各フレーム毎に算出された強調状態での出現確率と平静状態での出現確率及び各フレームのコードは各フレームの番号と共に記憶部１２に格納される。強調状態判定部１８はこれら計算された強調状態での出現確率と平静状態での出現確率とを比較し、前者の方が大きければそのフレームの音声は強調状態であると判定し、そうでない場合は強調状態でないと判定する。
【００４５】
これら各部の制御は制御部１９の制御のもとに順次行われる。
音声要約装置の実施形態は、図１３中の実線ブロックで示す音声強調状態判定装置に対し、更に破線ブロックが付加されて構成される。つまり、記憶部１２に格納されている各フレームの音声特徴量が無声区間判定部２１と有声区間判定部２２に与えられ、無声区間判定部２１により各フレームごとに無声区間か否かが判定され、また有声区間判定部２２により各フレームごとに有声区間か否かが判定される。これら無声区間判定結果と有声区間判定結果は音声小段落判定部２３に入力される。
【００４６】
音声小段落判定部２３はこれら無声区間判定、有声区間判定に基づき、先の方法の実施形態で説明したように所定フレーム数以上連続する無声区間に囲まれた有声区間を含む部分を音声小段落と判定する。音声小段落判定部２３の判定結果は記憶部１２に書き込まれ、記憶部１２に格納されている音声データ列に付記され、無声区間で囲まれたフレーム群に音声小段落番号を付与する。これと共に音声小段落判定部２３の判定結果は末尾音声小段落判定部２４に入力される。
末尾音声小段落判定部２４では、例えば図３を参照して説明した手法により末尾音声小段落が検出され、末尾音声小段落判定結果が音声段落判定部２５に入力され、音声段落判定部２５により各検出末尾音声小段落の次の音声小段落の開始から、次の検出末尾音声小段落の終わりまでを音声段落と判定する。この音声段落判定結果も記憶部１２に書き込まれ、記憶部１２に記憶している音声小段落番号列に音声段落列番号を付与する。
【００４７】
音声要約装置として動作する場合、強調状態確率計算部１６及び平静確率計算部１７では記憶部１２から各音声小段落を構成する各フレームの強調確率と平静確率を読み出し、各音声小段落毎の確率が例えば式(17)及び(18)により計算される。強調状態判定部１８ではこの音声小段落ごとの確率計算値を比較して、その音声小段落が強調状態か否かを判定し、要約区間取出し部２６では音声段落中の１つの音声小段落でも強調状態と判定されたものがあればその音声小段落を含む音声段落を要約区間として取出す。各部の制御は制御部１９により行われる。
【００４８】
音声強調状態判定装置及び音声要約装置の何れもコンピュータによりプログラムを実行させて機能させることになる。この場合は音声強調状態判定プログラム又は音声要約プログラムを通信回線を介してインターネットから、又はＣＤ−ＲＯＭ、磁気ディスクなどからプログラムメモリ２７にダウンロードし、ＣＰＵ又はマイクロプロセッサよりなる制御部１９がそのプログラムを実行することになる。なお符号帳の内容もインターネットからプログラムと同様に通信回線を介してダウンロードさせて用いてもよい。
第２参考例
前述の第１参考例による音声強調状態判定方法、音声要約方法では、任意の音声小段落において、強調状態となる確率が平静状態となる確率より大きい音声小段落を一つでも含む音声段落は全て要約として抽出されるため、任意の要約率（圧縮率）で要約することができない不都合がある。この第２参考例では、この点を改善し、任意の要約率で元の音声の要約を自動生成することができる音声処理方法、音声処理装置及び音声処理プログラムを実現する。
【００４９】
図１８に第２参考例による音声処理方法の基本手順を示す。
ステップＳ１１で音声強調確率算出処理を実行し、音声小段落の強調確率及び平静確率を求める。
ステップＳ１２では要約条件入力ステップＳ１２を実行する。この要約条件入力ステップＳ１２では例えば利用者に要約時間又は要約率又は圧縮率のうち予め決められた少なくとも１つの入力を促す情報を提供し、要約時間又は要約率又は圧縮率を入力させる。尚、予め設定された複数の要約時間又は要約率、圧縮率の中から少なくとも一つを選択する入力方法を採ることもできる。
【００５０】
ステップＳ１３では抽出条件の変更を繰り返す動作を実行し、ステップＳ１２の要約条件入力ステップＳ１２で入力された要約時間又は要約率又は圧縮率を満たす抽出条件を決定する。
ステップＳ１４で要約抽出ステップを実行する。この要約抽出ステップＳ１４では抽出条件変更ステップＳ１３で決定した抽出条件を用いて要約として採用すべき音声段落を決定し、この採用すべき音声段落の総時間長を計算する。
ステップ１５では要約再生処理を実行し、要約抽出ステップＳ１４で抽出した音声段落列を再生する。
【００５１】
図１９は図１８に示した音声強調確率算出ステップＳ１１の詳細を示す。
ステップS101で要約対象とする音声波形列を音声小段落に分離する。
ステップS102ではステップS101で分離した音声小段落列から音声段落を抽出する。音声段落とは図３で説明したように、１つ以上の音声小段落で構成され、その部分の音声を再生した場合、大多数の受聴者が意味を理解できる単位である。ステップS101, S102による音声小段落及び音声段落の抽出は図２で説明したと同様の方法で行うことができる。
ステップS103及びステップS104でステップS101で抽出した音声小段落毎に図１２で説明した符号帳と前述した式(17), (18)等を利用して各音声小段落が強調状態となる確率（強調確率）PSempと、平静状態となる確率（平静確率）PSnrmとを求める。
【００５２】
ステップS105ではステップS103及びS104において各音声小段落毎に求めた強調確率PSempと平静確率PSnrmなどを各音声小段落毎に仕分けして記憶手段に音声強調確率テーブルとして格納する。
図２０に記憶手段に格納した音声強調確率テーブルの一例を示す。図２０に示すM1, M2, M3, …は音声小段落毎に求めた音声小段落強調確率PSempと、音声小段落平静確率PSnrmを記録した音声小段落確率記憶部を示す。これらの小段落確率記憶部M1, M2, M3, …には各音声小段落Sjの属する音声段落番号Bと、音声小段落Sjに付された音声小段落番号ｊと、開始時刻（要約対象音声の先頭から計時した時刻）終了時刻、音声小段落強調確率、音声小段落平静確率、各音声小段落を構成するフレーム数FS等が格納される。
【００５３】
図１８における要約条件入力ステップＳ１２で入力する条件としては要約すべきコンテンツの全長TCを1/X（Ｘは正の整数）の時間TS=TC/Xに要約することを示す要約率r=1/X、あるいは要約時間TSを入力する。
この要約条件の設定に対し、抽出条件変更ステップＳ１３では初期値として重み係数ＷをＷ＝１に設定し、この重み係数を要約抽出ステップＳ１４に入力する。
要約抽出ステップＳ１４は重み係数Ｗ＝１として音声強調確率テーブルから各音声小段落毎に格納されている強調確率PSempと平静確率PSnrmとを比較し、
WPSemp＞PSnrm                     (19)
の関係にある音声小段落を抽出すると共に、更にこの抽出した音声小段落を一つでも含む音声段落を抽出し、抽出した音声段落列の総延長時間TG（秒）を求める。
【００５４】
抽出した音声段落列の総延長時間TGと要約条件で決めた所定の要約時間TSとを比較する。ここでTG≒TS（TSに対するTGの誤差が例えば±数％程度の範囲）であれば抽出した音声段落列をそのまま要約音声として再生する。
要約条件で設定した要約時間TSに対するコンテンツの要約した総延長時間TGの誤差値が規定より大きく、その関係がTG＞TSであれば抽出した音声段落列の総延長時間TGが、要約条件で定めた要約時間TSより長いと判定し、図１８に示した抽出条件変更ステップＳ１３を再実行させる。抽出条件変更ステップＳ１３では重み係数がＷ＝１で抽出した音声段落列の総延長時間TGが要約条件で定めた要約時間TSより「長い」とする判定結果を受けて強調確率PSempに現在値より小さい重み付け係数Ｗを乗算して重み付けを施す。重み係数Ｗとしては例えばW=1-0.001×L（Lはループ回数）で求める。
【００５５】
つまり、音声強調確率テーブルから読み出した音声段落列の全ての音声小段落で求められている強調確率PSempの配列に１回目のループではW=1-0.001×1で決まる重み係数W=0.999を乗算し、重み付けを施す。この重み付けされた全ての各音声小段落の強調確率WPSempと各音声小段落の平静確率PSnrmとを比較し、WPSemp＞PSnrmの関係にある音声小段落を抽出する。
この抽出結果に従って要約抽出ステップＳ１４では抽出された音声小段落を含む音声段落を抽出し、要約音声段落列を再び求める。これと共に、この要約音声段落列の総延長時間TGを算出し、この総延長時間TGと要約条件で定められる要約時間TSとを比較する。比較の結果がTG≒TSであれば、その音声段落列を要約音声と決定し、再生する。
【００５６】
１回目の重み付け処理の結果が依然としてTG＞TSであれば抽出条件変更ステップを、２回目のループとして実行させる。このとき重み係数ＷはW=1-0.001×2で求める。全ての強調確率PSempにW=0.998の重み付けを施す。
このように、ループの実行を繰り返す毎にこの例では重み係数Ｗの値を徐々に小さくするように抽出条件を変更していくことによりWPSemp＞PSnrmの条件を満たす音声小段落の数を漸次減らすことができる。これにより要約条件を満たすTG≒TSの状態を検出することができる。
【００５７】
尚、上述では要約時間TGの収束条件としてTG≒TSとしたが、厳密にTG=TSに収束させることもできる。この場合には要約条件に例えば５秒不足している場合、あと１つの音声段落を加えると１０秒超過してしまうが、音声段落から５秒のみ再生することで利用者の要約条件に一致させることができる。また、この５秒は強調と判定された音声小段落の付近の５秒でもよいし、音声段落の先頭から５秒でもよい。
また、上述した初期状態でTG＜TSと判定された場合は重み係数Ｗを現在値よりも小さく例えばW=1-0.001×Lとして求め、この重み係数Ｗを平静確率PSnrmの配列に乗算し、平静確率PSnrmに重み付けを施せばよい。また、他の方法としては初期状態でTG＞TSと判定された場合に重み係数を現在値より大きくW=1+0.001×Lとし、この重み係数Ｗを平静確率PSnrmの配列に乗算してもよい。
【００５８】
また、要約再生ステップＳ１５では要約抽出ステップＳ１４で抽出した音声段落列を再生するものとして説明したが、音声付の画像情報の場合、要約音声として抽出した音声段落に対応した画像情報を切り出してつなぎ合わせ、音声と共に再生することによりテレビ放送の要約、あるいは映画の要約等を行うことができる。
また、上述では音声強調確率テーブルに格納した各音声小段落毎に求めた強調確率又は平静確率のいずれか一方に直接重み係数Ｗを乗算して重み付けを施すことを説明したが、強調状態を精度良く検出するためには重み係数Ｗに各音声小段落を構成するフレームの数Ｆ乗してWFとして重み付けを行うことが望ましい。式(17)及び(18)で算出する条件付の強調確率PSempは各フレーム毎に求めた強調状態となる確率を音声小段落にわたって乗算して求めており、また平静状態となる確率PSnrmも各フレーム毎に算出した平静状態となる確率を音声小段落にわたって乗算して求めている。そこで、例えば強調確率PSempに重み付けを施すには各フレーム毎に求めた強調状態となる確率に係数Ｗで重み付けして音声小段落にわたって乗算すればWFの重み付けを施したことになる。
【００５９】
この結果、フレームの数Ｆに応じて重み付けの影響が増減され、フレーム数の多い音声小段落ほど、つまり延長時間が長い音声小段落程大きい重みが付されることになる。
但し、単に強調状態を判定するための抽出条件を変更すればよいのであれば各フレーム毎に求めた強調状態となる確率の積又は平静状態となる確率の積に重み係数Ｗを乗算するだけでも抽出条件の変更を行うことができる。従って、必ずしも重み付け係数ＷをＷFとする必要はない。
また、上述では抽出条件の変更手段として音声小段落毎に求めた強調確率PSemp又は平静確率PSnrmに重み付けを施してPSemp＞PSnrmを満たす音声小段落の数を変化させる方法を採ったが、他の方法として全ての音声小段落の強調確率PSempと平静確率PSnrmに関してそれぞれその確率比PSemp/PSnrmを演算し、この確率比の降順に対応する音声小段落を含む音声段落を同一段落は一回に限定して累積して、それらの音声段落の累積時間を算出し、その時間和、即ち要約区間の時間の総和が、略所定の要約時間に合致する場合、そのときの累積音声段落の時刻順配列を要約と決定して要約音声を編成してもよい。
【００６０】
この場合、編成した要約音声の総延長時間が要約条件で設定した要約時間に対して過不足が生じた場合には、強調状態にあると判定するための確率比PSemp/PSnrmの判定閾値を変更すれば抽出条件を変更することができる。即ち、判定閾値を大きくすれば、強調状態と判定される音声小段落の数は減少するので要約区間として検出される音声段落数も減少し、総要約時間も短くなる。判定閾値を小さくすればその逆となる。この抽出条件変更方法を採る場合には要約条件を満たす要約音声を編成するまでの処理を簡素化することができる利点が得られる。
【００６１】
上述では各音声小段落毎に求める強調確率PSempと平静確率PSnrmを各フレーム毎に算出した強調状態となる確率の積及び平静状態となる確率の積で算出するものとして説明したが、他の方法として各フレーム毎に強調状態となる確率を求め、それらの音声小段落内の平均値を求め、この平均値をその音声小段落の強調確率PSemp及び平静確率PSnrmとして用いることもできる。従って、この強調確率PSemp及び平静確率PSnrmの算出方法を採る場合には重み付けに用いる重み付け係数Ｗはそのまま強調確率PSemp又は平静確率PSnrmに乗算すればよい。
【００６２】
図２１を参照してこの第２参考例による要約率を自由に設定できる音声処理装置を説明する。この参考例では図１３に示した音声強調状態要約装置の構成に要約条件入力部３１と、音声強調確率テーブル３２と、強調小段落抽出部３３と、抽出条件変更部３４と、仮要約区間判定部３５と、この仮要約区間判定部３５の内部に要約音声の総延長時間を求める総延長時間算出部３５Ａと、この総延長時間算出部３５Ａが算出した要約音声の総延長時間が要約条件入力部３１でユーザが入力した要約時間に対し、その誤差が予め決められた値の範囲に入っているか否かを判定する要約区間決定部３５Ｂと、要約条件に合致した要約音声を保存し、再生する要約音声保存・再生部３５Ｃを設けた構成とした点を特徴とするものである。
【００６３】
入力音声から図１３で説明したように、フレーム毎に音声特徴量が求められ、この音声特徴量に従って強調確率計算部１６と平静確率計算部１７でフレーム毎に強調確率と、平静確率とを算出し、これら強調確率と平静確率を各フレームに付与したフレーム番号と共に記憶部１２に格納する。更に、このフレーム番号に音声小段落判定部で判定した音声小段落に付与した音声小段落番号ｊとその音声小段落が属する音声段落番号Ｂが付記され、各フレーム及び音声小段落にアドレスが付与される。
この参考例による音声処理装置では強調確率算出部１６と平静確率算出部１７は記憶部１２に格納している各フレームの強調確率と平静確率を読み出し、この強調確率及び平静確率から各音声小段落毎に強調確率PSempと平静確率PSnrmとを求め、これら強調確率PSempと平静確率PSnrmを音声強調確率テーブル３２に格納する。
【００６４】
音声強調確率テーブル３２には各種のコンテンツの音声波形の音声小段落毎に求めた強調確率と平静確率とが格納されており、いつでも利用者の要求に応じて要約を実行できる。利用者は要約条件入力部３１に要約条件を入力する。ここで言う要約条件とは要約したいコンテンツの名称と、そのコンテンツの全長時間に対する要約率ｒを指す。要約条件としてはコンテンツの全長を1/10に要約するか、或は時間で１０分に要約するなどの入力方法が考えられる。ここで例えば要約率r=1/10と入力した場合は要約時間算出部３１Ａはコンテンツの全長時間を1/10にする時間を算出し、その算出した要約時間を要約区間仮判定部３５の要約区間決定部３５Ｂに送り込む。
【００６５】
要約条件入力部３１に要約条件が入力されたことを受けて制御部１９は要約音声の生成動作を開始する。その開始の処理としては音声強調確率テーブル３２から利用者が希望したコンテンツに対して強調確率と平静確率を読み出す。読み出された強調確率と平静確率を強調小段落抽出部３３に送り込み、強調状態にあると判定される音声小段落番号を抽出する。
強調状態にある音声小段落を抽出するための条件を変更する方法としては上述した強調確率PSempと平静確率PSnrmに対する相対重み付け係数Ｗを変更してWPSemp＞PSnrmの関係にある音声小段落を抽出し、それら音声小段落を含む音声段落により要約音声を得る方法と、重み付き確率比WPSemp/PSnrmを算出し、この重み係数を変更して重み付き確率比の降順に強調音声段落を含む音声段落の時間を１回に制限して累算して要約時間を得る方法とを用いることができる。
【００６６】
抽出条件の初期値としては重み付けにより抽出条件を変更する場合には重み付け係数Ｗの初期値をW=1としてもよい。また、各音声小段落毎に求めた強調確率PSempと平静確率PSnrmの確率比PSemp/PSnrmの値に応じて強調状態と判定する場合は初期値としてその比の値が例えばPSemp/PSnrm≧１である場合を強調状態と判定してもよい。
この初期設定状態で強調状態と判定された音声小段落番号と開始時刻、終了時刻を表わすデータを強調小段落抽出部３３から要約区間仮判定部３５に送り込む。要約区間仮判定部３５では強調状態と判定された小段落番号を含む音声段落を記憶部１２に格納している音声段落列から検索し、抽出する。抽出した音声段落列の総延長時間を総延長時間算出部３５Ａで算出し、その総延長時間と要約条件として入力された要約時間とを要約区間決定部３５Ｂで比較する。比較結果が要約条件を満たすか否かの判定は、例えば要約総時間TGと入力要約時間TSが予め決めた許容誤差ΔTに対し、｜TG-TS｜≦ΔTを満足しているか否かを判定してもよいし、予め決めた１より小さい正の値δに対し0＜｜TG-TS｜＜δを満足しているか否かを判定してもよい。比較の結果が要約条件を満たしていれば、その音声段落列を要約音声保存・再生部３５Ｃで保存し、再生する。この再生動作は強調小段落抽出部３３で強調状態と判定された音声小段落の番号から音声段落を抽出し、その音声段落の開始時刻と終了時刻の指定により各コンテンツの音声データ或は映像データを読み出して要約音声及び要約映像データとして送出する。
【００６７】
要約区間決定部３５Ｂで要約条件を満たしていないと判定した場合は、要約区間決定部３５Ｂから抽出条件変更部３４に抽出条件の変更指令信号を出力し、抽出条件変更部３４に抽出条件の変更を行わせる。抽出条件変更部３４は抽出条件の変更を行い、その抽出条件を強調小段落抽出部３３に入力する。強調小段落抽出部３３は抽出条件変更部３４から入力された抽出条件に従って再び音声強調確率テーブル３２に格納されている各音声小段落の強調確率と平静確率との比較判定を行う。
強調小段落抽出部３３が抽出した強調音声小段落は再び要約区間仮判定部３５に送り込まれ、強調状態と判定された音声小段落を含む音声段落の抽出を行わせる。この抽出された音声段落の総延長時間を算出し、その算出結果が要約条件を満たすか否かを要約区間決定部３５Ｂで行う。この動作が要約条件を満たすまで繰り返され、要約条件が満たされた音声段落列が要約音声及び要約映像データとして記憶部１２から読み出され再生され、ユーザ端末に配信される。
【００６８】
この第２参考例による音声処理方法はコンピュータによりプログラムを実行させて実現することになる。この場合は符号帳及び処理プログラムを通信回線を介してダウンロードしたり、又はCD-ROM、磁気ディスク等の記憶媒体に格納されたプログラムをインストールして計算機内のＣＰＵ等の処理装置でこの参考例の方法を実行させることも可能である。
実施例
以下に発明の実施例を説明する。
第１参考例で説明した図１のステップＳ３における発話状態判定処理は、図４及び１２を参照して説明したように、被験者の音声を分析して強調状態及び平静状態とラベルされた区間の各音声特徴量ベクトルについて予め求めた単独出現確率及び条件付出現確率を計算して符号帳にコードと対応して格納しておき、入力音声小段落の一連のフレームのコードから音声小段落が強調状態となる確率と平静状態となる確率を例えば式(17)及び(18)で求め、それらの大小関係により音声小段落が強調状態か平静状態かを判定したが、この発明の実施例では音響モデルとして隠れマルコフモデル(HMM：Hidden Markov Model)を使用して判定を行う例を以下に説明する。
【００６９】
この実施例では、例えば予め被験者の学習用音声信号データ中の強調状態とラベル付けされた多数の区間と平静状態とラベル付けされた多数の区間から強調状態のHMMと平静状態のHMMをそれぞれ作成し、入力音声小段落の強調状態HMMに対する尤度と平静状態HMMに対する尤度を求め、その大小関係から発話状態を判定する。
HMMは一般に以下のパラメータにより構成される。
Ｓ：状態の有限集合；Ｓ＝｛Si｝
Ｙ：観測データ集合；Ｙ＝｛y1,..., yt｝
Ａ：状態遷移確率の集合；Ａ＝｛aij｝
Ｂ：出力確率の集合；Ｂ＝｛bj(yt)｝
π：初期状態確率の集合；π＝｛πi｝
図２２Ａ，２２Ｂは状態数４(i=1,2,3,4)の場合の典型的な強調状態HMMと平静状態HMMの例を示す。この発明の実施例において、例えば学習音声データ中の強調状態と平静状態のラベル区間を、予め決めた状態数４にモデル化する場合、強調状態のHMMの状態における有限集合Semp=｛Semmpi｝はSemp1, Semp2, Semp3, Semp4であり、平静状態のHMMの状態における有限集合Snrm=｛Snrmi｝はSnrm1, Snrm2, Snrm3, Snrm4である。観測データ集合Ｙの要素｛y1…,yt｝は強調状態と平静状態のラベル区間の量子化された音声特徴量の組である。この実施例においても音声特徴量として、基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか１つ及び／又はそれらのフレーム間差分の少なくともいずれか１つを含む音声特徴量の組を使用する。aempijは状態SempiからSempjに遷移する確率を示し、bempj(yt)は状態Sempjに遷移してytを出力する出力確率を示す。初期状態確率はπemp(y1)、πnrm(y1)となる。aempij, anrmij, bempj(yt), bnrmj(yt)は学習音声からＥＭ(Expectation-Maximization)アルゴリズム、または前向き・後ろ向きアルゴリズムによって推定する。
【００７０】
以下に強調状態のHMMの設計の概要を説明する。
ステップＳ１：まず、学習音声データ中の強調状態又は平静状態とラベル付けされた全ての区間のフレームを分析して各フレームの予め決めた音声特徴量の組を求め、量子化符号帳を作る。例えば、ここでは、音声特徴量として第１参考例の実験で使用した後述する図１７に組み番号７で示す１３個のパラメータを含む音声特徴量の組を使用するものとし、量子化符号帳として、１３次元ベクトルの符号帳を１つ作成する。量子化符号帳のサイズをＭとし、各ベクトルに対応するコードをCm, (1, …, M)と表し、各コードに対応して学習により求めた音声特徴量ベクトルが格納された量子化符号帳を作成する。
ステップＳ２：学習音声データ中の強調状態と平静状態の全てのラベル区間のフレームの音声特徴量の組を量子化符号帳により量子化して、各強調ラベル区間の音声特徴量ベクトルのコード列Cmt, t=1,…,LN、（LNは区間のフレーム数）を得る。第１参考例で述べたように、量子化符号帳の各コードCmの強調状態での出現確率Pemp(Cm)が求まり、これが初期状態確率πemp(Cm)となる。同様に、平静状態での出現確率Pnrm(Cm)が求まり、これが初期状態確率πnrm(Cm)となる。図２３ＡはコードCmの番号とそれに対応する初期状態確率πemp(Cm)とπnrm(Cm)の関係を表として示す。
ステップＳ３：強調状態HMMの状態数は任意に決めてよい。ここでは例えば図２２Ａ、２２Ｂの場合、強調状態HMMと平静状態HMMの状態数はいずれも４とした場合を示し、強調状態のHMMは状態Sempi、状態Semp2、状態Semp3、状態Semp4が、平静状態のHMMは状態Snrm1、状態Snrm2、状態Snrm3、状態Snrm4が設けられている。
【００７１】
学習音声データの強調ラベル区間の一連のフレームから得たコード列から状態の遷移回数を計算し、それに基づいてＥＭアルゴリズム及び前向き・後ろ向きアルゴリズムを使って遷移確率aempij, anrmijと、出力確率bempj(Cm), bnrmj(Cm)を最尤推定する。これらの計算方法については例えばBaum, L.E.,"An Inequality and Associated Maximization Technique in Statistical Estimation of Probabilistic Function of a Markov Process", In-equalities, vol.3, pp.1-8(1972)に示されている。図２３Ｂ、２３Ｃにそれぞれの状態に対して設けられる遷移確率aempij, anrmijを示し、図２４に強調状態HMMのそれぞれの状態Sempj, 及び平静状態HMM のそれぞれの状態Snrmj, (j=1,…,4)での各コードの出力確率bempj(Cm), bnrmj(Cm)を表で示す。
【００７２】
これら状態遷移確率aempij, anrmijとコードの出力確率bempj(Cm), bnrmj(Cm)はそれぞれ表として例えば図１3の装置の符号帳メモリ１５内に格納され、以下に説明する入力音声信号の発話状態の判定に使用される。なお、出力確率の表は第１及び第２参考例における符号帳に対応する。
このようにして設計した強調状態HMMと平静状態HMMを使って入力音声小段落の発話状態を以下のようにして判定することができる。
入力音声小段落の一連のフレーム(フレーム数FN)から得た音声特徴量の組の列が得られ、それぞれの音声特徴量の組を量子化符号帳により量子化してコード列｛Cm1, Cm2, …,CmFN｝を得る。このコード列を、上記強調状態HMMで状態Semp1から開始して状態Semp4に達する全ての取り得る遷移経路について、音声小段落が強調状態となる確率（尤度）を算出する。ある経路ｋの遷移経路について以下に説明する。図２５に、音声小段落の各フレームについて、コード列、状態、状態遷移確率、出力確率をまとめて示す。強調状態HMMでの経路ｋの状態系列ＳkempがＳkemp=｛Skemp1, Skemp2, …, SkempFN｝であるときの強調状態となる確率P(Ｓkemp)は、次式により求められる。
【００７３】
【数５】
2006146261.tif 000007
【００７４】
全ての経路ｋについて式(20)を算出する。音声小段落が強調状態となる確率PempHMMを例えば、最尤経路上の強調状態となる確率とすると、次式で表される。
【００７５】
【数６】
2006146261.tif 000008
【００７６】
あるいは、全ての経路についての上記式(20)の和で次式
【００７７】
【数７】
2006146261.tif 000009
【００７８】
として求めてもよい。
同様に、平静状態のHMMについて、経路ｋの状態系列ＳknrmがＳknrm=｛Sknrm1, Sknrm2, …, SknrmFN｝であるときの強調状態となる確率P(Ｓknrm)は次式、
【００７９】
【数８】
2006146261.tif 000010
【００８０】
により求める。音声小段落が平静状態となる確率PnrmHMMを最尤経路上の平静状態となる確率とする場合、次式
【００８１】
【数９】
2006146261.tif 000011
【００８２】
で表される。あるいは、全ての経路についての上記式(22)の和で次式
【００８３】
【数１０】
2006146261.tif 000012
【００８４】
として求めてもよい。
音声小段落について、強調状態確率PempHMMと平静状態確率PnrmHMMを比較し、前者が大きければ音声小段落は強調状態であると判定し、後者が大きければ音声小段落は平静状態であると判定する。あるいは、確率比PempHMM/PnrmHMMが予め決めた基準値より大きければ強調状態、基準値以下であれば平静状態と判定してもよい。
この実施例で説明したHMMを使用した強調状態確率及び平静状態確率の計算は、音声要約を行う第２参考例で説明した図１８のステップＳ１１、詳しくは、図１９のステップS103, S104における音声強調確率算出処理に利用してもよい。即ち、式(17), (18)により確率PSemp, PSnrmを求める代わりに式(21), (23)又は式(21'), (23')により求めた強調状態確率PempHMM及び平静状態確率PnrmHMMを使用し、図２０に示した音声強調確率テーブルに格納してもよい。確率比PempHMM/PnrmHMMと比較する基準値の値を変化させることにより、要約率を変えることができることは第２参考例の場合と同様である。
【図面の簡単な説明】
【００８５】
【図１】第１参考例の音声要約方法の基本手順例を示す流れ図。
【図２】図１中のステップＳ２において、入力音声から、有声区間、音声小段落、音声段落を抽出する手順の例を示す流れ図。
【図３】有声区間、音声小段落、音声段落の関係を説明するための図。
【図４】図１中のステップＳ３における入力音声小段落の発話状態を判定する手順の例を示す流れ図。
【図５】この発明において用いられる、符号帳の一部を作成する手順の例を示す流れ図。
【図６】音声特徴量をベクトル量子化したコードのunigramの例を示す図。
【図７】音声特徴量をベクトル量子化したコードのbigramの例を示す図。
【図８】図７に示したbigramのうち、コードCh=27のbigramを示す図。
【図９】発話状態尤度計算を説明するための図。
【図１０】１８組のパラメータの組み合わせで実験した、close実験とopen実験の再現率を示す図。
【図１１】符号帳サイズを変化させたときの、close実験とopen実験の再現率を示す図。
【図１２】符号帳の記憶例を示す図。
【図１３】第１参考例による音声強調状態判定装置及び音声要約装置の各機能構成例を示す図。
【図１４】音声特徴量をベクトル量子化したbigramの例を示す図。
【図１５】図１４の続きを示す図。
【図１６】図１５の続きを示す図。
【図１７】実際に用いた音声特徴量のパラメータの組合せの例を示す図。
【図１８】第２参考例の音声要約方法を説明するフローチャート。
【図１９】音声強調確率テーブルの作成方法を示すフローチャート。
【図２０】音声強調確率テーブルを説明するための図。
【図２１】第２参考例の音声強調状態判定装置及び音声強調状態要約装置の構成例を示すブロック図。
【図２２】Ａはこの発明の実施例における強調状態HMMを説明するための図、Ｂはこの実施例における平静状態HMMを説明するための図。
【図２３】Ａは各コードに対する強調状態の初期状態確率と平静状態の初期状態確率を示し、Ｂは強調状態での各遷移状態に対し設けられる状態遷移確率の表を示し、Ｃは平静状態での各遷移状態に対し設けられる状態遷移確率の表を示す図。
【図２４】強調状態の各遷移状態と平静状態の各遷移状態でのそれぞれのコードの出力確率の表を示す。
【図２５】１つの音声小段落における一連のフレームから得たコード列とそれらのコードがとる１つの状態遷移系列及びそれに従った状態遷移確率と出力確率をまとめた表を示す。
【図１】
2006146261.tif 000013
【図２】
2006146261.tif 000014
【図３】
2006146261.tif 000015
【図４】
2006146261.tif 000016
【図５】
2006146261.tif 000017
【図６】
2006146261.tif 000018
【図７】
2006146261.tif 000019
【図８】
2006146261.tif 000020
【図９】
2006146261.tif 000021
【図１０】
2006146261.tif 000022
【図１１】
2006146261.tif 000023
【図１２】
2006146261.tif 000024
【図１３】
2006146261.tif 000025
【図１４】
2006146261.tif 000026
【図１５】
2006146261.tif 000027
【図１６】
2006146261.tif 000028
【図１７】
2006146261.tif 000029
【図１８】
2006146261.tif 000030
【図１９】
2006146261.tif 000031
【図２０】
2006146261.tif 000032
【図２１】
2006146261.tif 000033
【図２２】
2006146261.tif 000034
【図２３】
2006146261.tif 000035
【図２４】
2006146261.tif 000036
【図２５】
2006146261.tif 000037