(57)【特許請求の範囲】
【請求項１】
通信回線を通じて着信した音声信号（用件）を記録する音声着信方法において、
前記音声信号について、複数のフレームから構成される音声信号区間ごとに、強調された区間であるか否かを判定し、
用件ごとに、単位時間当たりの強調された区間であると判定された回数又は強調された区間であると判定された音声信号区間の時間の和を頻度の情報として求め、
求められた当該頻度の情報を用件と対応付けて記録する
ことを特徴とする音声着信方法。
【請求項２】
複数の用件それぞれに対して請求項１記載の各処理を行うことによって頻度の情報と対応付けて記録された複数の用件を、各用件に対応する頻度の情報の降順に再生する
ことを特徴とする請求項１記載の音声着信方法。
【請求項３】
前記音声信号は、発信端末識別情報と対応付けて記録され、
あらかじめ発信端末識別情報と利用者端末識別情報とを対応付けて記録した参照記録手段を用い、
前記頻度の情報を用件と対応付けて記録した後、前記頻度の情報が所定の閾値よりも大きい場合、
前記着信した発信端末識別情報に対応する利用者端末識別情報で識別される端末に発呼し、前記端末に前記音声信号を送信する
ことを特徴とする請求項１記載の音声着信方法。
【請求項４】
通信回線を通じて着信した音声信号（用件）を記録する記録部と、
前記音声信号について、複数のフレームから構成される音声信号区間ごとに、前記強調された区間であるか否かを判断する強調区間判定部と、
用件ごとに、単位時間当たりの強調された区間と判定された回数又は強調された区間と判定された音声信号区間の時間の和を頻度の情報として求め、
求められた当該頻度の情報を用件と対応付けて記録部に記録する緊急度決定部と
を備える音声着信装置。
【請求項５】
複数の用件それぞれに対して請求項４記載の強調区間判定部と緊急度決定部の処理を行うことによって記録部に頻度の情報と対応付けて記録された複数の用件を、各用件に対応する頻度の情報の降順に再生する再生部
を備える請求項４記載の音声着信装置。
【請求項６】
発信者端末識別情報及び対応する利用者識別情報をあらかじめ記録しておく参照部と、
前記音声信号を発信端末識別情報と対応付けて記録する前記記録部と、
前記緊急度決定部が前記頻度の情報を用件と対応付けて記録した後、頻度の情報とあらかじめ定めた基準と比較し、頻度の情報が基準を超える場合に緊急事態と判定する発信番号検出部と、
前記発信番号検出部が緊急事態と判定した場合に、前記着信した発信端末識別情報に対応する利用者端末識別情報で識別される端末に発呼し、前記端末に前記音声信号を送信する発信部と
を備える請求項４記載の音声着信装置。
【請求項７】
コンピュータ読み取り可能な符号によって記述され、請求項１から３のいずれかに記載の音声着信方法をコンピュータに実行させる音声着信プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は各種の企業等に設置される電話相談窓口業務に利用して好適な音声着信方法、音声着信装置、音声着信プログラムに関する。
【０００２】
【従来の技術】
従来より、各種の企業体、公共団体等に電話による相談窓口（以下コールセンタと称する）が設置される例が多く存在する。従来のコールセンタでは業務中は担当者が直接電話口に配置され、顧客からの相談に応答している。
【０００３】
【発明が解決しようとする課題】
従来は上述したようにコールセンタが業務を行なっている時間帯では、担当者が着信用の電話口に配置されているから、大方の顧客は担当者に直接相談することができる。
ところがコールセンタが終了した状態では電話口には自動アナウンス装置が接続され、相談業務が終了していることをアナウンスする状態となる。この状態でも顧客は電話を掛けて来る例が多く、その場合は緊急性の高い相談が多い。
【０００４】
このような背景から留守番電話機の仕組を利用して顧客に用件を録音させる方法が考えられている。つまり、業務終了のアナウンスの後に、「火急の場合は合図の後に用件をお話し下さい。明日こちらから電話いたします。」等とアナウンスし、顧客に用件を録音させる。担当者は翌日、録音を聴き取り緊急性の高い用件から処理を行なう。
【０００５】
【発明が解決しようとする課題】
留守番電話機の仕組を利用して顧客の用件を録音すると、再生は録音の順番となる。従って録音の内容を１件ずつ聴き取り、その内容を把握して全ての用件を聴いた後で、どの用件が緊急性が高いかを判定し、処理の順番を考える必要がある。
従って、録音されている用件を処理するまでに時間が掛ることと、人手が掛る不都合がある。
この発明の目的はコールセンタで録音した用件を再生する場合に、緊急性の高い用件の順に並び変えして再生することができる音声着信方法、音声着信装置、音声着信プログラムを提案しようとするものである。
【０００６】
【課題を解決するための手段】
この発明では電話から録音した用件の音声信号をフレーム毎に分析した特徴量に基づいて強調状態を検出し、強調状態の発生頻度に応じて緊急度の高い低いを判定しようとするものである。この音声の強調状態を判定する方法は本出願人が「特願２００１−２４１２７８」で提案した音声強調状態判定方法を利用して実現することができる。
この発明では、発信端末識別情報と着信時刻のうち何れか１つと通信回線を通じて着信した音声信号を対応付けて蓄積し、音声信号を再生する音声着信方法において、少なくとも基本周波数又はピッチ周期、パワー、動的特長量の時間変化特性、又はこれらのフレーム間差分を含む特徴量と強調状態での出現確率とを対応して格納した符号帳を用い、音声信号をフレーム毎に分析した特徴量に対応する強調状態での出現確率を求め、強調状態での出現確率に基づいて強調状態となる確率を算出し、強調状態となる確率が所定の確率よりも大きい音声信号区間を強調区間と判断し、強調区間の頻度に基づいた緊急度を算出し、緊急度と発信端末識別情報と着信時刻と発信端末の使用者名のうち少なくとも何れか１つと対応付けて音声信号を記録する音声着信方法を提案する。
【０００７】
この発明では更に、少なくとも基本周波数又はピッチ周期、パワー、動的特徴量の時間変化特性、又はこれらのフレーム間差分を含む特徴量と強調状態での出現確率に対応して平静状態での出現確率が格納された符号帳を用いて、音声信号をフレーム毎に分析した特徴量に対応する強調状態での出現確率を求め、音声信号をフレーム毎に分析した特徴量に対応する平静状態での出現確率を求め、強調状態での出現確率に基づいて強調状態となる確率を算出し、平静状態での出現確率に基づいて平静状態となる確率を算出し、強調状態となる確率の平静状態となる確率に対する確率比を音声信号区間ごとに算出し、確率比が所定の確率比よりも大きい音声信号区間を強調区間と判断し、強調区間の頻度に基づいて緊急度を算出し、緊急度と発信端末識別情報と着信時刻と発信端末の使用者名のうち少なくとも何れか１つと対応付けて音声信号を記録する音声着信方法を提案する。
【０００８】
この発明では更に、確率比が所定の確率比以上の音声信号区間の強調区間と判断し、強調区間の時間を降順に蓄積して強調区間の時間の総和を算出し、強調区間の時間の総和が予め決められた所定の時間以下となる音声信号区間を蓄積する音声着信方法を提案する。
この発明では更に、音声信号をフレームごとに無音区間か否か、有声区間か否か判定し、所定フレーム数以上の無音区間で囲まれ、有声区間を含む部分を音声小段落と判定し、音声小段落に含まれる有声区間の平均パワーが該音声小段落内の平均パワーの所定の定数倍より小さい音声小段落を末尾とする音声小段落群を音声段落と判定し、音声信号区間は音声段落毎に定められたものであり、強調区間の時間の総和を強調区間を含む音声段落毎に蓄積して求める音声着信方法を提案する。
【０００９】
この発明では更に、前記記録された音声信号を緊急度として強調区間の頻度の降順に再生する音声着信方法を提案する。
この発明では更に、発信端末識別情報と利用者端末識別情報とを対応して記録する参照記録手段を用い、緊急度が所定の緊急度よりも高い場合、着信した発信端末の発信端末識別情報に対応する利用者端末識別情報で識別される利用者端末に発呼し、利用者端末に音声信号を送信する音声着信方法を提案する。
この発明では更に、発信端末識別情報と着信時刻のうち何れか１つと通信回線を通じて着信した音声信号を対応付けて蓄積し、音声信号を再生する音声着信装置において、少なくとも基本周波数又はピッチ周期、パワー、動的特長量の時間変化特性、又はこれらのフレーム間差分を含む特徴量と強調状態での出現確率とを対応して格納した符号帳と、その符号帳を用いて、音声信号をフレーム毎に分析した特徴量に対応する強調状態での出現確率を求め、強調状態での出現確率の基づいて強調状態となる確率を算出する強調状態確率計算部と、強調状態となる確率が所定の確率よりも大きい音声信号区間を強調区間と判断する強調区間判定部と、強調区間の頻度に基づいた緊急度を算出する緊急度決定部と、緊急度と発信端末識別情報と着信時刻と発信端末の使用者名のうち少なくとも何れか１つと対応付けて音声信号を記録する記録部とによって構成した音声着信装置を提案する。
【００１０】
この発明では更に、少なくとも基本周波数又はピッチ周期、パワー、動的特徴量の時間変化特性、又はこれらのフレーム間差分を含む特徴量と強調状態での出現確率に対応して平静状態での出現確率を格納した符号帳と、この符号帳を用いて、音声信号をフレーム毎に分析した特徴量に対応する強調状態での出現確率を求め、符号帳を用いて、音声信号をフレーム毎に分析した特徴量に対応する平静状態での出現確率を求め、強調状態での出現確率に基づいて強調状態となる確率を算出する強調状態確率計算部と、平静状態での出現確率に基づいて平静状態となる確率を算出する平静状態確率計算部と、強調状態となる確率の平静状態となる確率に対する確率比を音声信号区間ごとに算出し、確率比が所定の確率比よりも大きい音声信号区間を強調区間と判断する強調区間判定部と、強調区間の頻度に基づいて緊急度を算出する緊急度決定部と、緊急度と発信端末識別情報と着信時刻と発信端末の使用者名のうち少なくとも何れか１つと対応付けて音声信号を記録する記録部とによって構成した音声着信装置を提案する。
この発明では更に、計算機が読み取り可能な符号によって記述され、前記音声着信方法の何れかを実行する音声着信プログラムを提案する。
【００１１】
作用
この発明によればコールセンタで記録した各用件の音声を分析し、強調状態の発生頻度を計測し、強調状態の発生頻度が高い用件を緊急度が高いと判定し、緊急度の高い順に再生を行なう音声着信方法及び音声着信装置を提案したから、再生時には人手を掛けることなく、緊急性の高い用件の順に再生され、用件の内容を聴くことができる。
従って、録音されている全ての顧客の用件を短時間に聴くことができ、各用件に応じた処理を行なうことができる。
【００１２】
【発明の実施の形態】
ここで、この発明で用いられる音声小段落抽出方法、音声段落抽出方法、各音声小段落毎に強調状態となる確率及び平静状態となる確率を求める方法について、説明する。
図３に先に提案した音声要約方法の実施形態の基本手順を示す。ステップＳ１で入力音声信号を分析して音声特徴量を求める。ステップＳ２で、入力音声信号の音声小段落と、複数の音声小段落から構成される音声段落を抽出する。ステップＳ３で各音声小段落を構成するフレームが平静状態か、強調状態か発話状態を判定する。この判定に基づきステップＳ４で要約音声を作成し、要約音声を得る。
【００１３】
以下に、自然な話し言葉や会話音声を、要約に適用する場合の実施例を述べる。音声特徴量は、スペクトル情報等に比べて、雑音環境下でも安定して得られ、かつ話者に依存し難いものを用いる。入力音声信号から音声特徴量として基本周波数（ｆ０）、パワー（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポーズ時間長（無音区間）（ｐｓ）を抽出する。これらの音声特徴量の抽出法は、例えば、「音響・音響工学」（古井貞煕、近代科学社、１９９８）、「音声符号化」（守谷健弘、電子情報通信学会、１９９８）、「ディジタル音声処理」（古井貞煕、東海大学出版会、１９８５）、「複合正弦波モデルに基づく音声分析アルゴリズムに関する研究」（嵯峨山茂樹、博士論文、１９９８）などに述べられている。音声の動的特徴量の時間変化は発話速度の尺度となるパラメータであり特許第２９７６９９８号に記載のものを用いてもよい。即ち、動的変化量としてスペクトル包絡を反映するＬＰＣスペクトラム係数の時間変化特性を求め、その時間変化をもとに発話速度係数が求められるものである。より具体的にはフレーム毎にＬＰＣスペクトラム係数Ｃ１（ｔ）、…Ｃｋ（ｔ）を抽出して次式のような動的特徴量ｄ（ダイナミックメジャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0t+f0［ｆ×Ｃi（ｔ）］／（Σf=t-f0t+f0ｆ2）2  ここで、ｆ０は前後の音声区間フレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）、ｋはＬＰＣスペクトラムの次数、ｉ＝１、２、…ｋである。発話速度の係数として動的特徴量の変化の極大点の単位時間当たりの個数、もしくは単位時間当たりの変化率が用いられる。
【００１４】
実施例では例えば１００ｍｓを１フレームとし、シフトを５０ｍｓとする。１フレーム毎の平均の基本周波数を求める（ｆ０´）。パワーについても同様に１フレーム毎の平均パワー（ｐ´）を求める。更に現フレームのｆ０´と±ｉフレーム前後のｆ０´との差分をとり、±Δｆ０´ｉ（Δ成分）とする。パワーについても同様に現フレームのｐ´と±ｉフレーム前後のｐ´との差分±Δｐ´ｉ（Δ成分）を求める。ｆ０´、±Δｆ０´ｉ、ｐ´、±Δｐ´ｉを規格化する。この規格は例えばｆ０´、±Δｆ０´ｉをそれぞれ、音声波形全体の平均基本周波数で割り規格化する。これら規格化された値をｆ０″、±ｆ０″ｉと表す。ｐ´、±Δｐ´ｉについても同様に、発話状態判定の対象とする音声波形全体の平均パワーで割り、規格化する。規格化するにあたり、後述する音声小段落、音声段落ごとの平均パワーで割ってもよい。これら規格化された値をｐ″、±Δｐ″ｉと表す。ｉの値は例えばｉ＝４とする。現フレームの前後±Ｔ１ｍｓの、ダイナミックメジャーのピーク本数、即ち動的特徴量の変化の極大点の個数ｄｐを算出する。これと、現フレームの開始時刻の、Ｔ２ｍｓ前の時刻を区間に含むフレームのｄｐとのΔ成分（−Δｄｐ）を求める。前記±Ｔ１ｍｓのｄｐと、現フレームの終了時刻の、Ｔ３ｍｓ後の時刻を区間に含むフレームのｄｐとのΔ成分（＋Δｄｐ）を求める。これら、Ｔ１、Ｔ２、Ｔ３の値は例えばＴ１＝Ｔ２＝Ｔ３＝４５０ｍｓとする。フレームの前後の無音区間の時間長を±ｐｓとする。ステップＳ１ではこれら音声特徴パラメータの各値をフレーム毎に抽出する。
【００１５】
ステップＳ２における入力音声の音声小段落と、音声段落を抽出する方法の例を図４に示す。ここで音声小段落を発話状態判定を行う単位とする。ステップＳ２０１で、入力音声信号の無音区間と有声区間を抽出する。無音区間は例えばフレーム毎のパワーが所定のパワー値以下であれば無音区間と判定し、有声区間は、例えばフレーム毎の相関関数が所定の相関関数値以上であれば有声区間と判定する。有声／無声の決定は、周期性／非周期性の特徴と同一視することにより、自己相関関数や変形相関関数のピーク値で行うことが多い。入力信号の短時間スペクトルからスペクトル包絡を除去した予測残差の自己相関関数が変形相関関数であり、変形相関関数のピークが所定の閾値より大きいか否かによって有声／無声の判定を行い、又そのピークを与える遅延時間によってピッチ周期１／ｆ０（基本周波数ｆ０）の抽出を行う。これらの区間の抽出法の詳細は、例えば、「ディジタル音声処理」（古井貞煕、東海大学出版会、１９８５）などに述べられている。ここでは音声信号から各音声特徴量をフレーム毎に分析することについて述べたが、既に符号化等により分析された係数もしくは符号に対応する特徴量を符号化に用いる符号帳から読み出して用いてもよい。
【００１６】
ステップＳ２０２で、有声区間を囲む無音区間の時間がそれぞれｔ秒以上になるとき、その無音区間で囲まれた有声区間を含む部分を音声小段落とする。このｔは例えばｔ＝４００ｍｓとする。ステップＳ２０３で、この音声小段落内の好ましくは後半部の、有声区間の平均パワーと、その音声小段落の平均のパワーの値ＢAの定数β倍とを比較し、前者の方が小さい場合はその音声小段落を末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現に検出した末尾音声小段落までを音声段落として決定する。
【００１７】
図５に、有声区間、音声小段落、音声段落を模式的に示す。音声小段落を前記の、有声区間を囲む無音区間の時間がｔ秒の条件で、抽出する。図５では、音声小段落ｊ−１、ｊ、ｊ＋１について示している。ここで音声小段落ｊは、ｎ個の有声区間から構成され、平均パワーをＰｊとする。有声区間の典型的な例として、音声小段落ｊに含まれる、有声区間ｖの平均パワーはｐｖである。音声段落ｋは、音声小段落ｊと音声小段落を構成する後半部分の有声区間のパワーから抽出する。ｉ＝ｎ−αからｎまでの有声区間の平均パワーｐｉの平均が音声小段落ｊの平均パワーＰｊより小さいとき、即ち、
Σｐｉ／（α＋１）＜βＰｊ                            式（１）
を満たす時、音声小段落ｊが音声段落ｋの末尾音声小段落であるとする。ただし、Σはｉ＝ｎ−αからｎまでである。式（１）のα、βは定数であり、これらを操作して、音声段落を抽出する。実施例では、αは３、βは０．８とした。このようにして末尾音声小段落を区切りとして隣接する末尾音声小段落間の音声小段落群を音声段落と判定できる。
【００１８】
図３中のステップＳ３における音声小段落発話状態判定方法の例を図６に示す。ステップＳ３０１で、入力音声小段落の音声特徴量をベクトル量子化する。このために、あらかじめ少なくとも２つの量子化音声特徴量（コード）が格納された符号帳（コードブック）を作成しておく。ここでコードブックに蓄えられた音声特徴量と入力音声もしくは既に分析して得られた音声の音声特徴量との照合をとり、コードブックの中から音声特徴量間の歪（距離）を最小にする量子化音声特徴量を特定することが常套である。
【００１９】
図７に、このコードブックの作成法の例を示す。多数の学習用音声を被験者が聴取し、発話状態が平静状態であるものと、強調状態であるものをラベリングする（Ｓ５０１）。
例えば、被験者が発話の中で強調状態とする理由として、
（ａ）声が大きく、名詞や接続詞を伸ばすように発話する
（ｂ）話し始めを伸ばして話題変更を主張、意見を集約するように声を大きくする
（ｃ）声を大きく高くして重要な名詞等を強調する時
（ｄ）高音であるが声はそれほど大きくない
（ｅ）苦笑いしながら、焦りから本音をごまかすような時
（ｆ）周囲に同意を求める、あるいは問いかけるように、語尾が高音になるとき
（ｇ）ゆっくりと力強く、念を押すように、語尾の声が大きくなる時
（ｈ）声が大きく高く、割り込んで発話するという主張、相手より大きな声で（ｉ）大きな声では憚られるような本音や秘密を発言する場合や、普段、声の大きい人にとっての重要なことを発話するような時（例えば声が小さくボソボソ、ヒソヒソという口調）を挙げた。この例では、平静状態とは、前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静であると被験者が感じたものとした。
【００２０】
尚、上述では強調状態と判定する対象を発話であるものとして説明したが、音楽でも強調状態を特定することができる。ここでは音声付の楽曲において、音声から強調状態を特定しようとした場合に、強調と感じる理由として、
（ａ）声が大きく、かつ声が高い
（ｂ）声が力強い
（ｃ）声が高く、かつアクセントが強い
（ｄ）声が高く、声質が変化する
（ｅ）声を伸長させ、かつ声が大きい
（ｆ）声が大きく、かつ、声が高く、アクセントが強い
（ｇ）声が大きく、かつ、声が高く、叫んでいる
（ｈ）声が高く、アクセントが変化する
（ｉ）声を伸長させ、かつ、声が大きく、語尾が高い
（ｊ）声が高く、かつ、声を伸長させる
（ｋ）声を伸長させ、かつ、叫び、声が高い
（ｌ）語尾上がり力強い
（ｍ）ゆっくり強め
（ｎ）曲調が不規則
（ｏ）曲調が不規則、かつ、声が高い
また、音声を含まない楽器演奏のみの楽曲でも強調状態を特定することができる。その強調と感じる理由として、
（ａ）強調部分全体のパワー増大
（ｂ）音の高低差が大きい
（ｃ）パワーが増大する
（ｄ）楽器の数が変化する
（ｅ）曲調、テンポが変化する
等である。
【００２１】
これらを基にコードブックを作成しておくことにより、発話に限らず音楽の要約も行うことができることになる。
平静状態と強調状態の各ラベル区間について、図３中のステップＳ１と同様
に、音声特徴量を抽出し（Ｓ５０２）、パラメータを選択する（Ｓ５０３）。平静状態と強調状態のラベル区間の、前記パラメータを用いて、ＬＢＧアルゴリズムでコードブックを作成する（Ｓ５０４）。ＬＢＧアルゴリズムについては、例えば、（Ｙ．Ｌｉｎｄｅ，Ａ．Ｂｕｚｏ  ａｎｄ  Ｒ．Ｍ．Ｇｒａｙ，“Ａｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｖｅｃｔｏｒ  ｑｕａｎｔｉｚｅｒ  ｄｅｓｉｇｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．Ｃｏｍ−２８，ｐｐ．８４−９５，１９８０）がある。コードブックサイズは２のｎ乗個に可変である。このコードブック作成は音声小段落で又はこれより長い適当な区間毎あるいは学習音声全体の音声特徴量で規格化した音声特徴量を用いることが好ましい。
【００２２】
図６中のステップＳ３０１で、このコードブックを用いて、入力音声小段落の音声特徴量を、各音声特徴量について規格化し、その規格化された音声特徴量をフレーム毎に照合もしくはベクトル量子化し、フレーム毎にコード（量子化された音声特徴量）を得る。この際の入力音声信号より抽出する音声特徴量は前記のコードブック作成に用いたパラメータと同じである。
強調状態が含まれる音声小段落を特定するために、音声小段落でのコードを用いて、発話状態の尤度（らしさ）を、平静状態と強調状態について求める。このために、あらかじめ、任意のコード（量子化音声特徴量）の出現確率を、平静状態の場合と、強調状態の場合について求めておき、この出現確率とそのコードとを組としてコードブックに格納しておく、以下にこの出現確率の求め方の例を述べる。前記のコードブック作成に用いた学習音声中のラベルが与えられた１つの区間（ラベル区間）の音声特徴量のコード（フレーム毎に得られる）が、時系列でＣｉ、Ｃｊ、Ｃｋ、…Ｃｎであるとき、ラベル区間αが強調状態となる確率をＰα（ｅ）、平静状態となる確率をＰα（ｎ）とし、
Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ）Ｐｅｍｐ（Ｃｊ｜Ｃｉ）…Ｐｅｍｐ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃｉ）ΠＰｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）
Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ）Ｐｎｒｍ（Ｃｊ｜Ｃｉ）…Ｐｎｒｍ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃｉ）ΠＰｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）
となる。ただし、Ｐｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）はコード列Ｃｉ…Ｃｘ−１の次にＣｘが強調状態となる条件付確率、Ｐｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は同様にＣｉ…Ｃｘ−１に対しＣｘが平静状態となる確率である。ただし、Πはｘ＝ｉ＋１からｎまでの積である。またＰｅｍｐ（Ｃｉ）は学習音声についてフレームで量子化し、これらコード中のＣｉが強調状態とラベリングされた部分に存在した個数を計数し、その計数値を全学習音声の全コード数（フレーム数）で割り算した値であり、Ｐｎｒｍ（Ｃｉ）はＣｉが平静状態とラベリングされた部分に存在した個数を全コード数で割り算した値である。
【００２３】
このラベル区間αの各状態確率を簡単にするために、この例ではＮ−ｇｒａｍモデル（Ｎ＜ｎ）を用いて、
Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−１）
Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−１）
とする。つまりＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ−１の次にＣｎが強調状態として得られる確率をＰα（ｅ）とし、同様にＮ−ｇｒａｍの確率値をより低次のＭ−ｇｒａｍ（Ｎ≧Ｍ）の確率値と線形に補間する線形補間法を適応することが好ましい。例えばＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ−１の次にＣｎが平静状態として得られる確率をＰα（ｎ）とする。このようなＰα（ｅ）、Ｐα（ｎ）の条件付確率をラベリングされた学習音声の量子化コード列から全てを求めるが、入力音声信号の音声特徴量の量子化したコード列と対応するものが学習音声から得られていない場合もある。そのため、高次（即ちコード列の長い）の条件付確率を単独出現確率とより低次の条件付出現確率とを補間して求める。例えばＮ＝３のｔｒｉｇｒａｍ、Ｎ＝２のｂｉｇｒａｍ、Ｎ＝１のｕｎｉｇｒａｍを用いて線形補間法を施す。Ｎ−ｇｒａｍ、線形補間法、ｔｒｉｇｒａｍについては、例えば、「音声言語処理」（北  研二、中村  哲、永田昌明、森北出版、１９９６、２９頁）などに述べられている。即ち、
Ｎ＝３（ｔｒｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−２Ｃｎ−１）
Ｎ＝２（ｂｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−１）
Ｎ＝１（ｕｎｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ）、Ｐｎｒｍ（Ｃｎ）
であり、これら３つの強調状態でのＣｎの出現確率、また３つの平静状態でのＣｎの出現確率をそれぞれ用いて次式により、Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）を計算することにする。
Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｅｍｐ１Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ|Ｃｎ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ）
式（２）
Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｎｒｍｌＰｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＋λｎｒｍ２Ｐｎｒｍ（Ｃｎ|Ｃｎ−１）＋λｎｒｍ３Ｐｎｒｍ（Ｃｎ）式（３）
Ｔｒｉｇｒａｍの学習データをＮとしたとき、すなわち、コードが時系列でＣ１、Ｃ２、．．．ＣＮが得られたとき、λｅｍｐ１、λｅｍｐ２、λｅｍｐ３の再推定式は前出の参考文献「音声言語処理」より次のようになる。
λｅｍｐ１＝１／ＮΣ（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ）））
λｅｍｐ２＝１／ＮΣ（λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ）））
λｅｍｐ３＝１／ＮΣ（λｅｍｐ３Ｐｅｍｐ（Ｃｎ）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ）））
ただし、Σはｎ＝１からＮまでの和である。以下同様にしてλｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められる。
【００２４】
この例では、ラベル区間αがフレーム数Ｎαで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮαのとき、このラベル区間αが強調状態となる確率Ｐα（ｅ）、平静状態となる確率Ｐα（ｎ）は、
Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮα｜Ｃｉ（Ｎα−１）Ｃｉ（Ｎα−２））                                  式（４）
Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮα｜Ｃｉ（Ｎα−１）Ｃｉ（Ｎα−２））                                  式（５）
となる。この計算ができるように前記のｔｒｉｇｒａｍ、ｕｎｉｇｒａｍ、ｂｉｇｒａｍを任意のコードについて求めてコードブックに格納しておく。つまりコードブックには各コードの音声特徴量とその強調状態での出現確率とこの例では平静状態での出現確率との組が格納され、その強調状態での出現確率は、その音声特徴量が過去のフレームでの音声特徴量と無関係に強調状態で出現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）のみ、又はこれと、過去のフレームでの音声特徴量から現在のフレームの音声特徴量に至るフレーム単位の音声特徴量列毎に、その音声特徴量が強調状態で出現する条件付確率との組合せの何れかであり、平静状態での出現確率も同様に、その音声特徴量が過去のフレームでの音声特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）のみ、又はこれと、過去のフレームでの音声特徴量から現在のフレームの音声特徴量に至るフレーム単位の音声特徴量列毎にその音声特徴量が平静状態で出現する条件付確率と組合せの何れかである。
【００２５】
例えば図８に示すようにコードブックには各コードＣ１、Ｃ２、…毎にその音声特徴量と、その単独出現確率が強調状態、平静状態について、また条件付確率が強調状態、平静状態についてそれぞれ組として格納されている。
図６中のステップＳ３０２では、入力音声小段落の全フレームのコードについてのそのコードブックに格納されている前記確率から、発話状態の尤度を、平静状態と強調状態について求める。図９に実施例の模式図を示す。時刻ｔから始まる音声小段落のうち、第４フレームまでを▲１▼〜▲４▼で示している。前記のように、ここでは、フレーム長は１００ｍｓ、フレームシフトを５０ｍｓとフレーム長の方を長くした。▲１▼フレーム番号ｆ、時刻ｔ〜ｔ＋１００でコードＣｉが、▲２▼フレーム番号ｆ＋１、時刻ｔ＋５０〜ｔ＋１５０でコードＣｊが、▲３▼フレーム番号ｆ＋２、時刻ｔ＋１００〜ｔ＋２００でコードＣｋが、▲４▼フレーム番号ｆ＋３、時刻ｔ＋１５０〜ｔ＋２５０でコードＣｌが得られ、つまりフレーム順にコードがＣｉ、Ｃｊ、Ｃｋ、Ｃｌであるとき、フレーム番号ｆ＋２以上のフレームでｔｒｉｇｒａｍが計算できる。音声小段落ｓが強調状態となる確率をＰｓ（ｅ）、平静状態となる確率をＰｓ（ｎ）とすると第４フレームまでの確率はそれぞれ、
Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）
式（６）
Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）
式（７）
となる。ただし、この例では、コードブックからＣｋ、Ｃｌの強調状態及び平静状態の各単独出現確率を求め、またＣｊの次にＣｋが強調状態及び平静状態で各出現する条件付確率、更にＣｋがＣｉ、Ｃｊの次に、ＣｌがＣｊ、Ｃｋの次にそれぞれ強調状態及び平静状態でそれぞれ出現する条件付確率をコードブックから求めると、以下のようになる。
Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＋λｅｍｐ２Ｐｅｍｐ（Ｃｋ｜Ｃｊ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｋ）      式（８）
Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＋λｅｍｐ２Ｐｅｍｐ（Ｃｌ｜Ｃｋ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｌ）      式（９）
Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＋λｎｒｍ２Ｐｎｒｍ（Ｃｋ｜Ｃｊ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｋ）      式（１０）
Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＋λｎｒｍ２Ｐｎｒｍ（Ｃｌ｜Ｃｋ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｌ）      式（１１）
上記（８）〜（１１）式を用いて（６）式と（７）式で示される第４フレームまでの強調状態となる確率Ｐｓ（ｅ）と、平静状態となる確率Ｐｓ（ｎ）が求まる。ここで、Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）、Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）はフレーム番号ｆ＋２において計算できる。
【００２６】
この例では、音声小段落ｓがフレーム数Ｎｓで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮｓのとき、この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）と平静状態になる確率Ｐｓ（ｎ）を次式により計算する。
Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））
Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））
この例ではこれらの確率が、Ｐｓ（ｅ）＞Ｐｓ（ｎ）であれば、その音声小段落Ｓは強調状態、Ｐｓ（ｎ）＞Ｐｓ（ｅ）であれば平静状態とする。
【００２７】
図１０は以上説明した音声小段落抽出方法、音声段落抽出方法、各音声小段落毎に強調状態となる確率及び平静状態となる確率を求める方法を用いた音声強調状態判定装置及び音声要約装置の実施形態を示す。
入力部１１に音声強調状態が判定されるべき、又は音声の要約が検出されるべき入力音声（入力音声信号）が入力される。入力部１１には必要に応じて入力音声信号をディジタル信号に変換する機能も含まれる。ディジタル化された音声信号は必要に応じて記憶部１２に格納される。音声特徴量抽出部１３で前述した音声特徴量がフレーム毎に抽出される。抽出した音声特徴量は必要に応じて、音声特徴量の平均値で規格化され、量子化部１４で各フレームの音声特徴量がコードブック１５を参照して量子化され、量子化された音声特徴量は強調確率計算部１６と平静確率計算部１７に送り込まれる。コードブック１５は例えば図８に示したようなものである。
【００２８】
強調確率計算部１６によりその量子化された音声特徴量の強調状態での出現確率が、コードブック１５に格納されている対応する確率を用いて、例えば式（８）又は（９）により計算される。同様に平静確率計算部１７により、前記量子化された音声特徴量の平静状態での出現確率がコードブック１５に格納されている対応する確率を用いて、例えば式（１０）又は（１１）により計算される。強調確率計算部１６及び平静確率計算部１７で各フレーム毎に算出された強調状態での出現率と平静状態での出現確率及び各フレームの音声特徴量は各フレームに付与したフレーム番号と共に記憶部12に格納する。
【００２９】
これら各部の制御は制御部１９の制御のもとに順次行われる。
音声要約装置の実施形態は、図１０中に実線ブロックに対し、破線ブロックが付加される。つまり記憶部１２に格納されている各フレームの音声特徴量が無音区間判定部２１と有音区間判定部２２に送り込まれ、無音区間判定部２１により各フレーム毎に無音区間か否かが判定され、また有音区間判定部２２により各フレーム毎に有声区間か否かが判定される。これらの無音区間判定結果と有音区間判定結果が音声小段落判定部２３に入力される。音声小段落判定部２３はこれら無音区間判定、有声区間判定に基づき、先の方法の実施形態で説明したように所定フレーム数を連続する無音区間に囲まれた有声区間を含む部分が音声小段落と判定する。音声小段落判定部２３の判定結果は記憶部１２に書き込まれ、記憶部１２に格納されている音声データ列に付記され、無音区間で囲まれたフレーム群に音声小段落番号列を付与する。これと共に音声小段落判定部２３の判定結果は末尾音声小段落判定部２４に入力される。
【００３０】
末尾音声小段落判定部２４では、例えば図５を参照して説明した手法により末尾音声小段落が検出され、末尾音声小段落判定結果が音声段落判定部２５に入力され、音声段落判定部２５により２つの末尾音声小段落間の複数の音声小段落を含む部分を音声段落と判定する。この音声段落判定結果も記憶部１２に書き込まれ、記憶部１２に記憶している音声小段落番号列に音声段落列番号を付与する。音声要約装置として動作する場合、強調確率計算部１６及び平静確率計算部１７では記憶部１２から各音声小段落を構成する各フレームの強調確率と平静確率を読み出し、各音声小段落毎の確率が例えば式（８）及び式（１０）により計算される。強調状態判定部１８ではこの音声小段落毎の確率計算値を比較して、その音声小段落が強調状態か否かを判定し、要約区間取出し部２６では音声段落中の１つの音声小段落でも強調状態と判定されたものがあればその音声小段落を含む音声段落を取り出す。各部の制御は制御部１９により行われる。
【００３１】
以上により音声で構成される音声波形を音声小段落及び音声段落に分離する方法及び各音声小段落毎に強調状態となる確率及び平静状態となる確率を算出できることが理解できよう。
以下では上述した各方法を利用したこの発明による音声処理方法、音声処理装置及び音声処理プログラムに関わる実施の形態を説明する。
図１１にこの発明の音声処理方法の実施の形態の基本手順を示す。この実施例ではステップＳ１１で音声強調確率算出処理を実行し、音声小段落の強調確率及び平静確率を求める。
【００３２】
ステップＳ１２では要約条件入力ステップＳ１２を実行する。この要約条件入力ステップＳ１２では例えば利用者に要約時間又は要約率或は圧縮率の入力を促す情報を提供し、要約時間又は要約率或は要約率又は圧縮率を入力させる。尚、予め設定された複数の要約時間又は要約率、圧縮率の中から一つを選択する入力方法を採ることもできる。
ステップＳ１３では抽出条件の変更を繰り返す動作を実行し、ステップＳ１２の要約条件入力ステップＳ１２で入力された要約時間又は要約率、圧縮率を満たす抽出条件を決定する。
【００３３】
ステップＳ１４で要約抽出ステップを実行する。この要約抽出ステップＳ１４では抽出条件変更ステップＳ１３で決定した抽出条件を用いて採用すべき音声段落を決定し、この採用すべき音声段落の総延長時間を計算する。
ステップ１５では要約再生処理を実行し、要約抽出ステップＳ１４で抽出した音声段落列を再生する。
図１２は図１１に示した音声強調確率算出ステップの詳細を示す。
ステップＳ１０１で要約対象とする音声波形列を音声小段落に分離する。
【００３４】
ステップＳ１０２ではステップＳ１０１で分離した音声小段落列から音声段落を抽出する。音声段落とは図５で説明したように、１つ以上の音声小段落で構
成され、意味を理解できる単位である。
ステップＳ１０３及びステップＳ１０４でステップＳ１０１で抽出した音声小段落毎に図８で説明したコードブックと前記した式（８）、（１０）等を利用
して各音声小段落が強調状態となる確率（以下強調確率と称す）Ｐｓ（ｅ）と、平静状態となる確率（以下平静確率と称す）Ｐｓ（ｎ）とを求める。
【００３５】
ステップＳ１０５ではステップＳ１０３及びＳ１０４において各音声小段落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）などを各音声小段落毎に仕分けして記憶手段に音声強調確率テーブルとして格納する。
図１３に記憶手段に格納した音声強調確率テーブルの一例を示す。図１３に示すＦ１、Ｆ２、Ｆ３…は音声小段落毎に求めた音声小段落強調確率Ｐｓ（ｅ）と、音声小段落平静確率Ｐｓ（ｎ）を記録した小段落確率記憶部を示す。これらの小段落確率記憶部Ｆ１、Ｆ２、Ｆ３…には各音声小段落Ｓに付された音声小段落番号ｉと、開始時刻（言語列の先頭から計時した時刻）終了時刻、音声小段落強調確率、音声小段落平静確率、各音声小段落を構成するフレーム数ｆｎ等が格納される。
【００３６】
要約条件入力ステップＳ１２で入力する条件としては要約すべきコンテンツの全長を１／Ｘ（Ｘは正の整数）の時間に要約することを示す要約率Ｘ（請求項１記載の要約率を指す）、あるいは要約時間ｔを入力する。
この要約条件の設定に対し、抽出条件変更ステップＳ１３では初期値として重み係数ＷをＷ＝１に設定し、この重み係数を要約抽出ステップＳ１４に入力する。
要約抽出ステップＳ１４は重み係数Ｗ＝１として音声強調確率テーブルから各音声小段落毎に格納されている強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｅ）とを比較し、
Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ）
の関係にある音声小段落を抽出すると共に、更にこの抽出した音声小段落を一つでも含む音声段落を抽出し、抽出した音声段落列の総延長時間ＭＴ（分）を求める。
【００３７】
抽出した音声段落列の総延長時間ＭＴ（分）と要約条件で決めた所定の要約時間ＹＴ（分）とを比較する。ここでＭＴ≒ＹＴ（ＹＴに対するＭＴの誤差が例えば±数％程度の範囲）であればそのまま採用した音声段落列を要約音声として再生する。
要約条件で設定した要約時間ＹＴに対するコンテンツの要約した総延長時間ＭＴとの誤差値が規定より大きく、その関係がＭＴ＞ＹＴであれば抽出した音声段落列の総延長時間ＭＴ（分）が、要約条件で定めた要約時間ＹＴ（分）より長いと判定し、図１０に示した抽出条件変更ステップＳ１３を再実行させる。抽出条件変更ステップＳ１３では重み係数がＷ＝１で抽出した音声段落列の総延長時間ＭＴ（分）が要約条件で定めた要約時間ＹＴ（分）より「長い」とする判定結果を受けて強調確率Ｐｓ（ｅ）に現在値より小さい重み付け係数Ｗ（請求項１記載の所定の係数の場合は現在値よりも大きくする）を乗算Ｗ・Ｐｓ（ｅ）して重み付けを施す。重み係数Ｗとしては例えばＷ＝１−０．００１×Ｋ（Ｋはループ回数）で求める。
【００３８】
つまり、音声強調確率テーブルから読み出した音声段落列の全ての音声小段落で求められている強調確率Ｐｓ（ｅ）の配列に１回目のループではＷ＝１−０．００１×１で決まる重み係数Ｗ＝０．９９９を乗算し、重み付けを施す。この重み付けされた全ての各音声小段落の強調確率Ｗ・Ｐｓ（ｅ）と各音声小段落の平静確率Ｐｓ（ｎ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ）の関係にある音声小段落を抽出する。
この抽出結果に従って要約抽出ステップＳ１４では抽出された音声小段落を含む音声段落を抽出し、要約音声段落列を再び求める。これと共に、この要約音声段落列の総延長時間ＭＴ（分）を算出し、この総延長時間ＭＴ（分）と要約条件で定められる要約時間ＹＴ（分）とを比較する。比較の結果がＭＴ≒ＹＴであれば、その音声段落列を要約音声と決定し、再生する。
【００３９】
１回目の重み付け処理の結果が依然としてＭＴ＞ＹＴであれば抽出条件変更ステップを、２回目のループとして実行させる。このとき重み係数ＷはＷ＝１−０．００１×２で求める。全ての強調確率Ｐｓ（ｅ）にＷ＝０．９９８の重み付けを施す。
このように、ループの実行を繰り返す毎にこの例では重み係数Ｗの値を徐々に小さくするように抽出条件を変更していくことによりＷＰｓ（ｅ）＞Ｐｓ（ｎ）の条件を満たす音声小段落の数を漸次減らすことができる。これにより要約条件を満たすＭＴ≒ＹＴの状態を検出することができる。
【００４０】
尚、上述では要約時間ＭＴの収束条件としてＭＴ≒ＹＴとしたが、厳密にＭＴ＝ＹＴに収束させることもできる。この場合には要約条件に例えば５秒不足している場合、あと１つの音声段落を加えると１０秒超過してしまうが、音声段落から５秒のみ再生することで利用者の要約条件に一致させることができる。また、この５秒は強調と判定された音声小段落の付近の５秒でもよいし、音声段落の先頭から５秒でもよい。
また、上述した初期状態でＭＴ＜ＹＴと判定された場合は重み係数Ｗを現在値よりも小さく例えばＷ＝１−０．００１×Ｋとして求め、この重み係数Ｗを平静確率Ｐｓ（ｎ）の配列に乗算し、平静確率Ｐｓ（ｎ）に重み付けを施せばよい。また、他の方法としては初期状態でＭＴ＞ＹＴと判定された場合に重み係数を現在値より大きくＷ＝１＋０．００１×Ｋとし、この重み係数Ｗを平静確率Ｐｓ（ｎ）の配列に乗算してもよい。
【００４１】
また、要約再生ステップＳ１５では要約抽出ステップＳ１４で抽出した音声段落列を再生するものとして説明したが、音声付の画像情報の場合、要約音声として抽出した音声段落に対応した画像情報を切り出してつなぎ合わせ、音声と共に再生することによりテレビ放送の要約、あるいは映画の要約等を行うことができる。
また、上述では音声強調確率テーブルに格納した各音声小段落毎に求めた強調確率又は平静確率のいずれか一方に直接重み係数Ｗを乗算して重み付けを施すことを説明したが、強調状態を精度良く検出するためには重み係数Ｗに各音声小段落を構成するフレームの数Ｆ乗してＷFとして重み付けを行うことが望ましい。
【００４２】
つまり、式（８）及び式（１０）で算出する条件付の強調確率Ｐｓ（ｅ）は各フレーム毎に求めた強調状態となる確率の積を求めている。また平静状態となる確率Ｐｓ（ｎ）も各フレーム毎に算出した平静状態となる確率の積を求めている。従って、例えば強調確率Ｐｓ（ｅ）に重み付けを施すには各フレーム毎に求めた強調状態となる確率毎に重み付け係数Ｗを乗算すれば正しい重み付けを施したことになる。この場合には音声小段落を構成するフレーム数をＦとすれば重み係数ＷはＷFとなる。
【００４３】
この結果、フレームの数Ｆに応じて重み付けの影響が増減され、フレーム数の多い音声小段落ほど、つまり延長時間が長い音声小段落程大きい重みが付されることになる。
但し、単に強調状態を判定するための抽出条件を変更すればよいのであれば各フレーム毎に求めた強調状態となる確率の積又は平静状態となる積に重み係数Ｗを乗算するだけでも抽出条件の変更を行うことができる。従って、必ずしも重み付け係数ＷをＷFとする必要はない。
【００４４】
また、上述では抽出条件の変更手段として音声小段落毎に求めた強調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に重み付けを施してＰｓ（ｅ）＞Ｐｓ（ｎ）を満たす音声小段落の数を変化させる方法を採ったが、他の方法として全ての音声小段落の強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）に関してその確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）を演算し、この確率比の降順に対応する音声信号区間（音声小段落）を累積して要約区間の和を算出し、要約区間の時間の総和が、略所定の要約時間に合致する場合、そのときの音声信号区間を要約区間と決定して要約音声を編成する方法も考えられる。
【００４５】
この場合、編成した要約音声の総延長時間が要約条件で設定した要約時間に対して過不足が生じた場合には、強調状態にあると判定するための確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値を選択する閾値を変更すれば抽出条件を変更することができる。この抽出条件変更方法を採る場合には要約条件を満たす要約音声を編成するまでの処理を簡素化することができる利点が得られる。
上述では各音声小段落毎に求める強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を各フレーム毎に算出した強調状態となる確率の積及び平静状態となる確率の積で算出するものとして説明したが、他の方法として各フレーム毎に求めた強調状態となる確率の平均値を求め、この平均値をその音声小段落の強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ（ｎ）として用いることもできる。
【００４６】
従って、この強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ（ｎ）の算出方法を採る場合には重み付けに用いる重み付け係数Ｗはそのまま強調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に乗算すればよい。
図１４を用いて要約率を自由に設定することができる音声処理装置の実施例を示す。この実施例では図１０に示した音声強調状態要約装置の構成に要約条件入力部３１と、音声強調確率テーブル３２と、強調小段落抽出部３３と、抽出条件変更部３４と、要約区間仮判定部３５と、この要約区間仮判定部３５の内部に要約音声の総延長時間を求める総延長時間算出部３５Ａと、この総延長時間算出部３５Ａが算出した要約音声の総延長時間が要約条件入力部３１で入力した要約時間の設定の範囲に入っているか否かを判定する要約区間決定部３５Ｂと、要約条件に合致した要約音声を保存し、再生する要約音声保存・再生部３５Ｃを設けた構成とした点を特徴とするものである。
【００４７】
入力音声は図９で説明したように、フレーム毎に音声特徴量が求められ、こ
の音声特徴量に従って強調確率計算部１６と平静確率計算部１７でフレーム毎に強調確率と、平静確率とを算出し、これら強調確率と平静確率を各フレームに付与したフレーム番号と共に記憶部１２に格納する。更に、このフレーム列番号に音声小段落判定部で判定した音声小段落列に付与した音声小段落列番号が付記され、各フレーム及び音声小段落にアドレスが付与される。
この発明による音声処理装置では強調確率算出部１６と平静確率算出部１７は記憶部１２に格納している各フレームの強調確率と平静確率を読み出し、この強調確率及び平静確率から各音声小段落毎に強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）とを求め、これら強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を音声強調テーブル３２に格納する。
【００４８】
音声強調テーブル３２には各種のコンテンツの音声波形の音声小段落毎に求めた強調確率と平静確率とが格納され、いつでも利用者の要求に応じて要約が実行できる体制が整えられている。利用者は要約条件入力部３１に要約条件を入力する。ここで言う要約条件とは要約したいコンテンツの名称と、そのコンテンツの全長時間に対する要約率を指す。要約率としてはコンテンツの全長を１／１０に要約するか、或は時間で１０分に要約するなどの入力方法が考えられる。ここで例えば１／１０と入力した場合は要約時間算出部３１Ａはコンテンツの全長時間を１／１０した時間を算出し、その算出した要約時間を要約区間仮判定部３５の要約区間決定部３５Ｂに送り込む。
【００４９】
要約条件入力部３１に要約条件が入力されたことを受けて制御部１９は要約音声の生成動作を開始する。その開始の作業としては音声強調テーブル３２から利用者が希望したコンテンツの強調確率と平静確率を読み出す。読み出された強調確率と平静確率を強調小段落抽出部３３に送り込み、強調状態にあると判定される音声小段落番号を抽出する。
強調状態にある音声区間を抽出するための条件を変更する方法としては上述した強調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に確率比の逆数となる重み付け係数Ｗを乗算しＷ・Ｐｓ（ｅ）＞Ｐｓ（ｎ）の関係にある音声小段落を抽出し、音声小段落を含む音声段落により要約音声を得る方法と、確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）を算出し、この確率比を降順に累算して要約時間を得る方法とを用いることができる。
【００５０】
抽出条件の初期値としては重み付けにより抽出条件を変更する場合には重み付け係数ＷをＷ＝１として初期値とすることが考えられる。また、各音声小段落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）の確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値に応じて強調状態と判定する場合は初期値としてその比の値が例えばＰｓ（ｅ）／Ｐｓ（ｎ）≧１である場合を強調状態と判定することが考えられる。この初期設定状態で強調状態と判定された音声小段落番号と開始時刻、終了時刻を表わすデータを強調小段落抽出部３３から要約区間仮判定部３５に送り込む。要約区間仮判定部３５では強調状態と判定した強調小段落番号を含む音声段落を記憶部１２に格納している音声段落列から検索し、抽出する。抽出した音声段落列の総延長時間を総延長時間算出部３５Ａで算出し、その総延長時間と要約条件で入力された要約時間とを要約区間決定部３５Ｂで比較する。比較の結果が要約条件を満たしていれば、その音声段落列を要約音声保存・再生部３５Ｃで保存し、再生する。この再生動作は強調小段落抽出部３３で強調状態と判定された音声小段落の番号から音声段落を抽出し、その音声段落の開始時刻と終了時刻の指定により各コンテンツの音声データ或は映像データを読み出して要約音声及び要約映像データとして送出する。
【００５１】
要約区間決定部３５Ｂで要約条件を満たしていないと判定した場合は、要約区間決定部３５Ｂから抽出条件変更部３４に抽出条件の変更指令を出力し、抽出条件変更部３４に抽出条件の変更を行わせる。抽出条件変更部３４は抽出条件の変更を行い、その抽出条件を強調小段落抽出部３３に入力する。強調小段落抽出部３３は抽出条件変更部３４から入力された抽出条件に従って再び音声強調確率テーブル３２に格納されている各音声小段落の強調確率と平静確率との比較判定を行う。
【００５２】
強調小段落抽出部３３の抽出結果は再び要約区間仮判定部３５に送り込まれ、強調状態と判定された音声小段落を含む音声段落の抽出を行わせる。この抽出された音声段落の総延長時間を算出し、その算出結果が要約条件を満たすか否かを要約区間決定部３５Ｂで行う。この動作が要約条件を満たすまで繰り返され、要約条件が満たされた音声段落列が要約音声及び要約映像データとして記憶部１２から読み出されユーザ端末に配信される。
以上により音声波形を音声小段落及び音声段落に分離する方法及び各音声小段落毎に強調状態となる確率及び平静状態となる確率を算出できること及び音声の要約率を自由に変更して任意の長さの要約音声を得ることができることが理解できよう。
【００５３】
以下では上述した各方法を利用したこの発明による音声情報再生方法、音声情報再生システム及びそのプログラムに関わる実施の形態を説明する。
図１にこの発明による音声情報再生方法を適用した音声情報再生システムの実施例を示す。図中１００は顧客の電話端末、２００は電話回線網、３００はこの発明による音声情報再生システムを示す。電話端末１００及び電話回線網２００は音声信号の伝送が可能であれば有線無線を問わない。
この発明による音声着信装置３００は電話回線網２００に接続された着信部３０１Ａ，３０１Ｂ，…３０１Ｎを有し、これらの各着信部３０１Ａ，３０１Ｂ，…３０１Ｎによって電話端末１００からの発呼を着信する。ここでは窓口業務が終了している状況を説明する。従って各着信部３０１Ａ，３０１Ｂ，…３０１Ｎにはアナウンス部３０２が接続され、電話端末１００から着信が有る毎にアナウンス部３０２が起動される。
【００５４】
例えば端末１００が発呼して着信部３０１Ａに接続した場合、アナウンス部３０２は予め蓄積された音声信号を接続した着信部３０１Ａを介して送信する。例えば「本日は業務を終了しました。後日のご利用をお願いします。お急ぎの方は合図の後にご用件をお話ください。」という音声を送信して緊急に対応が必要な利用者による発話を促す。蓄積された合図音信号を送信した直後、電話端末１００から入力した音声信号を記録部３０３に記録する。音声信号がアナログ信号の場合にはＡＤ変換によりディジタル化し、ディジタル符号化音声信号の場合にはそのままの形式で記録してもよいしディジタル音声波形信号（ＰＣＭ信号）に変換して記録してもよい。時刻情報は内蔵する時計で計測されたものを用い、着信開始時刻、終了時刻何れを記録してもよい。また、発信した電話端末１０１の電話番号などの発信端末識別情報を対応付けて記録してもよい。
【００５５】
図１において、３０３はその記録部を示す。記録部３０３には着信の順番に従って用件が記録される。記録装置３０３は例えば半導体メモリ或はハードディスクのような高速書込、読出が可能な記録装置を用いる。
尚、図には特に示していないが、各着信部３０１Ａ，３０１Ｂ，…３０１Ｎと記録部３０３との間にはそれぞれにバッファ等を介挿し、わずかな時間差で複数の音声データを着信した場合は、遅れて着信した音声データをバッファに蓄えておき、先着の音声データが順次書込を完了する毎に、遅れて着信した音声データを書き込むように構成される。バッファに蓄えられた音声データを取り出して記録部３０３に記録する。
【００５６】
再生部３０４は記録部３０３に記録された音声データを読み出して音声信号を再生する。利用者が記録された音声の聴取を希望する場合、操作によって再生要求信号が発せられた時、再生部３０４は記録部３０３に記録している用件を着信の順番に再生を行なう。信号を着信時刻の新しい順番もしくは遅い順番に取り出して再生する。記録された信号がディジタル符号化信号であった時はアナログ音声信号に変換してから再生する。
この発明では、音声着信装置３００の内部に強調区間判定部３０５と緊急度決定部３０６とを設けた構成とした点を特徴とするものである。強調区間判定部３０５は先に説明した音声情報をフレーム毎に分析した特徴量に基づき強調状態を検出する動作を行なう。つまり、記録部３０３に記録した音声データを、次に業務を開始する直前までの間の任意の時点で強調区間判定部３０５で読み出し、記録されている各着信毎に強調状態と判定される回数を計数する。
【００５７】
強調状態と判定される頻度として例えば単位時間当たりの強調状態と判定される区間の数又はその区間を示す時間の和を用いる。この頻度が所定の頻度よりも大きい場合、緊急と緊急度を評価する。強調状態と判定するには前記のように単にフレーム毎に算出された強調状態となる確率ではなく、先の強調状態となる確率の平静状態に対する確率比を算出し、この確率比が所定の確率比よりも大きくなる区間をもって判定する方法も考えられる。
緊急度としては単に緊急か否かを示す情報、強調区間の頻度、強調区間の頻度に基づいてスコア、何れを用いてもよい。
【００５８】
強調区間判定部３０５の処理速度は再生部３０４の読出速度より高速で処理することができる。つまり、音声として再生する場合、各顧客の用件毎に３分間の記録容量が割当られているものとすると、強調区間判定部３０５は３分間で再生する記録領域を例えば１０倍速で分析することができる。従って、強調区間の発生回数は各用件毎に約１８秒程度で分析し、その判定結果を出力することができる。現実には３分間の記録領域を全て使い切る例は少ない。このため、記録の開始から、１分間に再生される記録領域に記録されている音声データを分析しその発生回数を求めるものとすると、各用件毎に６秒で分析が完了する。１分間で再生される音声データの中で強調状態となる確率が高い区間を検出し、その発生回数を累算して求める。
【００５９】
緊急な状況では一般に発話者の語気が強まる傾向があるので強調状態の頻度が高くなる。従って、強調状態の頻度が高いことをもって緊急度が高いと推定される。特に記録部３０３に記録されたディジタル符号化信号が強調状態の分析にかかる特徴量、つまり基本周波数又はピッチ周期、パワー、動的特徴量の時間変化特性に対応する符号列から構成される場合には高速な処理が期待できる。ここでは、前記した特徴量と符号との対応を記録する符号化符号帳を備え、符号に対応する特徴量を読み出すと共に、その特徴量に対応する強調状態となる確率もしくは平静状態となる確率を、特に音声信号は形を分析せずに求められるからである。
【００６０】
緊急度決定部３０６は強調区間判定部３０５の判定結果（強調区間発生回数）を各用件に対応した音声データの記録部に付記する。この強調区間の発生回数を付記したことにより記録装置３０３に記録してある用件毎に緊急度を識別することができる。
ここで、強調区間の発生頻度の高い順つまり降順に音声信号を再生する。これにより利用者は緊急性の高い用件から順に発話者音声を聴取することができ、その順に作業を進めることができるようになる。なお、記録部３０３に記録された音声信号の内訳を示すために表示部を備え、表示部に各着信ごとの緊急度（もしくは強調状態頻度）と発信端末識別情報と着信開始時刻（又は終了時刻）と発信端末の使用者等を項目とするリストを着信開始時刻順又は強調状態頻度の降順に画面表示してもよい。このリスト上にマウス等のポインティングデバイスを用いて表示面内の座標を入力し、その座標に表示された項目に対応する音声を再生してもよい。かかる手段により利用者が緊急度を目視してポインティングデバイスにより希望する着信音声を選択して受聴することが可能になる。
【００６１】
図２はこの発明の変形実施例を示す。図２に示す実施例では着信部３０１Ａ，３０１Ｂ，…３０１Ｎが顧客からの用件を着信し、その音声データを記録装置３０３に記録した時点で強調区間判定部３０５が起動され、着信直後に強調区間の発生回数を計数し、その発生回数が所定回数以上の場合は緊急事態と判定し、顧客の電話番号から、担当者の電話番号を検索し、担当者に緊急事態の発生を知らせることができる構成とした実施例を示す。
このためには強調区間判定部３０５と緊急度決定部３０６の他に、発信番号検出部３０７と、参照表３０８と、発信部３０９とを設けた構成とするものである。
着信部３０１Ａ，３０１Ｂ，…３０１Ｎは顧客からの発呼を着信すると、音声データと共に発呼を発信した端末番号を記録装置３０３に記憶させる。着信の直後に音声データと発呼した端末番号を記録装置３０３に記録する。着信の終了直後に、強調区間判定部３０５が起動され、記録した直後の音声信号について強調状態の頻度を分析する。分析の結果を緊急度決定部３０６に引き渡し、緊急度決定部３０６から記録装置３０３に強調区間の発生回数を記憶させる。
【００６２】
このとき、発信番号検出部３０７は記録装置３０３に書き込まれる強調区間の発生回数を設定値と比較し、強調区間の発生回数が所定値を越えている場合は緊急事態と判定し、記録装置３０３から、緊急事態と判定した音声データを発信した顧客の電話番号を取り込む。
参照表３０８には発信者端末識別情報として顧客の電話番号と利用者端末識別情報として担当者の電話番号を予め記録しておく。この参照表３０８を用いて、顧客の電話番号に対応する担当者の電話番号を決定する。担当者の電話番号が検出されると、その担当者の電話番号を発信部３０９に送り込み、発信部３０９から担当者の電話機４００に発呼し、担当者に緊急事態の発生を知らせる。尚、このとき、再生部３０４は緊急事態と判定された着信の音声信号を記録部３０３から読み出し、発信部３０９を介して担当者の電話機に送信する。これによって記録された音声が示す用件を担当者に伝えることができる。
【００６３】
以上説明した本発明の音声着信装置が実行する音声着信方法は音声着信装置３００を構成する計算機により本発明の音声着信プログラムを実行して実現できる。ここで当該プログラムは通信回線を介してダウンロードしたり磁気ディスクやＣＤ−ＲＯＭ等の記録媒体からＣＰＵのような処理手段にインストールして実行される。
【００６４】
【発明の効果】
以上説明したように、この発明によれば音声信号をフレーム毎に分析し、強調状態と判定する発話状態判定方法を利用することにより、業務終了後に掛って来る顧客からの電話の内容を分析し、各用件別に緊急度を区別することができる。この結果、例えば翌日に用件を聴いて処理を行なう場合でも、緊急性の高い用件から再生して聴くことができ、顧客の要望に即した処理を敏速に行なうことができる。
また、変形実施例で説明したように、顧客からの電話の着信直後にその用件を分析し、分析の結果が強調区間が頻発する内容であった場合は緊急事態の発生と判定することができ、この判定結果により担当者に連絡を取ることができるため、顧客に対するサービスの向上を達することができる利点が得られる。
【図面の簡単な説明】
【図１】この発明の一実施例を説明するためのブロック図。
【図２】この発明の変形実施例を説明するためのブロック図。
【図３】先に提案した音声分析方法を説明するためのフローチャート。
【図４】先に提案した音声段落の抽出方法を説明するためのフローチャート。
【図５】音声段落と音声小段落の関係を説明するための図。
【図６】図３に示したステップＳ２における入力音声小段落の発話状態を判定する方法の例を示すフローチャート。
【図７】先に提案した音声分析方法に用いられるコードブックを作成する手順の例を示すフローチャート。
【図８】この発明において用いられるコードブックの記憶例を示す図。
【図９】発話状態尤度計算を説明するための波形図。
【図１０】先に提案した音声強調状態判定処理装置及び音声要約装置の一実施例を説明するためのブロック図。
【図１１】要約率を自由に変更することができる要約方法を説明するためのフローチャート。
【図１２】音声の要約に用いる音声小段落の抽出動作と各音声小段落の強調確率算出動作、音声小段落平静確率抽出動作を説明するためのフローチャート。
【図１３】音声要約装置に用いる音声強調確率テーブルの構成を説明するための図。
【図１４】要約率を自由に変更することができる音声要約装置の一例を説明するためのブロック図。
【符号の説明】
１００  電話端末                  ３０５  強調区間判定部
２００  電話回線網                ３０６  緊急度決定部
３００  音声情報再生装置          ３０７  発信番号検出部
３０１Ａ〜３０１Ｎ  着信部        ３０８  参照表
３０２  アナウンス部              ３０９  発信端末
３０３  記録部                    ４００  担当者端末
３０４  再生部
【図１】
0003754386.tif 000002
【図２】
0003754386.tif 000003
【図３】
0003754386.tif 000004
【図４】
0003754386.tif 000005
【図５】
0003754386.tif 000006
【図６】
0003754386.tif 000007
【図７】
0003754386.tif 000008
【図８】
0003754386.tif 000009
【図９】
0003754386.tif 000010
【図１０】
0003754386.tif 000011
【図１１】
0003754386.tif 000012
【図１２】
0003754386.tif 000013
【図１３】
0003754386.tif 000014
【図１４】
0003754386.tif 000015