(57)【要約】【課題】従来技術に比べ誤検出を抑え、検出精度の高い有声休止検出装置等を提供する。【解決手段】有声休止検出装置は、音声データの話速v(m)を算出する話速算出部と、話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理し、話速v(m)に対応する確率分布fv(m),Lを求める分布管理部と、検出対象の音声データの基本周波数の変化量と、検出対象の音声データのスペクトル包絡の変化量とを用いて算出される有声休止尤度と、確率分布fv(m),Lまたは確率分布fv(m-1),Lとを用いて有声休止区間を検出する有声休止検出部とを含む。【選択図】図２
2018146905.tif 000002
【特許請求の範囲】
【請求項１】
音声データの話速v(m)を算出する話速算出部と、
話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理し、前記話速v(m)に対応する確率分布fv(m),Lを求める分布管理部と、
検出対象の音声データの基本周波数の変化量と、前記検出対象の音声データのスペクトル包絡の変化量とを用いて算出される有声休止尤度と、前記確率分布fv(m),Lまたは確率分布fv(m-1),Lとを用いて有声休止区間を検出する有声休止検出部とを含む、
有声休止検出装置。
【請求項２】
請求項１の有声休止検出装置であって、
前記分布管理部は、前記話速v(m)と検出した前記有声休止区間に対応する有声休止継続長L(m)とから前記確率分布fv,Lを更新する、
有声休止検出装置。
【請求項３】
音声データの話速v(m)を算出する話速算出ステップと、
話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理し、前記話速v(m)に対応する確率分布fv(m),Lを求める分布管理ステップと、
検出対象の音声データの基本周波数の変化量と、前記検出対象の音声データのスペクトル包絡の変化量とを用いて算出される有声休止尤度と、前記確率分布fv(m),Lまたは確率分布fv(m-1),Lとを用いて有声休止区間を検出する有声休止検出ステップとを含む、
有声休止検出方法。
【請求項４】
請求項３の有声休止検出方法であって、
前記話速v(m)と検出した前記有声休止区間に対応する有声休止継続長L(m)とから前記確率分布fv,Lを更新する確率分布更新ステップを含む、
有声休止検出方法。
【請求項５】
請求項１若しくは請求項２の有声休止検出装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然発話音声に頻出する有声休止表現の検出を行う装置、その方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、AI技術の適用が様々な分野で期待されており、これらのAIへの入力チャネルとして、人間にとって最も自然なツールである「音声」が重要視されている。
【０００３】
一方で、人間同士が普段やり取りする自然な音声(自然発話)を認識することは、発話中に含まれる様々な不明瞭発話のため、非常に難しいタスクである。
【０００４】
不明瞭発話は、音響的、あるいは言語的な理由により発話の理解を妨げる要因となるもので、その中でも最も重大な要因となるのが、有声休止と呼ばれる現象である。
【０００５】
有声休止は、話者が次に話す言葉を考える、あるいは発話権を保持するために発する言葉で、「あのー」、「えっと」のようなフィラーと呼ばれる表現と、「春先ー、だけにするとか」と単語の途中あるいは末尾を伸長する表現とが存在する。
【０００６】
このような有声休止を検出するために、後藤らにより音響特徴を用いた検出法が提案されており(非特許文献１参照)、緒方らもそれを受けた認識率向上のための検討を行っている(非特許文献２参照)。非特許文献１，２による処理の概要を図１に示す。非特許文献１，２では、音声信号から2種類の音響特徴量(基本周波数(以下、F0ともいう)とスペクトル包絡)の変化量を求め(Ｓ９０，Ｓ９１，Ｓ９２)、そこから有声休止らしさPf(t)を求める(Ｓ９３)。この有声休止らしさPf(t)が、ある閾値Aeachよりも大きい限り(Ｓ９４)、Pf(t)を足し合わせていき(Ｓ９５)、この総和sumがまた別の閾値Asumより大きくなった場合(Ｓ９７)、そのフレームを有声休止であると判定し(Ｓ９８)、小さい場合(Ｓ９７)、有声休止でないと判定する(Ｓ９９)。この総和sumは、Pf(t)がAeachを下回った場合0にリセットされる(Ｓ９４，Ｓ９６)。
【０００７】
自然言語特有の言い淀み現象は、非母語話者でも、その発生の有無を、チャンスレート(ランダムに正解を選んだ時の正解率)より高い精度で特定できることが明らかになっており(非特許文献３参照)、言語に依らない、共通の音響的特徴により検出が可能であることを示唆している。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】後藤ら，“自然発話中の言い淀み箇所のリアルタイム検出システム”，情報処理学会 音声言語除法処理研究会 研究報告，99-SLP-27-2, Vol.99, No.64, July, 1999.
【非特許文献２】緒方ら，“有声・無声休止区間の自動検出に基づく自由発話音声認識の性能改善手法”，情報処理学会 研究報告，2006-SLP-62, 2006.
【非特許文献３】R. Carlson, J. Hirschberg， “Cross-Cultural Perception of Discource Phenomena”, INTERSPEECH2009, pp. 1723-1726, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１，２は、ブレインストーミングやグループ内での打ち合わせ等、自然発話が非常に生じやすい会議音声に対して、非常に検出率が悪い。これは、突発的な要因によって有声休止の尤度が不当に変化した場合、正解区間の検出漏れよりも、有声休止でない区間を誤検出してしまう場合が非常に多いためである。従って、有声休止区間を高い精度で検出するだけではなく、通常の発話区間を有声休止区間と間違えないようにする必要がある。
【００１０】
本発明は、従来技術に比べ誤検出を抑え、検出精度の高い有声休止検出装置、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の一態様によれば、有声休止検出装置は、音声データの話速v(m)を算出する話速算出部と、話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理し、話速v(m)に対応する確率分布fv(m),Lを求める分布管理部と、検出対象の音声データの基本周波数の変化量と、検出対象の音声データのスペクトル包絡の変化量とを用いて算出される有声休止尤度と、確率分布fv(m),Lまたは確率分布fv(m-1),Lとを用いて有声休止区間を検出する有声休止検出部とを含む。
【００１２】
上記の課題を解決するために、本発明の他の態様によれば、有声休止検出方法は、音声データの話速v(m)を算出する話速算出ステップと、話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理し、話速v(m)に対応する確率分布fv(m),Lを求める分布管理ステップと、検出対象の音声データの基本周波数の変化量と、検出対象の音声データのスペクトル包絡の変化量とを用いて算出される有声休止尤度と、確率分布fv(m),Lまたは確率分布fv(m-1),Lとを用いて有声休止区間を検出する有声休止検出ステップとを含む。
【発明の効果】
【００１３】
本発明によれば、従来技術に比べ誤検出を抑え、検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】従来技術の有声休止検出装置の処理フローを示す図。
【図２】第一実施形態に係る有声休止検出装置の機能ブロック図。
【図３】第一実施形態に係る有声休止検出装置の処理フローの例を示す図。
【図４】第一実施形態に係る確率分布を説明するための図。
【図５】第一実施形態に係る特徴量抽出部の機能ブロック図の例を示す図。
【図６】第一実施形態に係る尤度算出部を説明するための図。
【図７】第一実施形態に係る有声休止検出部の機能ブロック図の例を示す図。
【図８】第一実施形態に係る有声休止修正部を説明するための図。
【図９】第一実施形態に係る話速算出部の処理内容を説明するための図
【図１０】第一実施形態に係る分布管理部を説明するための図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「→」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１６】
＜第一実施形態のポイント＞
(1)話速に基づいて有声休止継続長を変化させることで、話者の話速に合わせた有声休止検出が行える。
(2)有声休止らしさPf(t)が閾値Aeachよりも大きいフレーム数が所定の閾値A以上連続したときに、その区間を有声休止区間と判定することもできる。このとき、話速が大きい(速い)ほど、有声休止継続長が小さく(短く)なる傾向がある。そこで、話速が大きくなるほど、閾値Aが小さくなるように設定することもできる。しかしながら、閾値Aよりもフレーム数が小さい場合であっても、有声休止の場合がある。そこで本実施形態では、単純に有声休止らしさPf(t)が閾値Aeachよりも大きいフレーム数と閾値Aとを比較するのではなく、有声休止らしさPf(t)が高いほどフレーム数が小さくても有声休止であると判断されやすくなるように、有声休止継続長の平均とその分散を用いた確率分布を導入する。有声休止らしさPf(t)と確率密度との積と閾値とを比較することで、分散を考慮した判定を行うことができる。
【００１７】
＜第一実施形態＞
図２は第一実施形態に係る有声休止検出装置の機能ブロック図を、図３はその処理フローの例を示す。
【００１８】
有声休止検出装置１００は、デジタル音声データp(τ)を入力とし、デジタル音声データp(τ)の有声休止区間情報(例えば、有声休止区間の開示時刻と終了時刻からなる情報等)B(m,n)を検出し、検出した有声休止区間に対して所定の処理を施し、処理結果を出力する。ただし、τはサンプル時刻を示すインデックスであり、mはデジタル音声データp(τ)に含まれるm番目の発話を示すインデックスであり、(m,n)は、m番目の発話のn番目の有声休止区間を示すインデックスである。
【００１９】
有声休止検出装置１００は、CPUと、RAMと、以下の処理を実行するためのプログラムを記録したROMを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００２０】
有声休止検出装置１００は、特徴量抽出部１０１と、尤度算出部１０２と、有声休止検出部１０３と、有声休止修正部１０４と、話速算出部１０５と、分布管理部１０６とを含む。以下、各部の処理の概要を説明する。
【００２１】
＜特徴量抽出部１０１＞
特徴量抽出部１０１は、デジタル音声データ(有声休止の検出対象の音声データ)p(τ)を入力とし、デジタル音声データp(τ)から音声特徴量を抽出し(Ｓ１０１)、出力する。音声特徴量として、本実施形態では、音の高さ(以下、基本周波数またはF0ともいう)や音の概形特徴(以下、スペクトル包絡ともいう)を抽出する。F0とスペクトル包絡の算出法は様々な先行例が存在し、どの手法を用いてもよい。F0を抽出後、フレーム毎の変化量Af(t)を求め、出力する。ただし、tはフレーム時刻を示す。スペクトル包絡を抽出後、フレーム毎の変化量As(t)を求め、出力する。従って、最終的に、F0及びスペクトル包絡の変化量Af(t),As(t)は、フレーム数分だけ得られる。
【００２２】
＜尤度算出部１０２＞
尤度算出部１０２は、F0及びスペクトル包絡の変化量Af(t),As(t)を入力とし、これらの値を用いて、各フレームの有声休止らしさ(以下、有声休止尤度ともいう)Pf(t)を算出し（Ｓ１０２）、出力する。例えば、有声休止尤度Pf(t)は、F0とスペクトル包絡の変化量Af(t),As(t)の重み付け和で表される。その他、有声休止尤度の算出式は、値制御のための定数を含む。
【００２３】
＜有声休止検出部１０３＞
有声休止検出部１０３は、有声休止尤度Pf(t)と、後述する確率分布fv(m-1),Lとを入力とし、これらの値を用いて、デジタル音声データp(τ)に含まれる有声休止区間を検出する（Ｓ１０３）。ここで得られた有声休止区間情報(例えば、有声休止区間の開始時刻と終了時刻)B(m,n)は有声休止修正部１０４に、有声休止継続長(以下、平均区間長ともいう)L(m,n)は、分布管理部１０６に渡される。
【００２４】
＜有声休止修正部１０４＞
有声休止修正部１０４は、有声休止区間情報B(m,n)を入力とし、有声休止区間情報B(m,n)に基づき、検出された有声休止区間に対して処理を施し(Ｓ１０４)、処理結果を出力する。処理の内容は、その目的によって異なる。
【００２５】
＜話速算出部１０５＞
話速算出部１０５は、デジタル音声データp(τ)を入力とし、デジタル音声データp(τ)からその話速v(m)を算出し（Ｓ１０５）、出力する。話速の算出方法は、先行例を使用する。例えば、音声認識における認識結果とデジタル音声データp(τ)の長さ(ファイル長)から、話速を求めることができる。
【００２６】
＜分布管理部１０６＞
分布管理部１０６は、話速vと有声休止継続長Lとを変数とする確率分布fv,Lを管理する。分布管理部１０６は、話速v(m)を入力とし、話速v(m)に対応する確率分布fv(m),Lを求め（Ｓ１０６）、出力する。
【００２７】
分布管理部１０６は、大きく2つの役割を持つ、一方は、有声休止検出部１０３に対し、現在保持している確率分布fv,Lの中から話速v(m)に対応する確率分布fv(m),Lを提供することである。すなわち、話速算出部１０５から話速v(m)が引数として与えられた場合、分布管理部１０６ではその話速v(m)における確率分布fv(m),Lを有声休止検出部１０３に返す(図４参照)役割がある。有声休止検出部１０３では、この与えられた確率分布fv(m),Lを用いて次発話m+1の有声休止検出を行う。
【００２８】
2つ目の役割は、統計情報(確率分布fv,L)の更新である。分布管理部１０６は、処理開始時点では予め用意したデータから求めた統計情報(確率分布fv,L)を初期値として保持している。ここに、有声休止検出部１０３から有声休止継続長L(m,n)が、話速算出部１０５から話速v(m)が与えられることで、確率分布fv,Lを逐次更新していく。
【００２９】
＜変形例＞
有声休止検出装置１００は、有声休止修正部１０４を含まなくともよい。その場合、有声休止検出装置１００は有声休止区間情報B(m,n)を出力する。例えば、後段に設けられた別装置により有声休止区間情報B(m,n)を用いて何らかの処理が行われる。
【００３０】
本実施形態では、デジタル音声データp(τ)に含まれる発話の話者は同一であり、m番目の発話とm+1番目の発話において、話速が突発的には変わらないことを前提として、m番目の発話の話速v(m)に対応する確率分布fv(m),Lを求め、m+1番目の発話の有声休止を検出する際にこの確率分布fv(m),Lを用いる。しかしながら、デジタル音声データp(τ)に含まれる発話の話者が複数人おり、話者毎に話速が異なる可能性がある。そのような場合には、以下のような構成が有効である。話速算出部１０５の前段に話者識別部を設け、デジタル音声データp(τ)のm番目の発話の話者を識別し、話者情報w(m)を出力する。なお、w(m)はm番目の発話の話者を示す情報である。話者識別技術として既存技術の様々な技術を用いることができ、適宜選択すればよい。例えば、参考文献１の技術を用いてオンラインで話者識別を行うことができる。
(参考文献１)Weizhong Zhu and Jason Pelecanos,"ONLINE SPEAKER DIARIZATION USING ADAPTED I-VECTOR TRANSFORMS", ICASSP 2016, pp. 5045 - 5049.
話速算出部１０５は、デジタル音声データp(τ)と話者情報w(m)とを入力とし、デジタル音声データp(τ)からその話速v(m)を算出し（Ｓ１０５）、話速v(m)と話者情報w(m)との組合せ(v(m),w(m))を出力する。分布管理部１０６は、組合せ(v(m),w(m))を入力とし、話速v(m)に対応する確率分布fv(m),Lを求め、話者情報w(m)と確率分布fv(m),Lとの組合せ(w(m),fv(m),L)を記憶しておく。
【００３１】
有声休止検出部１０３は、有声休止尤度Pf(t)と、話者情報w(m)(図示しない話者識別部の出力値)との組合せを入力とし、話者情報w(m)に基づき分布管理部１０６に問い合わせる。
【００３２】
分布管理部１０６は、話者情報w(m)に対応する確率分布を有声休止検出部１０３に提供する。なお、話者情報w(m)に対応する確率分布が複数個ある場合には、最新の確率分布を提供する。このような構成により、話者毎に話速を管理することで、話者毎に話速が異なる場合であっても従来技術に比べ誤検出を抑え、検出精度を向上させることができる。
【００３３】
また、第一実施形態及び上述の変形例では、話速算出部１０５において、音声認識結果を利用して話速v(m)を算出するため、上述の構成が必要だが、音声認識結果を用いずデジタル音声データp(τ)のみから話速v(m)を算出してもよい。例えば、参考文献２の技術を用いることで、音声認識処理を介さず、RNNを用いてリアルタイムで、m番目の発話の、有声休止区間候補の直前までの話速を算出することができる。
(参考文献２) Yishan Jiao, Ming Tu, Visar Berisha and Julie Liss, "ONLINE SPEAKING RATE ESTIMATION USING RECURRENT NEURAL NETWORKS", ICASSP 2016.
この場合、まず、話速算出部１０５が、デジタル音声データp(τ)を入力とし、デジタル音声データp(τ)からその話速v(m)を算出し（Ｓ１０５）、出力する。次に分布管理部１０６が、話速v(m)に対応する確率分布fv(m),Lを求め（Ｓ１０６）、出力する。有声休止検出部１０３は、有声休止尤度Pf(t)と、確率分布fv(m),Lとを入力とし、これらの値を用いて、デジタル音声データp(τ)に含まれる有声休止区間を検出する（Ｓ１０３）。つまり、第一実施形態では、有声休止検出（Ｓ１０４）、有声休止修正（Ｓ１０４）、音声認識（Ｓ１０７）、話速算出（Ｓ１０５）、分布管理（Ｓ１０６）の順で処理を行っていたが、RNNを用いてリアルタイムで話速v(m)を算出する場合には、話速算出（Ｓ１０５）、分布管理（Ｓ１０６）、有声休止検出（Ｓ１０４）、有声休止修正（Ｓ１０４）、音声認識（Ｓ１０７）の順で処理を行うことができる。このような構成であれば、m番目の発話とm+1番目の発話において、話速が突発的には変わる場合や、話者が複数人いる場合にも適切な確率分布fv(m),Lを用いて有声休止を検出することができる。
【００３４】
＜実施例１＞
本実施例では、有声休止区間の検出結果を用いて音声認識を向上させる例を説明する。音声認識装置は、有声休止検出装置１００の構成に加え音声認識部１０７を含む(図２中、破線で示す)。
【００３５】
＜特徴量抽出部１０１＞
図５は特徴量抽出部１０１の機能ブロック図の例を示す。特徴量抽出部１０１は、F0及びスペクトル包絡の変化量算出には、例えば非特許文献１、２を用いることができる。例えば、デジタル音声データp(τ)のサンプリング周波数は16[kHz]、フレーム幅は64[ms]、フレームシフトは10[ms]とする。
【００３６】
まず、周波数領域変換部１０１−１において、デジタル音声データp(τ)をフレームと呼ばれる短い単位に分割し、短時間フーリエ変換(STFT)を行う。この結果から、F0抽出部１０１−２において、瞬時周波数を計算することでF0を得る。F0変化量算出部１０１−３は、時系列のF0から各フレーム時刻の変化量(例えば、現フレーム時刻のF0と一つ前のフレーム時刻のF0との差分)Af(t)を求める。
【００３７】
また、周波数領域変換部１０１−１の出力に対し先程推定したF0の高調波成分のみをL次の成分まで通す高調波フィルタ(櫛形フィルタ)１０１−４を適用させ、フレーム毎にL次元の特徴量を得る。これらの点に対し、スペクトル包絡生成部１０１−５は、線形補間を行った後に、一定の周波数間隔でリサンプリングを行い、スペクトラル包絡を生成する。また、スペクトル包絡生成部１０１−５は、高周波成分は有声休止の判断に重要な情報をあまり持たないため、リサンプリングを行う周波数上限を定めることにより計算時間の短縮を図る。例えば、人間の発話音声における局所的なピーク(フォルマント)を、低次から2つだけとれるように周波数上限を定める場合、上限周波数は3,200[Hz]となる。その後、スペクトル包絡変化量算出部１０１−６は、各次元のフレーム間の変化量(例えば、現フレーム時刻の各次元の値と一つ前のフレーム時刻の各次元の値との差分)を求め、それを全次元間で足し合わせることにより、各フレームのスペクトル包絡の変化量As(t)を算出する。
【００３８】
＜尤度算出部１０２＞
図６は尤度算出部１０２を説明するための図である。例えば、F0変化量Af(t)とスペクトル包絡変化量As(t)を用いた尤度算出処理についても、非特許文献１、２に従ってもよい。
【００３９】
あるフレームtにおける有声休止らしさPf(t)は、F0変化量Af(t)、スペクトル包絡変化量As(t)を用いて、次式により求められる。
【数１】
2018146905.tif 000003
ただし、Rは重み、Wは変動や変形の大きさを制御する定数である。Rが大きい場合はF0を、小さい場合はスペクトル包絡を重視する、また、Wが大きい場合は、特徴量の変化量が多少大きくても許容し、小さい場合は変化量に対して敏感になる。
【００４０】
＜有声休止検出部１０３＞
図７は有声休止検出部１０３の機能ブロック図の例を示す。有声休止検出部１０３は、分布管理部１０６から渡された確率分布fv(m),Lと、尤度算出部１０２から渡された有声休止尤度Pf(t)とを入力とし、これらの値を用いて有声休止区間の検出を行い、有声休止区間B(m,n)及び有声休止継続長L(m,n)を出力する。
【００４１】
まず、移動平均算出部１０３−１において、有声休止尤度Pf(t)の前後mフレームの範囲における移動平均をとり、平滑化処理を行う。これにより、有声休止らしさが突発的に大きく、あるいは小さくなってしまうような現象を緩和することができる。こうして得られた平滑化尤度をPf_avg(t)とおく。なお、音声データの開始・終了時で窓幅が十分に確保できない場合は、不足している側の一番端の要素を不足分だけコピーして補ってもよい。
【００４２】
その後、第一判定部１０３−２において、ある閾値thrfを設けて、フレーム毎に、Pf_avg (t)>thrfならば有声休止の可能性あり、Pf_avg (t)≦thrfならば有声休止でないと判定する。例えば、Pf_avg(t)>thrfならばA(t)←1とし、Pf_avg (t)≦thrfならばA(t)←0とし、この判定結果において、A(t)=1が1つ以上連続して出現している区間を「有声休止区間」の可能性があると判断する。各検出区間からは、その区間に属するフレーム数と平滑化尤度から、有声休止継続長L(m,n)及び平均尤度Pt,t+N-1を算出しておく。例えば、フレーム番号tからt+N-1において、Nフレームからなる有声休止区間の可能性がある区間があった場合、有声休止継続長L(m,n)及び平均尤度Pt,t+N-1は、
【数２】
2018146905.tif 000004
となる。なお、10[ms] は、前述のフレームシフトである。
【００４３】
このようにして検出したそれぞれの有声休止区間の可能性がある区間について、話速に基づいた判定を行う。
【００４４】
区間尤度計算部１０３−３において、分布管理部１０６から渡された確率分布fv(m-1),Lを用いて、有声休止区間の可能性がある区間毎の有声休止継続長L(m,n)における確率密度fv(m),L(m,n)と平均尤度Pt,t+N-1の積を求めることで、最終的な区間尤度Pt(=fv(m),L(m,n)×Pt,t+N-1)を得る。例えば、ある有声休止区間の可能性がある区間[t,t+N-1]において、L(m,n)=650[ms]、Pt,t+N-1=0.80であり、図４に示したような分布が与えられたとき、この分布においてL=650[ms]の時の確率密度fv(m),L(m,n)は0.87となるから、最終的な区間尤度は、Pt=0.80×0.87=0.696となる。
【００４５】
第二判定部１０３−４において、このようにして求めた区間尤度Ptが、設定した閾値thrs以下の場合、その区間を除外し(有声休止区間ではないと判定し)、区間尤度P(t)が閾値thrsを超える場合、その区間を有声休止区間と判定する。なお、確率密度fv(m),L(m,n)を考慮することによって、平均尤度Pt,t+N-1の絶対値そのものは増減するため、最終的な区間判定に用いる閾値thrsは、各フレームの有声休止尤度に対して使用した閾値thrfとは異なる変数を分布の確率密度に基づいて設定するべきである。
【００４６】
第二判定部１０３−４は、有声休止区間と判定したときの有声休止継続長L(m,n)と有声休止区間情報B(m,n)とを出力する。
【００４７】
＜有声休止修正部１０４＞
本実施例では、認識率向上のための修正を行う。
認識率向上を目的とした時の最も簡易的な修正方法は、検出した区間の「削除」である。図８は、有声休止修正部を説明するための図である。すなわち、検出した区間に該当するフレームの音声(特徴量)を切り取り、残った箇所を繋ぎ合わせることで、有声休止を含まない音声を疑似生成する。ただし、単に切り取って繋ぎ合わせた場合、切り取り部で不連続点が発生し、認識に悪影響を及ぼす恐れがあるため、窓関数を適用することで区間の切れ目を滑らかに繋ぎ合わせる、切り取った区間に補償フレームを挿入する、といった補間方法の適用が考えられる。
【００４８】
よって、有声休止修正部１０４は、デジタル音声データp(τ)とデジタル音声データp(τ)に対する有声休止区間情報B(m,n)とを入力とし、デジタル音声データp(τ)から有声休止区間情報B(m,n)に対応する部分を削除し、修正音声データq(τ)を求め、出力する。
【００４９】
＜話速算出部１０５＞
図９は話速算出部１０５の処理内容を説明するための図である。話速算出部１０５は、デジタル音声データp(τ)と後述する音声認識部１０７から与えられた認識結果とを入力とし、音声ファイルの長さと、認識結果のモーラ数から話速v(m)を求め、出力する。モーラとは、音の文節単位のことで、例えば、単語「けっしょう」は、4モーラ(「け|っ|しょ|う」)となる。認識結果より総モーラ数を計算し、それを音声ファイルの長さで割ることで、1秒あたり何モーラ発話しているかを求めることができる(単位は[mora/s]となる)。これを話速v(m)として用いる。計算された話速v(m)は、後述する分布管理部１０６に渡され、分布の更新及び次の有声休止検出に用いる確率分布の決定に用いられる。
【００５０】
＜分布管理部１０６＞
図１０は、分布管理部１０６の機能ブロック図を示す。
分布管理部１０６において管理する確率分布fv,Lは、話速及び有声休止継続長を変数とするガウス分布を仮定する(図４参照)。確率分布記憶部１０６−２には、このような確率分布fv,Lが格納されている。有声休止継続長を変数x、話速を変数yで表現した時、それぞれの平均μx、μy及び分散σx2、σy2、共分散σxy(=σyx)を用いて、ガウス分布を次式のように表すことができる。
【数３】
2018146905.tif 000005
ただし、x→=(x,y)t、μ→=(μx,μy)tを示し(上付き添え字のtは転置を表す)、Σは2次元の分散共分散行列を表す。
【００５１】
次に、分布の更新について述べる。分布更新部１０６−１は、話速算出部１０５及び有声休止検出部１０３よりm発話目における話速v(m)と有声休止継続長L(m)が与えられた場合、確率分布記憶部１０６−２からその時点の確率分布fv,Lを取り出し、m-1発話目までの処理から算出された平均μ→m-1=(μx,m-1,μy,m-1)tと分散共分散行列
【数４】
2018146905.tif 000006
を用いて、次式により統計情報を更新する。
【数５】
2018146905.tif 000007
なお、m番目の発話に有声休止がR(R≧２)個ある場合には、有声休止継続長L(m,1),L(m,2),…,L(m,R)のそれぞれについて、確率分布fv,Lを更新してもよいし、R個の有声休止継続長L(m,1),L(m,2),…,L(m,R)の平均値を有声休止継続長L(m)とし、確率分布fv,Lを更新してもよい。
【００５２】
確率分布fv,Lを更新後、確率分布算出部１０６−３は、入力された話速v(m)を用い、話速v(m)における確率密度分布fv(m),Lを算出する。算出された確率密度分布fv(m),Lは、m+1番目の入力発話において区間尤度算出のために用いられる。
【００５３】
ガウス分布は性質が良く、また統計情報の扱いも容易であるが、分布の性質上、有声休止継続長がマイナスになる確率が存在してしまう。これを避けるために、ガンマ分布のような、0以上の定義域にのみ値を持つような分布を用いることも考えられる。
【００５４】
＜音声認識部１０７＞
音声認識部１０７は、修正音声データq(τ)を入力とし、修正音声データq(τ)に対して音声認識を行い（Ｓ１０７）、認識結果を当該音声認識装置の出力値として出力するとともに、前述の話速算出部１０５に出力する。
【００５５】
例えば、現在の音声認識で一般的に行われている、音響モデル及び言語モデルを用いたWFSTデコーダによる音声認識を行う。ここで認識に用いる音声は、元々の音声データp(τ)ではなく、有声休止修正部１０４で有声休止部分を切り取られた後の修正音声データq(τ)である。これにより、有声休止の影響を取り除くことができ、認識率を向上させることができる。また、ここで得られた認識結果を話速算出部１０５に渡すことにより、認識結果からの話速計算を行うことができる。これによって計算された話速は、次の発話の有声休止検出に用いられる。
【００５６】
＜効果＞
以上の構成により、従来技術に比べ誤検出を抑え、検出精度を向上させることができる。また、検出した有声休止を利用することで音声認識の精度を高めることができる。
【００５７】
第一実施形態に係る有声休止検出装置は、音声認識装置以外にも様々な有声休止を利用する技術に適用することができる。例えば、対話システムに適用することができる。その場合、対話システムは、有声休止区間情報を受け取り、対話システムがユーザに聞き返しをするような対話を実現させることができる。ただし、この場合、本実施例のように音声認識結果を利用して話速を算出することはできないため、第一実施形態の変形例で説明したように音声認識結果を用いずデジタル音声データp(τ)のみから話速v(m)をリアルタイムで算出する構成が望ましい。
【００５８】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００５９】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００６０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００６２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６３】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018146905.tif 000008
【図２】
2018146905.tif 000009
【図３】
2018146905.tif 000010
【図４】
2018146905.tif 000011
【図５】
2018146905.tif 000012
【図６】
2018146905.tif 000013
【図７】
2018146905.tif 000014
【図８】
2018146905.tif 000015
【図９】
2018146905.tif 000016
【図１０】
2018146905.tif 000017