(57)【要約】【課題】  原音声の自然性、発声者の個人性を失うことなく記録された音声の再生速度を調節する音声再生速度調節方法、プログラム、およびこれを格納した記録媒体を提供する。【解決手段】  音声入力ステップ２２と、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップ２３と、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップ２４と、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップ２５とを有し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出して再生し、その閾値を変更することにより音声再生速度を調節する音声再生速度調節方法。【選択図】  図２
2005331588.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出して再生し、その閾値を変更することにより音声再生速度を調節することを特徴とする音声再生速度調節方法。
【請求項２】
音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返して再生し、その閾値を変更することにより音声再生速度を調節することを特徴とする音声再生速度調節方法。
【請求項３】
請求項１および請求項２の内の何れかに記載される音声再生速度調節方法において、
スペクトル特徴変化ベクトル計算ステップにおいて計算されたスペクトル特徴変化ベクトルを入力としてスペクトル変化量として動的尺度を計算する動的尺度計算ステップと、計算された動的尺度に基づいてスペクトル変化区間を探し出すスペクトル変化区間検出ステップを、音声波形の再生に先だって介在させたことを特徴とする音声再生速度調節方法。
【請求項４】
音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラム。
【請求項５】
音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラム。
【請求項６】
請求項４および請求項５の内の何れかに記載される音声再生速度調節プログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体に関し、特に、記録された音声を再生するに際して、信号処理して音声の自然性を保ちながら再生速度を調節する音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体に関する。
【背景技術】
【０００２】
従来の音声再生速度調節方法、即ち、再生音声の速聞きおよび遅聞きの方法には、以下の様なものがある。
第１の方法として、収録音声信号の再生時の信号のサンプリングレートを収録時のレートとは異なる値に設定する方法がある（特許文献１  参照）。一例として、収録時に１秒間当たり８０００個のサンプルを観測した音声データを、再生時に１秒間当たり１６０００個のサンプルで再生すれば２倍の再生速度が得られる。アナログテープによる収録の場合、収録時のテープ速度よりも再生時のテープ速度を速めれば、より速い再生速度が得られることになる。しかし、この方法は、再生音声の声の高さに関連するピッチ周波数が変化するという問題を生起する。再生時の信号のサンプリングレートを収録時のレートと比較して大きく増減すると、話者が誰であるかを識別するのも困難なくらいに音声の自然性が失なわれるに到る。
【０００３】
第２の方法として、発声の合間に存在する無音区間を検出し、この無音区問をスキップして再生せずに音声再生する方法がある（特許文献２  参照）。この第２の方法は、音声の自然性は失なわれないが、音声部分を高速に再生することはできないという問題がある。
第３の方法として、音声のパワーの小さい部分をスキップし、パワーの大きな部分だけを再生する方法もある。しかし、この第３の方法には、パワーの小さい子音が欠落し、再生音声が聞き取り難くなるという問題がある。
【特許文献１】特開平０５−３１６５９７号  公報
【特許文献２】特開平０５−０８０７９６号  公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、入力音声の各時刻で音声スペクトルがどの程度変化しているかを示すスペクトル変化量を計算し、このスペクトル変化量に基づいて音声を再生する区間、スキップする区間、音声を引き延ばす区間を決定するという構成を採用して、原音声の自然性、発声者の個人性を失うことなく記録された音声の再生速度を調節する音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体を提供するものである。
【課題を解決するための手段】
【０００５】
請求項１：音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出して再生し、その閾値を変更することにより音声再生速度を調節する音声再生速度調節方法を構成した。
【０００６】
請求項２：音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返して再生し、その閾値を変更することにより音声再生速度を調節する音声再生速度調節方法を構成した。
【０００７】
請求項３：請求項１および請求項２の内の何れかに記載される音声再生速度調節方法において、スペクトル特徴変化ベクトル計算ステップにおいて計算されたスペクトル特徴変化ベクトルを入力としてスペクトル変化量として動的尺度を計算する動的尺度計算ステップと、計算された動的尺度に基づいてスペクトル変化区間を探し出すスペクトル変化区間検出ステップを音声波形の再生に先だって介在させた音声再生速度調節方法を構成した。
請求項４：音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラムを構成した。
【０００８】
請求項５：音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラムを構成した。
【０００９】
請求項６：請求項４および請求項５の内の何れかに記載される音声再生速度調節プログラムを格納した記録媒体を構成した。
【発明の効果】
【００１０】
この発明によれば、スペクトル変化量が人間の音声知覚に関係していることに着目して音声を削除する区間、音声を挿入する区間を決定しているので、速聞き、遅聞きにより各音素を別の音素に聞き違えたり、自然性を損なったりすることはない。そして、音声波形の時間軸を圧縮、伸長するのとは異なって、音声のピッチ周波数を保ったまま再生するものであるので、発声者の個人性を損なうこともない。更に、音声に定常的な雑音が重畳していても、１定常雑音のスペクトル変化は音声と比較して非常に小さいので、音声のスペクトル変化を観測することができ、スペクトル変化区間の検出に影響がない。図６はこれを示す図であり、定常雑音が存在する状態において「baNgumiaNnai」と発声したときの観測結果である。時間軸近傍に低レベルの定常雑音が存在しても、雑音自身のスペクトル変化量は小さいので、音素の境界でのみ、スペクトル変化量が大きくなっていることがわかる。
【発明を実施するための最良の形態】
【００１１】
母音、子音の各音素は典型的なスペクトル特徴を有している。人間は、基本的に、このスペクトルの違いを知覚して音声を聴取している。しかし、詳細な音声の知覚実験によれば、人間は、スペクトルが急激に変化する音素境界付近の知覚に非常に敏感で、このスペクトル変化に基づいて音素を知覚しているという実験報告がある（参考文献：古井、“音声知覚におけるスペクトル変化情報の役割”、日本音響学会聴覚研究会資料、Ｈ８５−６、昭和６０年）。この発明は、この人間の知覚特性を利用する。即ち、原音声のスペクトル特徴ベクトルおよびこの特徴ベクトルからスペクトル変化量を計算し、音声再生速度を原音声の速度よりも速めたい場合、スペクトル変化量の大きい部分に対応する音声波形を残して、スペクトル変化の小さい部分に対応する音声波形を削除して再生する。スペクトル変化量の大きい部分とは、主として、音素境界および破裂音区間である。スペクトル変化量が小さい部分とは、母音および摩擦音の如き子音の定常部分、および無音区間である。無音区間もスペクトル変化がないので、この方法によればスキップされる。再生速度をどの程度速めるかは、スペクトル変化量に対して閾値を設け、閾値以上の区間の音声波形を再生する。この閾値を大きくすれば、よりスペクトル変化が激しい部分のみが再生され、再生速度が速くなる。一方、閾値を小さくすれば、スペクトル変化の比較的小さな区間も再生されるので、再生速度は原音声に近くなる。
【００１２】
一方、再生速度を原音声よりも遅くする場合は、スペクトル変化量の小さな区間の時間長を長くする。区間の時間長を長くするに際して、その区間の代表的な波形を挿入して区間長を長くする。波形を単純に時間軸に沿って引き延ばすと、等価的にテープを引き延ばして再生するのと同様に、音声のピッチ周波数が変化するので音声の自然性が失なわれるに到る。また、スペクトル変化量の大きな区間は、音素の知覚にとって非常に重要な区間であるので、そのまま保存して再生し、波形の加工は行わない。
上述した通り、この発明は、人間の音声知覚特性に基づいて音声波形の削除、付加を行って再生速度を調整しているので、音声の自然性および話者性を損なうことなしに音声再生速度を調節することができる。
【００１３】
ここで、図１を参照して、発明を実施するための最良の形態を具体的に説明する。
図１において、最下側領域から音声波形、スペクトル、スペクトル変化量が表示されている。表示される発声は、成人男性が発声した「ばんぐみあんない（baNgumiaNnai）」である。縦に走る実線は人が目視により付与した音素境界を示す線である。スペクトルを見ると明らかな如く、各音素で固有のスペクトルパターンを有していることが判る。即ち、音素境界においてスペクトル変化量が大きくなっている。図４および図５を参照するに、これらは同じ単語「baNgumiaNnai」をゆっくり発声した場合の波形、スペクトル、スペクトル変化量を示している。図４および図５を図１と比較すると、ゆっくり発声した場合、スペクトル定常部の継続時間が長くなっていることがわかる。この発明は、スペクトル変化量の時間パターンから、スペクトル変化の少ない定常部を見つけ、対応する波形を削除することにより、速聞きを実現する。逆に、図１の通常の発声の定常部を引き延ばすことにより、遅聞きを実現する。何れの場合も、縦に走る実線近傍のスペクトル変化の大きな音素境界は保存される。
【００１４】
図２を参照して第１の実施例を説明する。第１の実施例は、原音声よりも再生速度を速くする速聞きを実施する例である。
音声入力ステップ２２において、マイクロホンの如き音響−電気変換器を介して音声信号を入力する。入力された音声信号は、スペクトル特徴ベクトル系列計算ステップ２３において３０ｍｓの時間窓で切り出され、スペクトル分析される。スペクトル分析は全極モデルに基づいた線形予測法（ＬＰＣ）でも、ＦＦＴ法でもよい。時間窓は更に１０ｍｓのシフト幅で移動され、時間軸に沿って音声信号のスペクトル分析が行われる。結局、１０ｍｓ毎にスペクトルの形状を表現するスペクトル特徴ベクトルが計算される。例えば、ＬＰＣケプストラム、ＦＦＴケプストラム、ＬＰＣスペクトル、ＦＦＴスペクトル、或いは、これらスペクトルの周波数軸を対数化して表現したメルスペクトル、メルケプストラムをスペクトル特徴ベクトルとして計算する。次に、スペクトル特徴変化ベクトル系列計算ステップ２４において、スペクトル特徴ベクトル系列に対して新たな９０ｍｓの時間窓を設け、その時間窓内のスペクトル特徴ベクトルの変化ベクトルが計算される。例えば、９０ｍｓ内のスペクトル特徴ベクトル系列の線形１次回帰係数を用いる。これにより、９０ｍｓ時間窓内の特徴ベクトルの変化パターンの傾きが計算される。スペクトル変化が大きいときは、回帰係数の絶対値も大きくなる。スペクトル特徴ベクトルの回帰係数は各次元で独立に計算される。回帰係数を用いずに、より簡単な計算で済む以下の通りの差分値を用いることができる。
【００１５】
Δｘi（ｔ）＝ｘi（ｔ＋Δｔ）−ｘi（ｔ−Δｔ）
ここで、ｘi（ｔ）は時刻ｔにおけるスペクトル特徴ベクトルのｉ次元目を示す。△ｔは変化量を計算する時間窓幅の半分の値である。この差分値もスペクトル変化の傾きを表す。回帰係数ベクトル、または差分ベクトルからスペクトル変化量を計算する。スペクトル変化量は、例えば、以下の式で計算される動的尺度を用いる（参考文献：嵯峨山、板倉“音声の動的尺度に含まれる個人性情報”、日本音響学会  昭和５４年度春季研究発表会講演論文集、３−２−７、pp５８９−５９０）。
【００１６】
Ｄ（ｔ）＝ΣPi=1（Δｘi（ｔ）2）
ここで、Ｐはベクトルの次元数を示す。この値は時刻ｔを中心としたスペクトル変化を示すスカラー量とみなすことができる。これをスペクトル変化量計算ステップ２５において、具体例として動的尺度計算ステップで計算する。音素境界においてはスペクトル変化が激しいので、動的尺度は音素境界付近でピークを示す。上述した通り、動的尺度の値が大きな区間、即ち、スペクトル変化が激しい区間は人間の音声知覚上、重要な箇所であるので、この区間をスペクトル変化区間検出ステップ２６で探し出す。この時、スペクトル変化区間検出ステップ２６に動的尺度に対する閾値を与えておき、閾値以上の区間を検出する構成を採用する。閾値を高く設定すると、検出される区間はよりスペクトル変化が激しい区間となるので、再生される区問の全体に対する割合が減少し、速聞き速度が速くなる。閾値を低く設定すると、より原音声の速度に近くなる。入力音声は入力音声バッファ２７に蓄えられている。ここから音声波形を読み出し、スペクトル変化区間検出ステップ２６において検出された区間に対応する音声波形を音声切りだしステップ２８で切り出し、音声再生ステップ２９へ送り込み、音声を再生して終了する。
【００１７】
以上の説明において、時間窓幅の数値を特定したが、これは説明をわかり易くするためであり、時間窓幅をこれに限定するものではない。
図３を参照して第２の実施例を説明する。第２の実施例は、原音声よりも再生速度を遅くする遅聞きを実施する例である。
第２の実施例のポイントは、スペクトル変化の小さな区間の波形を繰り返す点にある。音声入力からスペクトル変化量（動的尺度）を計算するスペクトル変化量計算ステップ３５までは、実施例１と同じである。第２の実施例は、スペクトル変化区間検出ステップ３６において、動的尺度が小さな区間、即ち、スペクトル変化が小さな区間を見つけだす。入力音声は入力音声バッファ３７に蓄えられている。ここから入力音声波形を読み出し、スペクトル変化区間検出ステップ３６において検出された各区間において、区間中心付近に位置する代表的な波形を切り出し、区間中心において繰り返す。この繰り返し数は、例えば、検出された区間長に比例する様に決定される。この操作を音声波形繰り返しステップ３８において行う。加工された音声波形は音声再生ステップ３９において再生されて終了する。スペクトル変化の大きな区間の音声について、例えば、音声を引き延ばし或いは音声を挿入する加工を施すと、音声知覚に影響を与えるところから別の音に聞こえ、或いは自然性を損なう問題を生起するが、この第２の実施例は、スペクトル変化が小さな区間のみを加工する対象としているので、再生音声の自然性を損なうことはない。以上の説明において、時間窓幅の数値を特定したが、これは説明をわかり易くするためであり、時間窓幅をこれに限定するものではない。
【図面の簡単な説明】
【００１８】
【図１】この発明の原理を説明する図。
【図２】第１の実施例を説明する図。
【図３】第２の実施例を説明する図
【図４】この発明の原理を説明する図。
【図５】この発明の原理を説明する図。
【図６】定常雑音が存在する状態において「baNgumiaNnai」と発声したときの観測結果を示す図。
【符号の説明】
【００１９】
２２、３２  音声入力ステップ
２３、３３  スペクトル特徴ベクトル系列計算ステップ
２４、３４  スペクトル変化量計算ステップ
２５、３５  スペクトル変化量計算ステップ
２６、３６  スペクトル変化区間検出ステップ
２７、３７  入力音声バッファ
２８  音声切りだしステップ
３８  音声波形繰り返しステップ
２９、３９  音声再生ステップ
【図１】
2005331588.tif 000003
【図２】
2005331588.tif 000004
【図３】
2005331588.tif 000005
【図４】
2005331588.tif 000006
【図５】
2005331588.tif 000007
【図６】
2005331588.tif 000008