(57)【要約】【課題】入力された音のピッチを保った状態で速度を変換する話速変換装置において、背景音としてランダムに近い音がある場合の話速変換でも不快な寄生音を生じない上、比較的簡単な処理で音質の良い話速変換装置を提供する。【解決手段】入力される音声信号から予め決められたフレーム長の音声フレームを抽出する音声波形フレーム抽出部１と、前記音声フレームからピッチ周期を算出するピッチ周期算出部２と、前記音声フレームから前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声フレームに挿入することで伸長処理する時間軸伸長部とから構成される。これにより比較的簡単に、不快な寄生音を発生することなく音質の良い話速変換を実現することができる。【選択図】      図１
2004354462.tif 000002
【特許請求の範囲】
【請求項１】
入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声信号に挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする話速変換装置。
【請求項２】
入力される音声信号から予め決められたフレーム長の音声フレームを抽出する音声フレーム抽出手段と、前記音声フレームからピッチ周期を算出するピッチ周期算出手段と、前記音声フレームから前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声フレームに挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする話速変換装置。
【請求項３】
前記伸長処理手段は、前記ピッチ周期分の音声波形を連続して複数切り出し、少なくとも１つ以上の前記反転波形を挿入することで伸長処理することを特徴とする請求項１または請求項２記載の話速変換装置。
【請求項４】
前記伸長処理手段は、反転する前の切り出される音声波形と次の切り出される音声波形との間に前記反転波形を挿入することで伸長処理することを特徴とする請求項１乃至請求項３記載の話速変換装置。
【請求項５】
前記反転波形は、前記反転波形のうち始端部分を、前記反転する前の切り出される音声波形の終端部分とで重み付け加算して合成した波形とすることを特徴とする請求項４記載の話速変換装置。
【請求項６】
前記反転波形は、前記反転波形のうち終端部分を、前記次の切り出される音声波形の始端部分とで重み付け加算して合成された波形とすることを特徴とする請求項４記載の話速変換装置。
【請求項７】
入力される音声信号からピッチ周期を算出するステップと、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声信号に挿入することで伸長処理するステップとを備えたことを特徴とする話速変換方法。
【請求項８】
前記ピッチ周期分の音声波形を連続して複数切り出し、少なくとも１つ以上の前記反転波形を挿入することで伸長処理することを特徴とする請求項７記載の話速変換方法。
【請求項９】
反転する前の切り出される音声波形と次の切り出される音声波形との間に前記反転波形を挿入することで伸長処理することを特徴とする請求項７又は請求項８記載の話速変換方法。
【請求項１０】
前記反転波形は、前記反転波形のうち始端部分を、前記反転する前の切り出される音声波形の終端部分とで重み付け加算して合成した波形とすることを特徴とする請求項９記載の話速変換方法。
【請求項１１】
前記反転波形は、前記反転波形のうち終端部分を、前記次の切り出される音声波形の始端部分とで重み付け加算して合成された波形とすることを特徴とする請求項９記載の話速変換方法。
【請求項１２】
コンピュータ上で実行可能なプログラムであって、
入力される音声信号からピッチ周期を算出するステップと、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声信号に挿入することで伸長処理するステップとを備えたことを特徴とする話速変換プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声信号の話速を変更する話速変換装置に関する。
【０００２】
【従来の技術】
入力された音声の速度変換する一般的な手法として、ＰＩＣＯＬＡ（Ｐｏｉｎｔｅｒ  Ｉｎｔｅｒｖａｌ  Ｃｏｎｔｒｏｌ  ＯｖｅｒＬａｐ  ａｎｄ  Ａｄｄ）による音声の時間軸上での圧縮・伸長の波形処理方法が知られている。（例えば、非特許文献１参照。）
【０００３】
この話速変換においては、入力された音データをあるフレーム長で切り出し、自己相関関数などを用いてフレームにおけるピッチ周期を求め、圧縮・伸長処理を行なっている。
【０００４】
しかしながら、この方法では、伸長処理において、音声の他に背景音として観衆のざわめきや波の音のようなランダムに近い音があると、波形挿入の周期に対応した不快な寄生音（ミュージカルノイズの一種とも考えられている。）が余分に生成されてしまう。
【０００５】
一方、上述した不快な寄生音を出さない方法として、位相をランダム化して重ね合わせるという方法が知られている。（例えば、特許文献１参照。）
ところが、この方法でもランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装は困難であった。
【０００６】
【非特許文献１】
日本音響学会講演論文集、昭和６１年１０月、１−４−１４、  ｐ．１４９−１５０
森田直孝、板倉文忠  著「ポインター移動量制御による重複加算法（ＰＩＣＯＬＡ）を用いた音声の時間軸での伸長圧縮とその評価」
【特許文献１】
特開平５−１０８０９５号公報（段落００１５、図１）
【０００７】
【発明が解決しようとする課題】
上記のように、話速変換の従来の技術においては、背景音としてランダムに近い音があると、波形挿入の周期に対応した不快な音が余分に生成されてしまうという問題があった。
【０００８】
また、この解決法として、ランダム位相化した上、生成されたランダム位相音声素片波形をずらしながら加算もしくは重畳するという方法が知られていたが、複雑な処理が必要で、処理量の負荷が大きく実時間処理が必要な処理系への実装が困難であるいう問題があった。
【０００９】
そこで、本発明は上記のような問題を鑑みてなされたものであって、背景音としてランダムに近い音がある場合の話速変換でも不快な寄生音を生じないのと共に、比較的簡単な処理で音質の良い話速変換装置を実現することを目的とする。
【００１０】
【課題を解決するための手段】
上記目標を達成するために本発明は、入力される音声信号からピッチ周期を算出するピッチ周期算出手段と、前記音声信号から前記ピッチ周期分の音声波形を切り出し、該音声波形を時間軸反転した反転波形を前記音声信号に挿入することで伸長処理する伸長処理手段とを備えたことを特徴とする。
【００１１】
これにより比較的簡単に、不快な寄生音を発生することなく音質の良い話速変換を実現することができる。
【００１２】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本実施の形態における話速変換装置の構成を示すブロック図である。
話速変換装置は、音声波形フレーム抽出部１、ピッチ周期算出部２、時間軸伸長部３から構成される。音声波形フレーム抽出部１は、ピッチ周期を求めるために入力音声信号から予め決められたフレーム長の音声波形を切り出す。ピッチ周期算出部２は、音声波形フレーム抽出部１で切り出された音声信号からピッチ周期Ｔｐを算出し、このピッチ周期Ｔｐを時間軸伸長部３に入力する。
【００１３】
ここで、ピッチ周期の算出方法として自己相関関数を利用したピッチ周期を算出する方法を説明する。自己相関関数を用いたピッチ周期の算出方法には、入力音声信号が時間制限されていると仮定し、フレーム長Ｔｃの区間内（上記フレーム長に該当）だけに信号が存在し、そのフレーム長Ｔｃの区間外では信号は常にゼロとして自己相関を求める。このような、短時間自己相関値Ｒｎ（ｋ）は数１のようになる。
【００１４】
【数１】
2004354462.tif 000003
【００１５】
Ｔｃは入力音声信号が存在すると仮定した時間区間、ｋは短時間自己相関値Ｒｎ（ｋ）を算出するときに音声波形を遅延させる際の遅延時間であり、Ｔｃ≫ｋの関係にある。そして、上記数２において、短時間自己相関値Ｒｎ（ｋ）が最大となるようなｋの値を求めると、その値がピッチ周期となる。得られたピッチ周期Ｔｐは、時間軸伸長部３へ送られる。時間軸伸長部３では、以下の通り伸長処理される。
【００１６】
伸張処理においては図２に示すように、ピッチ周期算出部２で算出されたピッチ周期をＴｐ、伸張率をＲ（例えば、１＜Ｒ≦２）、フレーム長抽出部より切り出された音声波形をＴｃ＝Ｔｐ／（Ｒ−１）とし、まずピッチ周期分の音声波形を複数切り出す。ここでは、簡単に連続した波形Ａ及び波形Ｂ２つの音声波形をそのまま切り出す。その後、図３に示されるように、切り出された波形Ａの音声波形を時間軸反転して波形Ａ’に変換する。
【００１７】
図４に示すように、波形Ａに対して波形Ｂとの接点（波形Ａの終端）からＬｐ部分に対して０から１へ重み付けを乗じて波形Ｄ１の音声波形を作成する。Ｌｐは予め決められた時間長であり、ピッチ周期Ｔｐよりも小さく、概ねＬｐ＝１／５〜１／６Ｔｐ程度である。同様に波形Ｂに対して波形Ａとの接点（波形Ｂの始端）からＬｐ部分に対して１から０へ、波形Ａ’の始端からＬｐ部分に対して０から１へ、及び波形Ａ’の終端からＬｐ部分に対して１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ１、波形Ｃ２、波形Ｄ１の音声波形を作成する。
【００１８】
上記の作成された波形Ｃ１と波形Ｃ２の音声波形、及び波形Ｄ１と波形Ｄ２の音声波形をそれぞれ加算し、波形Ｃ及び波形Ｄの音声波形を作成する（図５）。更に、図６に示すように、波形Ａ’の音声波形の始端及び終端からＬｐ部分を切り出し、その部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入し、波形Ａ’’の音声波形を合成する。
【００１９】
最後に、波形Ａと波形Ｂの音声波形の間に波形Ａ’’を挿入し、Ｔｃ＝Ｔｐ／（Ｒ−１）の波形から伸張率Ｒを満たすＴｃ＋Ｔｐ＝ＲＴｐ／（Ｒ−１）の波形が作成される（図７）。
【００２０】
上記構成により、入力音声信号を切り出すフレーム毎の周期に対応した余分に生成されてしまう不快な寄生音は、挿入する音声波形を時間軸反転して変換した波形であるので発生しない。また、挿入される音声波形の始端及び終端部分の波形は、０から１又は１から０へ直線的に変化する重み付け係数を乗じた波形を用いたことにより、挿入された波形Ａ’’と波形Ａ及び波形Ｂとの接点が滑らかな波形として接するので、伸長処理しても歪の少ない音声波形となる。更に、挿入される音声波形は、時間軸反転という比較的簡単な処理で実現できる。
【００２１】
ここでは、波形Ａの音声波形を変換した波形Ａ’’を挿入することで伸長処理する実施の形態について説明したが、波形Ｂの音声波形を変換した場合にも同様に適用できる。
【００２２】
以下に、本発明の実施形態における伸長処理の流れを図８のフローチャートを用いて説明する。まず入力された音声信号は予め決められたフレーム長Ｔｃの音声波形を切り出し（Ｓ１）、この切り出されたフレーム長Ｔｃの音声波形から自己相関関数等を用いピッチ周期Ｔｐを求める（Ｓ２）。この求められたピッチ周期Ｔｐから処理対象となる２つのピッチ周期Ｔｐ分の音声波形（波形Ａ、Ｂ）を入力音声信号から切り出した後（Ｓ３）、波形Ａの音声波形を時間軸反転して波形Ａ’に変換する（Ｓ４）。
【００２３】
波形Ａに対して波形Ｂとの端部からＬｐ部分を０から１へ直線的に変化する重み付け係数を乗じて波形Ｄ１を作成する。同様に、波形Ｂに対して波形Ａとの端部からＬｐ部分を１から０へ直線的に変化する重み付け係数を乗じて波形Ｃ１を作成する。更に、波形Ａ’の始端及び終端からＬｐ部分を、０から１、１から０へそれぞれ直線的に変化する重み付け係数を乗じて波形Ｃ２及び波形Ｄ２の音声波形を作成する（Ｓ５）。
【００２４】
波形Ｃ１及び波形Ｃ２の音声波形を加算して波形Ｃの音声波形を作成する（Ｓ６Ａ）。同様に、波形Ｄ１及び波形Ｄ２の音声波形を加算して波形Ｄの音声波形を作成する（Ｓ６Ｂ）。
【００２５】
次に、波形Ａ’の始点及び終点からＬｐ部分の音声波形を切り出し、抜けた部分にそれぞれ波形Ｃ及び波形Ｄの音声波形を挿入することにより、波形Ａ’’が合成される（Ｓ７）。更に、この波形Ａ’’の音声波形を波形Ａと波形Ｂの間に挿入（Ｓ８）して音声波形が伸長される。次のフレームに対しＳ１〜Ｓ８のステップを繰り返し行なわれ、伸長する入力音声信号が入力されなくなると、この伸長処理が終了する（Ｓ９）。
【００２６】
ここでは、図１で構成される話速変換装置で実現される伸長処理について説明してきたが、図１に示されたような伸長処理部３でなくても、ＣＰＵ等の処理装置を搭載したコンピュータで実行されるソフトウェアでも、上述したＳ１〜Ｓ８のステップからなる伸長処理を実現することができる。
【００２７】
【発明の効果】
以上述べてきたように、本発明によれば、比較的簡単な処理で、不快な寄生音を発生させることなく音質の良い話速変換を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における話速変換装置の構成を表すブロック図。
【図２】音声信号からピッチ周期分の波形を切り出す内容を説明する説明図。
【図３】切り出された音声波形を時間軸反転する内容を説明する説明図。
【図４】音声波形に重み付け係数を乗じる内容を説明する説明図。
【図５】重み付けされた波形を加算する内容を説明する説明図。
【図６】挿入する音声波形の合成を説明する説明図。
【図７】合成した音声波形を挿入して伸長処理を説明する説明図。
【図８】本発明の実施の形態の伸長処理の流れを示すフローチャート図。
【符号の説明】
１：音声波形フレーム抽出部
２：ピッチ周期算出部
３：時間軸伸長部
【図１】
2004354462.tif 000004
【図２】
2004354462.tif 000005
【図３】
2004354462.tif 000006
【図４】
2004354462.tif 000007
【図５】
2004354462.tif 000008
【図６】
2004354462.tif 000009
【図７】
2004354462.tif 000010
【図８】
2004354462.tif 000011