(57)【要約】【課題】従来は複数チャンネルの和信号からピッチ周期を得るため、チャンネル信号が逆位相の場合和信号はゼロになり正確なピッチ周期算出が困難、また、和信号又は差信号の何れかからピッチ周期を得るものは、得たピッチ周期が夫々のチャンネル信号のピッチ周期と異なる場合、速度変換後の音声信号の音質が低下する。【解決手段】入力された複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネルについての同一時刻における類似度の和を求め、類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、ピッチ周期抽出手段により抽出されたピッチ周期に基づいて入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備える。【選択図】図１
2007163915.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力音声信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネルの信号について同一時刻における類似度の和を求め、上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備えることを特徴とする音声速度変換装置。
【請求項２】
入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号を用いて合成作成し、複数の合成信号を出力する合成信号作成手段と、
上記複数の合成信号それぞれについて処理区間毎に波形類似度を算出し、類似度が算出された全ての信号についての同一時刻における類似度の和を求め、最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備えることを特徴とする音声速度変換装置。
【請求項３】
上記合成信号作成手段が、上記複数チャンネル信号のそれぞれのチャンネル信号に重み係数を乗じた後に和信号および／または差信号を作成することを特徴とする請求項２記載の音声速度変換装置。
【請求項４】
上記ピッチ周期抽出手段が、類似度が算出された全ての信号についての同一時刻における類似度に対して所定の重み係数を乗じた後に、類似度の和を求め、最も類似性の強い位置をピッチ周期として抽出することを特徴とする請求項１から請求項３のうちの何れか１項記載の音声速度変換装置。
【請求項５】
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させるための音声速度変換プログラム。
【請求項６】
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期決定手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声入力信号のピッチ周期を算出し、そのピッチ周期に基づいて、音声の速度変換処理を行なう音声速度変換装置並びに、音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
複数チャンネルの入力信号に対する音声速度変換は、複数チャンネル信号の和信号に対してピッチ周期を算出し、そのピッチ周期に基づいて各チャンネルに対して速度変換処理を行なう技術、及び複数チャンネル信号の各チャンネルにおいて最大の自己相関を有するチャンネルの入力信号からピッチ周期を算出し、そのピッチ周期に基づいて全チャンネルに対して速度変換処理を行なう技術が特開２００２−２９７２００号公報の「話速変換装置」において開示されている。
【０００３】
しかし、上記の特開２００２−２９７２００号公報の「話速変換装置」では、入力信号の各チャンネル信号が相互に逆位相、またはそれに近い場合、和信号はゼロまたはそれに近い値になり、正確なピッチ周期を算出することが困難である。
また、各チャンネルにおいて最大の自己相関を有するチャンネルの入力信号からピッチ周期を算出する手法は、選択されたチャンネル以外の信号のピッチ周期が算出したピッチ周期と異なる場合、速度変換された音声信号の音質が低下する可能性があった。
【０００４】
これに対し、複数チャンネル信号の和信号及び差信号のうち、振幅の大きさに基づく規則で、何れかの信号を選択し、選択された信号に対してピッチ周期を算出し、その算出されたピッチ周期に基づいて各チャンネルに対して速度変換処理を行なう技術が特開２００４−３０９８９３号公報の「音声信号処理装置及びその方法」において開示されている。
【０００５】
【特許文献１】特開２００２−２９７２００号公報
【特許文献２】特開２００４−３０９８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特開２００４−３０９８９３号公報「音声信号処理装置及びその方法」では、和信号又は差信号の何れかからピッチ周期を得るため、得られたピッチ周期がそれぞれのチャンネル信号のピッチ周期と異なる場合、速度変換された音声信号の音質が低くなる可能性があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、複数チャンネル入力信号に対して適切なピッチ周期を求めることにより、高品質な速度変換音声を作成することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る音声速度変換装置は、
入力された複数チャンネル信号から抽出したピッチ周期に基づいて入力音声信号の速度を変換する音声速度変換装置において、
上記複数チャンネル信号について処理区間毎に各チャンネルの波形類似度を算出し、類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求め、上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期抽出手段と、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段を備える。
【０００９】
また、この発明に係る音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体は、
コンピュータを
入力された複数の音声チャンネル信号について、その処理区間毎に各チャンネルの波形類似度を算出する類似度算出手段、
類似度が算出された全てのチャンネル信号について同一時刻における類似度の和を求める最大類似度和算出手段、
上記類似度の和から最も類似性の強い位置をピッチ周期として抽出するピッチ周期決定手段、
上記ピッチ周期抽出手段により抽出されたピッチ周期に基づいて上記入力信号における全チャンネルの速度変換を行なう速度変換処理手段として機能させる音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１０】
この発明に係る音声速度変換装置または音声速度変換プログラム及びそのプログラムを記憶したコンピュータ読み取り可能な記録媒体は、
ピッチ周期の抽出は複数のチャンネルの各々について処理区間毎にそのチャンネルの波形類似度を算出し、
類似度が算出された複数のチャンネルの同一時刻における類似度の和を用いてピッチ周期を求めることにより、何れか一つのチャンネルの影響が強いためにおこる適切でないピッチ周期の抽出を防ぎ、各チャンネルに対して適切なピッチ周期を抽出することが出来る。そのため、速度変換した音声信号の音質向上が期待できる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１． 
図１はこの発明の実施の形態１に関する音声速度変換装置の構成図である。
図１において、１は複数チャンネルの入力信号からピッチ周期を抽出するピッチ周期抽出部、２は入力信号の処理区間毎に各チャンネルの波形類似度を算出する類似度算出部、３は類似度算出部２により類似度が算出された全てのチャンネルについて同一位置における類似度の和を算出し、その最大値を検出する最大類似度和算出部、４は最大類似度和算出部３で検出された最大類似度和からピッチ周期を決定するピッチ周期決定部、５はピッチ周期決定部４で抽出されたピッチ周期に基づいて入力信号の全チャンネルの音声速度を変換する音声速度変換処理部である。
なお、ピッチ周期抽出部１は類似度算出部２と最大類似度和算出部３及びピッチ周期決定部４とで構成される。
【００１２】
複数チャンネルの入力音声信号からピッチ周期を抽出し、そのピッチ周期を基に音声速度を変換する手法は多く存在するが、従来手法の場合、図２に示すように、入力音声信号における各チャンネル信号の和がゼロになってしまう場合、適切なピッチ周期を抽出できない。そこで、この発明では複数チャンネルの入力音声信号に対する適切なピッチ周期を求め、高品質な速度変換音声を作成する。以下、その方法について説明する。
【００１３】
この実施の形態において、類似度算出部２が算出する処理区間毎の波形類似度の評価関数として二乗誤差を使用するものとし、二乗誤差の小さい波形ほど類似性が強いものとする。
入力データを離散信号ｘ(n)とすると、二乗誤差関数ｅ(j)は以下の式で与えられるものとする。
【００１４】
【数１】
2007163915.tif 000003
【００１５】
ここで、ｎは処理区間の先頭位置、ｍはピッチ周期探索区間の先頭位置で、ｎ＝０よりも時間的に少し遅れた位置、この実施の形態の場合は1msec遅れた位置である。Ｎは処理区間のサンプル数、Ｍはピッチ周期探索区間の終了位置を表しており、ｎ＋ｍからｎ＋Ｍの位置まで二乗誤差を求めるものとする。このときの探索例を図４に示す。図に示すように、入力信号と処理区間波形Ａとの二乗誤差ｅ(j)をピッチ周期探索範囲内全てで算出する。
【００１６】
また、この実施の形態において、入力音声信号である複数チャンネル信号は２チャンネルのステレオ信号とする。この実施の形態における具体的なピッチ周期抽出の例として、図３に示すフローチャートを用いて説明する。
【００１７】
まずステップＳ１０１において、類似度算出部２は音声信号などの入力信号があるかどうか判定し、入力音声信号があれば、次のステップＳ１０２へ進む。入力音声信号がなければ、処理を終了する。
【００１８】
ステップＳ１０２において、類似度算出部２は速度変換処理を行なう処理開始位置ｎを更新し、次のステップＳ１０３へ進む。処理開始位置ｎは初期値をｎ＝０とし、以降は音声速度変換処理を施した終了位置とする。例えば、図５に示すように、初期値ｎ＝０のピッチ周期と、このピッチ周期に続く次のピッチ周期との２つのピッチ周期を１つのピッチ周期に変換する音声速度変換処理を施すことで、次の処理開始位置はｎ＝ｎ＿ｎｅｘｔとなる。このように音声速度変換処理終了ごとに処理開始位置ｎを更新していく。
【００１９】
図５には音声速度変換処理は２つのピッチ周期を１つのピッチ周期に変換する処理について示しているが、音声速度を早くする場合、音声速度変換処理は４つのピッチ周期を３つのピッチ周期にする。即ち２つのピッチ周期を１つのピッチ周期に、他の２つのピッチ周期はそのまま出力する。または,３つピッチ周期を２つのピッチ周期にする。即ち２つのピッチ周期を１つのピッチ周期に、他の１つのピッチ周期はそのまま出力する方法もある。
また、音声速度を遅くする場合は上述とは逆の処理で１つのピッチ周期を２つのピッチ周期に、２つのピッチ周期を３つのピッチ周期に、３つのピッチ周期を４つのピッチ周期にする。
【００２０】
ステップＳ１０３において、類似度算出部２はＬチャンネルおよびＲチャンネルそれぞれのピッチ周期探索範囲における処理区間波形との二乗誤差を算出し、次のステップへ進む。ここで、Ｌチャンネルの位置ｎ＋ｋにおける二乗誤差をｅＬ(k)、Ｒチャンネルの位置ｎ＋ｋにおける二乗誤差をｅＲ(k)とする。
【００２１】
ステップＳ１０４において、最大類似度和算出部３はＬチャンネルとＲチャンネルの同一時刻（位置）における二乗誤差の和を算出し、次のステップへ進む。位置ｎ＋ｋにおける二乗誤差の和Ｅ(ｋ）は、
Ｅ(ｋ) ＝ｅＬ(ｋ) ＋ｅＲ(ｋ)
となる。
【００２２】
ステップＳ１０５において、ピッチ周期決定部４はステップＳ１０４で求めた二乗誤差の和Ｅ(ｋ) を最小にするｋ、すなわち類似性が最も強くなるｋをピッチ周期として抽出し、次のステップＳ１０６へ進む。
【００２３】
ステップＳ１０６において、音声速度変換処理部５はステップＳ１０５で抽出されたピッチ周期に基づいて入力信号の全チャンネルに対して音声速度変換処理を施し、次のステップへ進む。
【００２４】
ステップＳ１０７において、ステップＳ１０６の音声速度変換処理部５で得られた速度変換音声を出力し、ステップＳ１０１へ戻る。
【００２５】
上記のように、ピッチ周期決定部４がＬチャンネルとＲチャンネルの同一時刻における類似度の和を用いてピッチ周期を求めることにより、どちらか一方のチャンネルの影響が強いためにおこる適切でないピッチ周期の抽出を防ぎ、両チャンネルに対して適切なピッチ周期を抽出することが出来る。そのため、速度変換した音声信号の音質向上が期待できる。
【００２６】
この実施の形態を説明する上で、入力音声信号は２チャンネルのステレオ信号としたが、任意のチャンネル数を持つ入力信号に対し、この発明は適用することができる。
【００２７】
また、この実施の形態を説明する上で、波形類似度の評価関数として、二乗誤差関数を使用したが、任意の評価関数を使用することができる。例えば、誤差の絶対値の和や自己相関関数などを使用してもよい。
【００２８】
実施の形態２．
上記実施の形態１では、ＬチャンネルとＲチャンネルの類似度を算出し、それらの和からピッチ周期を抽出する方法について述べた。しかし、ＬチャンネルとＲチャンネルの合成信号をピッチ周期の抽出に用いることにより、両チャンネルの相関を考慮することとなり、より高い精度でのピッチ周期抽出が期待できる。
【００２９】
図６はこの発明の実施の形態２に関する音声速度変換装置の構成図である。
図６において、図１と同一符号は同一または相当部分を示すので説明を省略する。６は複数チャンネル信号のそれぞれのチャンネル信号に重み係数を乗じた後に和信号および／または差信号を作成する合成信号作成部、７は合成信号作成部６で作成されたそれぞれの合成信号について処理区間毎に求めた各チャンネルの波形類似度に重み係数を乗じた値を算出する重みつき類似度算出部である。
【００３０】
この実施の形態において、上記実施の形態１と同様に、入力音声信号である複数チャンネル信号は２チャンネルのステレオ信号とする。また、波形類似度の評価関数は二乗誤差関数とする。
【００３１】
さらに、この実施の形態では、合成信号作成時の重み係数は１、重みつき類似度算出時の重み係数も１とする。この実施の形態における具体的なピッチ周期抽出の例として、図７のフローチャートを使用して説明する。
【００３２】
まずステップＳ２０１において、合成信号作成部６は音声信号などの入力信号があるかどうか判定し、入力音声信号があれば、次のステップＳ２０２へ進む。入力音声信号がなければ、処理を終了する。
【００３３】
ステップＳ２０２において、合成信号作成部６は速度変換処理を行なう処理開始位置ｎを更新し、次のステップＳ２０３へ進む。処理開始位置ｎは初期値をｎ＝０とし、以降は音声速度変換処理を施した終了位置とする。例えば、実施の形態１と同様、図５に示すように、初期値ｎ＝０のピッチ周期と、このピッチ周期に続く次のピッチ周期との２つのピッチ周期を１つのピッチ周期に変換する音声速度変換処理を施すことで、次の処理開始位置はｎ＝ｎ＿ｎｅｘｔとなる。このように音声速度変換処理終了ごとに処理開始位置ｎを更新していく。
【００３４】
ステップＳ２０３において、合成信号作成部６はＬチャンネルとＲチャンネルの和信号（この実施の形態では重み係数はともに１）であるＬ＋Ｒ合成信号とＬチャンネルとＲチャンネルの差信号（この実施の形態では重み係数はともに１）であるＬ−Ｒ合成信号を作成する。
【００３５】
ステップＳ２０４において、重みつき類似度算出部７はＬ＋Ｒ合成信号及びＬ−Ｒ合成信号それぞれのピッチ周期探索範囲における処理区間波形との二乗誤差を求め、その二乗誤差に重み係数を乗じた重みつき二乗誤差（この実施の形態では重み係数は１）を算出し、次のステップへ進む。ここで、Ｌ＋Ｒ合成信号の位置ｎ＋ｋにおける重みつき二乗誤差をｅL＋R(ｋ)、Ｌ−Ｒ合成信号の位置ｎ＋ｋにおける重みつき二乗誤差をｅL−R(ｋ) とする。
【００３６】
ステップＳ２０５において、最大類似度和算出部３はＬ＋Ｒ合成信号及びＬ−Ｒ合成信号の同一位置における二乗誤差の和を算出し、次のステップへ進む。位置ｎ＋ｋにおける二乗誤差の和Ｅ(ｋ) は、
Ｅ(ｋ) ＝ｅL＋R(ｋ) ＋ｅL−R(ｋ)
となる。
【００３７】
ステップＳ２０６において、ピッチ周期決定部４はステップＳ２０５で最大類似度和算出部３により求めた二乗誤差の和Ｅ（ｋ）を最小にするｋ、すなわち類似性が最も強くなるｋをピッチ周期として抽出し、次のステップへ進む。
【００３８】
ステップＳ２０７において、音声速度変換処理部５はステップＳ２０６でピッチ周期決定部４により抽出されたピッチ周期に基づいて入力信号の全チャンネルに対して音声速度変換処理を施し、次のステップへ進む。
【００３９】
ステップＳ２０８において、ステップＳ２０７で音声速度変換処理部５により得られた速度変換音声を出力し、ステップＳ２０１へ戻る。
【００４０】
上記のように、Ｌ＋Ｒ合成信号とＬ−Ｒ合成信号の同一時刻（位置）における二乗誤差の和を用いてピッチ周期を求めることにより、ＬチャンネルおよびＲチャンネルの相関を考慮した形で両チャンネルに対して適切なピッチ周期を抽出することが出来る。このため、このように抽出されたピッチ周期に基づいて速度変換した音声信号の音質向上が期待できる。
【００４１】
この実施の形態を説明する上で、入力音声信号は２チャンネルのステレオ信号としたが、任意のチャンネル数を持つ入力音声信号に対し、この発明を適用することができる。また、合成信号作成部６は和信号及び差信号の合成信号を作成するものについて述べたが、和信号または差信号のみを合成作成するものであってもよい。例えば、合成信号作成部６は、入力音声信号が前後左右の４チャンネルの場合は、各チャンネル信号に重み係数を乗じた後、前方左右の和信号と後方左右の和信号のみ或いはこれらの差信号のみを合成し、重みつき類似度算出部７に出力しても良い。
また、２チャンネルのステレオ信号の場合でも重み係数を変更した信号、Ｌ、２Ｌ、Ｒ、２Ｒを生成し、これらの信号を２Ｌ＋Ｒ、Ｌ＋２Ｒの和信号のみ或いは２Ｌ−Ｒ、Ｌ−２Ｒの差信号のみを合成し、重みつき類似度算出部７に出力しても良い。
【００４２】
また、この実施の形態を説明する上で、波形類似度の評価関数として、二乗誤差関数を使用したが、任意の評価関数を使用することができる。例えば、誤差の絶対値の和や自己相関関数などを使用してもよい。
【００４３】
さらに、この実施の形態を説明する上で、合成信号作成時の重み係数を１としたが、任意の重み係数を使用することが出来る。
また、重みつき類似度算出時の重み係数も１としたが、任意の重み係数を使用することが出来る。
【００４４】
実施の形態３．
以上述べた実施の形態において、上記全ての機能或いは一部の機能は、音声再生装置や聴覚補助装置或いは英語学習装置に組み込まれたコンピュータ等のソフトウェアとしてプログラム実行したり，ＣＰＵ等の組み込みソフトウェアやファームウェアとしてプログラム実行することで達成できる。
【００４５】
また、前述した実施の形態の機能を実現するプログラムを記録した記録媒体をコンピュータに読み取らせ、実行することで実施することも出来る。プログラムを供給するための記録媒体としてはROM、CD-ROM、DVD-ROM、フロッピー（登録商標）ディスク、ハードディスク、メモリカード等を用いることができる。
【産業上の利用可能性】
【００４６】
この発明は、映像を伴うテレビ、レーザディスク、ＶＴＲ、ハードディスクレコーダ等の音声の早聞き、又は遅聞きを行う音声再生装置、聴覚障害者や高齢者のために放送される音声をゆっくりした聞きやすい音声に変換する聴覚補助装置及び該装置を備えた電話機、通常速度の英語音声をゆっくりした聞きやすい音声に変換する英語学習装置、カラオケの速度（テンポ）変更装置に利用可能である。
【図面の簡単な説明】
【００４７】
【図１】この発明の実施の形態１に関する音声速度変換装置の構成図である。
【図２】従来のピッチ周期抽出手法における各入力チャンネル信号の和信号作成説明図である。
【図３】この発明の実施の形態１におけるピッチ周期抽出のフローチャートである。
【図４】この発明の実施の形態１におけるピッチ周期抽出例の説明図である。
【図５】この発明の実施の形態１における処理開始位置設定の説明図である。
【図６】この発明の実施の形態２に関する音声速度変換装置の構成図である。
【図７】この発明の実施の形態２におけるピッチ周期抽出のフローチャートである。
【符号の説明】
【００４８】
１；ピッチ周期抽出部、２；類似度算出部、３；最大類似度和算出部、４；ピッチ周期決定部、５；音声速度変換処理部、６；合成信号作成部、７；重みつき類似度算出部。
【図１】
2007163915.tif 000004
【図２】
2007163915.tif 000005
【図３】
2007163915.tif 000006
【図４】
2007163915.tif 000007
【図５】
2007163915.tif 000008
【図６】
2007163915.tif 000009
【図７】
2007163915.tif 000010