(57)【要約】【課題】話者毎の音声の違いを吸収し、より滑らか且つ正確な実ピッチパターンを生成する。【解決手段】入力音声を音声信号に変換し、所定の信号処理を用いて当該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出し、抽出された実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似する。【選択図】図３
2010204367.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより、
入力音声を音声信号に変換し、記憶手段に記憶させる第１のステップと、
前記記憶手段から前記音声信号を読み出して、所定の信号処理を用いて当該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出する第２のステップと、
前記実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似する第３のステップと、
を有することを特徴とするピッチパターン正規化方法。
【請求項２】
前記次数２以上の縦続一次系モデルは、時定数及び次数を変数とする上に凸となる曲線であって、
前記第３のステップは、
前記実ピッチパターンから下に凸となる複数のディップを検出し、隣り合う２つの前記ディップの間で上に凸となる実ピークを前記実ピッチパターンから複数抽出すると共に、前記２つのディップのうち早い時刻を開始時刻、遅い時刻を終了時刻として算出するステップと、
前記縦続一次系モデルのモデルピークを前記実ピークに一致させ、前記開始時刻から前記終了時刻までの間の各時刻における前記実ピッチパターンと前記縦続一次系モデルとの差分の合計値を距離として計算することを前記時定数及び前記次数を所定の範囲内でシフトさせながら繰り返し、当該時定数と当該次数とをパラメータとする距離テーブルを前記複数の実ピークについてそれぞれ生成するステップと、
生成された複数の前記距離テーブルから、前記距離を最小とする前記時定数及び前記次数の組み合わせをそれぞれ選択するステップと、
選択された前記時定数及び前記次数を前記縦続一次系モデルに代入し、当該代入により得られたそれぞれの縦続一次系モデルの線形和を求めるステップと、
であることを特徴とする請求項１に記載のピッチパターン正規化方法。
【請求項３】
入力音声を音声信号に変換し、記憶手段に記憶させる音声入力手段と、
前記記憶手段から前記音声信号を読み出して、所定の信号処理を用いて当該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出するピッチ抽出手段と、
前記実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似する近似手段と、
を有することを特徴とするピッチパターン正規化装置。
【請求項４】
前記次数２以上の縦続一次系モデルは、時定数及び次数を変数とする上に凸となる曲線であって、
前記近似手段は、
前記実ピッチパターンから下に凸となる複数のディップを検出し、隣り合う２つの前記ディップの間で上に凸となる実ピークを前記実ピッチパターンから複数抽出すると共に、前記２つのディップのうち早い時刻を開始時刻、遅い時刻を終了時刻として算出するピーク情報抽出手段と、
前記縦続一次系モデルのモデルピークを前記実ピークに一致させ、前記開始時刻から前記終了時刻までの間の各時刻における前記実ピッチパターンと前記縦続一次系モデルとの差分の合計値を距離として計算することを前記時定数及び前記次数を所定の範囲内でシフトさせながら繰り返し、当該時定数と当該次数とをパラメータとする距離テーブルを前記複数の実ピークについてそれぞれ生成する距離算出手段と、
生成された複数の前記距離テーブルから、前記距離を最小とする前記時定数及び前記次数の組み合わせをそれぞれ選択する縦続一次系モデル選択手段と、
選択された前記時定数及び前記次数を前記縦続一次系モデルに代入し、当該代入により得られたそれぞれの縦続一次系モデルの線形和を求める縦続一次系モデル化手段と、
であることを特徴とする請求項３に記載のピッチパターン正規化装置。
【請求項５】
請求項１又は２に記載のピッチパターン正規化方法における各ステップをコンピュータによって実行させることを特徴とするピッチパターン正規化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声の基本周波数（ピッチ）の時系列データ（実ピッチパターン）を正規化するピッチパターン正規化方法、ピッチパターン正規化装置及びピッチパターン正規化プログラムの技術に関する。
【背景技術】
【０００２】
現在、音声の基本周波数（ピッチ）の軌跡を採取し、該基本周波数の時系列データ（実ピッチパターン）を分析することが行われている。音声合成の観点から言えば、音声の基本周波数は、より自然な音声を生成する上で重要なパラメータの１つである。また、音声認識の観点で言えば、認識精度を高めるためのパラメータの１つとして、イントネーション情報を利用する場合がある。イントネーション情報には人間の心的態度が反映されると言われており、心的状態という観点からの音声情報の判別も行われるようになっている。
【０００３】
音声の基本周波数は重要なパラメータである一方で、その扱いは極めて難しく、様々な工夫がなされている。この基本周波数の取り扱いを困難にしている理由としては、（１）周波数の幅（レンジ）が広くて個人の影響を受けやすい（周波数軸の正規化が困難）、（２）時間軸の自由度が高く、話し方によって自由に伸縮する（時間軸の正規化が困難）、（３）倍ピッチ、半ピッチなどの基本周波数分析に特有の処理エラーが生じ易く、補正処理が必要になる、等を一例に挙げることができる。このような理由から、実ピッチパターンをテンプレート化或いはクラスタリングすることが困難となっている。
【０００４】
従来の分析手法としては、音韻毎の代表的な周波数を捉え、１つの音韻に対して１つの周波数を決定するという点ピッチと呼ばれる手法が用いられ、音声合成等に利用されている。より詳細な分析を行う方法としては、実ピッチパターンを回帰分析により線形近似を行い、その傾きなどを時系列で配置するという方法がとられている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−７５８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これらの方法によれば、上記（１）の影響を軽減することは可能であるものの、（１）及び（２）の個人性等の違いを吸収できないため、話者毎或いはシチュエーション毎にデータを取得しておく必要が生じ、実ピッチパターン等の情報が膨大になるという問題がある。また、個人性が強いため、汎用性のある方式ではない。
【０００７】
なお、このような問題を解決する方法としては、実ピッチパターンのモデル化を行い、物理パラメータとして実ピッチパターンを表現することも試みられている。藤崎モデルは、実ピッチパターンの物理モデルとして利用されてきたが、基礎となる関数の影響が大きいため、詳細な音韻毎のピッチの形状を得ることが難しく、実ピッチパターンとの誤差が大きくなるという問題があった。
【０００８】
本発明は、上記を鑑みてなされたものであり、話者毎の音声の違いを吸収し、より滑らか且つ正確な実ピッチパターンを生成するピッチパターン正規化方法、ピッチパターン正規化装置及びピッチパターン正規化プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の本発明は、コンピュータにより、入力音声を音声信号に変換し、記憶手段に記憶させる第１のステップと、前記記憶手段から前記音声信号を読み出して、所定の信号処理を用いて当該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出する第２のステップと、前記実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似する第３のステップと、を有することを要旨とする。
【００１０】
請求項２に記載の本発明は、前記次数２以上の縦続一次系モデルは、時定数及び次数を変数とする上に凸となる曲線であって、前記第３のステップは、前記実ピッチパターンから下に凸となる複数のディップを検出し、隣り合う２つの前記ディップの間で上に凸となる実ピークを前記実ピッチパターンから複数抽出すると共に、前記２つのディップのうち早い時刻を開始時刻、遅い時刻を終了時刻として算出するステップと、前記縦続一次系モデルのモデルピークを前記実ピークに一致させ、前記開始時刻から前記終了時刻までの間の各時刻における前記実ピッチパターンと前記縦続一次系モデルとの差分の合計値を距離として計算することを前記時定数及び前記次数を所定の範囲内でシフトさせながら繰り返し、当該時定数と当該次数とをパラメータとする距離テーブルを前記複数の実ピークについてそれぞれ生成するステップと、生成された複数の前記距離テーブルから、前記距離を最小とする前記時定数及び前記次数の組み合わせをそれぞれ選択するステップと、選択された前記時定数及び前記次数を前記縦続一次系モデルに代入し、当該代入により得られたそれぞれの縦続一次系モデルの線形和を求めるステップと、であることを要旨とする。
【００１１】
請求項３に記載の本発明は、入力音声を音声信号に変換し、記憶手段に記憶させる音声入力手段と、前記記憶手段から前記音声信号を読み出して、所定の信号処理を用いて当該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出するピッチ抽出手段と、前記実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似する近似手段と、を有することを要旨とする。
【００１２】
請求項４に記載の本発明は、前記次数２以上の縦続一次系モデルは、時定数及び次数を変数とする上に凸となる曲線であって、前記近似手段は、前記実ピッチパターンから下に凸となる複数のディップを検出し、隣り合う２つの前記ディップの間で上に凸となる実ピークを前記実ピッチパターンから複数抽出すると共に、前記２つのディップのうち早い時刻を開始時刻、遅い時刻を終了時刻として算出するピーク情報抽出手段と、前記縦続一次系モデルのモデルピークを前記実ピークに一致させ、前記開始時刻から前記終了時刻までの間の各時刻における前記実ピッチパターンと前記縦続一次系モデルとの差分の合計値を距離として計算することを前記時定数及び前記次数を所定の範囲内でシフトさせながら繰り返し、当該時定数と当該次数とをパラメータとする距離テーブルを前記複数の実ピークについてそれぞれ生成する距離算出手段と、生成された複数の前記距離テーブルから、前記距離を最小とする前記時定数及び前記次数の組み合わせをそれぞれ選択する縦続一次系モデル選択手段と、選択された前記時定数及び前記次数を前記縦続一次系モデルに代入し、当該代入により得られたそれぞれの縦続一次系モデルの線形和を求める縦続一次系モデル化手段と、であることを要旨とする。
【００１３】
請求項５に記載の本発明は、請求項１又は２に記載のピッチパターン正規化方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１４】
本発明によれば、話者毎の音声の違いを吸収し、より滑らか且つ正確な実ピッチパターンを生成するピッチパターン正規化方法、ピッチパターン正規化装置及びピッチパターン正規化プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】音声信号から抽出された実ピッチパターンを示す図である。
【図２】縦続一次系モデルについて説明する図である。
【図３】ピッチパターン正規化装置の機能構成を示す図である。
【図４】実ピッチパターンと近似モデル曲線との差分の合計値を距離として計算することを説明する図である。
【図５】ピッチパターン正規化装置の動作フローを示す図である。
【図６】ピッチパターン正規化装置により求められた一次系モデルの縦続結合状態を示す図である。
【図７】話調成分とアクセント成分の抽出方法について説明する図である。
【図８】縦続一次系モデルの各パラメータと音声の物理パラメータとの関係を示した図である。
【発明を実施するための形態】
【００１６】
以下、本実施の形態について図面を用いて説明する。本実施の形態では、入力された音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出し、抽出された実ピッチパターンを次数２以上の縦続一次系モデルの線形和で近似するピッチパターン正規化方法、ピッチパターン正規化装置及びピッチパターン正規化プログラムに関する発明の一実施形態について説明するものである。
【００１７】
最初に、ピッチパターン正規化装置の機能構成及び動作フローについて説明する前に、音声の基本周波数の時系列データ（以降、単に「実ピッチパターン」と称する場合もある）、及び本実施の形態で用いる縦続一次系モデルについて説明する。音声信号から抽出された実ピッチパターンは、図１に示すように時間軸方向に対する音声の基本周波数の軌跡として表現され、隣り合う２つの実ピッチパターンのディップ（下に凸になる点）の間の実ピッチパターンの形状が１つの音韻Ａｉを表現している。そして、各音韻に対応する実ピッチパターンの形状はそれぞれ異なり、前後に位置する音韻の影響を受けることになる。
【００１８】
そのため、本発明では、句全体について一度に近似するのではなく、１つの句からなる実ピッチパターンは各音韻の実ピッチパターンが連なって形成されたものであることを考慮し、各音韻の実ピッチパターンについて縦続一次系モデルを用いてそれぞれ近似を行い、近似化された各近似曲線の線形和を計算して時系列に配置することにより句全体を近似するものとしている。なお、図１では、各音韻の実ピーク（上に凸となる点）の時刻をピーク時刻Ｔｍとし、そのピーク時刻Ｔｍに対応する実ピッチパターンの周波数をピーク周波数Ｆｍとしている。
【００１９】
縦続一次系モデルには式（１）に示す近似モデル曲線ｈ（ｔ）が用いられ、図２に示すように、次数ｎが２以上の場合に上に凸となる曲線を得ることが可能となる。また、同図（ｂ）から分かるように、次数ｎが２の場合において近似モデル曲線ｈ（ｔ）の値を最大とするｔ／Ｔは１、次数ｎが３の場合において近似モデル曲線ｈ（ｔ）の値を最大とするｔ／Ｔは２、次数ｎが５の場合において近似モデル曲線ｈ（ｔ）の値を最大とするｔ／Ｔは４となっており、換言すれば、時刻（ｎ−１）Ｔで近似モデル曲線ｈ（ｔ）の値を最大（以降では、「モデルピーク」と称している）とすることが可能となっている。
【数１】
2010204367.tif 000003
【００２０】
なお、ｎは次数、Ｔは時定数、Ａは振幅を表している。
【００２１】
次に、本実施の形態に係るピッチパターン正規化装置の機能構成について説明する。図３は、ピッチパターン正規化装置の機能構成を示す図である。ピッチパターン正規化装置１００は、音声入力部１０と、ピッチ抽出部２０と、ピーク情報抽出部３０と、パラメータ抽出部４０と、縦続一次系モデル化部５０と、記録部６０とを備えている。以下、各機能構成部の機能について個別具体的に説明すると共に、各機能を備えることによる本発明の作用及び効果について説明する。
【００２２】
音声入力部１０は、外部からの音声の入力を受け付けて、受け付けた入力音声を音声信号に変換し、図示しない記憶部に一旦記憶させておく機能を備えている。
【００２３】
ピッチ抽出部２０は、音声信号を上記記憶部から読み出して、自己相関法等の信号処理を用いて、該音声信号から音声の基本周波数の時系列データを実ピッチパターンとして抽出する機能を備えている。なお、ここで用いる自己相関法は音声信号から実ピッチパターンを抽出する方法の一例であって、本発明時において他にいくつかの抽出方法が既に存在していることをあえて付言しておく。
【００２４】
ピーク情報抽出部３０は、ピッチ抽出部２０で抽出された実ピッチパターンから、下に凸となる複数のディップを検出し、隣り合う２つのディップ（始点と終点）の間に含まれる上に凸となる実ピークを複数抽出すると共に、抽出された実ピークの個数Ｍと、各実ピークの各実ピーク時刻Ｔと、各実ピークの各実ピーク周波数Ｆと、各実ピークを抽出した際の始点の時刻（以降、「開始時刻」と称する）Ｔｓ及び終点の時刻（以降、「終了時刻」と称する）Ｔｅとを算出する機能を備えている。
【００２５】
パラメータ抽出部４０は、距離算出部４０ａと縦続一次系モデル選択部４０ｂとで構成されている。距離算出部４０ａは、式（１）で示した近似モデル曲線ｈ（ｔ）のモデルピークを実ピッチパターンの実ピークに一致させ、開始時刻Ｔｓから終了時刻Ｔｅまでの間の各時刻における実ピッチパターンｆ０（ｔ）と近似モデル曲線ｈ（ｔ）との差分を計算し、その合計値を距離Ｄ（ｍ）として計算する（式（２）及び図４参照）。距離算出部４０ａは、近似モデル曲線ｈ（ｔ）の時定数ＴについてはＴ１＝（Ｔｅ−Ｔｓ）／２≦Ｔ≦（Ｔｅ−Ｔｓ）＝Ｔｋの時定数範囲内で、次数ｎについてはｎ１＝２≦ｎ≦Ｍ＝ｎＭの次数範囲内でそれぞれシフトさせながら距離Ｄ（ｍ）の計算を同様に繰り返し行って、１つの実ピークに対する距離テーブルを生成する。そして、Ｍ個の実ピーク全てに対応する距離テーブルを生成し記録部６０に記録する機能を備えている。
【数２】
2010204367.tif 000004
【００２６】
一方、縦続一次系モデル選択部４０ｂは、Ｍ個の実ピーク全てについて、距離Ｄ（ｍ）が最小、即ち誤差を最小とする次数ｎと時定数Ｔとの組み合わせを選択し、記録部６０の各距離テーブルからそれぞれ読み出す機能を備えている。
【００２７】
縦続一次系モデル化部５０は、パラメータ抽出部４０の縦続一次系モデル選択部４０ｂで選択された次数ｎ及び時定数Ｔと、所定の振幅値Ａとを式（１）で示した近似モデル曲線ｈ（ｔ）に代入して縦続一次系モデルを生成し、Ｍ個の縦続一次系モデルの線形和を求めることにより正規化された実ピッチパターンとする機能を備えている。
【００２８】
記録部６０は、パラメータ抽出部４０で計算された各距離Ｄ（ｍ）を、時定数Ｔ（Ｔ１〜Ｔｋ）と次数ｎ（ｎ１〜ｎＭ）とのパラメータで選択可能に記録する機能を備えている。なお、このような記録部６０（前述した記憶部も含む）としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、ピッチパターン正規化装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。
【００２９】
続いて、上記機能構成を備えたピッチパターン正規化装置１００の動作フローについて説明する。図５は、ピッチパターン正規化装置の動作フローを示す図である。最初に、音声入力部１０が、ピッチパターン正規化装置１００に入力された入力音声を音声信号に変換する（Ｓ１０１）。
【００３０】
次に、ピッチ抽出部２０が、自己相関法等を用いて、音声の基本周波数の時系列データ（実ピッチパターン）を抽出する（Ｓ１０２）。
【００３１】
続いて、ピーク情報抽出部３０が、実ピッチパターンの中で隣り合う２つのディップを検出し、この２つのディップを始点を終点としたときに、始点と終点との間に含まれる実ピークを抽出する。また、実ピッチパターンから実ピークの個数Ｍと、各実ピークの各実ピーク時刻Ｔと、開始時刻Ｔｓと、終了時刻Ｔｅと、各実ピークの各実ピーク周波数Ｆとを算出する（Ｓ１０３）。
【００３２】
その後、パラメータ抽出部４０が、ピッチ抽出部２０により抽出された実パラメータと、ピーク情報抽出部３０により抽出されたＭ個のピーク情報とを取得する（Ｓ１０４）。
【００３３】
そして、距離算出部４０ａが、次数ｎ＝２と時定数Ｔ＝Ｔ１（＝（Ｔｅ−Ｔｓ）／２）を用いて縦続一次系モデルの初期化を行い（Ｓ１０５）、次数ｎがＭ以下か否かを判定する（Ｓ１０６）。Ｓ１０６の判定の結果、次数ｎがＭ以下の場合には、時定数ＴがＴｋ（＝（Ｔｅ−Ｔｓ））以下か否かを判定し（Ｓ１０７）、式（１）のモデルピークを実ピークに一致させる（Ｓ１０８）。そして、開始時刻Ｔｓから終了時刻Ｔｅまで間の各時刻における実ピッチパターンｆ０（ｔ）と近似モデル曲線ｈ（ｔ）との差分をそれぞれ計算し、その合計値を距離Ｄ（ｍ）として求めて（Ｓ１０９）、距離テーブルに保存する（Ｓ１１０）。その後、時定数Ｔをシフトし（Ｓ１１１）、Ｓ１０７に戻る。一方、Ｓ１０７の判定の結果、時定数ＴがＴｋを超える場合に、次数ｎを加算すると共に時定数Ｔを初期化（Ｔ＝Ｔ１）して（Ｓ１１２）、Ｓ１０６に戻る。Ｓ１０６の判定の結果、次数ｎがＭよりも大きい場合に１つの実ピークに対する距離テーブルが生成され、Ｓ１０５〜Ｓ１１２の処理を各実ピークについてそれぞれ計算することにより、各距離テーブルが生成される。
【００３４】
縦続一次系モデル選択部４０ｂが、距離Ｄ（ｍ）が最小である次数ｎと時定数Ｔとの組み合わせを各距離テーブルからそれぞれ選択し（Ｓ１１３）、最後に、縦続一次系モデル化部５０が、選択されたパラメータを用いてＭ個の縦続一次系モデルの線形和を求める（Ｓ１１４）。
【００３５】
従って、本発明は、従来のように単に一次系を配列したものではなく、図６に示すように近似的に計算された一次系モデルを線形和して縦続結合させることにより、前の音韻の影響を考慮したパターンを抽出することが可能となる。故に、話者毎の音声の違いを吸収し、より滑らか且つ正確なピッチパターンを生成することができる。
【００３６】
図７は、話調成分とアクセント成分の抽出方法について説明する図である。抽出された実ピッチパターンは複数のピークを有する曲線であるとして説明したが（図１参照）、図７（ａ）に示すように句の長さに関わらず全体の実ピッチパターンは線形な減衰を行うよう発声がなされていると考えられる。また、先行研究によれば、句の長さに関係なく終点の周波数は略一定となっていることが分かっている。従って、ピッチパターン正規化装置１００により近似された実ピッチパターンの話調成分Ａｉは、式（３）に示すような線形な減衰関数で表現することができる。
【数３】
2010204367.tif 000005
【００３７】
一方、アクセント成分は、個々の音韻の振幅を変化させることで形成される。そこで、全振幅値Ａ０から式（３）に示す減衰関数により得られた話調成分Ａｉを差し引くことにより、アクセント成分Ａｉ’を抽出することができる（式（４）参照）。
【数４】
2010204367.tif 000006
【００３８】
図８は、縦続一次系モデルの各パラメータと音声の物理パラメータとの関係を示した図である。音韻毎にそれぞれのパラメータセットが得られることから、より少ない情報量で実ピッチパターンの詳細な形状を伝送することが可能となる。また、縦続一次系モデルのパラメータ系列をベクトル表現することができ、コードブック作成や確率モデルへの適用が容易になると考えられる。
【００３９】
最後に、各実施の形態で説明したピッチパターン正規化装置１００は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明したピッチパターン正規化装置１００の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作をピッチパターン正規化装置１００として機能させることができるのは勿論である。
【符号の説明】
【００４０】
１００…ピッチパターン正規化装置
１０…音声入力部
２０…ピッチ抽出部
３０…ピーク情報抽出部
４０…パラメータ抽出部
４０ａ…距離算出部
４０ｂ…縦続一次系モデル選択部
５０…縦続一次系モデル化部
６０…記録部
Ｓ１０１〜Ｓ１１４…ステップ
【図１】
2010204367.tif 000007
【図２】
2010204367.tif 000008
【図３】
2010204367.tif 000009
【図４】
2010204367.tif 000010
【図５】
2010204367.tif 000011
【図６】
2010204367.tif 000012
【図７】
2010204367.tif 000013
【図８】
2010204367.tif 000014