(57)【要約】【課題】  母音間の渡り（調音結合）を含む音声をその明瞭性を保ったまま、自然な音声に話速変換することができる話速変換装置を提供する。【解決手段】  伸張処理部１２は音声分析部６による分析によって分析バッファ部６ａから出力された上記有音データのうち、母音間の調音結合部分に対する伸張率を有音データ中の母音に対する伸張率よりも小さくする重み付けを行って、上記有音データを各伸張率にて伸張処理する。【選択図】  図１
2007047313.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号の再生速度を原音声信号の再生速度よりも遅い速度に変換して再生する話速変換装置において、
アナログ音声信号が入力される音声入力部と、
上記音声入力部によって入力された上記アナログ音声信号をデジタル音声データに変換するＡ／Ｄ変換部と、
上記Ａ／Ｄ変換部からのデジタル音声データを蓄える入力バッファ部と、 
上記入力バッファ部が蓄えたデジタル音声データの後段への転送を制御する転送制御部と、
上記転送制御部によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部に蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、さらに有音データを子音、母音、母音間の調音結合部分に分析して、上記分析バッファ部から出力する音声分析部と、
上記音声分析部による分析によって上記分析バッファ部から出力された上記有音データ中の母音間の調音結合部分に対する伸張率を上記有音データ中の母音に対する伸張率よりも小さくして上記有音データを各伸張率にて伸張処理し、かつ上記分析バッファ部から出力された上記無音データを削除処理するデータ処理部と、
上記音声分析部による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部による上記伸張処理、上記削除処理を制御する制御部と、
上記データ処理部によって各伸張処理が施された有音データを蓄積する出力バッファ部と、
上記出力バッファ部から読み出された音声データをアナログ音声信号に変換するＤ／Ａ変換部と、
上記Ｄ／Ａ変換部からのアナログ音声信号を出力する音声出力部と
を備えてなることを特徴とする話速変換装置。
【請求項２】
上記音声分析部は、上記制御部の制御に基づいて上記入力音声信号が、上記無音データであるか、上記有音データのうち上記子音であるか、上記母音であるか、あるいは上記調音結合部分であるかを検出することを特徴とする請求項１記載の話速変換装置。
【請求項３】
上記音声分析部は有音データ又は無音データの弁別を波形パワーに基づいて行い、さらに上記有音データの内で上記調音結合部分の検出をフォルマント軌跡に基づいて行うことを特徴とする請求項２記載の話速変換装置。
【請求項４】
上記音声分析部は上記波形パワーに基づいて弁別した上記有音パワーに対してフォルマント軌跡に基づいて上記調音結合部分を検出するとき、上記フォルマント軌跡が明瞭であるが、変動している部分を上記調音結合部分と判定することを特徴とする請求項３記載の話速変換装置。
【請求項５】
上記データ処理部は上記制御部の制御に基づいて上記音声分析部で検出された上記調音結合部分及び上記母音に上記各伸張処理を施すとき、予め決められた伸張率に、相互に異なった重み付け係数を乗算して得た値を用いることを特徴とする請求項１記載の話速変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声信号の再生速度を原音声信号の再生速度よりも遅い速度に変換して再生する話速変換装置に関する。
【背景技術】
【０００２】
音声のピッチを変更せずにその音韻性や個人性を保ったまま、時間軸で音声を伸張理する技術（話速変換技術）は既に開発されている。伸張処理された音声は再生速度が遅くなる為、高齢者の聴覚補助や語学学習に有効な技術である。伸張処理する際、音響的な特徴が大きく異なる母音や子音とで構成される音声を一律に伸張処理した場合、明瞭性が低下する原因となる。
【０００３】
下記特許文献１では音声を母音、子音、母音から子音への渡り、雑音に分類し、それぞれに応じた伸張率の設定を行っている。具体的には、入力音声信号の近傍の波形の類似度に基づいて、入力音声信号を、母音、子音、母音から子音への渡り、雑音に分類している。母音区間においては、音声信号波形は周期性のある波形となるため、近傍の波形の類似度は大きくなる。子音区間においては、音声信号波形は白色雑音に近い波形となるため、近傍の波形の類似度は小さくなる。また、子音から母音への遷移期間および母音から子音への遷移期間においては、近傍の波形の類似度は母音区間の場合の類似度と子音区間の場合の類似度との中間となる。そこで、類似度が中の場合には、当該入力音声信号は、遷移区間と判定する。
【０００４】
【特許文献１】特開平０９−１５２８８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、母音間の渡りに関してはなんら考慮されていない。音声の大部分は母音で構成されており、母音間の渡り（調音結合）部分も音声には非常に多く含まれている。この調音結合部分を定常部分である母音と一律に伸張処理した音声では、人がゆっくり発声した音声と大きく異なり、非常に不自然で明瞭性の劣る音声となる。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、母音間の渡り（調音結合）を含む音声をその明瞭性を保ったまま、自然な音声に話速変換することができる話速変換装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る話速変換装置は、上記課題を解決するために、入力音声信号の再生速度を原音声信号の再生速度よりも遅い速度に変換して再生する話速変換装置において、アナログ音声信号が入力される音声入力部と、上記音声入力部によって入力された上記アナログ音声信号をデジタル音声データに変換するＡ／Ｄ変換部と、上記Ａ／Ｄ変換部からのデジタル音声データを蓄える入力バッファ部と、 上記入力バッファ部が蓄えたデジタル音声データの後段への転送を制御する転送制御部と、上記転送制御部によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部に蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、さらに有音データを子音、母音、母音間の調音結合部分に分析して、上記分析バッファ部から出力する音声分析部と、上記音声分析部による分析によって上記分析バッファ部から出力された上記有音データ中の母音間の調音結合部分に対する伸張率を上記有音データ中の母音に対する伸張率よりも小さくして上記有音データを各伸張率にて伸張処理し、かつ上記分析バッファ部から出力された上記無音データを削除処理するデータ処理部と、上記音声分析部による上記デジタル音声データに対する分析処理を制御し、かつ上記データ処理部による上記伸張処理、上記削除処理を制御する制御部と、上記データ処理部によって各伸張処理が施された有音データを蓄積する出力バッファ部と、上記出力バッファ部から読み出された音声データをアナログ音声信号に変換するＤ／Ａ変換部と、上記Ｄ／Ａ変換部からのアナログ音声信号を出力する音声出力部とを備えてなる。
【０００８】
音声分析部は、入力音声が有音であるか無音であるかを弁別し、さらに有音中の母音部分において非定常部分から母音と母音の渡りである調音結合部を検出する。データ処理部は、話速変換する際に長音結合部分と母音とで話速変換の割合（伸張率）に差をつけることでより自然な話速変換音声を得る。
【発明の効果】
【０００９】
本発明に係る話速変換装置によれば、母音間の渡り（調音結合）を含む音声をその明瞭性を保ったまま、自然な音声に話速変換することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
【００１１】
この実施の形態は、入力された音声信号の再生速度をリアルタイム処理により、原音声信号の再生速度よりも遅い速度に変換して再生する話速変換装置である。母国語でない語学を学習する学習者の支援のため、また受聴能力が低下した高齢者、障害者の聴覚能力補助のため、或いは異なる言語による双方会話での相互理解補助等に使用される。
【００１２】
図１は、話速変換装置のブロック図である。この話速変換装置１は、音声入力部２と、Ａ／Ｄ変換部３と、入力バッファ部４と、転送制御部５と、音声分析部６と、音声データ分析＆処理制御部７と、データ処理部８と、出力バッファ部９と、Ｄ／Ａ変換部１０と、音声出力部１１とを備える。
【００１３】
音声入力部２はアナログ音声信号を入力する。Ａ／Ｄ変換部３は音声入力部２によって入力されたアナログ音声信号をデジタル音声データに変換する。入力バッファ部４はＡ／Ｄ変換部３からのデジタル音声データを蓄える。転送制御部５は入力バッファ部４が蓄えたデジタル音声データの後段への転送を制御する。
【００１４】
音声分析部６は転送制御部５によって転送が制御されて供給された上記デジタル音声データを分析に必要となる量だけ分析バッファ部６ａに蓄えて、有音であるか否かを分析して有音データ又は無音データを弁別し、さらに有音データを子音、母音、母音間の調音結合部分に分析して、上記分析バッファ部６ａから出力する。
【００１５】
データ処理部８は音声分析部６による分析によって分析バッファ部６ａから出力された上記各有音データに対して後述する処理に基づいた伸張率にて伸張処理を施し、かつ上記無音データに対して削除処理を施す。このためデータ処理部８は、伸張処理部１２と、削除処理部１３とを備える。
【００１６】
伸張処理部１２は音声分析部６による分析によって分析バッファ部６ａから出力された上記有音データのうち、母音間の調音結合部分に対する伸張率を上記有音データ中の母音に対する伸張率よりも小さくする重み付けを行って、上記有音データを各伸張率にて伸張処理する。具体的に、伸張処理部１２は、予め設定された伸張率Ｒ（1.0＞＝Ｒ）から1.0を減算した値と有音データの定常性に応じた重み付け係数Ｗとの乗算した値（1.0+(Ｒ-1.0）＊Ｗ）で有音データを伸張処理する。有音データの定常性の分析パラメータとして、本実施の形態では波形パワーとフォルマント軌跡を用いる。
【００１７】
削除処理部１３は、分析バッファ部６ａから出力された無音データを削除処理する。具体的には、原音声の再生タイミングと伸張処理された音声の再生タイミングとの時間的なズレが大きくならないように無音データを適時削除処理する。
【００１８】
音声データ分析＆処理制御部７は、音声分析部６によるデジタル音声データに対する分析処理を制御し、かつデータ処理部８による伸張処理部１２での上記伸張処理、削除処理部１３での上記削除処理を制御する。
【００１９】
以下には、図２を参照して、音声データ分析＆処理制御部７の制御の基に、音声分析部６で行われる、調音結合部分と残りの他の部分の検出について説明する。
【００２０】
図２の（ａ）は、一定のデータ数（フレーム）毎に波形パワーが時間［sec］に応じてどのように変化するかを示す特性図である。図２の（ｂ）は、上記波形パワーの特性図に対応するフォルマント軌跡の特性図である。
【００２１】
図２の（ａ）では二つの閾値ｔ０、ｔ１より波形パワーが大であるか否かが判定できる。図２の（ｂ）ではフォルマント軌跡の明瞭性及び安定性が判断できる。
【００２２】
ここで、フォルマント軌跡の明瞭性及び安定性について説明しておく。
【００２３】
まず、フォルマントの明瞭性について説明する。所定区間ごと(例えば、1024ポイント)に音声信号より声帯からの影響を除いた特性(声道特性)のパワースペクトル分析を行い、少しずつ時間窓をずらして、所謂スペクトログラムとして表示する。この手法には、ケプストラム、線形予測法などいくつかの方法が知られ、多用されている。
【００２４】
ある区間における声道特性のパワースペクトルにおいて、第１フォルマント、あるいは第２、第３フォルマントも含めて、そのスペクトルの強度、先鋭度を評価し、その結果に基づいてフォルマントの明瞭性を判断する。
【００２５】
フォルマント部分に相当するスペクトルの強度は、そのレベルを所定の基準値以上であるか否かにより判断しても良いし、あるいは、その音声区間の信号パワーを評価しても良い。
【００２６】
フォルマント部分に相当するスペクトルの先鋭度は、スペクトルのピークとなる周波数に対し、例えば-3dBとなる周波数バンド幅などを指標にして評価すればよい。
【００２７】
次に、フォルマントの安定性について説明する。上記と同様の手法で、声道特性のスペクトログラムを求め、第１フォルマント、あるいは第２、第３フォルマントも含めて、そのフォルマント周波数の時間遷移を測定し評価することで、フォルマントの安定性を判断する。
【００２８】
より具体的には、フォルマント周波数を単位時間ごとに観測し、その周波数分布の分散を計算して、分散（ばらつき度合い）が小さいときにそのフォルマント軌跡が安定であるとし、分散が所定値より大きいときはそのフォルマント軌跡が安定ではないと判断する。
【００２９】
また、その他の手法としては、音声分析技術の、ケプストラム（cepstrum）を使うこともできる。フーリエ変換によって求められたパワースペクトルの対数値をさらにフーリエ逆変換したものである。
【００３０】
ケプストラム分析によれば、スペクトルの微細構造(基本周波数成分:音声であれば声帯に依存)はケフレンシーの高いところにピークが現れ、スペクトル包絡 (音声であれば声道、すなわち舌、顎や唇の位置や形などに依存)はケフレンシーの低いところに集中するので、その高ケフレンシー部分のピークを抽出することにより、音声の周期性の評価に利用できる。
【００３１】
この周期性がはっきりとしている部分は母音部分であると判断され、低いケフレンシー部分を抽出することにより、パワースペクトルのエンベロープが求められ、その時間変動を統計的手法を使って評価することにより、フォルマントの安定性が判断される。その他、フォルマント抽出には線形予測分析などの手法も用いることもできる。
【００３２】
音声波形に対して周波数分析による複数のフォルマントの抽出を行い、各フォルマントの強度、および各フォルマントの周波数値の時間軸上での変動を観察することで母音区間における定常・非定常区間の判別を行う。フォルマント抽出には線形予測分析やケプストラム分析を用いることができる。
【００３３】
したがって、本願発明では、音声の母音の“渡り”部分を弁別するために、上述のフォルマントの明瞭性判断と、このフォルマントの安定性判断（定常・非定常区間の判別）を用いる。
【００３４】
音声分析部６は図２の（ａ）及び図２の（ｂ）の特性図に応じて、定常区間及び非定常区間の検出を以下に示すように行い、調音結合部分と残りの他の部分の検出を行う。
【００３５】
まず、音声分析部６は波形パワー値が閾値ｔ0より小さいと分析した部分を無音と判断する。図２の（ｂ）では非定常区間ｘである。
【００３６】
次に、音声分析部６は波形パワー値が閾値ｔ0より大きく、データ処理部８を介してフォルマント軌跡が不明瞭であるという部分を子音と判断する。図２の（ｂ）では非定常区間ｙである。
【００３７】
次に、音声分析部６は波形パワー値が閾値ｔ１より大きく、データ処理部８を介してフォルマント軌跡が明瞭で安定しているという部分を母音と判断する。図２の（ｂ）では定常区間ａ，ｂである。
【００３８】
次に、音声分析部６は波形パワー値が閾値ｔ１より大きく、データ処理部８を介してフォルマント軌跡が明瞭であるが、変動しているという部分を母音の渡り部分と判断する。図２の（ｂ）では非定常区間ｚである。
【００３９】
以上のように分析された各結果のうち、無音を除く有音データに対して、データ処理部８の伸張処理部１２は例えば1.2とした伸張率Ｒに対して、各重み付けＷの設定を行う。すなわち、有音データのうち、子音に対してはＷ＝0.5、母音に対してはＷ＝1.0、母音の渡り（調音結合部分）に対してはＷ＝0.8と設定する。この伸張率Ｒと重み付け係数Ｗは、音声データ分析＆処理制御部７によって算出され、伸張処理部１２に供給される。
【００４０】
伸張処理部１２は、上述のように上記各有音データに対して乗算値1.0+（Ｒ-1.0）＊Ｗで伸張処理を施す。子音のときには1.0+（Ｒ-1.0）＊Ｗ＝1.0+0.2×0.5＝1.1という伸張率とする。母音のときには1.0+（Ｒ-1.0）＊Ｗ＝1.0+0.2×1.0＝1.2という伸張率とする。調音結合部分（母音の渡り）のときは1.0+（Ｒ-1.0）＊Ｗ＝1.0+0.2×0.8＝1.16という伸張率とする。
【００４１】
このように、伸張処理部１２は、予め設定された伸張率Ｒ（１．０＞＝Ｒ）から1.0を減算した値との乗算した値（1.0+（Ｒ-1.0）＊Ｗ）で上記各有音データに伸張処理を施す。削除処理部１３にて削除されなかった無音データ、および伸張処理部１２で伸張処理された有音データは出力バッファ部９に送られる。出力バッファ部９内のデータは順次一定速度で読み出され、Ｄ／Ａ変換部１０によりＤ／Ａ変換され後、音声出力部１１へ送られる。
【００４２】
以上に説明したように、話速変換装置１は、母音部分においてもその定常性に応じた重み付けを行うことで、定常性の強い母音部分は定常性の弱い母音の渡り部分に比較して伸張率が大きく設定されるため、母音の渡り部分が不自然に伸張されることなく、人がゆっくり話したような自然で明瞭性の高い話速変換音声を得ることが可能となる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態となる話速変換装置のブロック図である。
【図２】音声分析部おける定常区間及び非定常区間の検出処理を説明するための図である。
【符号の説明】
【００４４】
１  話速変換装置、２  音声入力部、３  Ａ／Ｄ変換部、４  入力バッファ部、５  転送制御部、６  音声分析部、６ａ  分析バッファ部、７  音声データ分析＆処理制御部、８  データ処理部、９  出力バッファ部、１０  Ｄ／Ａ変換部、１１  音声出力部、１２  伸張処理部、１３  削除処理部
【図１】
2007047313.tif 000003
【図２】
2007047313.tif 000004