(57)【要約】【課題】音声の自然性の劣化を防ぎつつ、雑音下でも明瞭な音声を生成する音声明瞭化技術を提供する。【解決手段】判断部３が、入力された音声s(t)の音素情報を用いて、音声s(t)を構成する各フレームに対応する音素の種類を判断する。フィルタ生成部１１が、判断された各フレームに対応する音素の種類に対応する、各フレームの音声スペクトルS(i,f)を強調するための強調フィルタを生成する。フィルタ部７が、判断された各フレームに対応する音素の種類に対応する強調フィルタを用いて、各フレームの音声スペクトルS(i,f)を強調することにより強調スペクトルS’(i,f)を生成する。スペクトル合成部８が、生成された強調スペクトルを逆フーリエ変換することにより時間領域信号である強調音声s’(t)を生成する。【選択図】図１
2014232245.tif 000002
【特許請求の範囲】
【請求項１】
音声s(t)を一定の時間長のフレームごとにフーリエ変換することにより、各フレームの音声スペクトルS(i,f)を生成する音声スペクトル分析部と、
入力された上記音声s(t)の音素情報を用いて、上記音声s(t)を構成する各フレームに対応する音素の種類を判断する判断部と、
上記判断された上記各フレームに対応する音素の種類に対応する、上記各フレームの音声スペクトルS(i,f)を強調するための強調フィルタを生成するフィルタ生成部と、
上記判断された上記各フレームに対応する音素の種類に対応する強調フィルタを用いて、上記各フレームの音声スペクトルS(i,f)を強調することにより強調スペクトルS’(i,f)を生成するフィルタ部と、
上記生成された強調スペクトルを逆フーリエ変換することにより時間領域信号である強調音声s’(t)を生成するスペクトル合成部と、
を含む音声明瞭化装置。
【請求項２】
請求項１の音声明瞭化装置において、
入力されたテキストに基づいて音素情報を生成し上記音素情報とし、その音素情報を用いてその入力されたテキストに対応する合成音声を生成し上記音声s(t)とする音声合成部を更に含む、
音声明瞭化装置。
【請求項３】
請求項１の音声明瞭化装置において、
上記音声s(t)を音声認識することにより上記音素情報を生成する音声認識部を更に含む、
音声明瞭化装置。
【請求項４】
請求項１から３の何れかの音声明瞭化装置において、
上記音素の種類に対応する強調フィルタは、パワー間の正規分布に基づいてこれらの帯域の相対的なパワーの関係を保ちながら強調するフィルタである、
音声明瞭化装置。
【請求項５】
請求項１から４の何れかの音声明瞭化装置において、
上記判断部は、入力された上記音声s(t)の音素情報を用いて、上記音声s(t)を構成する各フレームに対応する音素が、母音、有声子音、無声子音の何れであるかを判断し、
上記フィルタ部は、上記各フレームに対応する音素が母音である場合には、上記各フレームの音声スペクトルS(i,f)に対する、母音を強調するための母音強調フィルタE1(i,f)を生成する母音フィルタ生成部と、上記各フレームに対応する音素が有声子音である場合には、上記各フレームの音声スペクトルS(i,f)に対する、有声子音を強調するための有声子音強調フィルタE2(i,f)を生成する有声子音フィルタ生成部と、上記各フレームに対応する音素が無声子音である場合には、上記各フレームの音声スペクトルS(i,f)に対する、無声子音を強調するための無声子音強調フィルタE3(i,f)を生成する無声子音フィルタ生成部と、を含み、
上記フィルタ部は、上記各フレームに対応する音素が母音である場合には上記母音強調フィルタE1(i,f)を用いて上記各フレームの音声スペクトルS(i,f)を強調して上記各フレームに対応する強調スペクトルS’(i,f)を生成し、上記各フレームに対応する音素が有声子音である場合には上記有声子音強調フィルタE2(i,f)を用いて上記各フレームの音声スペクトルS(i,f)を強調して上記各フレームに対応する強調スペクトルS’(i,f)を生成し、上記各フレームに対応する音素が無声子音である場合には上記無声子音強調フィルタE3(i,f)を用いて上記各フレームの音声スペクトルS(i,f)を強調して上記各フレームに対応する強調スペクトルS’(i,f)を生成する、
音声明瞭化装置。
【請求項６】
音声スペクトル分析部が、音声s(t)を一定の時間長のフレームごとにフーリエ変換することにより、各フレームの音声スペクトルS(i,f)を生成する音声スペクトル分析ステップと、
判断部が、入力された上記音声s(t)の音素情報を用いて、上記音声s(t)を構成する各フレームに対応する音素の種類を判断する判断ステップと、
フィルタ生成部が、上記判断された上記各フレームに対応する音素の種類に対応する、上記各フレームの音声スペクトルS(i,f)を強調するための強調フィルタを生成するフィルタ生成ステップと、
フィルタ部が、上記判断された上記各フレームに対応する音素の種類に対応する強調フィルタを用いて、上記各フレームの音声スペクトルS(i,f)を強調することにより強調スペクトルS’(i,f)を生成するフィルタステップと、
スペクトル合成部が、上記生成された強調スペクトルを逆フーリエ変換することにより時間領域信号である強調音声s’(t)を生成するスペクトル合成ステップと、
を含む音声明瞭化方法。
【請求項７】
請求項１から５の何れかに記載された音声明瞭化装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、雑音環境下において合成音声及び自然音声等の音声を明瞭化する技術に関する。
【背景技術】
【０００２】
近年、音声合成技術の発展・普及により、様々な場所で合成音声によるメッセージを聴取する機会が増えた。合成音声は静かな場所だけではなく、空港や駅のホーム、商店街などのように周囲に雑音があるような騒がしい環境で聴取する場合が多い。このよう雑音がある環境下では、合成音声が聞き取りにくくなる問題がある。このとき、音量を上げると音声の聞き取りやすさが向上する。しかし、音量の上昇には上限があり、強くしすぎると音声が歪み、かえって音声が聞き取りづらくなることがある。
【０００３】
これまで人間が発声した自然音声、合成音声に関わらず、雑音下で音声を聞き取りやすくする明瞭化技術が存在した。一般に音声の母音の周波数スペクトルには複数のピークが存在し、これをフォルマントと言う。このフォルマント部分を強調することで、音量を過大に上げることなく、音声を明瞭化することが知られており、音声のフォルマントのパワーを強調するイコライザを用いて聞き取りやすさを改善している（例えば、非特許文献１参照。）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】天野文雄,“らくらくホンにおける聞え支援機能について”，日本音響学会2012年春季研究発表,1-2-2,pp.1563-1564
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これまでの音声明瞭化手法は、合成音声及び自然音声の何れであっても、音素の種類に関係なくフォルマントを強調するため、無声子音のようなフォルマントのない音に対してもスペクトルのピーク部分を強調してしまい、音声の自然性が劣化する可能性があった。また、母音や有声子音であっても、フォルマントのパワーや位置は、音声の自然性にとって重要な特徴であるため、フォルマントを強調しつつ、自然な音声のフォルマントのパワーとなるようなフィルタの設計に細かいチューニングが必要であった。
【０００６】
この発明は、細かいチューニングを必要とせずに、音声の自然性の劣化を防ぎつつ、雑音下でも明瞭な音声を生成する音声明瞭化装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の一態様による音声明瞭化装置は、音声s(t)を一定の時間長のフレームごとにフーリエ変換することにより、各フレームの音声スペクトルS(i,f)を生成する音声スペクトル分析部と、入力された音声s(t)の音素情報を用いて、音声s(t)を構成する各フレームに対応する音素の種類を判断する判断部と、判断された各フレームに対応する音素の種類に対応する、各フレームの音声スペクトルS(i,f)を強調するための強調フィルタを生成するフィルタ生成部と、判断された各フレームに対応する音素の種類に対応する強調フィルタを用いて、各フレームの音声スペクトルS(i,f)を強調することにより強調スペクトルS’(i,f)を生成するフィルタ部と、生成された強調スペクトルを逆フーリエ変換することにより時間領域信号である強調音声s’(t)を生成するスペクトル合成部と、を含む。
【発明の効果】
【０００８】
音声の音素種別ごとに音声明瞭化を行うことで、また、自然な音声のフォルマント部分のパワーの関係を維持しながらフォルマントを強調することで、細かいチューニングを必要とせずに音声の自然性を劣化させずに音声を明瞭化することができる。
【図面の簡単な説明】
【０００９】
【図１】第一実施形態の音声明瞭化装置の例を示すブロック図。
【図２】音声明瞭化方法の例を示すフローチャート。
【図３】音声s(t)の例を示す図。
【図４】音素情報の例を示す図。
【図５】音声スペクトル分析部の処理の例を示すフローチャート。
【図６】判断部の処理の例を示すフローチャート。
【図７】母音フィルタ生成部の例を示すブロック図。
【図８】フォルマントの例を説明するための図。
【図９】フォルマント間の帯域の相関関係の例を示す図。
【図１０】母音強調フィルタE1(i,f)の例を示す図。
【図１１】有声子音フィルタ生成部の例を示すブロック図。
【図１２】帯域間の相関関係の例を示す図。
【図１３】有声子音強調フィルタE2(i,f)の例を示す図。
【図１４】帯域間の相関関係の例を示す図。
【図１５】スペクトル合成部の処理の例を示すフローチャート。
【図１６】第二実施形態の音声明瞭化装置の例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、音声明瞭化装置及び方法の実施形態を説明する。
【００１１】
［第一実施形態］
第一実施形態の音声明瞭化装置は、図１に示すように、音声合成部１、音声スペクトル分析部２、判断部３、フィルタ生成部１１、フィルタ部７、スペクトル合成部８及び雑音スペクトル分析部９を例えば備えている。フィルタ生成部１１は、母音フィルタ生成部４、有声子音フィルタ生成部５、無声子音フィルタ生成部６を例えば備えている。音声明瞭化方法は、音声明瞭化装置が図２の各ステップの処理を例えば行うことにより実現される。
【００１２】
＜ステップＳ１＞
音声合成部１は、合成するテキストを入力として音声波形s(t)を出力する。また、音声合成部１は、音声波形を生成する際の中間情報である音素情報（ph(k),Ts(k),Te(k)）も出力として利用する（ステップＳ１）。すなわち、音声合成部１は、入力されたテキストに基づいて音素情報を生成し、その音素情報を用いてその入力されたテキストに対応する合成音声を生成し音声s(t)とする。音素情報は、音声s(t)を構成する音素についての情報である。
【００１３】
音声s(t)及び後述する強調音声s’(t)は、音声のサンプリング周波数をfs[Hz]とした場合の、音声のサンプル時間t（t=0,1,…,T-1）における振幅である。音声s(t)の例を図３に示す。図３に例示された音声s(t)は、fs=16000,T=20000であり、T/fs=1.25秒程度の音声である。
【００１４】
このように、音声合成部１は、テキストを入力とし、入力したテキストに対応する音声s(t)を合成する。その際の音声合成は、例えば参考文献１のような公知の技術によって実現ができる。
【００１５】
〔参考文献１〕益子貴史, 徳田恵一, 小林隆夫, 今井聖, “動的特徴を用いたHMMに基づく音声合成”, 電子情報通信学会論文誌, D-II, vol. J79-D-II, No.12, pp.2184-2190, 1996
【００１６】
音声合成部１は、音声を合成する際には、音声の音の種類（音素）ph(k)と、音素の開始時間Ts(k)、終了時間Te(k)の情報を生成する。ph(k)は音素情報であり、k番目の音素の種別を予め定めたアルファベット情報で出力する。音素の開始時間、終了時間はサンプル数で例えば表す。図４にこの音素情報の例を示す。音声明瞭化装置は、効果的な明瞭化を実現するために、音素の種類によって音声の明瞭化のアルゴリズムを変える。このために、音声合成部１はこの音素情報ph(k), Ts(k), Te(k)も出力する。
【００１７】
音声合成部１によって生成された音声s(t)は音声スペクトル分析部２に提供される。また、音素情報(ph(k),Ts(k),Te(k))は、判断部３に提供される。
【００１８】
＜ステップＳ２＞
音声スペクトル分析部２は、音声s(t)を入力として音声スペクトルS(i,f)を出力する。音声スペクトル分析部２は、音声s(t)をpサンプル間隔で分析を行い、音声スペクトルS(i,f)[dB]を抽出する。pは音声分析を行うためのフレームシフト幅であり、例えばp=0.032*fs（32ms間隔で分析）とすることができる。
【００１９】
i（i=0,1,…,[(T-1)/p]）は、pサンプル間隔で分析した場合の分析番号（フレーム番号）であり、t=ip+m（m=0,1,…,p-1）である。また、f（f=0,1,…,D-1）は、(f/N)×(fs/2)[Hz]以上、((f+1)/N)×(fs/2) [Hz]未満の周波数帯域を表す番号（帯域番号）である。DはFFT長であり、例えばD=210とすることができる。音声スペクトルS(i,f)は、音声の短時間スペクトルを示す複素数であり、|S(i,f)|2は、iフレーム目の周波数番号fのパワー、arg{S(i,f)}は位相を示す。音声スペクトル分析部２が行う処理の例のフローチャートを図５に示す。音声スペクトル分析部２は、例えば次の計算を行う。
【００２０】
(1) フレーム番号i=0とする。
【００２１】
(2) 全てのフレームについて計算を終えたとき、つまりi>[(T-1)/p]の場合終了する。
【００２２】
(3) 周波数番号f=0とする。
【００２３】
(4) すべての周波数番号fについて計算を終えたとき、つまりf>D-1の場合(7)に進む。
【００２４】
(5) 音声s(t)を、窓関数w(p,f)を用いて切り出し、切り出した音声s0(f)とする。
【００２５】
s0(f)=w(p,f)s(ip+f)
w(p,f)は周波数スペクトル解析で用いる窓関数であり、滑らかに音声を切り出す関数である。窓関数は様々なものが提案されているが、例えば次式で示されるハミング窓を用いて制御することが可能である。
【００２６】
【数１】
2014232245.tif 000003
【００２７】
(6) f←f+1として(4)に戻る
【００２８】
(7) 切り出した音声サンプルs0(f)（f=0,1,…,D-1）に対して長さDの離散フーリエ変換を行い、音声スペクトルS(i,f)を求める。
【００２９】
(8) i←i+1として(2)に戻る。
【００３０】
このように、音声スペクトル分析部２は、音声s(t)を一定の時間長のフレームごとにフーリエ変換することにより、各フレームの音声スペクトルS(i,f)を生成する（ステップＳ２）。生成された音声スペクトルS(i,f)は、フィルタ生成部１１及びフィルタ部７に提供される。
【００３１】
音声は、音素の種類によって聞き取りやすさと相関性のある音響特徴量が異なる。例えば参考文献２では、母音、有声子音、無声子音で聞き取りやすさと相関性のある特徴量が、異なることを示している。本技術は、判断部３で判断された例えば母音、有声子音、無声子音の音素種類ごとに明瞭化の処理を切り替えることで、自然性の劣化を防ぎながら聞き取りやすさを改善する。
【００３２】
〔参考文献２〕神山歩相名, 井島勇祐, 磯貝光昭, 水野秀之, “雑音重畳音声の聴き取りやすさと音響特徴量の関係の分析”, 信学技報, vol.112, no.81, SP2012-46, pp.69-74, 2012
【００３３】
＜ステップＳ３＞
雑音スペクトル分析部９は、雑音n(t)を入力として音声スペクトルN(i,f)を出力する。言い換えれば、雑音スペクトル分析部９は、雑音n(t)を一定の時間長のフレームごとにフーリエ変換することにより、各フレームの雑音スペクトルN(i,f)を生成する（ステップＳ３）。雑音n(t)は、例えば強調音声s’(t)が出力される場における雑音のである。
【００３４】
雑音スペクトル分析部９の処理は、入力を音声s(t)の代わりに雑音n(t)とした以外は、上記の音声スペクトル分析部２の処理と同様であるため、ここでは重複説明を省略する。
【００３５】
生成された雑音スペクトルN(i,f)は、フィルタ生成部１１に提供される。
【００３６】
＜ステップＳ４＞
判断部３は、入力された記声s(t)の音素情報を用いて、音声s(t)を構成する各フレームに対応する音素の種類を判断する（ステップＳ４）。例えば、判断部３は、音素情報（ph(k),Ts(k),Te(k)）を入力として、母音区間情報Hvo、有声子音区間情報Hvc及び無声子音区間情報Hucを出力する。言い換えれば、判断部３は、音素情報に基づいて明瞭化処理を切り替えるための、母音区間情報Hvo、有声子音区間情報Hvc及び無声子音区間情報Hucを例えば生成する。判断部３が行う処理の例のフローチャートを図６に示す。
【００３７】
判断部３は、具体的には次のような処理を行う。まず、前処理として、k=0, 母音区間Hvo=φ、有声子音区間Hvc=φ、無声子音区間Huc=φとする。
【００３８】
(1) k>Kのとき終了する。
【００３９】
(2) i=[(Ts(k)-1)/p]とする。
【００４０】
(3) i>[(Te(k)-1)/p]のとき、k←k+1として(2)に戻る。
【００４１】
(4) ph(k)の種別によって、下記(i)-(iii)の処理を行うことにより明瞭化処理の切り替えを実現する。
【００４２】
(i) ph(k)が母音のとき、Hvo←Hvo∪{i}とする。
【００４３】
(ii) ph(k)が有声子音のとき、Hvc←Hvc∪{i}とする。
【００４４】
(iii) ph(k)が無声子音のとき、Huo←Huo∪{i}とする。
【００４５】
(5) i←i+1として(3)に戻る。
【００４６】
このようにして、判断部３は、音素情報を用いて、音声s(t)を構成する各フレームに対応する音素が母音、有声子音、無声子音の何れであるかを例えば判断する（ステップＳ４）。各フレームに対応する音素が母音、有声子音、無声子音の何れであるかについての情報である母音区間情報Hvo、有声子音区間情報Hvc及び無声子音区間情報Hucは、それぞれ母音フィルタ生成部４、有声子音フィルタ生成部５及び無声子音フィルタ生成部６に提要される。
【００４７】
＜ステップＳ５からステップＳ７＞
フィルタ生成部１１は、判断部３で判断された各フレームに対応する音素の種類に対応する、その各フレームの音声スペクトルS(i,f)を強調するための強調フィルタを生成する（ステップＳ５からステップＳ７）。生成された強調フィルタは、フィルタ部７に提供される。
【００４８】
後述するように、フィルタ生成部１１により生成される音素の種類に対応する強調フィルタは、パワー間の正規分布に基づいてこれらの帯域の相対的なパワーの関係を保ちながら強調するフィルタである。
【００４９】
この例では、判断部３は、音素が母音、有声子音、無声子音の何れの種類であるかを判断している。そこで、この例では、フィルタ生成部１１は母音フィルタ生成部４、有声子音フィルタ生成部５及び無声子音フィルタ生成部６を含んでおり、音素が母音であると判断された場合には母音フィルタ生成部４が以下に述べるステップＳ５の処理を行い、音素が有声子音であると判断された場合には有声子音フィルタ生成部５が以下に述べるステップＳ６の処理を行い、音素が無声子音であると判断された場合には無声子音フィルタ生成部６が以下に述べるステップＳ７の処理を行う。
【００５０】
＜ステップＳ５＞
母音フィルタ生成部４は、音声s(t)、音声スペクトルS(i,f)、雑音スペクトルN(i,f)及び母音区間情報Hvoを入力として、母音強調フィルタE1(i, f)を出力する。
【００５１】
母音フィルタ生成部４は、音声スペクトル分析部２で分析した周波数スペクトルS(i,f)に対する、母音を明瞭化するフィルタE1(i,f)を生成する。母音を明瞭化する方式は様々な方法が考えられるが、例えば図７に示された機能構成により明瞭化する方法が考えられる。
【００５２】
この例では、母音フィルタ生成部４は、フォルマント抽出部４１と強調フィルタ生成部４２とを備えている。
【００５３】
フォルマント抽出部４１は、音声s(t)を入力として、フォルマント情報F(i,j)を出力する。フォルマント抽出部４１は、参考文献３等の公知の方法によって実現される。
【００５４】
〔参考文献３〕大塚貴弘，“音源パルス列を考慮した頑健なARX音声分析法”，日本音響学会誌，58巻，7号，pp.386-397, 2002.7
【００５５】
フォルマントとは、図８のような音声スペクトルのピーク部分であり、低い周波数から第１フォルマント、第２フォルマントというように番号で区別される。このフォルマントの周波数軸上の位置が、音声の音韻性や話者性を特徴付ける。フォルマント抽出部４１は、音声s(t)からpサンプル間隔でフォルマント周波数F(i,j)[Hz]を抽出する。i(i=0,1,…,[(T-1)/p])は音声スペクトル分析部２と同じで分析番号（フレーム番号）である。また、j(j=1,2,…,J)はフォルマント番号であり、F(i,j)は、第jフォルマントの位置となる。Jは抽出するフォルマントの数であり、４又は５程度の値である。F(i,j)はiフレーム目が無声区間及び無音区間のようなフォルマントが存在しない区間である場合、各j(j=1,2,…,J)についてF(i,j)=0となる。
【００５６】
強調フィルタ生成部４２は、雑音スペクトルN(i,f)、音声スペクトルS(i,f)及び母音区間情報Hvoを入力として、雑音下で母音を聞き取りやすくするフィルタE1(i,f)を出力する。
【００５７】
音声の母音の音韻性はフォルマントによって特徴づけられることが知られており、雑音下でもこのフォルマント周波数の位置の音声スペクトルがマスキングせずに聞き取れることが重要となる。一方、このフォルマントの位置及びパワーが自然な音声を特徴づけるため、自然な音声となるようなフォルマントを強調する強調フィルタを設計する必要がある。
【００５８】
図９に20名の話者の平均パワー密度のフォルマント間の帯域を求め、第jフォルマントを含む帯域の1帯域番号あたりの平均パワーの20名間の相関係数を示す。第jフォルマントを含む帯域の1帯域番号あたりのパワーは、そのフォルマントの相対的なパワーを示す。平均パワー密度は下記式Pd(i,f)にて定義され、第jフォルマントを含む部分の相対的なパワーは下記B(j)である。
【００５９】
【数２】
2014232245.tif 000004
【００６０】
B(1)とB(3),B(4)、及びB(3)とB(2)は比較的強い相関があり、自然な音声となるためには、このフォルマントの相対的なパワーの相関を保ちながらフォルマントを強調する必要がある。また、フォルマントを強調することで音声のパワーが上がりすぎないことが望まれる。
【００６１】
そこで、B(j)を正規分布の確率と仮定して、予めB=(B(1), B(2), …, B(J-1))Tの平均μBと共分散行列ΣBを求めておき平均パワー分布とする。つまり、P(B)=N(B;μB,ΣB)とする。その上で、参考文献２でも示されているように、第３フォルマントの音声と雑音パワー比が聞き取りやすさと相関があるため、例えば参考文献２に基づいてj=3として第jフォルマントを次のようにフォルマントを強調するフィルタE1(i,f)を生成する。
【００６２】
(1) 下記式Ps,Pnを用いて第jフォルマント部分の音声と雑音のパワー比R=10log10(Ps(j)/Pn(j))を求める。
【００６３】
【数３】
2014232245.tif 000005
【００６４】
(2) Rがあらかじめ定めたパワー比よりR’より大きい、つまりR>R’のとき、全てのi∈Hvo,f=0,1,…,D-1について、E1(i,f)=1として終了する。
【００６５】
(3) (*1)式を用いて、B=(B(1), B(2), …, B(J-1))Tを求める。
【００６６】
(4) (*2)式を用いてパワーPs=(Ps(1), Ps(2), …, Ps(J-1))Tを求める。
【００６７】
(5) j番目以外の合計パワーM'=Σi=1JPs(i)-Ps(j)を求める。
【００６８】
(6) 目標平均パワーB’を例えば、下記(i)-(v)によって求める。
【００６９】
(i) A=Ps./B=(Ps(1)/ B(1), Ps(2)/ B(2), …, Ps(J-1)/ B(J-1)) Tとする。
【００７０】
(ii) 第jフォルマントの目標とする平均パワーB’(j)＝10^((R-R’)/20)B(j)とする。
【００７１】
(iii) Bの平均μB={μn}と共分散行列ΣB={σnm}を用いて、B’(j)を求めたときの条件付き正規分布P(B|B’(j))=N(B|B’(j);μB,ΣB)=N(B';μ'B,Σ'B)の平均μ’B、共分散行列Σ’Bを求める。μ'B,Σ'B の導出には、下記のBの平均μBからj番目の要素を取り除いた平均ベクトルμB1、またBの分散行列ΣBからj行j列目を取り除いた行列Σ11、j列目のj行目以外のベクトルΣ12、j行目のj列目以外のベクトルΣ21、及びj行j列目の要素Σ22を用いる。
【００７２】
【数４】
2014232245.tif 000006
【００７３】
上記を用いて、以下のようにμ'B,Σ'Bを求める。
【００７４】
【数５】
2014232245.tif 000007
【００７５】
(iv) Aからj番目の要素を取り除いたベクトルA’を求める。
【００７６】
【数６】
2014232245.tif 000008
【００７７】
(v) 残りの目標平均パワーB’を下記式により求める。
【００７８】
【数７】
2014232245.tif 000009
【００７９】
として、B’= B'(1),…,B'(J-1))とする。
【００８０】
(7)各フォルマント帯域毎のゲイン幅G=B’./ Bを求める。
【００８１】
【数８】
2014232245.tif 000010
【００８２】
(8) 各フォルマント帯域のパワーをG倍する母音強調フィルタE1(i,f)を生成する。フィルタは様々なものを構築することができるが、例えば図１０のようにフォルマント部分をg(j)、各フォルマント間の中点を1とする母音強調フィルタE1(i,f)を構成し、以下の関係を満たすフィルタを構成することができる。
【００８３】
【数９】
2014232245.tif 000011
【００８４】
目標のパワーの合計が、
【００８５】
【数１０】
2014232245.tif 000012
【００８６】
となるように、新しく求めた目標のパワーの合計が一定制御前と変わらない同一であることがわかる。また、新しいパワーはBの条件付き確率分布P(B|B’(j))を最大にするB'を求めるにすぎないため、Bの相関関係が保たれながら新しい平均パワーB’及びPs(j)G(j)を求めることができる。この例では参考文献２に基づいて、j=3として第3フォルマントを強調する例を示したが、同様にして第2・4フォルマントも制御しても良い。
【００８７】
このように、母音フィルタ生成部４は、あるフレームiに対応する音素が母音である場合には、そのフレームiの音声スペクトルS(i,f)に対する、母音を強調するための母音強調フィルタE1(i,f)を生成する（ステップＳ５）。
【００８８】
このようにして生成された母音強調フィルタE1(i,f)は、各フォルマントを含む帯域の相対的なパワーが正規分布に従うと仮定してこれらの帯域の相対的なパワーの関係を保ちながら母音を強調するフィルタであると言える。生成された母音強調フィルタE1(i,f)は、フィルタ部７に提供される。
【００８９】
＜ステップＳ６＞
有声子音フィルタ生成部５は、雑音スペクトルN(i,f)、音声スペクトルS(i,f)及び有声子音区間情報Hvcを入力として、有声子音強調フィルタE2(i, f)を出力する。
【００９０】
有声子音フィルタ生成部５は、音声スペクトル分析部２で分析した周波数スペクトルS(i,f)に対し、有声子音を明瞭化するフィルタE2(i,f)を生成する。有声子音にもフォルマントがあるものの、撥音などフォルマントが母音よりも少ない音がある。そこで、有声子音についてはフォルマントの帯域ではなく、特定の周波数帯域とし、その他の帯域を母音フィルタ生成部と同じように相関関係に基づいて制御することで、音声の聴き取りやすさを改善する方法が考えられる。この特定の帯域をM(k)、平均パワーCを用いて以下に述べる(1)から(8)ように制御すればよい。この処理は、図１１に例示するように有声子音フィルタ生成部５に設けられた有声子音強調部５１により行われる。
【００９１】
図１２に、20名の話者の音声データに基づく、有声子音のパワーの相関関係の例を示す。ここでは、分割する帯域MはL=5として、M(0)=0, M(1)=D*(2000/fs), M(2)= D*(4000/fs), M(3)=D *(6000/fs), M(4)= D*(8000/fs), M(5)= D*(16000/fs),（それぞれ0kHz, 1kHz, 2kHz,4kHz,6kH,8kHzを境界とする帯域）としている。帯域kの相対的なパワーは下記(3)の説明で定義されるC(k)である。
【００９２】
図１２の例では、C(1)とC(2)、C(1)とC(3)、C(2)とC(3)には比較的強い相関があることがわかる。自然な音声となるためには、これらの帯域間の相対的なパワーの相関を保ちながら強調する必要がある。  (1) 下記式Ps,Pnを用いてm番目の帯域（M(m-1)〜M(m)）の部分の音声と雑音のパワー比R=10log10(Ps(m)/Pn(m))を求める。
【００９３】
【数１１】
2014232245.tif 000013
【００９４】
(2) Rがあらかじめ定めたパワー比よりR’より大きい、つまりR>R’のとき、全てのi∈Hvo,f=0,1,…,D-1について、E2(i,f)=1として終了する。
【００９５】
(3) 下記式を用いて、C=(C(1), C(2), …, C(L-1)) Tを求める。Lは、帯域分割する数である。
【００９６】
【数１２】
2014232245.tif 000014
【００９７】
(4) (*3)式を用いてパワーPs=(Ps(1), Ps(2), …, Ps(L-1)) Tを求める。
【００９８】
(5) m番目以外の合計パワーM'=Σi=1MPs(i)-Ps(m)を求める。
【００９９】
(6) 目標平均パワーC’を例えば、下記(i)-(v)によって求める。
【０１００】
(i) D=Ps./C=(Ps(1)/ C(1), Ps(2)/ C(2), …, Ps(L-1)/ C(L-1)) Tとする。
【０１０１】
(ii) 目標とする平均パワーC’(j)＝10^((R-R’)/20)C(m)とする。
【０１０２】
(iii) Cの平均μC={μn}と共分散行列ΣC={σnm}を用いて、C’(m)を求めたときの条件付き正規分布P(C|C’(m))=N(C|C’(m);μC,ΣC)=N(C';μ'C,Σ'C)の平均μ’C、共分散行列Σ’Cを求める。μ'C,Σ'C の導出には、下記のCの平均μCからm番目の要素を取り除いた平均ベクトルμc1、またCの分散行列ΣCからm行m列目を取り除いた行列Σ11、m列目のm行目以外のベクトルΣ12、m行目のm列目以外のベクトルΣ21、及びm行m列目の要素Σ22を用いる。
【０１０３】
【数１３】
2014232245.tif 000015
【０１０４】
上記を求めてμ’C、Σ’Cは以下のように求める。
【０１０５】
【数１４】
2014232245.tif 000016
【０１０６】
(iv) Dからm番目の要素を取り除いたベクトルD’を求める。
【０１０７】
【数１５】
2014232245.tif 000017
【０１０８】
(v) 残りの目標平均パワーC’を下記式により求める。
【０１０９】
【数１６】
2014232245.tif 000018
【０１１０】
として、C’=(B'(1),…,B'(L-1))とする。
【０１１１】
(7) 帯域毎のゲイン幅G=C’./Cを求める。
【０１１２】
【数１７】
2014232245.tif 000019
【０１１３】
(8) 帯域毎のパワーをG倍するフィルタE2(i,f)を生成する。フィルタは様々なものを構築することができるが、例えば図１３のように帯域の中心部をg(j)、帯域の境界点を1とするフィルタE2(i,f)を構成しΣf=M(m-1)M(m)|E2(i,f)S(i,f)|2=Ps(j)G(j)となるフィルタを構成することができる。
【０１１４】
例えばパワー比R’=0[dB]、分割する帯域MはL=5として、M(0)=0, M(1)=D*(2000/fs) , M(2)= D*(4000/fs), M(3)=D *(6000/fs), M(4)= D*(8000/fs), M(5)= D*(16000/fs),（それぞれ0kHz, 1kHz, 2kHz,4kHz,6kH,8kHzを境界とする帯域）とし、SN比を計算する帯域を参考文献２に基づいてm=2とするとよい。
【０１１５】
このように、有声子音フィルタ生成部５は、あるフレームiに対応する音素が有声子音である場合には、そのフレームiの音声スペクトルS(i,f)に対する、有声子音を強調するための有声子音強調フィルタE2(i,f)を生成する（ステップＳ６）。
【０１１６】
このようにして生成された有声子音強調フィルタE2(i,f)は、各帯域の相対的なパワーが正規分布に従うと仮定してこれらの帯域の相対的なパワーの関係を保ちながら有声子音を強調するフィルタであると言える。生成された有声子音強調フィルタE2(i,f)は、フィルタ部７に提供される。
【０１１７】
＜ステップＳ７＞
無声子音フィルタ生成部６は、雑音スペクトルN(i,f)、音声スペクトルS(i,f)及び無声子音区間情報Hucを入力として、無声子音強調フィルタE3(i,f)を出力する。
【０１１８】
無声子音フィルタ生成部６は、有声子音フィルタ生成部５と同様に特定の帯域を強調する。無声子音フィルタ生成部６の機能構成は有声子音フィルタ生成部５と同様であり、明瞭化する区間はi∈Hucとなる。無声子音は高い周波数の成分が多く、聞き取りやすさには高い周波数の音声のパワーと関係する。そのため、R’=0 [dB]、分割する帯域MはL=5として、M(0)=0, M(1)=D(2000/fs) , M(2)= D(4000/fs),  M(3)=D (6000/fs), M(4)= D(8000/fs), M(5)= D(16000/fs),（それぞれ0kHz, 1kHz, 2kHz,4kHz,6kH,8kHzを境界とする帯域）とし、SN比を計算する帯域m=5とするとよい。
【０１１９】
図１４に、20名の話者の音声データに基づく、無声子音のパワーの相関関係の例を示す。分割する帯域Mは、L=5とする上記の分割の例の通りである。帯域kの相対的なパワーは有声子音強調部５１の説明で定義されたC(k)である。
【０１２０】
図１４の例では、C(2)とC(3)に比較的強い相関があることがわかる。自然な音声となるためには、これらの帯域間の相対的なパワーの相関を保ちながら強調する必要がある。
【０１２１】
このように、無声子音フィルタ生成部６は、あるフレームiに対応する音素が無声子音である場合には、そのフレームiの音声スペクトルS(i,f)に対する、無声子音を強調するための無声子音強調フィルタE3(i,f)を生成する（ステップＳ７）。
【０１２２】
このようにして生成された無声子音強調フィルタE3(i,f)は、各帯域の相対的なパワーが正規分布に従うと仮定してこれらの帯域の相対的なパワーの関係を保ちながら無声子音を強調するフィルタであると言える。生成された無声子音強調フィルタE3(i,f)は、フィルタ部７に提供される。
【０１２３】
＜ステップＳ８＞
フィルタ部７は、音声スペクトルS(i,f)、母音強調フィルタE1(i,f)、有声子音強調フィルタE2(i,f)及び無声子音強調フィルタE3(i,f)を入力として、強調スペクトルS’(i,f)を出力する。
【０１２４】
フィルタ部７は、音声スペクトルに母音フィルタ生成部４、有声子音フィルタ生成部５及び無声子音フィルタ生成部６のそれぞれで生成したフィルタを畳み込み強調スペクトルを生成する。フィルタは下記式で簡単に統合することができ、強調スペクトルは下記式Eを用いてS^'(i,f)=E(i,f)S(i,f)を計算すればよい。
【０１２５】
【数１８】
2014232245.tif 000020
【０１２６】
なお、各音韻のフィルタの不連続部分の違和感を少なくするために、上記式でフィルタを統合した後、i方向（すなわち、時間方向）にスムージングを行っても良い。
【０１２７】
このように、フィルタ部７は、あるフレームiに対応する音素が母音である場合にはそのフレームiの母音強調フィルタE1(i,f)を用いてそのフレームiの音声スペクトルS(i,f)を強調してそのフレームiに対応する強調スペクトルS’(i,f)を生成し、あるフレームiに対応する音素が有声子音である場合にはそのフレームiの有声子音強調フィルタを用いてそのフレームiの音声スペクトルS(i,f)を強調してそのフレームiに対応する強調スペクトルS’(i,f)を生成し、あるフレームiに対応する音素が無声子音である場合にはそのフレームiの無声子音強調フィルタE3(i,f)を用いてそのフレームiの音声スペクトルS(i,f)を強調してそのフレームiに対応する強調スペクトルS’(i,f)を生成する（ステップＳ８）。生成された強調スペクトルS’(i,f)は、スペクトル合成部８に提供される。
【０１２８】
＜ステップＳ９＞
スペクトル合成部８は、音声スペクトル分析部２と入出力の関係が逆となっており、強調スペクトルS’(i,f)を入力として強調音声s’(t)を出力する。具体的には例えば下記によって強調音声s’(t)を求める。スペクトル合成部８が行う処理の例のフローチャートを図１５に示す。
【０１２９】
(1) フレーム番号i=0とする。
【０１３０】
(2) 全てのフレームについて計算を終えたとき、つまりi>[(T-1)/p]の場合終了する。
【０１３１】
(3) フォルマント強調スペクトルS’(i,f)を長さDの逆フーリエ変換を行い、音声サンプルs1(f)（f=0,1,…,D-1）に変換する。
【０１３２】
(3) 周波数番号f=0とする。
【０１３３】
(4) すべての周波数番号fについて計算を終えたとき、つまりf>D-1の場合(7)に進む。
【０１３４】
(5) 求めた音声サンプルs1(f)を、下記式にて強調音声s’(t)に加算する。
【０１３５】
【数１９】
2014232245.tif 000021
【０１３６】
(6) f←f+1として(4)に戻る。
【０１３７】
(7) i←i+1として(2)に戻る。
【０１３８】
このように、スペクトル合成部８は、生成された強調スペクトルを逆フーリエ変換することにより時間領域信号である強調音声s’(t)を生成する（ステップＳ９）。
【０１３９】
このように、合成音声の音素種別ごとに音声明瞭化を行うことで、また、自然な音声のフォルマント部分のパワーの関係を維持しながらフォルマントを強調することで、細かいチューニングを必要とせずに音声の自然性を劣化させずに音声を明瞭化することができる。
【０１４０】
［第二実施形態］
第二実施形態の音声明瞭化装置は、第一実施形態の音声合成部１に代えて、図１６に例示するように、音声認識部１０を例えば備えている。音声認識部１０は、音声s(t)を入力として、音素情報（ph(k),Ts(k),Te(k)）を出力する。
【０１４１】
第一実施形態のは、音声合成部１で、音声合成時に生成される音素情報（ph(k),Ts(k),Te(k)）を用いて明瞭化していた。第二実施形態は、この音素情報を音声認識部１０を用いて抽出することで（ステップＳ１）、音素種別ごとの明瞭化を行う。音声認識部１０は、例えば参考文献４に記載された既存の音声認識技術を用いて実現することができる。
【０１４２】
〔参考文献４〕P.C.Woodland, J.J.Odell, V.Valtchev 63 S.J. Young, “Large vocabulary continuous speech recognition using HTK”, ICASSP, vol.2, pp.II/125-II128, 1994
【０１４３】
第二実施形態の他の処理は、第一実施形態と同様であるため、重複説明を省略する。
【０１４４】
［変形例］
上記の例では、母音区間、有声子音区間、無声子音区間の全てで、強調フィルタの生成及びその適用の処理を行ったが、少なくとも１つの音素の種類の区間について、強調フィルタの生成及びその適用の処理を行えばよい。例えば、母音区間のみについて強調フィルタの生成及びその適用の処理を行ってもよい。また、無声子音区間については、強調フィルタの生成及びその適用の処理を行わなくてもよい。
【０１４５】
上記の例では、音素を、母音、有声子音、無声子音で分類したが、これは音素の分類の一例である。音素を、他の種類で分けてもよい。例えば、母音を構成する一部の音素についてその一部の音素を強調するためのフィルタ生成及びその適用の処理を行い、母音を構成する他の一部の音素についてその他の一部の音素を強調するためのフィルタ生成及びフィルタ適用の処理を行ってもよい。
【０１４６】
有声子音強調フィルタを生成する場合には、比較的強い相関がある帯域についてのみ、上記説明した有声子音強調フィルタを生成するための計算を行ってもよい。例えば、図１２に示した例では、C(1)とC(2)、C(1)とC(3)、C(2)とB(3)には比較的強い相関があることから、k=0からk=3の帯域、すなわち0kHzから4kHzの帯域についてのみ、上記説明した有声子音強調フィルタを生成するための計算を行ってもよい。
【０１４７】
同様に、無声子音強調フィルタを生成する場合にも、比較的強い相関がある帯域についてのみ、上記説明した無声子音強調フィルタを生成するための計算を行ってもよい。
【０１４８】
上記装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１４９】
また、音声明瞭化装置における各処理をコンピュータによって実現する場合、その装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。
【０１５０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１５１】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【０１５２】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【符号の説明】
【０１５３】
１      音声合成部
２      音声スペクトル分析部
３      判断部
４      母音フィルタ生成部
４１    フォルマント抽出部
４２    強調フィルタ生成部
５      有声子音フィルタ生成部
５１    有声子音強調部
６      無声子音フィルタ生成部
７      フィルタ部
８      スペクトル合成部
９      雑音スペクトル分析部
１０    音声認識部
１１    フィルタ生成部
【図１】
2014232245.tif 000022
【図２】
2014232245.tif 000023
【図３】
2014232245.tif 000024
【図４】
2014232245.tif 000025
【図５】
2014232245.tif 000026
【図６】
2014232245.tif 000027
【図７】
2014232245.tif 000028
【図８】
2014232245.tif 000029
【図９】
2014232245.tif 000030
【図１０】
2014232245.tif 000031
【図１１】
2014232245.tif 000032
【図１２】
2014232245.tif 000033
【図１３】
2014232245.tif 000034
【図１４】
2014232245.tif 000035
【図１５】
2014232245.tif 000036
【図１６】
2014232245.tif 000037