音声合成
テキスト: テキスト音声合成
音声: 音声変換 歌声: 歌声変換(Singing Voice Conversion)
脳活動: Brain-Machine Interfaceの一種
(音響特徴量: ボコーダー。しばしばテキスト音声合成や音声変換に組み込まれる)
隠れマルコフモデル (HMM) を音響モデルに用いた音声合成である。HMMにより音響特徴量系列を確率的に生成し、これをボコーダーにより音声波形へと変換する。
統計的パラメトリック音声合成の先駆けであり、東京工業大学のチームによって1999年に提案された。少数のパラメータで音声の特徴を表現でき、モデルの大きさや、モデルの学習および音声の合成に要する計算コストは小さい。携帯電話(フィーチャーフォン)や電子手帳など、ハードウェアの制約が大きい端末でも動作する。また必要な録音時間も(商用の)単位選択型音声合成に比べて短くて済む。
モデルの単純さからスペクトルが人間の音声と比べて平滑なものになりがちであり、このため合成された音声は肉声感に乏しい。また、基本周波数の軌跡も単純なものになりがちである。
中間特徴量を用いず直接音声波形を生成するモデルを End-to-End モデルという。すなわち p ( w a v e | t e x t , θ ) {\displaystyle p(wave|text,\theta )} を1つのモデルで表現し、コーパスを用いて θ {\displaystyle \theta } を学習する。
例えば補助変数として言語特徴量と音響特徴量を導入し次のように定式化する。音声信号の性質を表す音響特徴量を O {\displaystyle {\mathcal {O}}} (データベース)および o {\displaystyle {\boldsymbol {o}}} (合成)、テキストの性質を表す言語特徴量を L {\displaystyle {\mathcal {L}}} (データベース)および l {\displaystyle {\boldsymbol {l}}} (任意に与えられたテキスト)、言語特徴量が与えられた際の音響特徴量の生起確率を表現するパラメトリックな音響モデルを λ {\displaystyle \lambda } としたとき、予測分布は以下のように分解できる。
あとは補助変数について周辺化を行えばよいが、これを補助変数の同時確率を最大化する点で近似すると、予測分布は以下のように近似できる。
ただし、
である。
しかし、同時確率の最大化もなお困難であるため、さらに逐次最適化で近似すると、以下の6つの副問題をそれぞれ最適化することになる。
O ^ = a r g m a x O p ( X ∣ O ) {\displaystyle {\hat {\mathcal {O}}}={\rm {arg~max}}_{\mathcal {O}}p(\mathrm {X} \mid {\mathcal {O}})} (音響特徴量の抽出)
L ^ = a r g m a x L p ( L ∣ W ) {\displaystyle {\hat {\mathcal {L}}}={\rm {arg~max}}_{\mathcal {L}}p({\mathcal {L}}\mid {\mathcal {W}})} (言語特徴量の抽出)
音声合成の手法は研究者によってそれぞれ独自のデータセットを用いてモデル学習を行い、かつ独自の課題により評価することが少なくなく、性能を公平に比較することが困難な場合がある。そこで、音声に関する国際学会であるInternational Speech Communication Association(ISCA) のSpeech Synthesis Special Interest Group(SynSIG)では、2005年より毎年Blizzard Challengeという競技会を行っている。この競技会では、共通のデータセットを学習に用いた音声合成システムを、共通の課題により評価することで、性能の公平な比較を可能としている。
なお、特に商用の音声合成システムではその目的に応じたデータセットを用いることでその目的に特化した性能向上を図ることがあり、これは各社のノウハウとなっている。