音声合成
音声合成手法は3つに大別される。
規則合成: 音声生成に関する知識を元に定めた規則に基づいて音声を合成
波形接続型音声合成: 録音された音声の素片を連結して合成
統計的パラメトリック音声合成: 統計的に学習したパラメトリックな生成モデルの出力を元に音声を合成
それぞれの手法は音質、計算量、リアルタイム性などの特徴が異なり、用途に合わせて手法が選択される。
1940年代には、ハスキンズ研究所のフランクリン・S・クーパー(Franklin S. Cooper)らがPattern playbackという機械の開発に取り組み、1950年に完成した。この機械にはいくつかのバージョンがあるが、実際に機能したのは一つだけである。この機械は、スペクトル形式の音声パターンの図を音に変換するものであった。アルヴィン・リバーマン(Alvin Liberman)らは、これを音声学の研究に利用した。
コンピュータを使った最初の音声合成器は1950年代終盤に開発され、最初のテキスト音声合成器は1968年に開発された。1961年、物理学者のJohn Larry Kelly, Jr.とLouis Gerstmenは、ベル研究所でIBM 704を使った音声合成を行った。そしてデイジー・ベルという歌をコンピュータに歌わせた。友人のジョン・ピアースを訪ねてベル研究所に来ていたアーサー・C・クラークはこのデモを聴いて感銘を受け、2001年宇宙の旅でHAL 9000が歌うクライマックスシーンが生まれた。
1999年には、東京工業大学のチームにより統計的な生成モデルを用いた音声合成の先駆けである隠れマルコフモデル音声合成が提案された。2013年にはGoogleのチームにより深層学習(ディープラーニング)に基づいた音声合成が提案され、2017年にはテキスト処理部が不要なend-to-endテキスト音声合成が提案された。
European Association for Signal Processing (EURASIP) Speech Communication(ISCAと合同)
IEEE IEEE Transaction on Information and Systems IEEE Transaction on Signal Processing
International Speech Communication Association (ISCA) Computer Speech and Language Speech Communication(EURASIPと合同)
シュプリンガー・サイエンス・アンド・ビジネス・メディア International Journal of Speech Technology
日本音響学会 日本音響学会誌 Acoustical Science and Technology (AST)
電子情報通信学会 電子情報通信学会論文誌
情報処理学会 情報処理学会論文誌
日本音響学会 音声研究会(SP。電子情報通信学会と合同) 日本音響学会研究発表会
電子情報通信学会 音声研究会(SP。日本音響学会と合同)
情報処理学会 音声言語情報処理研究会 (SLP)
分析合成は、規則に沿って生成・制御した音響特徴量を合成モデルへ渡すことで音声を合成する手法である。合成モデルとそれに対応する音響特徴量の例として以下が挙げられる。
ケプストラム分析: 基本周波数とスペクトル包絡
加算合成: 各周波数と強度
減算合成: 励起信号とスペクトル 線形予測符号化: 励起信号とARフィルタ係数 フォルマント音声合成: 励起信号とフォルマント
フォルマント音声合成
フォルマント音声合成(英: formant synthesis)はフォルマントに基づくフィルタを用いた減算合成の総称である。
ヒトの言語音は周波数スペクトル包絡の凹凸(フォルマント)で特徴づけられる。もしスペクトルが平坦な励起信号(例: 基本周波数に基づく調波、ランダムな白色雑音)に対してフォルマントを反映したフィルタを適用できれば、フォルマントを持った信号を生成できる。これがフォルマント音声合成である。
帯域拡張(英: bandwidth extension; BWE)は入力音の実効周波数帯域を合成により引き上げるタスクである。周波数帯域拡張(英: frequency bandwidth extension)あるいは音響超解像(英: audio super-resolution)とも呼ばれる。
ヒトは20kHzまでの音を聞き取る能力をもつ(可聴域)が、様々な制約によりそれ以下の周波数成分までしか持たない合成音は様々存在する(例: 固定電話)。下限についても同様であり、この失われた周波数帯域を推定し補完する音声合成タスクが帯域拡張である。帯域拡張を実現できれば音響・音声の明瞭性や自然性を向上でき、また帯域拡張を前提とした高圧縮アルゴリズムにも貢献できる。
帯域拡張は狭帯域音声を入力として広帯域音声を合成するタスクであるため、条件付け音声合成の一種と見做せる。