音声合成
ダイフォン音声合成は音声素片にダイフォン(英: diphone、音素ペア)波形を利用した波形接続型音声合成の一種である。
ダイフォン音声合成ではダイフォン波形が収められたデータベースから入力にマッチする音声素片を選択し、PSOLA・MBROLA等の技法を用いて韻律を与えながら素片列を接続し合成音声を生成する。ダイフォンの個数(~音素素片数)は各言語の音素配列論で決定される(例: スペイン語約800、ドイツ語約2,500)。ゆえに単位選択型音声合成と比べてデータベースが小さくなる一方、合成音質に劣る。単位選択型音声合成の発展などのため、近年では使われることが少ない。
2017年には言語特徴量(テキスト解析器)を不要としたChar2Wav、Deep Voice、Tacotronなどのいわゆるend-to-end音声合成が提案された。
このように、設計された言語・音響特徴量を用いたパラメトリックな音声合成(統計的パラメトリック音声合成)は、特徴量によらない波形生成すなわち統計的音声波形合成(statistical speech waveform synthesis / SSWS)へと範囲を広げつつある。
2017年には自然言語処理向けとして効率の良いTransformerが登場し、2018年にはそれを音声合成向けに応用したTransformer TTSが登場した。その後、拡散モデル と組み合わせた音声合成モデルが多数登場した。
また汎用ニューラルオーディオコーデックの技術が発展し、2023年にはEnCodecコーデックを音響トークンとして用いるVALL-Eや、SoundStreamコーデックを音響トークンとして用いるSPEAR-TTSが登場した。
ヒトは発声器官を通じて音声を生成し、コミュニケーションを行なう(会話や演説、講演、各種芸能およびその中継や録音・録画など)。この音声を人工的に生成するタスクが音声合成である。合成された音声を合成音声(ごうせいおんせい)と呼ぶ。
音声合成は様々な手法で実現できる。ある種の楽器は人の声に似た音を発し、また人の喉を模倣した機械に風を吹き込むことで人の声に似た音が生成できる。コンピューターを用い、音声情報処理の一種としてデジタル的に音声を合成することもできる。
2020年代においては、コンピューターを使えば実音声と聞き分け不可能な音声合成が可能になっている。さらに人工知能(AI)を用いることで、ある人物が実際には話していない発言を映像とともに偽造すること(ディープフェイク)や、自分の声を学習させて癌手術による声帯手術などで発声ができなくなった後でもスマートフォンに入力したテキスト文を自分の声色に似せて音声合成する技術も実用化されている。
音声には言語内容・話者性・感情など様々な情報が含まれており、音声合成では望んだ属性をもつ合成音声の生成が求められる。生成にあたり望む属性を外部から入力し生成がおこなわれる。テキスト(文章)を入力し、望む言語内容の音声を生成するタスクは テキスト音声合成(英: Text-To-Speech; TTS)と呼ばれる。歌声を合成するものは特に歌声合成と呼ばれる。また、音声を別の個人あるいはキャラクターの音声に変換する手法は声質変換と呼ばれる。
音声合成では特性の属性を指定した合成音声を生成する場合が多い。属性には音響的特徴から音声認知的特徴まで以下のようなものがある。属性の組み合わせにより個人性や訛りが生まれる。
言語内容(字句情報) 話速 音素表現 異音、音素長、子音VOT
大きさ(ラウドネス) 音量遷移/強弱アクセント
音高(ピッチ) Voiced/Unvoiced(VUV) 基本周波数 音高遷移 ピッチアクセント イントネーション
音色 非周期性成分比
性別