特集

AIと脳科学であなたをもっと知る──人に迫り人を究めるコミュニケーション科学

深層学習

信号処理

音声変換

あなたの声はどんな声？
どんな声でしゃべりたい？
人と人とのコミュニケーションには，物理的 ・ 能力的 ・ 心理的な状態に起因するさまざまなかたちの制約が存在します．私たちは，ある音声を異なる音声や望まれる音声へと変換する技術の研究を通じてこのような制約を取り除き，あらゆる人が不自由なく快適にコミュニケーションを行える環境を実現することをめざします．本稿では，「近年著しく発展し続けている深層学習を活用することによって音声をどのように変換できるのか？」を題材に，従来技術の課題と私たちの取り組みを紹介します．

非言語情報を 「変換」 する

たなか

こう

かねこ

田中宏

金子卓弘

ほうじょうのぶかつ

かめおかひろかず

北条伸克

亀岡

件が想定されます．私たちは，高品質であること，少量データ・非パラレルデータ＊で学習可能であり効率的であること，リアルタイム非言語情報も伝達できるという大きな特徴をに音声変換が動作すること，声質だけでなく有し，利便性に特に優れたコミュニケーショ

抑揚やリズムといった超分節的特徴などの柔ン媒体であるため，人々がお互いにコミュニ軟な変換が可能であること，上記の 4 点が音ケーションを取るうえで基本的なツールの 1

声変換において重要な要件であると考えていつとなっています．発話することで，自分・ます．以降，これら 4 点に着目した私たちの相手の意図や感情を，伝える・理解すること

具体的な取り組みについて紹介していきますができるため，音声の特徴（例えば，抑揚や（図 1 ）．

相手へ与える印象を変えることもできます．

音声 × 深層生成モデルの取り組み

しかしながら，一個人の生成できる音声の表

従来技術において代表的なものは，混合ガ

現力は身体的・能力的・心理的制約により制ウス分布に基づく統計的声質変換（１）です．入

限されてしまいます．この制約を超え，発話力音声の特徴量から目標音声の特徴量への変者が所望の音声で思いのままに表現できるよ

換関数を得るために，事前に時間整合をとっう能力の拡張を行う技術が音声変換です．そた入力音声と目標音声の同一発話文（パラレの適応先は，話者性の変換や発声障がい者補ルデータ）を用意することで，両音声の特徴助，感情などの発話スタイル変換，語学学習量の同時確率を記述したモデルです．また，のための発音・アクセント変換など，多岐に近年では，前述のパラレルデータを必要とすわたります．これらの利用シーンに応じて，る枠組みにおいて，性能改善のため，ニュー変換したい音声特徴・学習データ・リアルタイム性に関する要件など，さまざまな前提条

弘和

NTT コミュニケーション科学基礎研究所

音声は，言語情報だけでなく話者性などの声質・リズム）をその時々で変化させることで，たくひろ＊ 非パラレルデータ： 入力音声と目標音声とで発話内容が異なるデータ（非同一発話文）を示します．

2020.929

特集

AIと脳科学であなたをもっと知る──人に迫り人を究めるコミュニケーション科学

ラルネットワークを用いた手法や非負値行列デルと呼ばれることもあり，画像処理や自然因子分解などを用いた事例ベースの手法の検言語処理，音声信号処理などさまざまな分野・討も進められています．しかしながら，これタスクでその有効性が確認されています．まら従来技術には，①学習データとして同一発た，2015年中期の機械翻訳タスクにて，注意話内容の音声ペアが必要であったり，②変換（２）機構（Attention mechanism）がニュー可能な音声特徴が声質に限られていたり，ラルネットワークに導入され，その有効性と③音声の特徴量から波形を合成する際に古典ともに瞬く間に注目を浴びました．

的なボコーダを用いているため，合成される

NTT コミュニケーション科学基礎研究所

音声と実音声は容易に聞き分け可能であるな

では，前述の従来音声変換技術の課題を克服

ど，技術的制約があります．

しさまざまな利用シーンに柔軟に対応可能な

一方，画像認識や自然言語処理の分野にお多用途音声変換システムを実現すべく，敵対いて，2014年以降，変分自己符号化器（VAE:的学習や系列変換学習などの方法論をベース

Varia­tional Auto-Encoder），敵対的生成モに，①声質だけでなく長期依存特徴である韻デ ル（GANs: Generative Adversarial

律やアクセントの変換を行える「音声系列変Net­­works），系列変換モデル（Seq2Seq:換機能」，②発話内容に制約のない非パラレSe­quence-to-Sequence model）など，非ルデータを用いて声質変換を行える「非パラ常に興味深い深層学習モデルが台頭してきまレル声質変換機能」，③合成音声波形から実した．Seq2Seq の １ モジュールである自己音声波形へ波形空間上で変換を行い，出力音再帰型モデル（AR: Auto-Regressive mod­

声の高音質化を実現する「波形ポストフィルel）と VAE, GANs を総して三大深層生成モター機能」などの新機能を創出しました．結

いいね！

実世界における障壁
物理的表現
能力的心理的概念レベル“いいね！”

聴覚機能の衰えや障がい

言語レベル

非母語

発声機能の障がい（電気式人工喉頭）

発話者

緊張や不安

生理学的なレベル音声変換技術＝
本当は出したい音声

図130

2020.9

歌唱スキルなど

願望の具現化

音声 × 深層生成モデルの取り組み

音声

特集

果として，人の声と聴き分けられない品質のルを学習します．テキストラベルは用いない

音声変換や任意の目標話者へ変換，非パラレものの，文脈保持機構が存在するため，音声ルデータを用いることができるという高効率の文脈構造が崩れる変換を許さないという制化，リアルタイム化を実現しています．また，約が働き，適切な学習を導くことができるよ近年盛んに研究されている分野横断型の研究

うになります．文脈保持機構において，入力として，目標話者の顔画像を用いて条件付け音声の復元をタスクとするモジュール（図 2を行い，音声を変換する「クロスモーダル音左）は，入力音声を復元できるように，入力声変換機能」も実現しています．

音声の情報を変換の過程で保持するよう働き

安定学習可能 ・ 高精度な音声系列変換かけます．いわゆる自己符号化と呼ばれる技術となります．一方で，目標音声を予測する（３）
ここでは，前述の「音声系列変換機能」よう新たに導入されたモジュール（図 2 右）を掘り下げようと思います．自然言語処理には，変換の過程で得られる中間特徴量を，入おいて離散値として扱われる単語（シンボル）

力音声も目標音声も予測可能な特徴量にすると違い，音声は連続値の系列として観測されよう働きかけます．いわば，入力音声を “ 話ます．系列変換を用いた音声変換アプローチ

者共通の音声空間 ” へ写像させるような制約では，大幅な高品質化が見込める一方で，連となります．これにより，文脈情報を保持す続値の系列を扱う際の学習の難しさが課題とるため音声認識に近いことを行いますが，音なります．この課題を克服するため，従来の声認識により得られるシンボルよりも，“ リッ

音声系列変換では，音声認識とテキスト音声チな ” 中間特徴量を得ることができ，高精度合成を組み合わせるアプローチが主流でしな変換を手助けします．

た．音声認識を用いて，入力音声から単語のようなシンボルを認識し，離散値の系列であるシンボル系列上で変換を行い，変換された合成音声波形から実音声波形への波形変換

シンボル系列から所望の音声を合成する，と音声変換のもう 1 つの課題は，音声の特徴いうアプローチです．離散値であるシンボル量から波形を合成した際に，波形合成器の精を用いて変換するので比較的安定した学習が度の影響を受けるという点にあります．世の可能な一方で，モデルを学習するために音声中にあふれる音声を聞いて，「これは機械にだけでなくテキストラベルも必要となります．

より合成された音声だな」と判断できること

また，テキスト化という処理を挟むことによもあるかと思います．そういった “ 合成音り，テキスト化が困難な笑い声などの変換も声っぽさ ” をなくし，より高音質で肉声感の容易ではありません．

ある自然な音声波形への波形の直接補正をめ

NTT コミュニケーション科学基礎研究所

ざします．

では，テキストラベルを用いずに安定学習可

波形を深層学習で扱う際の難しさは ２ つあ

能な音声系列変換を実現しました．図 2 に示ります． 1 つは，例えば，16 kHz サンプリ

されるとおり，後述の文脈保持機構を新たにング音声には １ 秒間に 1 万6000個の点があり導入し，音声データのみからすべてのモジューます．合成音声と自然音声のペアデータを用

2020.931

特集

AIと脳科学であなたをもっと知る──人に迫り人を究めるコミュニケーション科学

いて対応点を求めようとすると，非常に困難指標である「再構成誤差の最小化」です．合なタスクとなることは想像が容易かと思いま

成音声を自然音声化し，再度，合成音声化す

す．もう 1 つは，「位相」という扱いが非常ることで，入力である合成音声を復元しまに難しい特徴量の存在です．そのため，音声す．この際に，完全に復元するように誤差を変換では位相情報を捨てて振幅情報のみを扱最小化します．ここがポイントで，位相までうのが定石となっています．

含めて波形を再構成するよう制約付けること

NTT コミュニケーション科学基礎研究所

で，位相を適切に考慮した学習が可能となりでは，前述の課題を克服し，深層学習を用います．これらにより高音質化を実現していまた音声波形の直接補正を実現しました（４）．図すが，さらに嬉しいことに，循環型敵対的モ

3 に示されるとおり，補正法のコアモジュー

デルは，パラレルデータを必要としない枠組ルである循環型敵対学習モデルにおける変換みであるため，合成音声と自然音声を適当に器は ２ つの指標に沿って学習されます． 1 つ

かき集めることで，所望のモデルを学習する

は，敵対学習の学習指標である「識別誤差のことができます．

最小化」です．合成音声と自然音声との定量今後の展開化しづらい違いを識別モデルに認識させ，その差をできるだけなくすように合成器を学習

NTT では，より多様な音声への変換に向します．また， 1 つの識別器ではなく，複数けて，技術改良と実証を進めていきます．現の識別器を用いてさまざまな角度から違いを在までに，具体的な目標話者が存在する音声認識させることにより，高精度な変換を実現への高品質な変換には成功していますが，しています．もう 1 つは，循環モデルの学習「もっと可愛い声で喋りたい」や「もっと渋文脈保持機構
入力音声の文脈情報を保持した中間特徴量へ射影させる制約

入力用
復号器

出力用
復号器２

入力音声の文脈情報を目標音声の長さに時間伸縮

入力音声の文脈情報を抽出

入力音声の音声特徴量

注意機構

学習時

出力用
符号器と一致するようにモデルを学習
予測誤差を最小化

変換時 次フレームの音声特徴量を予想するために自身の出力を利用

図2

2020.9

時間伸縮された文脈情報と自身の過去の出力を基に次フレームの音声特徴量を予想
出力用
復号器

入力用符号器32

入力音声と出力音声の共通空間の中間特徴量へ射影させる制約

安定学習可能・高精度な音声系列変換

特集

Real/Fake
Real/Fake

識別誤差を最小化

識別器が に合成音声と識別されるよう を学習

Fake
①⑤

自然音声化

識別誤差を最小化
が に自然音声と識別されるよう を学習

合成音声化
③

※入力波形に対して，位相まで含めて波形が再構成されるので適切な学習が可能

図3

Real/Fake
Real/Fake

Fake

合成音声サンプル

が元どおりになるよう, を学習

再構成誤差を最小化

⑥②

Real

再構成誤差を最小化

が元どおりになるよう
, を学習

識別器
Real④
自然音声サンプル※高音質な音声波形補正が可能※複数の識別器を組み合わせ・音声波形に対する識別器
・音声特徴量に対する識別器＊

合成音声波形から実音声波形への波形変換

い声で話したい」といった，目標話者ではなく音声のイメージを伴う変換を実現するには，音声の知覚的な空間を掌握し，空間上の潜在変数でうまく補間できるよう，技術自体の性能を高めていく必要があります．ユーザのあらゆる願望にこたえ，さまざまな利用シーンに柔軟に対応可能な多用途音声変換システムの実現に向けて，研究開発を推進していきます．
■参考文献（1） T. Toda, A. W. Black, and K. Tokuda: “Voice conversion
based on maximum likelihood estimation of spectral parameter trajectory,” IEEE Trans TASLP, Vol. 15, No. 8, pp.
2222-2235, 2007.
（2） D. Bahdanau, K. Cho, and Y. Bengio: “Neural Machine Translation by Jointly Learning to Align and Translate,” in Proc.
ICLR 2015, San Diego, U.S.A., May 2015.
（3） K. Tanaka, H. Kameoka, T. Kaneko, and N. Hojo: “AttS2SVC: Sequence-to-sequence voice conversion with attention
and context preservation mechanisms,” in Proc. IEEEICASSP 2019, Brighton, U.K., May 2019.
（4） K. Tanaka, T. Kaneko, N. Hojo, and H. Kameoka: “Syntheticto-natural speech waveform conversion using cycle-consistent adversarial networks,” in Proc. IEEE SLT 2018,Athens, Greece, Dec. 2018.

（上段左から）田中宏 / 金子 卓弘（下段左から）北条 伸克 / 亀岡 弘和
深層学習の目覚ましい発展により，メディア生成 ･ 認識においてさまざまなことが高精度に実現可能となってきました．私たちは，あらゆる人が所望の音声で思いのままに表現でき，不自由なく快適にコミュニケーションを行える環境を実現することをめざしています．

◆問い合わせ先NTT コミュニケーション科学基礎研究所
メディア情報研究部
TEL 0774-93-5020
FAX 0774-93-5026
E-mail cs-liaison-ml hco.ntt.co.jp

2020.933