マルチリンガルマシーンスピーチチェーンを用いたゼロショットコードスイッチングの音声認識と音声合成 ∗☆中山佐保子 1,2 , チャンドラ アンドロス 1,† , サクティ サクリアニ 1,2 , 中村哲 1,2(1 NAIST, 2 RIKEN AIP)

1

はじめに𝑥=

会話の中で言語が切り替わる現象はコードスイッ

ASR+LID𝑥=

かった [1, 2]。しかし，CS の音声とテキストのペア

𝑧TTS

TTS

Monolingual train & test set

Zero-shot
CS text

En JaZh

En JaZh

れわれはマシーンスピーチチェーンを利用して半教

speech

師あり学習の CS 音声認識と CS 音声合成の開発を

a Supervised learning on
monolingual data

進めている。マシーンスピーチチェーンは音声認識

Fig. 1（ASR）と音声合成（TTS）をループ結合して互いに学習させる仕組みであり，入力に対する正解データがないラベルなしデータに対しても，互いのモデルを用いて推測させることで学習可能になる。本研究では，マシーンスピーチチェーンに言語 ID 分散表現と言語識別（LID）の学習を組み込み，言語 ID 情報を用いることで複数の CS および学習に含まれない未知の CS（ゼロショット CS と呼ぶ）に対してもロバス
トな ASR と TTS を実現する。

2

マルチリンガルスピーチチェーン

SPKREC𝑥$ =𝑥$ =𝑦 = ["𝑐ℎ𝑟“,"𝑙𝑛𝑔“]

データを大規模に集めるのは難しい。そのため，わASR+ 𝑦$ = ["𝑐ℎ𝑟“,"𝑙𝑛𝑔“] 𝑥 =LID𝑧

SPKREC

チング（CS）と呼ばれる。これまでの CS 音声認識
や CS 音声合成は CS データによる教師あり学習が多

𝑦$ = ["𝑐ℎ𝑟“,"𝑙𝑛𝑔“]

textZhEn

ASR+LID

𝐿𝑜𝑠𝑠 𝐿𝑜𝑠𝑠𝑦 = ["𝑐ℎ𝑟“, "𝑙𝑛𝑔“]

𝑥$ =SPKREC𝑧

𝑦$ = ["𝑐ℎ𝑟“, "𝑙𝑛𝑔“]TTS

CS train & test set

CS train & test set

EnJa JaZh

EnJa JaZh

text only

speech only

Zero-shot
CS speech
ZhEnb Unsupervised learning on code-switching data

Multilingual machine speech chain.

用いて教師あり学習を行う。次に，それらのモデルを用いてモノリンガルの教師あり学習を続けながらCS データの教師なし学習を実行する。TTS が文字と言語 ID の 2 つのテキストデータ [y CSChr , y CSLng ]を 入 力 と し て 受 け 取 り，CS 音 声 x̂CS を 生 成 する 。生 成 し た 音 声 を ，ASR が 認 識 し ，文 字 と 言語 ID の 2 つのテキストデータ [ŷ CSChr ,ŷ CSLng ]CSChr CSChrを生成する。そして，LCSChr,y) とASR (ŷCSLng CSLngLCSLng,y) の損失関数の合計を計算す
ASR (ŷマシーンスピーチチェーンとは，人間のコミュニる。次に，ASR が CS 音声 xCS を認識して文字系列

ケーションメカニズムのスピーチチェーン [3] から着ŷ CSChr と言語 ID 情報 ŷ CSLng を生成する。生成し想した手法で，ASR と TTS をループ結合して相互にたテキストから，TTS が CS 音声 x̂CS を生成し， 損学習させる [4]。教師あり学習と教師なし学習の 2 つのCS
失関数 LCS, xCS ) を計算する。最後に，教師あT T S (x̂

学習フェーズを持ち，教師あり学習はラベルありデーりのモノリンガル損失と教師なしの CS 損失を，以下タで ASR と TTS をそれぞれ学習させ，教師なし学のように α と β のハイパーパラメータでバランスを習は，ASR と TTS の互いのモデルを用いてラベルな調整しながら一つの損失関数に合計し，ASR と TTSしデータを推測させることで学習を行う。CS スピーのパラメータを更新する。
onoLngonoChrono
L = α ∗ ((LM+ LM) + LMTTS )ASR
ASR

チチェーンはこの仕組みを利用し，教師あり学習に

CS+β ∗ ((LCSChr+ LCSLngASR
ASR ) + LT T S )モノリンガルデータを使い，教師なし学習に CS デー
タを使うことで，ラベルなしの CS データを用いた学習を実現した [5]。本研究のマルチリンガルスピーチ

3(1)

実験条件

チェーンは，CS スピーチチェーンに言語 ID 情報を組本実験では，BTEC[6] の対訳コーパスを Googleみ込む。ASR は，2 つのソフトマックス層を用いたマTTS で合成して使用する。教師あり学習には日本

ルチタスクで，入力音声を認識文字列と言語 ID に変語，英語，中国語の発話を 25K ずつ用いたデータ換し，TTS は，ASR から受け取った言語 ID 情報を分（Ja+En+Zh）を使い，教師なし学習には，読点以降散表現に変換して文字分散表現と結合して学習する。のフレーズを翻訳して作成した CS 発話（EnJaCS，学習プロセスは，Fig. 1 に示す。まずは ASR+LID，JaZhCS，ZhEnCS）を 10K ずつ用いた。音響特徴量

TTS，そして多数話者情報を処理する話者認識モデは ASR に 80 次元の対数メルスペクトログラム，TTSル（SPKREC）を，それぞれモノリンガルデータをに 80 次元の対数メルスペクトログラムと 1024 次元∗

Multilingual machine speech chain for zero-shot code-switching ASR and TTS. by Sahoko Nakayama1,2 ,Andros Tjandra1,† , Sakriani Sakti1,2 , Satoshi Nakamura1,2 ,（1 NAIST, 2 RIKEN AIP)†The work was done when he was at NAIST, he is currently at Facebook AI, USA.

Table 1

Comparison between ASR baselines

EnJaCS

with/without LID in CER%.
JaZhCS

Train:Ja+En+Zh
ASR without LID [chr]ASR with LID [chr,lng]

Ja
8.8
8.9

En
9.1
8.5

Zh
5.8
5.1

ZhEnCS
0%

Table 2Fig. 2

CER% of proposed ASR model.

EnJaCS
JaZhCS
ZhEnCS[Baseline] Supervised: labeled mono
Ja+En+Zh
14.1
16.9
16.0
[Proposed] Semisupervised: unlabeled CS+ EnJaCS+JaZhCS
11.6
8.3
10.5+ EnJaCS+ZhEnCS
11.2
9.2
9.7+ ZhEnCS+JaZhCS
11.9
10.4
11.3
[Topline] Supervised: labeled CS+ EnJaCS+JaZhCS
8.9
6.7
8.1+ EnJaCS+ZhEnCS
10.8
7.3
8.1+ ZhEnCS+JaZhCS
10.3
7.7
8.0の対数振幅スペクトログラムを使用する。フレーム

20%

40%

Without LngEmb

Same

60%

80%

100%

Proposed (With LngEmb)

AB preference subjective evaluation.

も，近い性能を発揮した。
4.2 音声合成結果
言語 ID 分散表現を用いた TTS の性能を確認するため，プリファレンス AB テストを行なった。各 CS
言語ペアの合成音声に対して 10 人のバイリンガル話者に参加してもらった。結果は，Fig. 2 に示す通り，
言語 ID 分散表現（LngEmb）が性能改善に役立つことを示した。

おわりに5の窓幅は 50msec とし，シフト幅は 12.5msec とした。

マシーンスピーチチェーンに言語 ID 情報を組み込また，テキストは全ての文字を小文字のアルファベッんだマルチリンガルスピーチチェーンを紹介した。提トに変換して使用した。ASR には注意機構を用いた案手法は，ゼロショット CS を含め複数の CS の認識エンコーダデコーダモデル [7] を用い，3 層の双方向性能の改善を確認できた。

LSTM エンコーダと 1 層の LSTM デコーダ，多層パーセプトロンを用いた注意機構から構成され，活性化関数には LeakyReLU（l = 1e − 2）を用いた。TTS はTacotron[8] をベースとし，活性化関数を LeakyReLU（l = 1e − 2），CBHG の畳み込みフィルタを 8 セット，デコーダの GRU を 2 層の LSTM に変更して用いた。

4実験結果

4.1

音声認識結果まず，Ja+En+Zh で教師あり学習したベースラインシステムを用いて LID の性能を確認する。Table 1の結果は，LID が ASR の性能改善に役立つ可能性があることを示す。
次 に ，ゼ ロ ショット CS を 含 む 複 数 の CS での 提 案 手 法 の 性 能 を 調 査 す る 。提 案 手 法 の CS
スピーチチェーンは Ja+En+Zh で教師あり学習をした後に EnJaCS+JaZhCS，EnJaCS+ZhEnCS，

謝辞

本研究は科研費 [JP17H06101] の助成を受けております。

参考文献[1] Li et al., “Towards code-switching ASR for endto-end CTC models,” Proc. of ICASSP, 2019．
[2] Sitaram et al., “Speech synthesis of code-mixedtext,” Proc. of LREC, 2016．
[3] Denes et al., “The Speech Chain: The Physics
And Biology Of Spoken Language,” Proc. ofICASSP, 1993．
[4] Tjandra et al.,“Machine Speech Chain,”

IEEE/ACM TASLP, 2020．
[5] Nakayama et al., “Speech Chain for SemiSupervised Learning of Japanese-English CodeSwitching ASR and TTS,” Proc. of SLT, 2018．
[6] Takezawa et al., “Multilingual Spoken Language

る。結果は，Table 2 に示す通り，提案手法はラベル

Corpus Development for Communication Research,” IJCLCLP, 2007．
[7] Chan et al., “Listen, attend and spell: A neu-なしの CS データを用いたにも関わらず，ベースライ

ral network for large vocabulary conversational

ンと比較して全ての CS テストケースで性能を改善した。太字で示したゼロショット CS も性能を改善した

speech recognition,” Proc. of ICASSP, 2016．
[8] Wang et al., “Tacotron: Towards end-to-end

ことが分かる。ラベルありの CS データを用いて教師

speech synthesis,” Proc. of INTERSPEECH,

あり学習を行なったトップラインのモデルと比較して2017．

ZhEnCS+JaZhCS で教師なし学習をしたモデルであ