Machine Speech Chainに基づく
半教師あり学習を用いた
日英コードスイッチング音声の認識
中山 佐保子1, チャンドラ アンドロス1,2,サクティ サクリアニ1,2, 中村 哲1,2
1奈良先端科学技術大学院大学
情報科学研究科
2理化学研究所
革新知能統合研究センター{nakayama.sahoko.nq1, andros.tjandra.ai6, ssakti, s-nakamura}@is.naist.jp

Copyright © Nara Institute of Science Technology All rights Reserved

1 /16

背景

Copyright © Nara Institute of Science Technology All rights Reserved

2/16

バイリンガルとコードスイッチング
日本におけるバイリンガル話者の増加

Population

Population

20000
15000
10000
5000

01990

2016
Year

Data : MEXT

14000
12000
10000
8000
6000
4000
2000
0

Population

Data : MHLW

25000

Students
who studied abroad

Childrenwho have lived abroad

Childrenwith a foreign parent

1977

Data : JASSO

70000
60000
50000
40000
30000
20000
10000
0

2015
Year

2006

2016
Year

コードスイッチングがバイリンガリズムに重要な役割を果たす [McSwan+2000]
コードスイッチング(CS):
会話の中で話者や話題の変換なく言語を切り替える現象(例) If I could make a suggestion, この議題についての討議を昼食までに終えて頂ければと思いますが。
Copyright © Nara Institute of Science Technology All rights Reserved

3/16コードスイッチング
音声認識の難しさ
 標準的な音声認識 (ASR) はモノリンガル
日本語
ASR“こんにちは”

英語
ASR“Hello”

 コードスイッチングを扱うのが困難 : 多言語入力の必要“これはstill waterですか？”

日本語
英語
日本語

ASR?

Copyright © Nara Institute of Science Technology All rights Reserved

出力テキスト4/16

先行研究① 言語識別(LID)を用いたモノリンガル音声認識 [Gonzalez-Dominguez+2015]

Input speech

SystemMultipleModule
monolingual ASR
JapaneseASR
LID
EnglishASR

Output text
Output text

⇒ モノリンガルデータで学習した
複数のモデルを用いる⇒ 間違った言語を識別すると性能全体に悪影響をもたらす② バイリンガル音声認識 [Yilmaz+2016][Seki+2018]
SystemInput speech

学習Parallel
Speech-text

Bilingual
Ja+En
ASR

Output text

CS Speech
Train
CS Text(labels)

BilingualASR
Model⇒ 一つのバイリンガルモデルを用いる⇒ 教師あり学習を用いるため大規模なラベルありのコードス
イッチングデータが必要⇒ そのようなデータは手に入りに
くいCopyright © Nara Institute of Science Technology All rights Reserved

5/16

提案手法Copyright © Nara Institute of Science Technology All rights Reserved

6/16

半教師あり学習のためのマシーンスピーチチェーン
CS ASRの教師あり学習の問題:
CSの音声 & 対応するテキストは手に入れるのが困難
音声かテキストどちらかだけなら手に入りやすい⇒半教師あり学習のためにマシーンスピーチチェーン [Tjandra+2017] を利用
いくつかのデータに対しては音声かテキストどちらかだけで学習可能
音声のみ必要テキストのみ必要𝑡෧𝑒𝑥𝑡

ASRASR෧

𝑡෧
𝑒𝑥𝑡
t𝑒𝑥𝑡

TTS෧

unfold

෧
TTS𝑡෧
𝑒𝑥𝑡

𝑠𝑝𝑒𝑒𝑐ℎASR

𝐿𝑜𝑠𝑠

𝐿𝑜𝑠𝑠𝑡𝑒𝑥𝑡෧Copyright © Nara Institute of Science Technology All rights Reserved

𝑡෧𝑒𝑥𝑡
TTS

7/16

CS スピーチチェーンの学習プロセス
プリトレーニング(教師あり学習)ラベルありのモノリンガルの日本語(Ja)と英語(En)を混ぜたデータで音声認識と音声合成を別々に学習
ASR

ファインチューニング
(教師なし学習)CSテキストか音声のどちらかだけでスピーチチェーンを試す
𝐶𝑆෫
𝑡𝑒𝑥𝑡

𝐶𝑆 𝑠𝑝𝑒𝑒𝑐ℎ
ASR
෧

𝐶𝑆෫
𝑡𝑒𝑥𝑡

TTS

𝐶𝑆 𝑡𝑒𝑥𝑡

TTS

𝐶𝑆 𝑠𝑝𝑒𝑒𝑐ℎ෧𝐶𝑆 𝑠𝑝𝑒𝑒𝑐ℎEn
SpeechJaSpeech

EntextJatext※ text ⇒文字列(日本語にはアルファベット文字列)

CSSpeech

Copyright © Nara Institute of Science Technology All rights Reserved

CStext8/16

ファインチューニング(教師なし学習)
CSスピーチチェーンの学習プロセス
TTS⇒ASR: CSテキストの入力

ASR⇒TTS: CS音声の入力

出力テキストと参照テキストの間のロス 𝐿𝐶𝑆
𝐴𝑆𝑅 を計算.

出力と参照音声の間のロス 𝐿𝐶𝑆
𝑇𝑇𝑆 を計算

ASR
෧TTS

𝐶𝑆෫
𝑡𝑒𝑥𝑡

𝐶𝑆 𝑠𝑝𝑒𝑒𝑐ℎ

ASR

𝐿𝑜𝑠𝑠𝐿𝑜𝑠𝑠

𝐶𝑆 𝑡𝑒𝑥𝑡

෧𝐶𝑆෫
𝑡𝑒𝑥𝑡
TTS

𝑀𝑜𝑛𝑜
モノリンガルのロス𝐿𝑀𝑜𝑛𝑜
𝐴𝑆𝑅 , 𝐿 𝑇𝑇𝑆 も含めて全てのロスを一つの損失変数に重みづけして収束するまでASRとTTSのパラメータを更新
𝑀𝑜𝑛𝑜𝐶𝑆
L = 𝛼 ∗ 𝐿𝑀𝑜𝑛𝑜+ 𝛽 ∗ 𝐿𝐶𝑆
𝐴𝑆𝑅 + 𝐿 𝑇𝑇𝑆
𝐴𝑆𝑅 + 𝐿 𝑇𝑇𝑆𝜃𝐴𝑆𝑅 = 𝑂𝑝𝑡𝑖𝑚(𝜃𝐴𝑆𝑅 , 𝛻𝜃𝐴𝑆𝑅 𝐿)
𝜃𝑇𝑇𝑆 = 𝑂𝑝𝑡𝑖𝑚(𝜃𝑇𝑇𝑆 , 𝛻𝜃𝑇𝑇𝑆 𝐿)
Copyright © Nara Institute of Science Technology All rights Reserved

9/16

実験

Copyright © Nara Institute of Science Technology All rights Reserved

10/16

実験設定
英語/日本語

テキス
ト音声モデルBTEC 英語/日本語

BTECの一部を翻訳して作ったCSテキスト
CS
Word CS(Ja:87%, En:13%) : Phrase
CS(Ja:49%, En:51%) = 1:1⇒ 全ての文字は小文字のアルファベットに変換
JaTTS/EnTTS
Google 日本語音声合成/Google英語の音声合成
日本語部分にはGoogle 日本語音声合成
MixTTS
英語にはGoogle英語音声合成
オリジナルのマシーンスピーチチェーンと同じモデル
Attention-based encoder decoder
ASR(End-to-end DNN)
TacotronTTS(End-to-end DNN)

⇒単語辞書や言語モデルは用いない
Copyright © Nara Institute of Science Technology All rights Reserved

11/16

評価 評価テストセット
モノリンガル
英語音声 (EnTTS)
モノリンガル
日本語音声 (JaTTS)

ASR

෫
𝑡𝑒𝑥𝑡

日英 CS 音声(MixTTS)
 評価手法文字誤り率 (CER)

𝑇𝑜𝑡𝑎𝑙 𝐶ℎ𝑎𝑟𝑎𝑐𝑡𝑒𝑟 𝐸𝑟𝑟𝑜𝑟𝑠
𝐶𝐸𝑅[%] =× 100
𝑁𝑢𝑚𝑏𝑒𝑟 𝑜𝑓 𝐶ℎ𝑎𝑟𝑎𝑐𝑡𝑒𝑟𝑠 𝑖𝑛 𝑅𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒
Copyright © Nara Institute of Science Technology All rights Reserved

12/16

ベースラインのモノリンガル
音声認識結果ベースラインのモノリンガルASR認識性能 (CER)

ModelJapanesetest(JaTTS)

CS test(MixTTS)

ASR
ASR
Paired speech-text ⇒ Supervised training
Ja50k(JaTTS)
2.11%
33.73%
En50k(EnTTS)
86.42%
66.16%Englishtest(EnTTS)
ASR
81.12%
2.30%

 Ja50k (JaTTS) 音声認識システムは日本語テストで良く, 英語テストで悪い.
 一方, En50k (EnTTS) システムは日本語テストで悪いが, 英語テストで良い.
Copyright © Nara Institute of Science Technology All rights Reserved

13/16

ベースラインマルチリンガル
音声認識結果ベースラインのマルチリンガルASR認識性能 (CER)

ModelJapanesetest(JaTTS)

CS
test(MixTTS)

ASR
ASR
Baseline: paired speech-text ⇒ Supervised training
Ja25k + En25k(MixTTS)
1.71%
18.11%Englishtest(EnTTS)
ASR
2.99%

 Ja25k+En25k (MixTTS) システムは日本語，英語，日英CSでバランスよく扱えている
 これに対し，提案システムの目標は，ラベルありのCSデータなしでCS認識の性能をさらにあげ，モノリンガルでの性能はなるべく維持すること

Copyright © Nara Institute of Science Technology All rights Reserved

14/16

提案するCSスピーチチェーンの実験結果
ASR認識性能 (CER)

ModelJapanesetest(JaTTS)

CS
test(MixTTS)

ASR
ASR
Baseline: paired speech-text ⇒ Supervised training
Ja25k + En25k(MixTTS)
1.71%
18.11%Englishtest(EnTTS)
ASR

2.99%

Speech chain ⇒ Semi-supervised training[paired Ja25k +En25k(MixTTS)]+ [unpaired CS20k(Ja+MixTTS)]

1.82%

5.08%

4.05%

 CSテストでの音声認識の性能を18.11% CER から 5.08% CERまで改善し，モノリンガルでは良い性能を維持している
Copyright © Nara Institute of Science Technology All rights Reserved

15/16

結論
 これまでの多くのコードスイッチング音声認識のための手法ではCSデータを用いて教師あり学習をするものが多かった

 しかしラベルありのコードスイッチングデータは入手しにくい
そこで，半教師あり学習でCS音声認識を学習させるため，マシーンスピーチチェーンのフレームワークを利用した実験の結果，ラベルありのCSデータなく,CSの音声認識の性能を向上させることに成功した
今後の課題
 自然なコードスイッチングでの実験 コードスイッチングの他の言語の組み合わせも同時に扱えるようにする
 他の言語スキルの場合も扱えるようにする
Copyright © Nara Institute of Science Technology All rights Reserved

16/16

Appendix

Copyright © Nara Institute of Science Technology All rights Reserved

17/16

Experimental Results Compared WithSupervised CS Fine-tuning Model
ASR performances (in CER)

ModelJapaneseCS
Englishtest(JaTTS) test(MixTTS) test(EnTTS)

ASR
ASR
Baseline: paired speech-text ⇒ Supervised training
Ja25k + En25k(MixTTS)
1.71%
18.11%
Topline: paired speech-text ⇒ Supervised training[paired Ja25k+En25k(MixTTS)] ⇒5.06%
3.49%
fine-tune[paired CS20k(Ja+MixTTS)]
Speech chain ⇒ Semi-supervised training[paired Ja25k +En25k(MixTTS)]
1.82%
5.08%
+ [unpaired CS20k(Ja+MixTTS)]

ASR
2.99%
9.76%

4.05%

 Compare to model that use full-set data (speech+text), the proposed speechchain model with semi-supervised learning has only a little higher CER in CS
test, and it even could maintain a better performance in monolingual test set.
Copyright © Nara Institute of Science Technology All rights Reserved

18/16

Investigation of CS Test Resultsby Language Part
ASR performance in CER
CS test(MixTTS)
ModelOnly Japanese Only English
All
part
part
Baseline: paired speech-text ⇒ Supervised training
Ja50k(JaTTS)
33.73%
14.35%
34.52%
En50k(EnTTS)
66.16%
69.81%
15.17%
Ja25k + En25k(MixTTS)
18.11%
18.91%
14.33%Speech chain⇒ Semi-supervised training[paired Ja25k +En25k(MixTTS)]
5.08%
7.70%
2.53%
+ [unpaired CS20k(Ja+MixTTS)] Only the part of sentence cannot give the perfect context information, so it ismore difficult to handle it for monolingual model than CS speech chain model The proposed speech chain model is likely to outperform the combination ofmonolingual model since it is difficult to handle CS within a sentence.
Copyright © Nara Institute of Science Technology All rights Reserved19/16