情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

単言語話者のための日英コードスイッチング
音声の認識と翻訳
中山 佐保子1,2,a)

サクティ サクリアニ1,2,b)

中村 哲1,2,c)

受付日 2016年3月4日，再受付日 2015年7月16日 / 2015年11月20日，採録日 2016年8月1日

概要：会話の中で複数の言語が切り替わる現象は，コードスイッチングと呼ばれる．コードスイッチング
は，言語が切り替わる場所や長さによってさまざまなものがある．従来の音声認識システムは，そのようなコードスイッチングを扱うのが難しく，解決すべき課題の 1 つであった．これまで研究されてきたコー
ドスイッチング音声認識は，言語が混ざったコードスイッチング音声を，そのまま言語が混ざったコード
スイッチングテキストに書き起こすことだけを目的とした．それは，結局，コードスイッチングを理解できる人だけが認識結果を理解することを想定する．一方，本研究は，コードスイッチング話者と単言語話者の会話を想定し，コードスイッチング話者の発言を単言語話者が理解できるように支援する．コードス
イッチング音声認識の認識結果から Bidirectional Encoder Representations from Transformers（BERT）
やニューラル機械翻訳を用いて単言語に音声翻訳するカスケードアプローチと，シングルタスクやマルチ
タスク学習でコードスイッチング音声から単言語テキストに直接音声翻訳する直接アプローチの，合わせて 4 手法を比較し，日英コードスイッチングの音声を単言語の日本語および英語に翻訳するシステムを開発する．
キーワード：コードスイッチング，音声認識，BERT，機械翻訳，マルチタスク学習

Recognition and Translation of Japanese-English
Code-switching Speech for Monolingual Speakers
Sahoko Nakayama1,2,a)

Sakriani Sakti1,2,b)

Satoshi Nakamura1,2,c)Received: March 4, 2016, Revised: July 16, 2015/November 20, 2015,
Accepted: August 1, 2016

Abstract: Bilingual speakers often mix two or more languages in their conversation. Such a phenomenon
is called code-switching (CS). The switching units and positions may be different variously, and the lengthof a unit can be from word unit to phrase length beyond the loanword unit. The CS phenomenon causes
difficulties for automatic speech recognition (ASR) since the system has to be able to control multilingual
input. The CS ASR for various language pairs has been investigated in the past. However, most of thegoals for developing a CS ASR is to transcribe CS speech into CS text, which supposes that only those who
understand the CS use it. In contrast, in this study, we focus on the conversations between CS speakers andmonolingual speakers; and we aim to assist monolingual speakers to understand what CS speakers say. We
develop a system that recognizes CS speech and translates to monolingual text. We investigated two cascade
approaches from ASR by a neural machine translation (NMT) and Bidirectional Encoder Representations
from Transformers (BERT), and two direct approaches by single-task learning and multi-task learning. In
the end, we compare and review these four ways on a translation task from Japanese-English CS speech.
Keywords: Code-switching, automatic speech recognition, BERT, machine translation, multi-task learningc 2018 Information Processing Society of Japan⃝1

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

1. はじめに言語話者が理解できるように支援する．CS は，CS 話者同士が会話をする時だけではなく，CS 話者と単言語話者が教育，仕事，観光などの目的で，外国人居住者や旅行者会話をする時にも用いられる．たとえば，アメリカに移民が増えている．日本の国際結婚の数は，約 40 年前と比較した子供達のうち，半分以上が英語を上手く話せない両親

して約 3.5 倍になり [1]，外国人旅行者の数も約 15 年間でをもつ [9]．子供達は，学校では英語を話し，家では母語を約 5 倍に増加した [2]．このような国際化は，人々のコミュ話すので，流暢なバイリンガル話者になるという．このよ

ニケーションの仕方に影響を与える．バイリンガルの会話

うな場合，子供が CS を用いて話しても両親は子供達が言でみられる，言語を混ぜて話す現象はコードスイッチング

うことを理解できない．そのため，単言語話者が CS 話者（CS）と呼ばれ，コミュニケーションの変化の 1 つである．

の発言を理解できるように，CS の音声を認識し，単言語

実際に，バイリンガルの子供達が 4 時間に 153 回の CS をテキストに翻訳するシステムを開発する必要がある．

使ったという報告があり [3]，日常生活での CS の使用が明テキストからテキストへの機械翻訳であれば，これまらかになっている．CS は，以下のような，文の途中で言でにも，CS 機械翻訳の研究がいくつか存在する．Sinha

語を切り替える文中 CS と文の切れ目で言語を切り替えるら [10] は，各言語を分離することにより，テキストからテ

文間 CS がある [4]．

キストへの CS 翻訳を実現した．しかし，言語ごとに異なる• 文中 CS:

機械翻訳を用いるため，言語間を超えた文脈を考慮するこ

本物の企業家には the ability to see the needs of aとが，この方法だと難しい．また，Johnson ら [11] によっmarket that doesn’t yet exist がある．

て提案された機械翻訳は，翻訳先の言語を入力で指定する• 文間 CS:

ことにより多言語の翻訳を実現し，CS 翻訳の可能性を示

I’m looking for a present for a friend in Japan. 何が唆した．しかし，音声からテキストへの翻訳の場合，翻訳いいと思いますか？

先を入力で指定するためテキストと音声の結合が必要であ

文中 CS は，単語の長さから外来語を超えるフレーズの長り，正規化せずに用いると精度を悪化させる．また，翻訳さまで，言語を切り替える単位に幅がある．また，上記の先の言語を同じデコーダモデルで学習させると，お互いの文中 CS の例のように日本語から始まって英語に切り替わ

言語がバイアスとなって精度を悪化させる．Menacer らはるものもあれば，文間 CS の例のように日本語から始まっ

いくつかの方法でアラビア語と英語の CS を翻訳した [12]．

て英語に切り替わるものもある（それらを一括りにして日もっとも BLEU スコアが高かったモデルは，翻訳する必要

英 CS と呼び，呼称には日英翻訳のような方向性を含む意のない言語の部分はそのまま入力から出力にコピーし，そ

味を持たない）．また，2 つの言語の能力が共に高く，簡単

れ以外は多言語を使って学習した機械翻訳で翻訳するといに言語を切り替えられることから生じる能力駆動型の CS

う手法であった．しかし，この手法は，音声からテキストと，1 つの言語の能力が低いため，その言語で話す時に別への翻訳の場合，入力を出力にそのままコピーすることはの言語を使いながら話さないといけない欠陥駆動型の CSできない．また，コピーはせずに CS の文全体を多言語をがある [5]．このようにさまざまな CS があるため，単言語使って学習させたモデルで翻訳させた場合，比較モデルのの認識を基本とする従来の音声認識（ASR）システムは上中で BLEU スコアがもっとも低かった．

手く認識することができず，CS を認識させることは ASRにとって難しい課題の 1 つである．

いずれにしても，本研究は，テキストからテキストへの翻訳ではなく，音声からテキストへの CS 音声翻訳を実現す

これまで，多言語の音響モデルの構築 [6] や，言語識別とる．そのために，2 つのカスケード（Cascade）アプローチ

音素結合を組み合わせた手法 [7]，深層学習による手法 [8]と 2 つの直接（Direct）アプローチを比較する．Cascade アなど，さまざまな手法の CS 音声認識が提案されてきた．

プローチは，ニューラル機械翻訳（NMT）と Bidirectional

しかし，それらの CS 音声認識の主な目的は，言語が混ざっ

Encoder Representations from Transformers（BERT）[13]た CS の音声を，そのまま言語が混ざった CS のテキストを用いたものであり，Direct アプローチは，CS 音声から（文字情報）に書き起こすことだけであり，CS を理解する

単言語テキストを出力するシングルタスク音声翻訳と，CS人だけが使用することを想定していた．一方，本研究は，音声から単言語テキストと CS テキストの 2 通りを出力す

CS 話者と単言語話者の会話を想定し，CS 話者の発言を単るマルチタスク音声翻訳である．我々が以前行なった CS
音声翻訳の研究は，CS 音声から英語への翻訳タスクのみ

1

2

a)
b)
c)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所 革新知能統合研究センター
RIKEN, Center for Advanced Intelligence Project AIP
nakayama.sahoko@is.naist.jp
ssakti@is.naist.jp
s-nakamura@is.naist.jp

c 2018 Information Processing Society of Japan⃝を扱ったが [14]，本研究は CS 音声から日本語への翻訳タスクも扱う．

2. CS 音声から単言語翻訳への提案手法
CS 音声から単言語テキストへの音声翻訳を行うため，22情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

2.1 Cascade アプローチ

後処理

入力CS
音声

出力CS
テキスト

ASR

CS中の翻訳箇所をマスクした
テキスト

出力単言語
テキスト

BERT

2.1.1 Cascade ASR+BERT モデル
Cascade アプローチの 1 つ目は，BERT を用いるアプ

図 1 Cascade ASR+BERT モデル

ローチである．処理の構造を図 1 に示す．まず，ASR がFig. 1 Cascade ASR+BERT.

CS 音声から CS テキストを生成する．次に，BERT 言語モデルが，CS テキストから単言語テキストを予測する．音

出力CS
テキスト

I

have

声の認識に用いる ASR の構造を図 2 に示す．ASR は，注

to ダイエット始め なきゃ

意機構を持つエンコーダデコーダモデル [15] で，エンコー

…
…

LSTM
デコーダ
埋め込み層
注意機構

ダは，一方向あたり 256 の隠れユニットを持つ 3 層の双方
向 LSTM（BiLSTM）を持ち，デコーダは 128 次元の埋め…
…

BiLSTM
エンコーダ

込み層と 512 の隠れユニットを持つ 1 層の LSTM を持つ．
入力特徴量は対数メルスペクトログラムを用い，活性化関
数は LeakyReLU（l = 1e − 2）[16] を用いた．エンコーダとデコーダをマッピングする注意機構のアライメントスコ

入力CS音声図 2

アは多層パーセプトロンの計算を用いた [17]．

ASR のモデル構造

BERT 言語モデルの構造を図 3 に示す．モデルのパラ

Fig. 2 Model architecture of ASR.

メータと初期値は，著者らが公開した学習済みの BERTBase
モデルに従った．これは，110 M のパラメータを持ち，768
I

出力単言語
テキスト

have

to

go

on

a

diet

[PAD]

…
…
…
…

双方向
Transformer
ポジション
埋め込み層
トークン
埋め込み層
入力マスク
テキスト

I

have

to

入力CS
テキスト

I

have

to

[MASK] [MASK] [MASK] [MASK] [MASK]

ダイエット 始め なきゃの隠れユニットを持つ 12 層の Transformer [18] から構成される．BERT 言語モデルは，従来の言語モデルに比べて強力な言語モデルである．従来の言語モデルは，入力系列に対して単一方向（左から右）のみを学習するが，単語間の文脈の学習に限界があった．一方，BERT は，Transformerを用いて，双方向（左から右および右から左）から単語間の文脈関係を学習する．

BERT は，2 つの学習フェーズで構成される．（1）言語

図 3 CS 翻訳のための BERT のモデル構造表現の一般的なデータセットを使用した事前学習（2）固有Fig. 3 Model architecture of BERT for CS translation.

表現抽出 [19]，質問応答 [20]，感情分析 [21] などの特定のタスクを解くためにドメイン固有のデータセットで学習す

表 1 BERT 言語モデルによって予測する単言語テキストの例

るファインチューニング．事前学習フェーズでは，BERT

Table 1 Example of the monolingual text recovered by BERT.

はランダムに一部のトークンを [MASK] トークンに置き原文マスクした文ラベル
参照訳

i have to ダイエット 始め なきゃ before my換え，その周辺のトークンを使用して表現を学習するこ

belly explodesとにより，[MASK] トークンに置き換えられたトークンを

i have to [MASK] [MASK] [MASK] [MASK]予測する．Ghazvininejad らは，信頼度の低いトークンを[MASK] before my belly explodes[MASK] トークンに置き換えて予測することを繰り返し，

i have to go on a diet [PAD] before my belly

単言語から別の単言語への変換タスクに BERT 言語モデ

explodesルを活用した [22]．我々の CS 翻訳にも，事前学習フェー

i have to go on a diet before my belly
explodesズで用いられる BERT 言語モデルを利用した．本研究は，ASR が CS 音声から CS テキストに書き起こした後，第 1
言語を維持しながら第 2 言語の単語を [MASK] トークンにつの Cascade アプローチと 2 つの Direct アプローチを比置き換え，BERT 言語モデルが [MASK] トークンを予測し較する．Cascade アプローチは，CS 音声認識によって CSて第一言語の単言語テキストに変換する．なお，置き換え

音声から書き起こした CS テキストに対して，NMT またられる単語の数がわからないため，第 2 言語の各位置に予は BERT を使って機械翻訳を行う手法である．Direct ア

測するトークンの最大数以上の [MASK] トークンを設定すプローチは，CS 音声認識によって CS テキストに書き起る．表 1 は，BERT 言語モデルを使用して予測する単言

こすプロセスを経ずに，直接シングルタスクまたはマルチ語テキストの例を示す．予測するトークンの数が [MASK]タスクで CS 音声から単言語テキストを出力する手法であトークンの数より少ない場合，予測箇所のラベルは [PAD]る．これらの提案手法について，1 つずつ紹介する．

トークンで埋められる．

c 2018 Information Processing Society of Japan⃝3

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

I

ASR

出力CS
テキスト

図 4

Cascade ASR+NMT のモデル

have to ダイエット 始め なきゃ

出力単言語
テキスト

NMT

have

to

go

a

埋め込み層
注意機構

埋め込み層

I

have

diet

…
…

入力CS音声図 7…
…
…

BiLSTMエンコーダ

to go on a

diet

…
…

LSTM
デコーダ

入力CS
テキスト

on

have

…
…

共有
エンコーダ

I

I

…
…

Fig. 4 Cascade of ASR+NMT.

出力単言語
テキスト

出力単言語テキスト

出力CSテキスト

後処理

入力CS
音声

Direct マルチタスク音声翻訳のモデル構造

Fig. 7 Model architecture of direct multi-task
speech translation.

2.2.2 Direct マルチタスク音声翻訳

to ダイエット始め なきゃ

マルチタスク音声翻訳は，マルチタスク学習を用いて

CS 音声から単言語テキストと CS テキストの 2 通りの出

図 5 NMT のモデル構造力を学習し音声翻訳を実現するシステムである．マルチタ

Fig. 5 Model architecture of NMT.

スク学習はいくつかのバリエーションを持つが，エンコー
出力単言語
テキスト

I

have

to

go

on

a

diet

…
…

LSTM
デコーダ
埋め込み層
注意機構

…
…

BiLSTM
エンコーダ

ダを共有し，2 つの並列デコーダを備えたマルチタスク学
習 [23] を採用した．並列の 2 つのデコーダは，CS テキス
トと単言語テキストの両方を出力する．共有するエンコー
ダおよび並列の 2 つのデコーダは先述した ASR モデルと同じ構造を持つ．図 7 に，このモデルの構造を示す．

3. コードスイッチングコーパス
合成音声の CS と自然音声の CS の 2 種類のコーパスを

入力CS音声図 6 Direct シングルタスク音声翻訳のモデル構造

Fig. 6 Model architecture of direct single-task
speech translation.

作成した．合成音声の CS は，機械翻訳と音声合成を用いて作成した CS であり，自然音声の CS は，日常的に CS を用いるバイリンガル話者から収集された CS である．

CS は L1 と L2 を切り替えるため非母語音声を含む場合
2.1.2 Cascade ASR+NMT モデル

が多い．母語音声と非母語音声では同じ単語でも発音が異もう 1 つの Cascade アプローチは，NMT を用いる．図 4なるため，音響モデルと音声の不一致を生じさせ，認識精に，処理の構造を示す．ASR が，CS 音声から CS テキス

度の低下を招く原因となる [24]．そのため，L2 言語の習熟トを予測した後，NMT は CS テキストから単言語テキス

度に基づいて CS を分類し，L2 言語が母語話者に近い話者

トに翻訳する．ここで用いる ASR システムは，2.1.1 で述レベルのものを母語話者レベルの CS とし，L2 言語が母語

べた図 2 のモデルと同様のモデルである．NMT モデルは，話者の音声とは異なる非母語音声のものを非母語話者レベ

図 5 に示す通り，ASR モデルと同様に注意機構を持つエルの CS とする．本研究は，まだ非母語話者レベルの CS

ンコーダデコーダモデルで，エンコーダは，一方向あたりを入手できていないため，母語話者レベルの CS のみを扱

256 の隠れユニットを持つ 2 層の BiLSTM を持ち，デコー

うこととする．

ダは 128 次元の埋め込み層と 512 の隠れユニットを持つ 2層の LSTM を持つ．

また，外来語と引用は，理論的には CS ではないが，本研究は日英会話のすべての単語を翻訳することを目的とするため，外来語や引用も CS として処理することとする．

2.2 Direct アプローチ
2.2.1 Direct シングルタスク音声翻訳

3.1 合成音声のコードスイッチング

シングルタスク音声翻訳は，CS 音声から単言語テキス

モデルの学習に必要な大規模な CS 対訳コーパスは手にトへ直接出力する音声翻訳システムである．先述した ASR

入らなかったため，日本語と英語の ATR 旅行会話コーパ

モデルと同じ構造で，CS 音声から英語テキストを直接生ス（BTEC）[25] を使用して作成した．Menacer らが行っ成するようにモデルを学習させた．図 6 に，このモデルのた実験結果によると，機械翻訳を用いて作成した人工的な構造を示す．

CS データによるモデルの学習は，CS 機械翻訳システム

c 2018 Information Processing Society of Japan⃝4

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 2 日英 BTEC の対訳文から作成された自然な CS 文

Table 2 A natural CS sentence created from a pair of

表 3

作成された CS の切り替え位置の統計

Table 3 The statistics of the created CS switching positions.

Japanese-English BTEC.
日本語文
英語文

作成文

英語から始まる CS

このごろ披露宴では花嫁さんが二度もお色直しを日本語から始まる CS

品詞

割合（%）

して，派手らしいですね．

品詞

割合（%）

名詞

33

I hear that nowadays the bride changes her

助詞

77

動詞

15

clothes as often as twice during the reception

名詞

12

接続詞

15

and that the reception is luxurious.

助動詞

5

句点

12

このごろ披露宴では花嫁さん changes her clothes

動詞

2

前置詞

6

as often as twice during the reception and that

副詞

2

副詞

6

the reception is 派手らしいですね．

接続詞

1

限定詞

6

句点

1

形容詞

4

代名詞

3

の開発にとって比較的有効な手法だとわかる [12]．また，

Tjandra らが行った実験では，合成音声による実験の結果
表 4が自然音声による実験の結果と同じく提案手法の有効性を示すものとなっており，音声合成による音声で実験した結学習セットとテストセットの統計

Table 4 Statistics of the training and evaluation corpora.

果と人の発話による自然音声で実験した結果の傾向は変わ
英語ベース

日本語ベース

人工

自然

人工

CS

CS

CS

CS

全体

50K

52.7K

100K

102.7K

合成音声

50K

50K

100K

100K

自然音声

-

900x3

-

900x3

英語

521K

546K

264K

289K

日本語

60K

69K

146K

155K

76

81

95

100
500

らないことがわかる [26]．そのため，本研究でも，機械翻訳と音声合成による CS データを作成した．
日本語文から作成した CS を「日本語ベース CS」とし，学習

英語文から作成した CS を「英語ベース CS」として 2 種類

セット

発話数

の CS を作成した．切り替え位置は，品詞タグ付けツール
単語数

である TreeTagger [27] と Mecab [28] の結果に基づいて，選択した．日本語ベース CS は，助詞または名詞を選択し，英語ベース CS は，名詞または動詞，または前置詞を選択した．名詞を選択する場合は，名詞のみの一単語，助詞や

時間
テスト

発話数

セット

動詞，前置詞を選択する場合は，それ以降の接続詞や句点の前までのフレーズを機械翻訳によって翻訳し，挿入した．

単語数

音声の作成は，Google TTS [29] を用いた．

3.2 自然音声のコードスイッチング

自然

全体

500

500

500

合成音声

500

400

500

400

自然音声

-

100

-

100

英語

5.4K

5.4K

1.4K

2.7K

日本語

0.6K

0.7K

2.5K

2.8K

3.3 前処理

自然音声の CS は，日常生活の中で CS を頻繁に用いる

表 4 に，学習セットとテストセットの統計を示す．英語

日英バイリンガル話者によって作成された．作成者は，英ベース CS と日本語ベース CS について，それぞれ「人工語圏に住んでいるが，1 年だけ日本に留学したことがあり，CS」と「自然 CS」のコーパスを用意した．「人工 CS」コー

家庭内では日本人の家族と日本語を話すため，CS を頻繁

パスは，合成音声の CS のみを使用するコーパスであり，に用いる．1000 組の日英 BTEC 文から自然な CS 文を作「自然 CS」コーパスは「人工 CS」コーパスに自然音声の CS

成してもらった．表 2 に，作成された CS 文を示す．結果を追加したコーパスである．自然音声の CS は，学習セッの CS は，日本語の単語を 3251 単語（24%）と英語の単語

ト用に 900 発話しかなかったため，音声の速度を変化さ

を 10214 単語（76%）含んだ．また，全発話数のうち，日せることでデータを拡張させる speed perturbation を用い

本語から始まるものが 57%で英語から始まるものが 43%でた data augmentation（データ拡張）を適用した [30], [31]．

あった．さらに，表 3 に示す通り，それぞれの言語の切り

90%，100%，110%の速度で speed perturbation を行い，3

替え位置を調査し，日本語から始まる CS は，助詞が切り倍の 2700 発話に拡張した．「自然 CS」コーパスは，その替え位置の大部分を占め，英語から始まる CS は，名詞や自然音声 2700 発話と合成音声の 50K を合わせて 52.7K の動詞などで切り替わることが多かった．最後に，作成したコーパスになっている．また，英語へ翻訳するタスクは

CS テキストを，テキストの作成者とは異なるバイリンガル

英語ベース CS を用い，日本語へ翻訳するタスクは日本語話者（幼少期の 5 年間を英語圏にて過ごした日本人で，普ベース CS を用いた．

段の会話にも CS を用いる）に読んでもらい，静かな部屋

音声特徴量については，Librosa library [32] を使用して，で音声を録音した．作成された 1000 発話のうち，900 発話

16 kHz のサンプリングレートの音声波形から 80 次元の対は学習セット用に 100 発話はテストセット用に使用した．

数メルスペクトログラムを抽出した．フレームの窓幅は

c 2018 Information Processing Society of Japan⃝5

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 5

BERT 言語モデルと NMT の CS から英語へのテキスト翻訳精度

Table 5 Translation performance of BERT and NMT from CS text to English text.

CS の多言語

BERT

CS の多言語

NMT

テキストを

言語モデル

テキストを

モデル

単言語の
人工

自然

評価した場合

CS

CS

テスト

全体

27.43

11.14

12.14

人工

CS 部分

179.52

60.11

66.40

CS

テスト
人工

WER%↓

CS

CS 以外

0.11

5.17

5.20

全体

19.79

12.01

12.62

CS 部分

106.66

61.98

65.29

CER%↓

0.07

1.03

1.09

全体

66.36

78.46

79.42

全体

35.23

20.61

19.53

自然

CS 部分

164.96

83.06

72.02

CS

WER%↓

CS

WER%↓

CER%↓

CS 以外
BLEU↑
自然

単言語の

参照訳で

BLEU↑
WER%↓

参照訳で

人工

自然

評価した場合

CS

CS

全体

27.43

7.47

6.56

CS 部分

179.52

34.31

35.11

CS 以外

0.11

2.64

1.43

全体

19.79

8.87

7.94

CS 部分

106.66

32.92

33.35

CS 以外

0.07

3.39

2.08

全体

66.36

86.54

88.11

全体

35.23

37.56

17.94

CS 部分

164.96

60.69

57.88

CS 以外

3.44

28.18

6.64

全体

24.80

28.87

17.72
49.96

CS 以外

3.44

8.67

8.77

全体

24.80

19.31

18.56

CS 部分

104.94

74.72

68.44

CS 部分

104.94

50.59

CS 以外

2.54

3.69

3.92

CS 以外

2.54

22.37

7.16

全体

61.85

72.03

73.11

全体

61.85

57.46

77.86

CER%↓

BLEU↑

CER%↓

BLEU↑

50msec とし，シフト幅は 12.5msec とした．作成したすべ

くできた）場合，参照訳に近づけたと考えられるため，参ての文はトークン化され，日本語の文は形態素解析器であ考値として翻訳結果の評価値と比較する．ただし，これらる Mecab [28] を適用し，英語の文は WordPiece [33] を適の比較は学習するデータサイズによっても変わってくるた

用した．WordPiece は，未知語を効率良く減らすためのサ

め，システム同士の比較を主眼とする．また，原文の CS

ブワード単位である．

テキストにおける翻訳すべき他言語部分を「CS 部分」と

4. 実験

し，それ以外を「CS 以外」として分けて評価した値も算出し，「全体」だけではなく「CS 部分」に対しても，どの程先ずは予備実験として CS テキストから単言語テキスト

度正しく翻訳できたかを確認する．
「CS の多言語テキスト

へのテキスト翻訳の実験を行い，その後，本実験として CS

を単言語の参照訳で評価した場合」の列中の「CS 部分」で音声から単言語テキストへの音声翻訳の実験を行なう．予は，WER および CER の値がいずれも 100%を超えたが，備実験については，英語への翻訳のみを行い，本実験で英これは，参照訳の「CS 部分」を正解とした時に，原文の語への翻訳に加え，日本語への翻訳を実施する．評価指標「CS 部分」に間違って挿入，置換，削除された文字の数がは，単語誤り率（WER），文字誤り率（CER），BLEU ス

参照訳の「CS 部分」の長さよりも多かったため 100%を超

コア [34] を用いる．WER と CER は値が低いほどモデルえている．

の精度が良いことを示し，BLEU は値が高いほどモデルの精度が良いことを示す．

BERT 言語モデルは，「CS の多言語テキストを単言語の参照訳で評価した場合」よりも WER と CER が低く，

BLEU は高いので，翻訳したことで参照訳に近づいたとわ
4.1 コードスイッチングテキストから単言語テキスト

かる．NMT モデルについても，学習していないコーパス

最終目標は音声からテキストへの翻訳の評価であるが，によるテストを行なった人工 CS モデルの自然 CS テスト

ASR の認識誤りの影響を調べるためにテキストからテキ以外では，「CS の多言語テキストを単言語の参照訳で評

ストへの翻訳の評価も行った．表 5 に，BERT 言語モデ価した場合」の値より WER と CER が低くなっており，

ルと NMT モデルの翻訳精度を示す．
「CS の多言語テキス

BLEU は高くなったため，参照訳に近づいたとわかる．まトを単言語の参照訳で評価した場合」の列は，参照訳の単

た，BERT 言語モデルと NMT モデルの間で比較すると，

言語テキストに対する原文の CS テキストの WER，CER，「全体」と「CS 部分」の両方で NMT の方が優れる傾向だっおよび BLEU であり，参照訳の単言語テキストに対して原

た．人工 CS モデルの自然 CS テストの「全体」における文の CS テキストがどれくらい遠いのか，近いのかを表す．

評価だけ，BERT 言語モデルの翻訳精度の方が優れていこの値を翻訳によって小さくできた（BLEU の場合は大きた．ただ，そこでも「CS 部分」で比較すると，NMT モデ

c 2018 Information Processing Society of Japan⃝6

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 6 Cascade ASR+BERT と Cascade ASR+NMT の CS から英語への音声翻訳精度の比較

Table 6 Comparison between cascade ASR+BERT andcascade ASR+NMT from CS speech to English text.
CS の多言語

テスト
人工 CS

人工 CS

自然 CS

単言語の参照訳でCascadeCascade評価した場合ASR+BERTASR+NMT

ASR+BERTASR+NMT

全体

27.43

16.16

10.76

15.80

9.20

CS 部分

179.52

66.76

36.08

69.15

34.13

CS 以外

0.11

8.74

6.16

8.52

5.37

全体

19.79

15.83

9.73

14.97

8.92

CS 部分

106.66

65.74

33.39

67.11

31.86

CS 以外

0.07

4.76

4.22

3.65

3.31

BLEU↑

全体

66.36

71.48

80.79

73.17

82.08

WER%↓

全体

35.23

46.42

41.94

25.61

22.34

CS 部分

164.96

89.67

56.50

74.23

57.15

CS 以外

3.44

32.61

32.73

14.76

13.17

全体

24.80

36.95

31.56

22.46

20.23

CS 部分

104.94

77.12

49.97

69.91

49.26

CS 以外

2.54

24.36

24.35

8.85

10.28

全体

61.85

47.89

54.43

64.24

69.82

WER%↓

CER%↓

自然 CS

モデル

テキストを

CER%↓

BLEU↑

ルが BERT 言語モデルよりも良い精度だった．そこから，を Direct アプローチのシングルタスク音声翻訳（Direct「CS 以外」の性能によって，BERT 言語モデルの「全体」

single-task ST）および Direct アプローチのマルチタスクの性能が良かったとわかる．BERT 言語モデルは「CS 以

音声翻訳（Direct multi-task ST）と比較し，CS 音声から外」の所が入力テキストのコピーとなるため，入力テキス

英語と日本語への音声翻訳タスクを行う．

トにエラーがなければ精度が良くなると考えられる．次の表 7 に ，日 英 CS か ら 英 語 へ の 音 声 翻 訳 に お け る ，章で，ASR による認識誤りが含まれた場合はどうなるかを

ASR+NMT の Cascade アプローチと，シングルタスク

検証する．

およびマルチタスク学習を使用した Direct アプローチの精度を比較した結果を示す．まず，「CS の多言語テキストを

4.2 コードスイッチング音声から単言語テキスト
表

単言語の参照訳で評価した場合」の値と比較すると，学習し6 に ，Cascade ASR+BERT お よ び Cascadeていないコーパスのため難しかった人工 CS モデルの自然

ASR+NMT を用いて，コードスイッチング音声から音CS テスト以外では，殆ど全てのモデルで「全体」と「CS 部

声翻訳した結果を示す．まず，「CS の多言語テキスト分」の WER および CER，そして BLEU の値が改善した．

を単言語の参照訳で評価した場合」の値と比較すると，

Direct シングルタスク音声翻訳の自然 CS モデルの自然 CS

人工 CS モデルの自然 CS テストは学習しなかったテス

テストだけ，CER が「CS の多言語テキストを単言語の参トのため難しかったが，それ以外の「全体」と「CS 部照訳で評価した場合」の値より増えているが，WER では分」の WER，CER，BLEU では 改善している．ま た，

改善できているのがわかる．Cascade ASR+NMT，Direct

Cascade ASR+BERT と Cascade ASR+NMT の間で比較

シングルタスク音声翻訳，Direct マルチタスク音声翻訳のをすると，テキストの機械翻訳タスクでは，BERT 言語

間で比較をすると，Direct マルチタスク音声翻訳がもっとモデルが，NMT の精度を上回るケースがあったが，音も良い精度を示す傾向にあった．自然 CS モデルの自然 CS

声翻訳では，Cascade ASR+NMT がすべてのケースでテストだけ，「全体」の WER と CER で Direct マルチタ

Cascade ASR+BERT を上回った．「CS 部分」の精度をスク音声翻訳よりも Cascade ASR+NMT の方が精度は良

みても，すべてのケースで，Cascade ASR+NMT モデル

かったが，そこでも「CS 部分」になると Direct マルチタ

が Cascade ASR+BERT よりも精度が良かった．Cascade

スク音声翻訳の方が精度は良かった．

ASR+BERT の精度が悪化したのは，ASR の認識誤りがまた，表 8 に示した，自然 CS テストでの CS から英語

[MASK] トークンの数を増やしたため，BERT にとって，への音声翻訳の出力例を見ると，「どうしたらいいんでしょタスクを解決するのが困難になったことが原因と考えらう？」というような翻訳箇所が 1 つの文として完結するもれる．したがって，以降は Cascade ASR+NMT モデルのについては全てのモデルが上手く翻訳できたが，「youc 2018 Information Processing Society of Japan⃝7

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 7

Cascade と Direct アプローチの CS から英語への音声翻訳精度の比較

Table 7 Comparison of translation performance from CS speech to English text
between cascade and direct approaches.
CS の多言語

モデル

テキストを
テスト

人工 CS

CascadeDirectDirectCascadeDirectDirect

参照訳で

ASR+NMTsingle-task

multi-task

ASR+NMTsingle-task

multi-task

評価した場合
人工

ST

ST

ST

ST

全体

27.43

10.76

11.13

10.15

9.20

13.04

8.71

CS 部分

179.52

36.08

40.96

34.40

34.13

37.59

33.16

CS 以外

0.11

6.16

5.73

5.73

5.37

8.60

4.95

全体

19.79

9.73

9.69

8.85

8.92

10.83

8.50

CS 部分

106.66

33.39

34.52

31.14

31.86

34.43

30.60

CS 以外

0.07

4.22

3.88

3.71

3.31

5.16

2.99

BLEU↑

全体

66.36

80.79

80.82

81.99

82.08

78.67

82.87

WER%↓

全体

35.23

41.94

38.87

34.56

22.34

29.63

23.21

CS 部分

164.96

56.50

60.69

55.85

57.15

61.20

56.79

CS 以外

3.44

32.73

29.77

26.16

13.17

19.79

14.78

全体

24.80

31.56

29.42

28.26

20.23

24.98

21.55

CS 部分

104.94

49.97

50.59

48.91

49.26

53.43

49.05

CS 以外

2.54

24.35

23.08

21.66

10.28

16.00

12.54

全体

61.85

54.43

56.72

58.28

69.82

64.38

68.46

WER%↓

CS
CER%↓

自然

自然 CS

単言語の

CS
CER%↓

BLEU↑

should 宿題 は 終え た ほう が いい です よ」や「there are

しも行なったため，CS 中の英語音声と日本語音声の間でprobably about 二百 五十 万 人 ぐらい の 学生 が い る は上手く区別がつけられ，ASR によるエラー伝播も少ないのず で す」のような翻訳箇所が他言語のフレーズ内に挿入さで他システムより優れた傾向にあると考えられる．

れたものについては難しい傾向があった．また，短い単語

また，表 9 に，日英 CS から日本語への音声翻訳精度を示

や「現金 です か 、 カード です か ?」のような単語の組み

す．まず，「全体」と「CS 部分」の WER および CER につ合わせで成り立つようなフレーズは比較的簡単に翻訳でき

いては，ほとんどが「CS の多言語テキストを単言語の参照

るが，単語でも「手 荷物 事故 報告 書」のような複数のトー訳で評価した場合」の値よりも改善した．しかし，Cascade

クンに跨るような複合語については，難しいとわかった．

ASR+NMT と Direct シングルタスク音声翻訳は，人工 CS

難しいケースをみると，「you should 宿題 は 終え た ほう

モデルの自然 CS テストの「全体」で，「CS の多言語テキスが いい です よ」では，Cascade ASR+NMT や Direct マ

トを単言語の参照訳で評価した場合」の値よりも WER や

ルチタスク音声翻訳はキーワードとなる「homework」をCER が高くなり，Direct シングルタスク音声翻訳は自然予測できたが，Direct シングルタスク音声翻訳は予測でき

CS モデルの自然 CS テストでも「CS の多言語テキストをておらず「talk」という異なる意味の動詞の予測を行なっ

単言語の参照訳で評価した場合」の値よりも WER が高くた．他の例でも，Direct シングルタスク音声翻訳は音声翻なった．人工 CS モデルの自然 CS テストについては，学訳が一番難しいという印象を受けた．これは，Direct シン

習しなかった自然 CS によるテストが難しかったと考えら

グルタスク音声翻訳が CS 中の英語音声と日本語音声を同れた．自然 CS モデルの自然 CS テストでも精度が下がっ

じ英語テキストへ書き起こすので，英語音声と日本語音ている Direct シングルタスク音声翻訳については，CS 中

声の区別ができずに難しくなったと考えられる．Cascadeの英語音声と日本語音声を区別せずに，同じ日本語へ書き

ASR+NMT は「手 荷物 事故 報告 書」のところを「tennis」

起こすのでモデルの精度を低下させ，エラーが増えたと考と訳した．ここは ASR が誤って「テニス」と認識しておえられる．BLEU についても，Direct シングルタスク音声

り，エラーが伝播したと考えられる．このように，Cascade

翻訳は，人工 CS モデルの自然 CS テストや自然 CS モデル

ASR+NMT は ASR からのエラー伝播によるダメージを受の自然 CS テストで，「CS の多言語テキストを単言語の参けるので，それが Direct マルチタスク音声翻訳との差につ照訳で評価した場合」の値よりも下回っており，CS 中の英ながったと考えられる．Direct マルチタスク音声翻訳につ語音声と日本語音声を区別せずに，同じ日本語へ書き起こ

いては，Direct シングルタスク音声翻訳と同じく CS 中のすので，モデルの精度を低下させ，BLEU の値も低くなっ

英語音声と日本語音声から同じ英語テキストへ書き起こしたと考えられる．Cascade ASR+NMT，Direct シングルを行うが，マルチタスクとして CS テキストへの書き起こ

タスク音声翻訳，Direct マルチタスク音声翻訳の間で比較

c 2018 Information Processing Society of Japan⃝8

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 8

自然 CS テストにおける CS から英語への音声翻訳の出力例

Table 8 Output examples of speech translation from CS speech to English text onnatural CS.

出力結果

出力結果

原文

oh , no . i don ’ t have any change so , どう し たら いいん でしょ う ?

参照訳

oh , no . i don ’ t have any change so , what should i do ?

Cascade ASR+NMT

oh , no . i don ’ t have any change so , what should i do ?

Direct single-task ST

oh , no . i don ’ t have any change so , what should i do ?

Direct multi-task ST

oh , no . i don ’ t have any change so , what should i do ?

原文

if you want to watch tv , you should 宿題 は 終え た ほう が いい です よ .

参照訳

if you want to watch tv , you should ﬁnish your homework ﬁrst .

Cascade ASR+NMT

if you want to watch tv , you should go to you homework .

Direct single-task ST

if you want to watch tv , you should be able to talk .

Direct multi-task ST

if you want to watch tv , you should have any homework .

原文when students from four year universities and junior colleges are put together there areprobably about 二百 五十 万 人 ぐらい の 学生 が い る はず で す .

参照訳

when students from four year universities and junior colleges are put together , there areprobably about two point ﬁve million students .

出力結果

Cascade ASR+NMT

when i ’ m sorry that the students is no good , i ’ m going to have a student .

Direct single-task ST

when i ’ m students for your your university and junior college are put together , there areprobably about you .

Direct multi-task ST

when you ’ re students from four year your university and junior college are put together ,there are probably about two hundred million yen .

出力結果

原文

how would you like to pay 現金 です か 、 カード です か ?

参照訳

how would you like to pay , cash or charge ?

Cascade ASR+NMT

how would you like to pay , cash or charge ?

Direct single-task ST

how would you like to pay , cash or charge ?

Direct multi-task ST

how would you like to pay , cash or charge ?

原文

i ’ ll do my best to ﬁnd your baggage but ﬁrst i ’ d like you to ﬁll in this 手 荷物 事故
報告 書 .

参照訳

i ’ ll do my best to ﬁnd your baggage , but ﬁrst i ’ d like you to ﬁll in this property
irregularity report .

出力結果

Cascade ASR+NMT

i ’ ll do my best to ﬁnd your baggage but ﬁrst i ’ d like you to ﬁll in this tennis .

Direct single-task ST

i ’ ll do my best to ﬂy your baggage , but ﬁrst i ’ d like you to ﬁll in this morning ,so i ’ ll do you ’ ll be in the kanto person .

Direct multi-task ST

i ’ ll do my best to ﬁnd your baggage , but ﬁrst i like you to ﬁll in this form to yourself
in japan .

をすると，英語への翻訳と同様に，Direct シングルタスク

翻訳の方が良く，トークナイズの違いによる僅かな差だと

音声翻訳の精度がもっとも悪く，ASR のエラー伝播が少なわかる．そして，自然 CS モデルの人工 CS テスト，およい場合は Cascade ASR+NMT が Direct マルチタスク音声

び人工 CS モデルの自然 CS テストでは「全体」と「CS 部

翻訳より優れる場合もあるが，Direct マルチタスク音声翻分」の両方で，Direct マルチタスク音声翻訳がもっとも優訳がもっとも良い精度を示す傾向にある．ただ，人工 CSれた性能だった．

モデルの人工 CS テストでは，「全体」と「CS 部分」にお表 10 の，日本語への音声翻訳の出力例を見ると，英語

いて，Cascade ASR+NMT の方が良い傾向にあった．日への出力例と同じく，「please give me two pieces」のよう

本語ベース CS は名詞のみの一単語の CS が含まれており，な翻訳箇所が 1 つの文として完結するものや「orange juice

ASR にとって簡単なタスクになり，ASR のエラー伝播がand bread please」のような単語の組み合わせで成り立つよ

少なかったと考えられる．また，自然 CS モデルにおけるうなフレーズは上手く翻訳できた．
「the size of the foot is

自然 CS テストでの WER は，「全体」は Direct マルチタ

24 points five centimeters」の「24 points five centimeters」

スク音声翻訳の方が良いものの，「CS 部分」では Cascade

は複数のトークンに跨る名詞であったが，Direct マルチタ

ASR+NMT の方が精度は良かった．しかし，CER では

スク音声翻訳だけが「二 十 四 点 五 センチ」のところを「全体」も「CS」部分もどちらも Direct マルチタスク音声「二 十 四 点 五 十 センチ」と翻訳し，比較的近いものを

c 2018 Information Processing Society of Japan⃝9

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

表 9 Cascade と Direct アプローチの CS から日本語への音声翻訳精度の比較

Table 9 Comparison of translation performance from CS speech to Japanese text
between cascade and direct approaches.
CS の多言語

モデル

テキストを
テスト

人工 CS

CascadeDirectDirectCascadeDirectDirect

参照訳で

ASR+NMTsingle-task

multi-task

ASR+NMTsingle-task

multi-task

ST

ST

ST

ST

評価した場合
人工 CS

全体

17.52

13.11

19.96

13.88

12.94

16.25

12.05

CS 部分

106.42

32.59

42.25

36.40

33.48

36.28

31.96

CS 以外

0.61

9.19

15.51

9.44

8.90

12.29

8.18

全体

35.23

12.10

18.93

13.10

12.23

15.38

11.68

CS 部分

187.66

27.32

36.05

30.85

28.59

31.10

26.92

WER%↓

CER%↓

CS 以外

0.53

9.05

15.55

9.40

8.86

12.34

8.41

全体

74.14

77.42

68.14

77.35

77.77

72.31

79.36

全体

28.67

41.80

44.81

27.51

25.77

30.51

25.52

CS 部分

104.56

61.46

68.67

61.18

60.40

63.44

61.67

CS 以外

3.66

25.78

33.85

16.31

14.41

19.04

13.46

全体

54.29

33.97

46.70

25.69

23.85

28.04

22.98

CS 部分

202.69

56.87

66.90

54.98

53.88

57.72

53.43

CS 以外

1.90

20.85

35.65

15.95

14.29

18.91

13.18

全体

64.64

59.02

52.81

64.47

65.75

60.32

67.24

BLEU↑
自然 CS

自然 CS

単言語の

WER%↓

CER%↓

BLEU↑

表 10

自然 CS テストにおける CS から日本語への音声翻訳の出力例

Table 10 Output examples of speech translation from CS speech to Japanese text onnatural CS.

出力結果

出力結果

出力結果

原文

七月 二 十 日 二 回 目 公演 の エー 指定 席 券 を please give me two pieces .

参照訳

七月 二 十 日 二 回 目 公演 の エー 指定 席 券 を 二 枚 ください .

Cascade ASR+NMT

七月 二 十 日 二 回 目 の エー 指定 席 券 を 二 枚 ください .

Direct single-task ST

七月 二 十 日 二 回 公園 の エー 席 券 を 二 枚 ください .

Direct multi-task ST

七月 二 十 日 二 回 目 公演 の エー 指定 席 券 を 二 枚 ください .

原文

ゆで 卵 一 個 と orange juice and bread please .

参照訳

ゆで 卵 一 個 と オレンジ ジュース と パン を お願い し ます .

Cascade ASR+NMT

ゆで 卵 一 個 と オレンジ ジュース と パン を ください .

Direct single-task ST

ゆで 卵 一 個 と オレンジ ジュース 二つ お願い し ます .

Direct multi-task ST

ゆで 卵 一 個 と オレンジ ジュース と パン を お願い し ます .

原文

サイズ の 番号 は わかり ませ ん が the size of the foot is 24 points ﬁve centimeters .

参照訳

サイズ の 番号 は わかり ませ ん が 足 の 大き さ は 二 十 四 点 五 センチ です .

Cascade ASR+NMT

サイズ の 番号 は わかり ませ ん が 二 十 五 点 六 六 円 です .

Direct single-task ST

サイズ の 番号 は わかり ませ ん が 五 十 四 センチ の 名前 は .

Direct multi-task ST

サイズ の 番号 は わかり ませ ん が 残念 ながら 二 十 四 点 五 十 センチ です .

当てることができた．

チタスク音声翻訳がもっとも良い精度を示す傾向にある．

以上の考察をまとめると，翻訳箇所が 1 つの文として完

Direct シングルタスク音声翻訳は，CS 中の英語音声と日結するものや，単語や単語の組み合わせで成り立つような

本語音声から同じ単言語テキストへ書き起こすので日本語フレーズの翻訳は難しくないが，単語でも複数のトークン

音声と英語音声の区別ができず，モデルの精度の低下を招に跨る様な複合語や，翻訳箇所が他言語のフレーズ内に挿いた．Cascade ASR+NMT は ASR のエラー伝播がある．

入されたものは難しいとわかった．Cascade ASR+NMT，

一方，Direct マルチタスク音声翻訳は，直接音声から予測

Direct シングルタスク音声翻訳，Direct マルチタスク音声するため ASR のエラー伝播が少なく，また Direct シング

翻訳を比較すると，Direct シングルタスク音声翻訳の精度

ルタスク音声翻訳とは違って，CS 音声から CS テキスト

がもっとも悪く，Cascade ASR+NMT が Direct マルチタへの出力も一緒に学習することで，CS 中の英語音声と日スク音声翻訳より優れることがあるものの，Direct マル

本語音声の区別ができるようになるため，もっとも良い精c 2018 Information Processing Society of Japan⃝10

情報処理学会論文誌

Vol.59 No.1 1–12 (Jan. 2018)

度を示す傾向にある．

5. おわりに[9]

日英 CS の音声翻訳を開発するため，NMT と BERT に
よる 2 つの Cascade アプローチ，およびシングルタスク学[10]

習とマルチタスク学習による 2 つの Direct アプローチを調査した．実験の結果，Cascade ASR+BERT は，ASR の認[11]

識誤りによって，予測するものが増えると同時に予測のために必要な情報が減るため，CS の音声翻訳は難しくなることが分かった．また，Direct シングルタスク音声翻訳は，

CS 中の英語音声と日本語音声から同じ単言語テキストへ[12]

書き起こすので，英語音声と日本語音声の区別ができず，モデルの精度の低下を招いた．また，Cascade ASR+NMT
は ASR のエラー伝播の影響を受けることがわかった．一[13]

方， Direct マルチタスク学習は，直接予測することで ASRのエラー伝播が少なく，また Direct シングルタスク学習と同じく CS 中の英語音声と日本語音声から単言語テキスト[14]

への書き起こしを予測するにもかかわらず，同時に CS 音
声から CS テキストを予測することで CS 中の英語音声と日本語音声を区別できるため，Direct マルチタスク学習が[15]

もっとも良い精度を示す傾向にあった．今後は，翻訳結果の主観評価や，非母語話者レベルの CS を用いた実験を行
[16]

いたい．
謝辞

本研究は科研費 [JP17H06101，JP17K00237] の助成を受けております．

[17]

参考文献

[18]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

厚 生 労 働 省： 平 成 29 年 度 人 口 動 態 統 計 (確 定数)，https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/
kakutei17/xls/29toukei.xls (2017).
日 本 政 府 観 光 局 (JNTO) ： 2018 年 訪 日 外 客数(総 数)，https://www.jnto.go.jp/jpn/statistics/
since2003 visitor arrivals.pdf (2019).
Fotos, S. S.: Japanese-English Code Switching in Bilingual Children, Proc. of JALT Journal, Vol. 12, No. 1,
pp. 75–98 (1990).
Poplack, S.: Sometimes I ll start a sentence in Spanish y termino en español: Toward a typology of codeswitching，The bilingualism reader, Vol. 18, No. 2, pp.
221–256 (2000).
Bautista, M. L. S.: Tagalog-english code switchingas a mode of discourse, Asia Paciﬁc Education Review, Vol. 5, No. 2, pp. 226–233 (online), DOI:
10.1007/BF03024960 (2004).
White, C. M., Khudanpur, S. and Baker, J. K.: An investigation of acoustic models for multilingual code switching, Proc. of INTERSPEECH, pp. 2691–2694 (2008).
Vu, N. T., Lyu, D.-C., Weiner, J., Telaar, D., Schlippe,T., Blaicher, F., Chng, E.-S., Schultz, T. and Li, H.:
A first speech recognition system for Mandarin-English
code-switch conversational speech, Proc. of ICASSP, pp.
4889–4892 (2012).
Yilmaz, E., den Heuvel, H. and van Leeuwen, D.: Investigating Bilingual Deep Neural Networks for Automatic
Recognition of Code-switching Frisian Speech, Proc. of

c 2018 Information Processing Society of Japan
⃝

[19]

[20]

[21]

[22]

[23]

[24]

[25]

SLTU, Vol. 81, pp. 159 – 166 (2016).
Hernandez, D. J., Denton, N. A. and Macartney, S. E.:Children in Immigrant Families: Looking to America’s
Future. Social Policy Report. Volume 22, Number 3., Society for Research in Child Development (2008).
Sinha, R. M. K. and Thakur, A.: Machine translationof bi-lingual hindi-english (hinglish) text, Proc. of MT
Summit X, pp. 149–156 (2005).
Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu,
Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M.,
Corrado, G., Hughes, M. and Dean, J.: Google’s Multilingual Neural Machine Translation System: Enabling
Zero-Shot Translation, Proc. of TACL, Vol. 5, pp. 339–
351 (2017).
Menacer, M. A., Langlois, D., Jouvet, D., Fohr, D.,
Mella, O. and Smaı̈li, K.: Machine Translation on a parallel Code-Switched Corpus, Proc. of Canadian AI, pp.
426–432 (2019).
Devlin, J., Chang, M., Lee, K. and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers
for Language Understanding, Proc. of NAACL-HLT, pp.
4171–4186 (2019).
Nakayama, S., Kano, T., Tjandra, A., Sakti, S. andNakamura, S.: Recognition and Translation of Codeswitching Speech Utterances, Proc. of O-COCOSDA(2019).
Bahdanau, D., Chorowski, J., Serdyuk, D., Brakel, P.
and Bengio, Y.: End-to-end attention-based large vocabulary speech recognition, Proc. of ICASSP, pp. 4945–
4949 (2016).
Xu, B., Wang, N., Chen, T. and Li, M.: Empirical evaluation of rectified activations in convolutional network,
Deep Learning Workshop, ICML, pp. 1–5 (2015).
Luong, T., Pham, H. and Manning, C. D.: Effective
Approaches to Attention-based Neural Machine Translation, Proc. of EMNLP, pp. 1412–1421 (2015).
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J.,
Jones, L., Gomez, A. N., Kaiser, L. and Polosukhin, I.:
Attention is all you need, Proc. of NIPS, pp. 5998–6008(2017).
Tjong Kim Sang, E. F. and De Meulder, F.: Introduction
to the CoNLL-2003 Shared Task: Language-Independent
Named Entity Recognition, Proc. of NAACL-HLT, pp.
142–147 (2003).
Rajpurkar, P., Zhang, J., Lopyrev, K. and Liang, P.:
SQuAD: 100,000+ Questions for Machine Comprehension of Text, Proc. of EMNLP, pp. 2383–2392 (2016).
Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning,
C. D., Ng, A. and Potts, C.: Recursive deep models
for semantic compositionality over a sentiment treebank,Proc. of EMNLP, pp. 1631–1642 (2013).
Ghazvininejad, M., Levy, O., Liu, Y. and Zettlemoyer, L.: Constant-time machine translation withconditional masked language models, arXiv preprint
arXiv:1904.09324 (2019).
Weiss, R. J., Chorowski, J., Jaitly, N., Wu, Y. and Chen,
Z.: Sequence-to-Sequence Models Can Directly Translate
Foreign Speech, Proc. of INTERSPEECH (2017).
Tan, Z., Fan, X., Zhu, H. and Lin, E.: Addressing Accent
Mismatch In Mandarin-English Code-Switching Speech
Recognition, Proc. of ICASSP, pp. 8259–8263 (2020).
Takezawa, T., Kikui, G., Mizushima, M. and Sumita, E.:
Multilingual Spoken Language Corpus Development forCommunication Research, Proc. of ACLCLP, Vol. 12,
No. 3, pp. 303–324 (2007).

11

情報処理学会論文誌

[26]

[27]

[28]
[29]
[30]

[31]

[32]

[33]

[34]

Vol.59 No.1 1–12 (Jan. 2018)

Tjandra, A., Sakti, S. and Nakamura, S.: Listening while
Speaking: Speech Chain by Deep Learning, Proc. of
ASRU, pp. 301–308 (2017).
Schmid,H.:
TreeTagger-a language independent part-of-speech tagger,
http://www.ims.unistuttgart.de/projekte/corplex/TreeTagger/ (1994).
Kudo, T.: Mecab: Yet another part-of-speech and morphological analyzer, http://taku910.github.io/mecab.
Durette, P. N.: gTTS – Google Text-to-Speech,https://pypi.org/project/gTTS/.
Ko, T., Peddinti, V., Povey, D. and Khudanpur, S.: Audio augmentation for speech recognition, Proc. of INTERSPEECH (2015).
Ko, T., Peddinti, V., Povey, D., Seltzer, M. L. and Khudanpur, S.: A study on data augmentation of reverberant
speech for robust speech recognition, Proc. of ICASSP,
IEEE, pp. 5220–5224 (2017).
McFee, B., McVicar, M., Nieto, O., Balke, S.,
Thome, C., Liang, D., Battenberg, E., Moore,
J., Bittner, R., Yamamoto, R. et al.:librosa
0.5.0, https://librosa.github.io/librosa/0.5.0/index.html(2017).
Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M.,
Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey,
K. et al.: Google’s neural machine translation system:
Bridging the gap between human and machine translation, arXiv preprint arXiv:1609.08144 (2016).
Papineni, K., Roukos, S., Ward, T. and Zhu, W.-J.:
BLEU: a method for automatic evaluation of machinetranslation, Proc. of ACL, pp. 311–318 (2002).

サクティ サクリアニ
1999 年インドネシアバンドン工科大学情報学部卒業．2002 年ドイツウルム大学修士課程修了．2003 年音声言語コミュニケーション研究所研究員．

2006 年（独）情報通信研究機構専門研究員．2008 年ドイツウルム大学博士課程修了．2009 年インドネシア大学コンピューターサ
イエンス学部客員教授．2011 年奈良先端科学技術大学院
大学助教．2015 年フランス INRIA Paris-Rocquencourt の客員研究員．現在，奈良先端科学技術大学院大学准教授，
理化学研究所革新知能統合センター目的指向基盤技術研究
グループ観光情報解析チーム研究員．電子情報通信学会，

JNS，SFN，ASJ，ISCA，IEICE，IEEE 各会員．

中村 哲 （正会員）
1981 年京都工芸繊維大学工芸学部電子工学科卒業．京都大学博士（工学）．
シャープ株式会社．1994 年奈良先端科学技術大学院大学助教授，1996 年
米国 Rutgers 大学客員教授（文科省在外研究員），2000 年 ATR 音声言語コ

中山 佐保子 （学生会員）

ミュニケーション研究所室長，2005 年所長，2006 年（独）情報通信研究機構 音声コミュニケーション研究グループ

2012 年早稲田大学国際教養部国際教

リーダ，2010 年研究センター長，けいはんな研究所長など

養学科卒業．2019 年奈良先端科学技を経て，2011 年奈良先端科学技術大学院大学 情報科学研究

術大学院大学博士課程前期修了．同年

科 教授，2017 年データ駆動型サイエンス創造センター長，より，同大学院博士課程後期在学，理2017 年理化学研究所 革新知能統合研究センター観光情報

化学研究所革新知能統合センター目的

解析チームリーダー．2003 年からカールスルーエ大学客員

指向基盤技術研究グループ観光情報解教授．音声翻訳，音声対話などの音声言語情報処理，自然析チーム研究アシスタント．コードスイッチングの音声言

言語処理の研究に従事．電子情報通信学会論文賞，AAMT

語処理に関する研究に従事．

長尾賞，日本音響学会技術開発省，人工知能学会研究会優秀賞，情報処理学会喜安記念業績賞，総務臣表彰，文部科学大臣表彰，Antonio Zampoli 賞受賞， ドコモモバイル
サイエンス賞，IBM Faculty Award， Google AI Focused

Research Award 等受賞．ISCA 理事， IEEE SLTC 委員を歴任．ATR フェロー，IEEE フェロー．ISCA フェロー．
本会フェロー．

c 2018 Information Processing Society of Japan⃝

12