情報処理学会研究報告
IPSJ SIG Technical Report

スタイル変換技術による対訳コーパスから同時通訳コーパスへの拡張
二又 航介1,a)

須藤 克仁1,b)

中村 哲1,c)

概要：同時通訳とは，入力文章が完結する前に目的言語の部分的な翻訳結果を訳出するタスクである．同時通訳システムを介したコミュニケーションでは，翻訳の遅延が円滑なコミュニケーションの大きな障害となるため，遅延を最小限にしつつ正確に部分訳出をする必要がある．特に英語と日本語のように語順が大きく異なる言語間の同時通訳では，訳出開始までの遅延が大きな問題となる．一方で，原言語の語順に近い形で訳出を行うことができれば，遅延を少なくすることができる．同時通訳システムの学習には通常，
機械翻訳システムと同様に対訳コーパスが用いられる．同時通訳コーパスは，機械翻訳システムの学習に用いられる対訳コーパスと異なり，入力文が完結する前に目的言語の部分訳出を行った文から構成される
対訳コーパスである．したがって，同時通訳システムの学習に用いられる対訳コーパスとして，同時通訳
コーパスを用いることができれば，入力文を小さな部位に区切り逐次訳出できるため，訳出を終えるまでの遅延が少なくなる．しかし，現在利用可能な同時通訳コーパスの量は非常に少ないため，このような問題設定は現実的ではない．そこで本稿では，機械翻訳に用いられる対訳コーパスから，同時通訳コーパス
へと拡張する手法について提案する．提案手法ではスタイル変換を用いることで，機械翻訳のスタイルから同時通訳へのスタイルへと変換を行う．また，スタイル変換により生成された疑似同時通訳文について
現状での問題点について検討する．

1. はじめにミュニケーションでは，翻訳時の遅延が円滑なコミュニ
ケーションの大きな障害となるため，遅延を最小限にしつ

国際化に伴い，日常生活やビジネスの現場，国際会議なつ正確に部分訳出をする必要がある．特に英語と日本語のどで外国語でのコミュニケーションの機会が増加している．

ように語順が大きく異なる言語間の同時通訳では，訳出開

外国語でのリアルタイムでの対話は，自分の母国語とは異始までの遅延が大きな問題となる [19]．これは英語のようなる言語でコミュニケーションを行う必要があるため，話な主要部先行 (head-initial) 言語と日本語のような主要部

し手，聞き手の双方に大きな負担をかける．そこで，利用

後続 (head-final) 言語の違いにより，訳出開始までの待ち者の負担を軽減しうる自動同時通訳のシステムが研究され時間が発生してしまうからである．つまり，被修飾部が先ている [3, 8, 17]．

で修飾部が後に来るか (head-initial)，修飾部が先で被修飾

同時通訳とは，原言語の入力文の終了を待たずに目的言部が後に来るか (head-final) の違いにより，待ち時間が発語への訳出を開始するものである．同時通訳システムを用生する．図 1 に長い修飾部を持つ英文の日本語への訳出開いることで，講演や会話などをリアルタイムで理解する助始までに遅延が発生する例を示す．

けとなり，円滑なコミュニケーションを促進する．従来の

図 1 は上から順に，英語の入力文，日本語の出力文，日

機械翻訳システムでは，訳出を行う入力文における終端部

本語への訳出タイミングを示す．入力文である’A brand-

が読み終わるまで訳出を行わない．講義や講演等の話し言

new computer on the desk which my father gave me on

葉では文が長くなる傾向があるため，文の終了を待って翻my birthday doesn’t work now .’ という英文では’A brand-

訳する枠組みでは翻訳結果が得られるまでの遅延が大き

new computer on the desk’ が’my father gave me on my

くなることが避けられない．しかし，同時通訳を用いたコ

birthday’ に対して修飾されている．この修飾部と被修飾

1

a)
b)
c)

奈良先端科学技術大学院大学
NAIST, Takayama-cho, Ikoma, Nara 630–0192, Japanfutamata.kosuke.fg6@is.naist.jp
sudoh@is.naist.jp
s-nakamura@is.naist.jp

c 1959 Information Processing Society of Japan⃝部の関係により訳出開始までの遅延が発生する．
このように，主要部先行言語と主要部後続言語の間で比較的洗練された訳出を行うためには，多少の遅延が発生する．一方で，原言語の語順に近い形で訳出を行うことがで1

情報処理学会研究報告
IPSJ SIG Technical Report

図 1 訳出開始までに遅延が発生する例

図 2

訳出開始までの遅延が少ない例

きれば，遅延を少なくすることができる．図 2 に遅延の少ない訳出例を示す．図 2 は図 1 と同様に上から英語の入力
文，日本語の出力文，日本語への訳出タイミングを示す．
英語の入力文は図 1 と同様のものであるが，日本語の出力文が異なる．図 1 の訳出例と比べ，図 2 の訳出例では語順の洗練性は無いが，助詞等により致命的な間違いはほとん
ど無く，聞き手の誤解は生じない．このような通訳方略を「順送り」[9] という．また，訳出開始までの遅延が図 1 の訳出例より少ない．以上の例のように，英日翻訳では最悪でも順送りを用いて訳出を行っても，決定的な問題は生じ
図 3 対訳コーパスと疑似同時通訳コーパスの関係

にくいと言える．これは，日本語が膠着語に分類され，文節における順序の入れ替えを比較的許容する言語であるからである．したがって，図 2 のように順送り方式で翻訳さ語文に対してスタイル変換を適用することにより，日本語れた文章から構成される同時通訳コーパスを用いて同時通の疑似同時通訳文を生成し，疑似同時通訳コーパスを作成

訳システムを学習させれば，訳出時における遅延を最小限する．

に留めることができると想定される．しかし，現在利用可

スタイル変換は，変更するスタイル情報が明確な場合に能な同時通訳コーパスの量は非常に少ないため，このよう得に有効である．対訳コーパスと同時通訳コーパスには，な問題設定は現実的ではない．そこで本研究では，同時通スタイル情報を区別する様々な要因が関わってくるため，訳のような順送りの訳文を対訳コーパスにおける訳文からスタイル変換の手法をそのまま適用するだけでは不十分で自動書き換えによって得る方法について検討する．

あると想定される．そこで，対訳コーパスにおける日本語

入力文を意味的に等価な文に書き換えるタスクの総称と文に事前並び替え [4, 10] を適用することによって，同時通して，言い換え生成がある．言い換え生成には，テキスト

訳コーパスにおける日本語文との並び順が近くなるようにの難易度を制御するテキスト平易化 [12] や，テキストのした．実験の結果，対訳コーパスにおける日本語文に事前スタイルを制御するスタイル変換 [1, 14] などのタスクがあ

並び替えを適用してスタイル変換を行うことで，生成文がる．スタイル変換では，変換前後の文ペアを必要とせず，短い単位に分割されるなど同時通訳文のスタイルに近くなスタイルを変換することが可能である．本研究では，通常ることが明らかになった．

の対訳コーパスの訳文と同時通訳コーパスの順送りの訳文がそれぞれ異なるスタイルであると仮定し，スタイル変換

2. Style Transformer を用いたスタイル変換

によって順送りの訳文への書き換えを行う．図 3 に英日対スタイル変換とは，言い換え生成の一種である．この技

訳コーパスとスタイル変換により拡張される疑似英日同時術を利用することで，入力文における文体 (スタイル) を自

通訳コーパスとの関係を示す．図 3 のオレンジ色の矩形で動的に制御することができる．代表的なスタイル変換のタ

囲まれた部分は，英日対訳コーパスを表している．一方で，

スクとしては，肯定的な文を否定的な文へ変換するものが赤色の矩形で囲まれた部分は，英日対訳コーパスにおけるある．スタイル変換を行う手法としては，意味情報とスタ

入力文と，スタイル変換を適用することにより拡張された

イル情報を分離し，分離後の意味情報に対してスタイル情生成文を組み合わせることによって新たに作成された英日報を付与する手法 [2, 14] や，GAN や VAE により直接ス

疑似同時通訳コーパスを表している．対訳コーパスの日本

タイルを制御する手法 [1, 7, 15] がある．

c 1959 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

ここでスタイル変換の学習に用いるコーパスをそれぞ御するために，Style Transformer では語彙に対する単語

れ {Di }K
i=1 と定義する．各コーパス Di は特定のスタイル

埋め込みベクトルとは他に，スタイル情報を制御するためを含む文集合から構成される．英日対訳コーパスのスタの埋め込みベクトルの層を追加する．したがって，Style

イルから英日同時通訳コーパスのスタイルに変換するタTransformer の Encoder Enc(x, s; θE ) では，入力文 x とスクを考えると，英日対訳コーパスにおける日本語文のスタイル情報 s を入力として受け取り，式 3 に示すように，

スタイル D1 および英日同時通訳コーパスにおける日本語

入力文 x とスタイル情報 s の両方を条件とする確率を計算

文のスタイル D2 の２つのデータセットから構成される．

する．

また，各 Di に対応するスタイルを S(i)と定義する．このときスタイル変換の目的は，入力文 x と変換先スタイルpθ (y|x, s) =ŝ ∈ {s(i) }K
i=1 が与えられたとき，入力文 x の意味情報を保持しつつ，スタイル情報 ŝ を含む文章 x̂ に変更することである．このような変換を可能にする関数 fθ (x, s) を学習させる．本研究では，Transformer と GAN を用いた Style

Transformer [1] を使用した．次節以降では，背景知識として Style Transformer モデルの概要について説明する．

Style Transformer ネットワークは Encoder-Decoder 構造を持つ Transformer [16] をベースにスタイル変数を組み込んだモデルである．入力文 (入力系列) x，Encoder の出力である中間表現 z，および出力文 (出力系列) y をそれぞれ以下のように定義する．

(3)

2.2 Discriminator ネットワーク
前節で述べたスタイル変換モデル fx (x, ŝ) を適用する
際，一般的に変換元スタイルと変換先スタイルの対になったコーパスが存在することがまれであるため，スタイル変換モデルを教師あり学習の枠組みで学習させることは困難
用いて，独立した 2 つのコーパスから学習を行う．

Discriminator の学習時は，学習に用いるコーパスに含まれる文 x とその文と同一のスタイル情報 s を入力として再構築された文 y = fθ (x, s) を正例として，異なるスタイルŝ に変換された文 ŷ = fθ (x, ŝ) を負例として識別するように Discriminator を学習させる．Discriminator の損失関数
は式 4 に示すように，負の対数尤度を用いる．式 4 におけx = {x1 , x2 , ..., xI }る c は正例または負例に分類されるクラスラベルを表す．

z = {z1 , z2 , ..., zJ }y = {y1 , y2 , ..., yK }Ldiscriminator = −p(c|x)

ここで，xi ∈ RS×1 は i 番目の入力単語を表す one-hot ベ
クトル，I は入力文の長さ，zi ∈ RT ×1 は j 番目の Encoderの出力である中間表現ベクトル，J は中間ベクトルの長さ，yi ∈ RU ×1 は k 番目の出力単語を表す one-hot ベクトル，
K は出力文の長さを表す．また，Transformer の Encoder
および Decoder をそれぞれ，Enc(x; θE )，Dec(z; θD ) と定義する．θE および θD はそれぞれ Encoder と Decoder のパラメータを表す．
このとき，入力文 x に対して，Transformer の Encoder

Enc(x; θE ) は入力文を中間表現 z へ変換する．そして，
Transformer の decoder Dec(z; θD ) は中間表現 z から出力
文 y の条件付き確率の積を式 1 のように求める．
m∏pθ (yt |s, z, y1 , ..., yt−1 )t=1である．そこで，Style Transformer では Discriminator を

2.1 Style Transformer ネットワークpθ (y|z) =

m
∏

(4)

一方で Style Transformer の学習時には，Discriminatorによって Style Transformer の出力 ŷ = fθ (x, ŝ) が正例となる確率を最大化するように Style Transformer を学習させる．

2.3 Style Transformer + Discriminator
前節までで述べた Style Transformer ネットワークとDiscriminator ネットワークを組み合わせることで，スタイル変換を行う．図 4 に Style Transformer 全体の学習過程を示す．図 4 に示すように，Style Transformer の学習対
象は主に Self Reconstruction, Cycle Reconstruction, Style

Controlling の 3 つに分けられる．また，入力として与えられるスタイルが入力文と同一のスタイル s の場合と，入力pθ (yt |z, y1 , ..., yt−1 )

(1)

t=1

各ステップ t において，次の単語 t + 1 に対する確率はsoftmax 分類器により，式 2 のように求められる．
pθ (yt |z, y1 , ..., yt−1 ) = sof tmax(ot )文のスタイルと異なるスタイル ŝ の場合によって，Self Re-

construction を学習対象にするのか，Cycle Reconstructionと Style Constrolling を学習対象にするのか異なる．

2.3.1 Self Reconstruction
入力として与えられるスタイルが入力文のスタイルと同(2)一であるとき，入力文 x とスタイル s は同一コーパスから

式 2 における ot は Decoder の出力を表している．

の入力であり，図 4 上部に示す灰色の矩形で囲まれた Self

通常の Transformer を用いて入力文のスタイル情報を制

Reconstruction の損失関数を最小化する．この場合，モデc 1959 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

図 5 事前並び替えの適用例と Cycle reconstruction と同様，式 7 に示す ŝ に関する負の対数尤度を最小化する．

Lstyle = −p(c = ŝ|fθ (x, ŝ))(7)

3. 事前並び替え
事前並び替えは統計的機械翻訳 (SMT) で使用される手法である．SMT において，翻訳言語間の語順の相違は翻訳精度に大きな影響を与えることが知られており [4]，この問題を解決する手法として，翻訳機に入力する前に原言語における文の語順を目的言語における文の語順に近づく
ように並び替える事前並び替えが提案されている [4, 10]．

図 4 Style Transformer 全体の学習過程

特に日英翻訳のように単語の語順が大きく異る言語対におルは単に入力文を再構築するように学習を行い，式 5 に示

いて，事前並び替えは SMT で精度を改善することが示さ

す負の対数尤度を最小化する．

れている．図 5 に事前並び替えの適用例を示す．図 5 の上から順に，事前並び替えを適用する前の日本語文，事前並

Lself (θ) = −pθ (y = x|x, s)(5)

ための英語参照文である．「私の 両親は ロンドン に 住ん

2.3.2 Cycle Reconsturction + Style Controlling
一方で，入力として与えられるスタイル情報が入力文のスタイルと異なるとき，入力文 x とスタイル ŝ は異なる
コーパスからの入力であり，図 4 中部に示す赤色の矩形で囲まれた Cycle Reconsturction，下部に示す水色の矩形で囲まれた Style Controlling の２つの損失関数を最小化
する．

Cycle Reconstruction では，入力文 x に含まれる意味情報を保持するために，異なるスタイル情報 ŝ を付与して生成された文 ŷ = fθ (x, ŝ) に入力文のスタイル情報 s を付与
して再び Style Transformer へ入力する．そして式 6 に示
すように，負の対数尤度を最小化することで，元の入力文

x を再構築するように学習を行う．
Lcycle (θ) = −pθ (y = x|fθ (x, ŝ), s)

び替えを適用した後の日本語文，事前並び替えを適用するで いる」という日本語文が，事前並び替えを適用することによって，「私の 両親は 住んで いる に ロンドン」という語順に変わる．事前並び替えを適用した日本語文は英語参照文と比較すると，単語間の交差が無くなっていることがわかる．

3.1 事前並び替えのスタイル変換への適用
前節で述べたスタイル変換の手法は，変更するスタイル
情報が明確な場合に特に有効である．なぜなら既存のスタ
イル変換手法では，局所的な単語を置き換えたり，削除したりと表現力が限定されるからである．例えば，肯定的な文を否定的な文へ変換する場合などが挙げられる．
本研究の目的である対訳コーパスにおける日本語文から疑似同時通訳文へとスタイル変換を行うタスクでは，ある(6)

箇所で文を区切ったり，単語間の入れ替えなどが発生する

Style Transformer が単に入力文 x を ŷ = fθ (x, ŝ) によりため，既存のスタイル変換モデルでは表現力に欠けると想再構築するだけでは，モデルが入力を出力へと複製するだ定される．そこで，本研究ではスタイル変換の学習時に事けになってしまう．そこで，図 4 に示す Style Controlling

前並び替えを適用した文を用いる．

によって，Style Transformer の出力 ŷ を，Discriminator

事前並び替えを英日対訳コーパスにおける日本語文に適により正例として識別される確率を最大化するように Style

用することによって，参照文である英日対訳コーパスの英Transformer の学習を行う．このとき Self reconstruction

文との単語間の交差が少なくなると想定される．また，英c 1959 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

日同時通訳コーパスにおける日本語文は第一章で述べたよ

表 1 CSJ，TED，ASPEC のコーパスサイズ
Number of sentences
Corpus
Train
Val
Test

うに，英語から順送り方式で翻訳されていると仮定すると，
英日同時通訳コーパスにおける英文と日本語文における単語間の交差は比較的少ないと想定される．したがって，英日対訳コーパスにおける日本語文に事前並び替えを適用す

CSJ

3509

500

500

TED

28606

500

500

ASPEC

1000000

1790

1812

ることによって，英日同時通訳コーパスにおける日本語文との単語間との交差も少なくなると推測される．

表 2 自動評価による実験結果
ACC
BLEU

4. 実験

PPL

CSJ-TED

89.0

48.8

73.5

Style Transformer によるスタイル変換を英日対訳コー

CSJ(pre-ordered)-TED

96.0

21.8

361.5

パスにおける日本語文から英日同時通訳コーパスの日本語

CSJ-CSJ(preordered)

30.2

28.3

242.7

文へのデータ拡張へ適用する実験を行い，現状での問題点について検討した．また英日対訳コーパスにおける日本語行った．また CSJ と TED に関しては，文の長さが 30 トー文に対しては，事前並び替えを適用する場合と適用しないクンを超えるものと，その対訳文を学習データから削除す

場合の 2 通りの実験を行った．

るフィルタリングを行った．

4.1 実験設定

4.3 自動評価による実験

モデルの実装には Pytorch を用いた．また，Style Trans-

スタイル変換を適用するコーパスのペアとして，「CSJ かformer の Encoder と Decoder, および Discriminator は共

ら TED(CSJ-TED)」，「事前並び替えを適用した CSJ からに 4 層とし，単語埋め込みベクトルや隠れ状態ベクトル

TED(CSJ(preordered)-TED)」，「CSJ から事前並び替えをの次元数は 256, ミニバッチのサイズは 128，語彙のサイ適用した CSJ(CSJ-CSJ(preordered))」の計 3 種類を対象

ズは 16000 とした．最適化アルゴリズムには Adam [5] をとした．CSJ-CSJ(preordered) に関しては．事前並び替え

使用し，gradient clipping は 5 にして学習を行った．またを適用した CSJ の文が英語参照文との単語間交差が少な

評価指標には，スタイル変換の自動評価尺度として一般

くなり，同時通訳らしい文の並び順になることを期待して的に使用されている 2 値分類器による正解率, BLEU [13],いる．

Perplexity を使用した．2 値分類器による正解率により，２値分類器によるスタイルの正解率 (ACC)，BLEU スコ

英日対訳コーパスにおける日本語文が英日同時通訳コーパ

ア，Perplexity(PPL) による評価結果を表 2 に示す．CSJ-スにおける日本語文のスタイルに変換されたかどうか評価

TED，CSJ(preordered)-TED の ACC の評価値は高かっ

し，BLEU スコアにより，意味情報を保持しているかどう

た．BLEU, PPL の評価値に関しては CSJ-TED のスコア

かを評価する．また，Perplexity により，スタイル変換がは高いものの，CSJ(preordered)-TED のスコアは低かっ適用された文が流暢なものであるかどうかを評価する．

た．一方で，CSJ-CSJ(preorrdered) では，ACC, BLEU,

PPL の全ての値で CSJ-TED, CSJ(preordered)-TED と比4.2 データセット較して低かった．

英日対訳コーパスにおける日本語文のスタイルから英日同時通訳の日本語文におけるスタイルへとスタイルを

4.4 自動評価に関する考察

変換する実験を行うにあたって，日本語話し言葉コーパ

表 3 および表 4 にそれぞれ CSJ-TED, CSJ(preordered)-ス (CSJ) [18] と独自に収集した TED コーパスを使用しTED のスタイル変換例を示す．入力例はスタイル変換をた．CSJ は日本語で行われた講演の音声を集めたコーパ

適用する対象の文，変換例は入力文に対してスタイル変換

スであるため，その書き起こし文を対訳コーパスにおけを適用した文，原文は入力文に事前並び替えを適用する前る日本語文と仮定して使用した．TED コーパスは英語でのものをそれぞれ表す．表 3 の Exmple(1) では語尾が「ま行われた講演を日本語へ同時通訳したものである．事前した」が「ます」に変換された．Example(2) では「私」が並び替えには，Nakagawa [10] の Bracketing Transduction「僕」に変換された．一方で表 4 の Example(1) では「学習Grammar(BTG) による手法を用いた．また，事前並び替

データ は 、 です」が「学習 データ は ない です 、」に変えの学習には対訳コーパスが必要であるため，ASPEC [11]換された．Example(2) では，文頭に「私」が追加された．

を使用した．ASPEC は中規模のコーパスで，比較的長文

以上の結果からわかるように，CSJ-TED のスタイル変かつ専門用語が多く複雑な文章から構成されている．表 1

換例では単に一部の単語が置換されるだけであり，本研究に各コーパスの詳細を示す．

で期待するような同時通訳のスタイルが現れることがな

入力単位は形態素とし，Mecab [6] を用いて単語分割を

c 1959 Information Processing Society of Japan⃝

かった．BLEU スコアと PPL の値は比較的高かったが，

5

情報処理学会研究報告
IPSJ SIG Technical Report

置換された単語がごく一部に限られ，自然で流暢な文が生どうか (Identity)」であり，これは参照文と生成文の意味成されたためであると想定される．また ACC に関しては，情報が変わっていないか計測する．

事前学習させた 2 値分類器によるスタイルの判断基準が期人手評価による実験結果の平均値を表 6 に示す．表 6 にお待通りのものにならなかったためであると想定される．

ける’Segmentation’，’Fluency’，’Identity’ のそれぞれの値

CSJ(preordered)-TED のスタイル変換例でも同様に同は被験者 7 人の平均値を示す．’All samples’ は全 50 サンプ

時通訳のスタイルが現れることがなかった．しかし事前並

ルの平均値，Segmentation ≥ 3.0 は’Segmentation’ の平均

び替えを適用したことにより，スタイル変換された文で語値が 3.0 以上であったサンプル，Fluency ≥ 3.0 は’Fluency’

順の変化や，新たに単語が追加されるなどの傾向がみられの平均値が 3.0 以上であったサンプル， そして Identity ≥た．その結果として流暢さが損なわれ BLEU と PPL のス

3.0 は’Identity’ の平均値が 3.0 以上であったサンプルの平コアが低くなったと想定される．

均値をそれぞれ表す．

表 5 に CSJ-CSJ(preordered) のスタイル変換例を示す．

表 6 の実験結果に示すように，全サンプルから計算さ表 5 における参照文は入力文に対して事前並び替えを適用れた評価平均では，’Fluency’ の平均値が’Segmentation’

したものを表す．表 5 の Example(1) および Example(2)と’Identity’ より低かった．また，表 6 の 2 行目以降に示

では文の途中に「です」，「ます」が新たに追加された．

すように，それぞれの評価指標における平均値が 3.0 以上

Example(3) では文頭に「ついに」，語尾付近に「きちんと」のサンプルのみを用いて分析を行った．サンプル数はそが追加された．

れぞれ Segmentation ≥ 3.0 では 30，Fluency ≥ 3.0 では以上の結果から CSJ-CSJ(preordered) のスタイル変換例

10，Identity ≥ 3.0 では 28 である．分析の結果，Segmen-

では，長い文を短い文単位に区切る傾向があることが分

tation ≥ 3.0 のサンプルでは，’Fluency’ の平均値が下がかった．Example(1) の参照文のように，事前並び替えにり，Fluency ≥ 3.0 のサンプルでは，’Segmentation’ の平よって文が短い単位で区切られる例がみられた．この結果，均値が大きく下がり，’Identity’ の平均値が大きく上がっ

変換例に関しても長い文を短い文に区切るように変換された．’Identity’ ≥ 3.0 のサンプルでは，’Fluency’ の平均値

たと想定される．しかし一方で Example(3) のように，文が上がった．

としての流暢さが損なわれている変換例も数多くみられた．
その結果 BLEU スコアと PPL の値が低くなったと想定さ4.6 人手評価に関する考察れる．ACC に関しては，CSJ-TED のスタイル変換例と同

表 6 の 結 果 か ら ，’Segmentation’ の 平 均 値 が 上 が る様に，事前学習させた 2 値分類器によるスタイルの判断基と，’Fluency’ の平均値が下がり，’Fluency’ の平均値が準が期待通りにならなかったためであると想定される．

上がると，’Segmentation’ の平均値が下がることが伺える．
また，’Identity’ の平均値が上がると，’Fluency’ の平均値

4.5 人手評価による実験が上がった．しかし，Fluency ≥ 3.0 と Identity ≥ 3.0 の間前節で示したように，2 値分類器による正解率，BLEUに’Identity’ の平均値に大きな違いはみられなかった．しスコア，Perplexity などの自動評価指標のみを用いて，同たがって，’Segmentation’ と’Fluency’ の間および’Segmen-

時通訳のスタイルが適用された文を評価するのは困難で

tation’ と’Identity’ の間にはトレードオフの関係性があるある．そこでスタイル変換によって生成された文が同時通のではないかと推測される．つまり，スタイル変換された訳らしい文であるか人手評価を行った．前節の表 3，表 4，

文が短い単位に区切られると，文が流暢ではなくなり，入表 5 に示したように，自動評価では CSJ-CSJ(preordered)

力文と変換文の意味が異なってしまう傾向にあり，短い単の性能が一番低かったが，長い文を短い文に区切る傾向が位に区切られなければ，流暢で意味的に同一な文が生成さみられるなど，最も同時通訳のスタイルに近い文が生成される傾向にある．表 7 に「’Segmentation’ の平均値が特にれた．その結果を踏まえて，CSJ-CSJ(preordered) のペア

高く，’Fluency’ と’Identity’ の平均値が特に低い変換例」

を対象として人手評価を行った．人手評価には 7 人の被験を，表 8 に「’Segmentation’ の平均値が特に低く，’Fluency’

者に，スタイル変換前の文 (参照文) とスタイル変換後のと’Identity’ の平均値が特に高い変換例」を示す．

文 (生成文) を提示し，次に挙げる 3 つの指標を満たすかど

表 7 における Example(1) の変換例 (CSJ(preordered))

うかを 5 段階で評価してもらった．1 つめの指標は「参照

では，文が短い単位に区切られているものの，「発音 が 高文と比較し、生成文は短い単位に区切られているかどうか

い ところ ます」など日本語として不自然であったり，「最も(Segmentation)」であり，これは生成文が同時通訳らしい

低い 事故 へ」など，入力文 (CSJ) と意味が異なる箇所がものであるか計測する．2 つめの指標は「生成文は日本語みられる．Example(2) も同様に変換例 (CSJ(preordered))として自然で流暢であるかどうか (Fluency)」であり，こが短い単位に区切られているものの，日本語として不自然でれは生成文が日本語として正しいものであるか計測する．

あり，意味を理解することが難しい．このように’Segmen-

3 つめの指標は「参照文と生成文が意味的に同一であるか

tation’ の平均値が高く’Fluency’ と’Identity’ の平均値が低c 1959 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report
表 3

CSJ-TED のスタイル変換例

Example(1)
入力文 (CSJ)

世界 戦争 が ヨーロッパ から 始まり ました 。

変換例 (TED)

世界 戦争 が ヨーロッパ から 始まり ます 。

Example(2)
入力文 (CSJ)

私 が 言わ なくちゃ いけ ない 内容 に 入る 前 に ， 少し 私 の 自己 紹介 です 。

変換例 (TED)

私 が 言わ なくちゃ いけ ない 内容 に 入る 前 に ， 少し 僕 の 自己 紹介 です 。
表 4

CSJ(preordered)-TED のスタイル変換例

Example(1)
原文 (CSJ)

学習 データ は 、 こちら と 同じ もの です 。

入力文 (CSJ(preordered))

学習 データ は 、です 同じ もの と こちら 。

変換例 (TED)

学習 データ は ない です 、 同じ もの と こちら 。

Example(2)
原文 (CSJ)

一方 アジア 人 は 、日本人 学 部 生 は 、 僕 一人 で 少ない 方 でし た 。

入力文 (CSJ(preordered))

た 一方 アジア 人 は 、 日本人 学 部 生 は 、 でし 僕

変換例 (TED)

一人 で 方 少ない 。

私 一方 アジア 人 は 、 日本人 学 部 生 、 一人 で 少ない 。

い変換例では，文が短い単位に区切られたものの，文が流暢するため，単語を追加するなど様々な要因が関わってくではなくなり，入力文と意味が異なってしまう傾向がみらる．今後は変換文の自然らしさ，意味的同一性を担保しつれた．一方で表 8 における Example(1) および Example(2)つ，より同時通訳らしい文を生成する手法について検討しの変換例 (CSJ(preordered)) では，日本語として自然であたい．スタイル変換によって生成された疑似同時通訳文をり，入力文 (CSJ) と意味が同一であるが，短い単位に区切

実際に同時通訳システムの学習データとして使用することられることがなかった．

で，翻訳精度を向上させることを目指す．

’Segmentation’ の 平 均 値 が 上 が る と’Fluency’ お よ

また，本研究では自動評価指標として，スタイル変換手び’Identity’ の平均値が下がる要因としては，事前並び法の評価に一般的に用いられる 2 値分類器による正解率,

替えの結果に一貫性がないことが考えられる．Kawara et

BLEU スコア, Perplexity を使用したが，疑似同時通訳文

al. [4] では，ルールベースのように一貫性のある並び替えとしての妥当性を測る尺度については今後さらに検討が必を行うことが、ニューラル機械翻訳の精度を向上するため要である．事前並び替えの結果とスタイル変換によって生には重要であることが示されている．本研究では，機械学成された疑似同時通訳文における単語の交差距離を計算す

習による事前並び替え手法の一つである BTG を用いたが，るなど，新たな評価指標を導入する必要がある．

事前並び替えの結果に多くの間違えがみられ，一貫性が担保されていないため，’Fluency’ と’Identity’ の平均値が低くなったと想定される．したがって，ルールベース基づく
事前並び替えなどの手法を用いることで，事前並び替えの6. 謝辞
本研究の一部は JSPS 科研費 (JP17H06101) の助成を受けたものである．

結果に一貫性を担保すれば，’Fluency’ と’Identity’ の評価
値を向上させることが可能なのではないかと推測される．

参考文献

5. おわりに[1]

本論文では，スタイル変換を対訳コーパスに適用することで，同時通訳コーパスへと拡張する手法について提案した．提案手法では，スタイル変換と事前並び替えを組み合わせることにより，疑似同時通訳文を生成した．実験の結[2]果，スタイル変換により文を短い単位で分割することが可能であり，同時通訳らしい文章を一定の割合で生成できる
ことが明らかになった．しかし，実際の同時通訳文は，単に文を短い単位に分割するだけではなく，単語の語順が大きく入れ替わったり，前後の文脈における繋がりを明確に

c 1959 Information Processing Society of Japan⃝[3]

Dai, N., Liang, J., Qiu, X. and Huang, X.: Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation, Proceedings of the 57th
Annual Meeting of the Association for Computational
Linguistics, Florence, Italy, Association for Computational Linguistics, pp. 5997–6007 (online), available from⟨https://www.aclweb.org/anthology/P19-1601⟩ (2019).
Fu, Z., Tan, X., Peng, N., Zhao, D. and Yan, R.:
Style Transfer in Text: Exploration and Evaluation,
CoRR, Vol. abs/1711.06861 (online), available from⟨http://arxiv.org/abs/1711.06861⟩ (2017).
Gu, J., Neubig, G., Cho, K. and Li, V. O. K.: Learning
to Translate in Real-time with Neural Machine Translation, CoRR, Vol. abs/1610.00388 (online), available from⟨http://arxiv.org/abs/1610.00388⟩ (2016).

7

情報処理学会研究報告
IPSJ SIG Technical Report

表 5 CSJ-CSJ(preordered) のスタイル変換例

Example(1)
入力文 (CSJ)

講演 音声 認識 の 識別 率 は 、 今 の ところ 七十 パーセント 程度 です 。

参照文 (CSJ)

識別 率 の 講演 音声 認識 は 、 です 程度 ところ の 今 七十 パーセント 。

変換例 (CSJ(preordered))

講演 音声 認識 の 識別 率 は です 今 の ところ 七十 パーセント 程度 。

Example(2)
入力文 (CSJ)次 に 実際 に 決定 木 を 構築 し て の 選択 し 検索 を 行う 実験 と いう の を 行ない まし た 。

参照文 (CSJ)

ます し は 、 を 使用 この 三 種類 いう と 動詞 目的 語 名詞 し と 関係 する 使用 て 。

変換例 (CSJ(preordered))

次 に 実際 に 決定 木 を 構築 し ます 選択 し 検索 を 行ない ます 実験 と いう の を 行ない まし た 。

Example(3)
入力文 (CSJ)

次 に 本 研究 に おけ ます システム の 概要 を 説明 いたし ます 。

参照文 (CSJ)

ます いたし 次 に 概要 の おけ ます に 本 研究 システム を 説明 。

変換例 (CSJ(preordered))

つい に 本研究 に おけ ます システムの 概要 を きちんと 説明 て 。

表 6 人手評価による実験結果の平均値
Num samples
Segmentation
Fluency

Identity

All samples

50

3.03

2.42

3.11

Segmentation ≥ 3.0

30

3.72

2.02

2.95

Fluency ≥ 3.0

10

2.37

4.00

3.74

Identity ≥ 3.0

28

2.96

2.76

3.73

表 7 ’Segmentation’ の平均値が特に高く’Fluency’ と’Identity’ の平均値が特に低い変換例

Example(1)
入力文 (CSJ)

第 四 声 は 、発音 が 高い ところ から 最も 低い ところ へ 急激 に 移行 し て いき ます 。

参照文 (CSJ)

ます いき し 第 四 声 に 急激 移行 へ ところ は 最も 低い から ところ 、 発音 が 高い て 。

変換例 (CSJ(preordered))

四 声 は 、 発音 が 高い ところ ます 、 最も 低い 事故 へ 急激 に 移行 し て 。

Example(2)
入力文 (CSJ)

大体 この くらい で 終わり に したい と 思い ます 。

参照文 (CSJ)

ます 大体 に 終わり したい と 思い で この くらい 。

変換例 (CSJ(preordered))

ます 、 思い くらい で 、 終わり に したい と 思い よく 。

表 8 ’Segmentation’ の平均値が特に低く’Fluency’ と’Identity’ の平均値が特に高い変換例
Example(1)
入力文 (CSJ)

特に です ね 自転車 を 使っ た 旅 が 好き です 。

参照文 (CSJ(preordered))

です 特に 旅 を 使っ ね です 自転車 た が 好き

変換例 (CSJ(preordered))

特に です ね 自転車 を 使っ た 旅 が 好き 。

。

Example(2)
入力文 (CSJ)

で この 町 の 中心 で ある 公園 に ついて 御 説明 し たい と 思い ます 。

参照文 (CSJ(preordered))

で ます 思い と たい し で ついて 御 説明 に 公園 ある 中心 の この 町 。

変換例 (CSJ(preordered))で この 町 の 中心 で ある 公園 に ついて 御 説明 し たい と 思い ます 。

c 1959 Information Processing Society of Japan⃝8

情報処理学会研究報告
IPSJ SIG Technical Report

[4]

[5]
[6]
[7]

[8]

[9]
[10]

[11]

[12]

[13]

[14]

[15]

[16]

Kawara, Y., Chu, C. and Arase, Y.: Recursive Neural
Network Based Preordering for English-to-Japanese Machine Translation, Proceedings of ACL 2018, Student
Research Workshop, Melbourne, Australia, Association
for Computational Linguistics, pp. 21–27 (online), DOI:
10.18653/v1/P18-3004 (2018).
Kingma, D. P. and Ba, J.: Adam: A Method for Stochastic Optimization, CoRR, Vol. abs/1412.6980 (2014).
Kudo, T.: Mecab: Yet another part-of-speech and morphological analyzer.
Lample, G., Subramanian, S., Smith, E., Denoyer,
L., Ranzato, M. and Boureau, Y.-L.: MultipleAttribute Text Rewriting, International Conference
on Learning Representations, (online), available from⟨https://openreview.net/forum?id=H1g2NhC5KQ⟩(2019).
Ma, M., Huang, L., Xiong, H., Liu, K., Zhang, C.,
He, Z., Liu, H., Li, X. and Wang, H.: STACL: Simultaneous Translation with Integrated Anticipation andControllable Latency, CoRR, Vol. abs/1810.08398 (online), available from ⟨http://arxiv.org/abs/1810.08398⟩(2018).
水野的：同時通訳の理論―認知的制約と訳出方略，朝日出版社 (2015).
Nakagawa, T.: Eﬃcient Top-Down BTG Parsing for Machine Translation Preordering, Proceedings of the 53rd
Annual Meeting of the Association for Computational
Linguistics and the 7th International Joint Conference
on Natural Language Processing (Volume 1: Long Papers), Beijing, China, Association for Computational
Linguistics, pp. 208–218 (online), DOI: 10.3115/v1/P151021 (2015).
Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama,
M., Sumita, E., Kurohashi, S. and Isahara, H.: ASPEC: Asian Scientific Paper Excerpt Corpus, Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), Portorož, Slovenia, European Language Resources Association (ELRA), pp. 2204–2208 (online), available from⟨https://www.aclweb.org/anthology/L16-1350⟩ (2016).
Nishihara, D., Kajiwara, T. and Arase, Y.: Controllable
Text Simplification with Lexical Constraint Loss, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student ResearchWorkshop, Florence, Italy, Association for Computational Linguistics, pp. 260–266 (online), available from⟨https://www.aclweb.org/anthology/P19-2036⟩ (2019).
Papineni, K., Roukos, S., Ward, T. and Zhu, W.J.: Bleu: a Method for Automatic Evaluation of Machine Translation, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, Philadelphia, Pennsylvania, USA, Association for
Computational Linguistics, pp. 311–318 (online), DOI:
10.3115/1073083.1073135 (2002).
Prabhumoye, S., Tsvetkov, Y., Salakhutdinov, R. andBlack, A. W.: Style Transfer Through Back-Translation,
Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1:
Long Papers), Melbourne, Australia, Association for
Computational Linguistics, pp. 866–876 (online), DOI:
10.18653/v1/P18-1080 (2018).
Shen, T., Lei, T., Barzilay, R. and Jaakkola, T. S.: Style
Transfer from Non-Parallel Text by Cross-Alignment,
CoRR, Vol. abs/1705.09655 (online), available from⟨http://arxiv.org/abs/1705.09655⟩ (2017).
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J.,

c 1959 Information Processing Society of Japan
⃝

[17]

[18]

[19]

Jones, L., Gomez, A. N., Kaiser, L. u. and Polosukhin, I.: Attention is All you Need, Advances in
Neural Information Processing Systems 30 (Guyon,
I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus,
R., Vishwanathan, S. and Garnett, R., eds.), Curran Associates, Inc., pp. 5998–6008 (online), available
from ⟨http://papers.nips.cc/paper/7181-attention-is-allyou-need.pdf⟩ (2017).
Yanagita, T., Sakti, S. and Nakamura, S.: Incremental
TTS for Japanese Language, Proc. Interspeech 2018, pp.
902–906 (online), DOI: 10.21437/Interspeech.2018-1561(2018).
小磯花絵，前川喜久雄：『日本語話し言葉コーパス』の設計の概要と書き起こし基準について，一般社団法人情報処理学会，pp. 41–48 (2011).
千葉紀子：日英同時通訳コーパスを用いた連体修飾節の訳出方略に関する研究 (2013).

9