言語処理学会 第21回年次大会 発表論文集 (2015年3月)

潜在的トピックに基づく対訳語生成への取り組み
江里口 瑛子

小林 一郎

お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻

{g0920506, koba}@is.ocha.ac.jp

1

はじめにものを用いており，これらに対して正準相関分析によるマッチング (MCCA) 推定を行って，訳語候補の共対訳語生成手法の代表的な手法に，分布仮説に基づ起確率を計算した．この結果，言語構造の関係が近しく手法と単語アライメントに基づく手法がある．後者

いとされる英語とスペイン語のコーパスや，英語とフの手法は，1 対 1 の対訳文コーパスから単語アライメランス語のコーパスに関して，彼らは，高い精度で対ントモデルの学習が行われるが，対訳文コーパスの収訳語生成に成功した．しかし，英語と中国語のコーパ集過程では，一般に，翻訳家による対訳文生成が行わスなど全く異質な言語同士では同様の精度は得られてれるため，莫大な時間と費用を要するという問題点がいない．これは，綴り字情報が単語の素性ベクトルとある．他方，前者の手法ではコーパスに対する制約はして適当ではなかったからことが理由として考えられないものの，高精度を報告する既存の対訳語生成手法る．これに対して，林ら [3] は日英コーパスを対象に，は，単語の綴り字情報に強く依存した手法である．日

特定の単語に対してヒューリスティック値を設け，最本語と英語のように異質な綴り字情報をもつ言語デー

大エントロピーモデルを用いて，素性ベクトルの重みタ，および言語構造の系統が遠い言語データに対して付けに改良を加えたが，十全な結果は得られず，一部有効な手法を検討するためには，各単語の用法や意味の単語ペア推定に対する改善に留まっている．

をコンピュータで処理可能なデータ表現で記述する必要がある．本論文では，複数の異なる言語に対応した潜在的意味解析手法に着目し，綴り字情報に代わる情潜在的トピックに基づく手法の比3較

報として複数言語で記述されたテキストに内在する潜在的意味を採用する対訳語生成手法を提案する．

2

本章では，潜在的意味推定に基づく対訳語生成手法の検討を行うため，予備実験として，分布仮説に基づ関連研究

く手法並びに単語アライメントに基づく手法の性能比

対訳語生成手法には，単語の文脈情報を利用した手法 [7] や Latent Dirichlet Allocation (LDA) に代表されるような潜在的意味解析を利用した手法 [8] がある．また，LDA を拡張させたモデルに，複数の言語較を行う．それぞれの手法のうち，顕在的情報のみに基づく手法，及び，既に提案されている潜在的意味解析手法に基づく手法を用いて，一対一文対訳コーパスにおける対訳語生成タスクの実験を行う．

で書かれた文書を対象とした多言語トピックモデル(Polylingual Latent Dirichlet Allocation; PLDA)[2]3.1

分布仮説に基づく手法がある．このモデルでは，コンパラブルコーパスを学「ある言語で共起する語があれば，翻訳後の言語で習することで，異なる言語で書かれた文書から言語横もそれらの翻訳語は共起する．
」という分布仮説 [12]断情報としての潜在的トピックを抽出する．Zhu ら [4]に基づき，着目している単語それぞれを，その単語のは，PLDA によって得られた潜在的トピック情報の比周辺に出現する単語の情報からなるベクトル表現 (周較方法を提案し，英語と中国語のコンパラブルコーパ辺文脈ベクトル) で表す．この手法では，各単語はあスに適用している．

る言語共有空間 (周辺文脈ベクトル空間) に写像され，他方，Haghighi らは正準相関分析によるマッチング

この空間における距離が近いもの同士を翻訳単語とす

手法 [1] の提案を行っている．Haghighi らは，単語のる．本研究では，文脈ベクトルとして，Tf-Idf ベクト素性ベクトルとして文脈情報と綴り字情報を統合した

ル ，LDA によって推定された単語の潜在的トピック― 605 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

分布，PLDA によって推定された単語の潜在的トピッラメータは，α = 0.1，β = 0.1 とした．実験では，各ク分布，を採用する．

手法に基づく周辺文脈素性の類似度あるいは距離を算

Tf-Idf では，単語の出現頻度 (Tf) 情報並びに文書の逆頻度 (Idf) 情報が考慮される．一方，LDA では，言語毎に対象文書群から単語の潜在的トピックが推定出し，高い類似度を有する単語同士，あるいは近い距され，各言語で推定された潜在的トピック分布に対し文書群間では潜在的トピック分布が共有されるという

PLDA 手法では，潜在的トピック分布の分布間距離として，Jensen Shannon 距離を用いる．
単語アライメントに基づく手法に関する実験設定を仮定の下で，単語の潜在的トピックは推定される．

以下に記す．HMM に基づくアライメント手法において制約は設けられていない．他方，PLDA では，対象離にある単語同士を翻訳語とみなした．具体的には，

Tf-Idf に基づく手法では cos 類似度を，LDA 並びにて NULL に割り当たる確率 p0 は 0.01 に設定し，単3.2

単語アライメントに基づく手法

語のジャンプ幅の初期値は 7 とした．IBM-Model 1，単語アライメントに基づく手法として，本研究では，IBM Model 1[9]，HMM に基づく単語アライメント手法 [10]，HM-BiTAM[11] を用いる．IBM Model 1 は，単語の共起頻度情報に基づく単語アライメント手法である．HMM に基づく単語アライメント手法は，このIBM Model 1 で一様と仮定されていた単語アライメント確率を 1 次マルコフ過程に基づいて拡張したモデルとして提案されている．そして，HM-BiTAM は，更に，この HMM に基づく単語アライメント手法に対してトピックモデルの概念を導入した，潜在的トピックに基づく単語アライメント手法である．本予備実験では，HM-BiTAM による結果を潜在的意味推定に基づく単語アライメント手法の結果とする．

4

実験

4.1

実験仕様

HMM に基づく単語アライメント手法では共に，EMアルゴリズムの反復回数は 5 回とする．翻訳単語候補は，学習後に得られる翻訳確率テーブルを参照し，翻訳確率が高い単語同士とする．
上記の手法によって得られた全訳語候補のうち，名詞単語に限定して評価を行う．英語の形態素解析には，TreeTagger を用い，日本語の形態素解析には，MeCabを用い，全ての単語に対して品詞を付与した．そして，日英辞書並びに英日辞書の正解辞書として，株式会社 日本電子化辞書研究所 (Japanese ElectronicDictionary Research Institute, Ltd.: EDR) が作成した EDR 電子化辞書をそれぞれ用いた．手法の評価指標には Recall 値を用いる．

4.2

実験結果

潜在的トピック数 K ∈ {5, 10, 20, 50, 100} の範囲において，LDA，PLDA，HM-BiTAM が最大値の精度

データセットは，Business Letter から日英パラレルコーパスをそれぞれ 15, 187 文用いた．実験前処理として，英語の文に対しては，オープンソースの統計的機械翻訳システムである Moses1 の tokenizer を用いて単語と記号を切り分ける処理並びに，単語の直後に続く句点や読点の間に空白を挿入した．また，日本語の文に対しては，通常単語の区切り位置が文からでは不明虜なため，MeCab を用いて分かち書き処理を行い，単語間に空白の挿入を行った．
分布仮説に基づいた手法に関する実験設定を以下に記す，潜在的意味解析を利用する手法 (LDA，PLDA) では，潜在的トピック数パラメータ K は K ∈{5, 10, 20, 50, 100} の範囲を動かした．潜在変数を推定するアルゴリズムには，Collapsed Gibbs Sampler(CGS) を用い，その反復回数はいずれも 200 回とした．それぞれのモデルにおける Dir 分布のハイパーパをとったのは，それぞれ K = 20, 50, 20 の時である．
また，全ての潜在的トピック数にわたって，各言語において潜在的トピック推定を個別に行う LDA の結果
よりも，複数の言語において同時に潜在的トピック推定を行う PLDA の結果の方が，精度は大幅に改善されている．そして更に，複数の言語において同時に潜在的トピック推定を行い，翻訳モデルの概念を導入している HM-BiTAM の結果は，K = [5, 20] までの範囲に限定されるものの，LDA，PLDA の結果を大きく上回っている．
表 1 は，全比較手法における Recall 値をまとめたものである．表 1 には，最も精度の高かったときの値を示す．精度が最大値となったときのトピック数 K
は，LDA，PLDA，HM-BiTAM (日英)，HM-BiTAM(英日) において，それぞれ K = 20, 50, 20, 20 の時である．

1 http://www.statmt.org/moses/― 606 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

造が大きく異なることはよく知られている．HMM や
表 1: 各手法における Recall 値．

HM-BiTAM では，単語アライメントの際にアライメ分布仮説に基づく手法

日英英日

ントのジャンプをモデルに取り入れており，語順を考Tf-Idf

13.32

18.79

慮した推定が理論的には可能となっている．しかしな

LDA

0.19

0.06

がら，いずれのモデルにおいても，大きなジャンプにPLDA

1.412.15

なるほどより小さな確率値が与えられるため，語順の単語アライメント手法

日英英日

IBM-Model1

8.39

12.14

HMM

8.56

10.75

HM-BiTAM

7.00

12.75

大きく異なる日英言語間に適用した際に，その特徴を捉えきれていないことが示唆される．

提案手法: 潜在的トピックに基づ

6く対訳語推定5

本研究では，林ら [3] と同様に日英コーパスを対象考察に，MCCA の抱える素性ベクトルの綴り字情報の問表 1 から，英日，日英の両結果において，潜在的意題点に対して，トピックモデルを用いてコーパスから味推定を用いた手法は，言語毎に潜在的意味推定を行推定される潜在的トピック情報を新たな素性としてう LDA よりも，複数言語で同時に潜在的意味推定を採用する手法の提案を行う．本研究における潜在的ト行う PLDA や HM-BiTAM の方が精度が改善していピック推定手法には，多言語テキストを対象とした潜るのは，後者の手法の方が，言語を横断して同一の潜在的意味解析として有用であることが報告されている在的意味を推定することができているためだと考えら

PLDA を用いる．

れる．また，複数言語を対象とした潜在的意味推定手法のうち，HM-BiTAM による結果が PLDA の結果を6.1MCCA モデル

遥かに上回っているのは，複数言語を対象とした潜在一対一文対応の翻訳コーパスであり，HM-BiTAM モMCCA(Matching Canonical Correlation Analysis)
は，多変量解析手法の１つである正準相関分析を利用デルに最も適したコーパスである．そして，LDA 並びした，対訳語推定手法である [1]．単語の素性ベクトに PLDA は，文書 (複数の文からなる文集合) を対象ルとして，その単語の文脈情報と綴り字情報を統合しとしてモデル化されている．LDA 並びに PLDA に基たものを採用し，正準相関分析と割当問題を反復してづく手法による精度が HM-BiTAM の精度よりも低く解くことで対象にしている複数言語のパラレルな単語なったのは，文レベルにおける潜在的トピック推定をペア (対訳語) をそれぞれ求める．

的意味推定に加えて，今回実験に利用したコーパスはを利用しない Tf-Idf による手法が最も精度が高かった．

s = (s1 , s2 , · · · , snS ) は翻訳元言語 (ソース言語) の単語集合を，t = (t1 , t2 , · · · , tnT ) は翻訳先言語 (ターゲット言語) の単語集合を表し，(i, j) ∈ m は単語 si , tj

まず，分布仮説に基づく手法間においては，上記に挙が対応関係にある (対訳語である) ことを表している．

十分に行うことができなかったためだと考えられる．
また，本実験では，日英，英日共に，潜在的意味推定

げた理由と同様に，今回使用したコーパスにおいては，LDA 並びに PLDA では，潜在的意味推定を十分に行うことができなかったことが理由として考えられる．
各単語アライメント手法においては，日英においては，IBM-Model1 の結果よりも HMM の結果が上回っているが，英日においては，逆転している．HM-BiTAM
では，英日においては，IBM-Model 1，HMM の精度〜MCCA における対訳語生成モデル〜

m は一様分布で生成
各訳語対 (i, j) ∈ m に対して(i, j) が対訳語ペアであるなら
zi,j ∼ N (0, Id ), [潜在空間]
fS (si ) ∼ N (WS zi,j , ΨS ), [s のベクトル空間]

いは英語から日本語へ翻訳する方向によって，それぞfT (tj ) ∼ N (WT zi,j , ΨT ). [t のベクトル空間]
言語 s の単語 i が対訳語に含まれない場合:
fS (si ) ∼ N (0, σ 2 IdS ).

れの学習モデルの結果は異なり，いずれのモデルにも言語 t の単語 j が対訳語に含まれない場合:は上回ったものの，日英においては，これら２つの手法と比べて精度は下回った．日本語から英語へ，ある一長一短がある結果となった．日本語と英語の言語構― 607 ―

fT (tj ) ∼ N (0, σ 2 IdT ).

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

6.2

EM アルゴリズムによるパラメータ推定

表 2: 提案手法による Recall 値．

式 (1) は，MCCA モデルにおける対数尤度関数であ提案手法る．EM アルゴリズムを用いて，モデルのパラメータ

日英英日

1.02.0θ = (WS , WT , ΨS , ΨT ) の最尤推定を行う．θ は，各言語の素性ベクトルの生成過程として定めた，多変量正規分布のパラメータである．

によって推定される潜在的トピック分布を新たに採用した，潜在的トピックに基づく対訳語推定手法の提案

MCCA 手法では，対訳語推定問題は，2 部グラフのを行った．日英パラレルコーパスから対訳語を生成す

重み付き最大マッチングとして扱われる．まず，E-step

る実験では，頻度情報に基づく Tf-Idf の結果が最も良では，モデルパラメータ θ 下で異なる言語間の単語にくなったものの，対象コーパスに対して適切なモデル与えられた重み w(i, j) が最大となるときの，単語のを作り，潜在的トピック推定手法を導入することが精マッチング関係 m ∈ M を求める．次に，M-step では，度向上に繋がることも確認した．今後，提案手法によE-step で重み付き最大となったマッチング m 下で正準相関分析 (Canonical Correlation Analysis; CCA)

る精度を更に改善するため，パラレルでない日英コーを行い，多変量正規分布のパラメータ θ の更新を行う．に増やした場合の変化に関する考察を行って行きたい．

Likelihood(θ) = log p(s, t; θ) = log∑p(m, s, t; θ). (1)

m7

実験

7.1

実験仕様ラレルコーパス) からそれぞれ 15, 187 文を用いた．

MCCA で取り扱う単語データには，対象コーパスで出現頻度の高かった 100 語の名詞を用いた．各単語の潜在的トピック推定は PLDA の CGS によって行い，その反復回数は 200 回とした．潜在的トピック数のパラメータ K は K ∈ {5, 10, 20, 50, 100} の範囲を動かし，Dir 分布のハイパーパラメータは，α = 0.1，β = 0.1とした．EDR 辞書を正解辞書とし，Recall 値による評価を行う．

実験結果および考察

表 2 は，提案手法による実験結果である．日英，英日それぞれにおいて，最適なトピック数は K=10, 20となった．
得られた対訳語，及び正解データを詳しく見てみると，適切な対訳語が生成されていても，正解辞書に記載されていない場合や，n = 100 件の中に対訳語が含まれていない場合が見受けられた．精度を改善するた
めには，MCCA で扱うデータ数を増やし，対象コーパスに合致した正解データを用いる必要がある．

8

参考文献[1] A. Haghighi et al.. Learning bilingual lexicons frommonolingual corpora. In Proc. of the ACL, pp. 771–779, 2008.

対象データセットとして，Business Letter(日英パ

7.2

パスデータを用いた実験や，MCCA で扱う単語数を更[2] D. Mimno et al.. Polylingual topic models. In Proc.
of EMNLP, Vol. 2, pp. 880–889, 2009.
[3] 林 克彦ら. MCCA モデルの日英辞書構築への適用. 言語処理学会第 16 回年次大会,pp. 982–985, 2010.
[4] Z. Zhu et al.. Building comparable corpora baseon bilingual LDA model. In Proc. of the ACL, pp.
278-282, 2013.
[5] I. Vulić et al.. Identifying words translations fromcomparable corpora using latent topic models. In
Proc. of the ACL: Human Language Technologies,Vol. 2, pp. 479–484, 2011.
[6] X. Ni et al.. Mining multilingual topics from
Wikipedia. In Proc. of Web Search and Data Mining, pp. 375–384, 2011.
[7] P. Fung and L. Y. Yee. An IR approach for translating new words from nonparallel, comparable texts.
In Proc. of COLING and ACL, pp. 414–420, 1998.
[8] J. Preiss. Identifying comparable corpora using
LDA. In Proc. of the NACACL, pp. 558–562, 2012.
[9] P. F. Brown et al.. The mathematics of statisticalmachine translation: parameter estimation. Journal of Computational Linguistics – Special issue on
using large corpora: II, Vol. 19, pp. 263–311, 1994.
[10] S. Vogel et al.. HMM-based word alignment in statistical translation. In Proc. of Computational linguistics, Vol. 2, pp. 836–841, 2006.
[11] Bing Zhao and Eric P. Xing. HM-BiTAM: Bilingual
Topic Exploration, Word Alignment, and Translation. In Proc. of NIPS, pp. 1689–1696, 2007.

おわりにMCCA の抱える素性ベクトルの綴り字情報の問題点を改善するため，単語の素性ベクトルとして，PLDA[12] Zellig Harris. Distributional structure.
10:146-162, 1954.

― 608 ―Word,Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.