言語処理学会 第24回年次大会 発表論文集 (2018年3月)

翻訳精度に基づく単語クラス自動推定手法
安田 圭志、高井 公一、服部 元、イラクレウス パニコス、石川 彰夫、松本 一則、菅谷 史昭
株式会社 KDDI 総合研究所{ke-yasuda, ko-takai, ge-hattori, pa-heracleous, ao-ishikawa, matsu, fsugaya}@kddi-research.jp

1 はじめに
近年における音声言語処理の技術の発展に伴い、音声翻訳システムは旅行者にとって現実的なものとなりつつある。その中で観光者が訪れるスポット、ランドマーク、飲食店、宿泊施設などの固有名詞数多く存在し、そのカバレージが、翻訳システムの精度に影響を及ぼすことが分かっている。
本論文では、このような問題を解決するため、クラス言語モデルに基づく機械翻訳システムに対する、クラス自動推定手法について提案する。
提案手法では、固有名詞を含む対訳コーパスを用意し、複数存在する固有名詞クラスの中で最も翻訳性能が高くなるクラスを翻訳自動評価により決定して学習データを作成する。次に得られたクラスと固有名詞を含む文から、畳み込みニューラルネットワーク（CNN）により、単語クラス推定モデルを学習する。生成した CNN モデルは固有名詞を含む文を入力とし固有名詞クラスを推定することができる。このように提案手法では、人手による固有名詞クラスのアノテーションをすることなしに、単語クラス推定モデルの学習を可能とする手法である。

2 関連研究単語クラスの利用は、音声認識の分野で、データスパースネスの問題を解決するために用いられてきた。この考えは、単語クラス付き対訳辞書を用いる手法[1]などにより、統計的機械翻訳(SMT)などのコーパスパース機械翻訳にも取り入れられている。通常、このような対訳辞書へのクラス付与は、人手により行われている。飲食店や商品名といった固有名詞が日々新出する中で、固有名詞の辞書整備のコストが、実用において大きな課題となっている。
関連研究としては、翻訳対の辞書情報を獲得する方法として、対訳辞書を扱った手法[2]や、翻字を使った手法[3-5]など、いくつかの方法が提案されている。本論
文では、対訳表現は上記手法などで抽出した後の、単語クラス自動付与に関する研究である。
単語のクラス推定については、固有表現抽出(NER)や機械翻訳における研究で、様々な方法が提案されている [6,7]。しかしながら、その多くは人手によりアノテーションされた学習データを用いて、教師あり学習を行なう方法である。
図１に示す通り、提案方法においても、教師あり学習を用いるが、学習データを自動的に構築するために、人手によるアノテーション作業が不要である。

3 提案手法
図２に示す通り、提案手法は、データ構築処理部と固有名詞クラスタ推定モデルの学習処理部からなる。ココでは，これらの処理について説明する。

3.１ データ構築
図２に、データ構築部の処理の流れを示す。ここでは、固有名詞を含む対訳コーパスを用意しておき、以下の手順にて学習データを構築する。
１． 対訳コーパスから両言語に固有名詞が１つづつ含まれている対訳文対を抽出する。
２． 抽出した文から固有名詞クラスの一つを選択し、固有名詞を翻訳システムの辞書に登録する。
３． １の原言語文を上記の２の辞書を用いた機械翻訳システムで翻訳する
４． ２で登録した固有名詞を辞書から取り除く
５． 上記の２から４をすべての固有名詞クラスに対して行う。
上記の手順で得られた固有名詞クラスごとの翻訳結果を、参照訳(上記１の目的言語文)を用いて自動評価し、次式により、最適な固有名詞クラス( ̂ )を得る。
̂ = argmax ∈ S

(,)

(1)

ここで、 ,,はそれぞれ、固有名詞クラスの集合、対訳コーパス中の目的言語文、固有名詞クラスcとして登録した辞書を用いた翻訳システムによる翻訳結果である。また、はとの間の RIBES スコ
ア[8]で、次式により計算される。
S(,)=(,) × (! " /! )$(2)― 172 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図１ 提案手法の処理概要

ここで、! , ! " ,は、それぞれの総単語数、,の共通単語数、共通単語間の順位相関係数を示す。また%は(0 ≤ % ≤ 1)ペナルティ値に関するハイパーパラメータである。
最終的には、対訳コーパスの原言語文と、 ̂ の対を学習データとし利用する。

3.2 ＣＮＮによる固有名詞クラス推定
本節では、前述の手法により作成した学習データから固有名詞のクラス推定モデルの学習手法について説明する。固有名詞のクラス推定モデルには、CNN を用いる。CNN は画像処理や音声処理[9,10]の分野で高い性能を発揮しているが、近年では、分散表現化[13]した単語を入力することで、テキスト分類[11,12]のような自然言語処理の分野でも応用されている
図３は、固有名詞クラス推定のニューラルネットワークの構成図である。
ここで、)* (∈ + )は文中の,番目の単語の分散表現で、n 単語からなる文は下記の式で表現できる。
)-:/ = )- ・・・)* ・・・)/(3)

特徴量として用いる n-gram 長（またはフィルタサイズ）
h, j とし、h から j までの特徴量を下記の式で示す
0,1,* = tanh (w0,1 ∙ )*:*708- + :0,1 )

図２ データ構築処理

̂ = max*>-:/807- 0,10,1

最後に出力層を結合し、ソフトマックスを用いてクラスの確率（?@ ∈ /A ）を得る。
BCD (EF )?@ = ∑JAIKL BCD (HI )N はクラスの総数でO（ ∈の値である。

, M = 1, ・・・, N/A(7))は出力層の正規化前

4 実験
4.1 評価手法
実験では、日本語と英語の対訳コーパスから学習データを構築し、これを用いて CNN によるクラス推定器を学習する。固有名詞推定の評価としては、下記の条件で作成された固有名詞辞書を用いた日英方向 SMT による機械翻訳を行い、翻訳性能を比較した。
条件１ 人手により単語クラスを付与
条件２ ランダムにクラスを決定
条件３ 表１に示す事前分布に基づき、ランダムにクラスを決定（4）ここで、w0,1 と:0,1 はそれぞれフィルタに対する重みとバイアス項である。n-gram 長ごとの式(4)に対し、式(5)の Max pooling 層では 0,1 の全要素から最も高い値を選択する。
(5)0,1 = [ 0,1,- , 0,1,< , ・・・ 0,1,/807- ](6)

条件４ 提案手法によりクラスを付与

なお、翻訳性能の評価には RIBES[8]を用い、条件４においては、10 分割交差検定を行っている。

― 173 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表１ データセットの固有名詞クラスの詳細

Category
Accommodation
Attraction
Building
Country name
Foreign First Name
Foreign Last Name
FoodJapanese First NameJapanese Last NameLand MarkOrganization
Shop
Souvenir
OthersTotal表２ 実験で使用したコーパスの統計情報
Corpus type
BTEC (Japanese side)
Wikipedia corpus% in the data set
10.33
4.9
8.44
12.15
5.57
3.73
7.84
4.35
4.17
11.73
9.29
4.75
6.54
6.2
100

# of words Lexicon size
83,942
9,266
10,363,151
116,556

表３ CNN パラメータ
Parameters
Maximum length of input sentence
Mini batch size
Dimension of word-embedding vector (k )Filter window size (n -gram length)
Number of filters for each window size
Drop out rate for fully connected layer
Optimizer# of output units

4.2 実験条件
実験には、Basic Travel Expression Corpus（BTEC）[14]の日英部を使用した。既存の対訳辞書を用いて、固有名詞を１つだけ含む 5,471 文対を BTEC から抽出した。表１は学習データとなる固有名詞クラスの詳細とコーパス内における出現割合である。固有名詞クラスは旅行ドメインで利用する 14 クラスを用いた。データセットの中で出現割合が最も多いクラスは国名で、最も少ないクラスは外国人の姓であった。
CNN に よ る ク ラ ス 推 定 モ デ ル の 学 習 の た め 、Word2Vec[13]で単語分散表現を事前に学習した。分
散表現は Wikipedia のコーパスから学習した。また、CNN 学習時においては、分散表現部分は固定し、チューニングは行っていない。表２と３に、実験に用いたコーパスの詳細と、CNN によるクラス推定で用いたハイパーパラメータ等の設定を示す。
4.3 実験結果
図４は、各種辞書を用いた SMT による翻訳結果に対する自動評価結果である。縦軸は、自動評価で用いたRIBES のスコアである。全ての条件において、基盤となる SMT と、対訳辞書のエントリー同じであり、クラスの付与方法のみが異なる。条件２、３はランダムにクラスを決定するため、10 回の試行の平均値と、標準偏差をエラーバーで表わしている。一方で、条件４は 10 分割交差検定で行ってはいるが、実験は 1 度だけとした。

Setting
150 words
64100
3 to 5-gram
1280.5Adam optimizer14

図４で示す通り、提案手法によりクラス付与を行なった辞書は、二つランダム条件よりも高い訳質となっており、さらに人手によるアノテーションをも上回っている。
人手による固有名詞クラスアノテーションよりも 精度が上回る原因について以下に考察する。人手によるアノテーション時、単語単体からクラスを決定しているが、提案手法では、固有名詞を含む文全体からクラスを推定している。このように提案手法で用いるコンテキストの情報が、多義性ある単語などに対いて有利に働いていると考えられる。

5 まとめと今後の課題
本論文では、クラスベースの翻訳システムへの利用を目的とし、固有名詞クラスを自動的に付与する方法を提案した。本手法では、対訳コーパスと翻訳システムとを用いて、学習データを構築し、次に構築したデータから CNN による固有名詞クラス推定モデルを学習した。
評価実験では、このモデルから自動的にテストセットの固有名詞を推定し、最後に推定したクラスを SMT に登録し、得られた翻訳結果を自動評価した。実験結果によると、提案手法によるクラス推定により、人手でアノテーションしたものと同等以上の翻訳性能が得られることが確認できた。
これらの結果から、提案手法は、人手による学習データの作成なしに、クラスベース翻訳システムの固有名詞辞書拡張を可能にしたと言える。
今後の検討課題として、コーパスサイズを増やしてクラス推定の精度を改善する予定である。また、本論文では BTEC コーパスに限定した実験となったが、今後フィールドデータを用いた効果検証を行っていきたい。

― 174 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

C3,1
0.4

x1がx2

見えx3

C3,2ますx4

よx5

ĉ3,1ĉ3,2ĉ4,1
C4,1

Word embeddingy'ĉ4, 2

Fully connected output
layer with softmax
operationC4,2Automatic Evaluation Score (RIBES)

0.35

富士山

0.3

0.25

0.2

0.15

0.1

0.05

0Multiple convolutional
filter with multiple width

Condition 1(Manual annotation)

Max pooling

Condition 2(Random)

Condition 3(Random with Prior
distribution)

Condition 4(Proposed method)

Method for Word Class Estimation

図３ 固有名詞クラス推定の CNN の構成

図４ RIBES による翻訳自動評価結果

本研究は、総務省「グローバルコミュニケーション計画の推進 -多言語音声翻訳技術の研究開発及び社会実証- Ⅰ.多言語音声翻訳技術の研究開発」の一環として実施したものです。

[7] Yasuda, K.. et al. (2017). “Building a location
dependent dictionary for speech translationsystems”.
Proc of CICLING.
[8] Isozaki, H. et al. (2010). “Automatic evaluation oftranslation quality for distant language pairs. Proc.
of EMNLP,pp. 944–952.
[9]
Krizhevsky, A. et al. (2012). “Imagenet
classification with deep convolutional neuralnetworks” . Proc. of NIPS, pp. 1097–1105.
[10] Abdel-Hamid, O. et al. (2014). “Convolutional
neural networks for speechrecognition”.
IEEE/ACM,
pp. 1533–1545.
[11]Kim, Y. (2014). “Convolutional
neuralnetworks
for sentence classification” . Proc. ofEMNLP, pp. 1746–1751.
[12] Kalchbrenner, N. et al.(2014). “Convolutional
neural networks for modeling sentences” . Proc. of
COLING, pp. 655–665.
[13] Mikolov, T. et al.(2013). “Distributedrepresentations of words and phrases and theircompositionality”.
Proc of NIPS, pp. 3111–3119.
[14] Kikui, G. et al. (2003). “Creating corpora forspeech-to-speech translation”.
Proc.
ofEUROSPEECH, pp. 381–382.

謝辞

参考文献[1] Okuma, H. et al. (2008). “Introducing a translation
dictionary into phrase-based SMT”. Trans. of IEICE,Inf. & Sys., 91-D, pp.2051–2057.
[2] Tonoike, M. et al. (2005). “Translation Estimation
for Technical Terms using Corpus collected fromthe Web” . Proc. of the PACLING, pp.325–331.
[3] Al-Onaizan, Y. et al. (2002). “Translating namedentities using monolingual and bilingualresources”. Proc. ACL, pp.400–408.
[4] Sato, S. et al. (2009). “ Web-Based Transliterationof Person Names”. Proc. of IEEE/WIC/ACM
International Conference on Web Intelligence andIntelligent Agent Technology, pp.273–278.
[5] Finch, A. et al. (2011). “ Integrating a joint sourcechannelmodel
intoa
phrase-basedtransliteration system”. Proc. of NEWS2011, pp.
23–27.
[6] Ma, X. et al. (2016). “End-to-end sequencelabeling via bi-directional LSTM-CNNs-CRF ”.
Proc.
of ACL, pp. 1064–1074.

― 175 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.