ACL参加報告
（修正版）

小田 悠介
@odashi_t

情報科学研究科, NAIST
2014/9/22 (YANS第9回シンポジウム)

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

1

ACLとは• Annual Meeting of the Association for Computational Linguistics• 自然言語処理・計算言語学の実質的トップ会議

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

2

日程• 本会議（口頭発表＋ポスター発表+α）: 6/23 ~ 6/25
• 各種チュートリアル: 6/22
• 各種ワークショップ: 6/26 ~ 6/27
日

月火

水木金土

6/15

16

17

18

19

20

21

22

23

24

25

26

27

28

3

45

ACL2014
2930

7/1

2

SIGNL217
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

3

詳細• 本会議– 口頭発表セッション 40回– ポスター発表セッション（with夕食） 2回• チュートリアル 8個• ワークショップ 17個– 2日開催 2個 (BioNLP, WMT), 1日開催 15個• 対象分野– 言語学（計算言語学・自然言語処理）
機械学習・生物学・認知科学・教育学・各種の応用• 参加者: 約1400人– 事前登録者：1308人 ＋ 当日の変動

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

4

開催地 (1)• 開催地：Baltimore (U.S.A.)

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

5

開催地 (2)• 開催地：Baltimore (U.S.A.)

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

6

開催地 (3)• 開催地：Baltimore (U.S.A.)

会場
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

7

論文数• 投稿数（本会議）：– long paper: 557– short paper: 532– (student session: 26)• 採択数（本会議）：– long paper: 146 (口頭95, ポスター51) … 採択率: 26.2%– short paper: 139 (口頭51, ポスター88) … 採択率: 26.1%– (student settion: 13… 採択率: 50.0%)

Short paperLong paper02014/9/22 (YANS2014)

100200300
口頭ポスター
不採択©2014 by Yusuke Oda, AHC-Lab, IS, NAIST400

500

600

8過去の推移

年

開催
地

投稿数

採択数

採択率 %

Long Short

計Long Short

計Long Short

計

2010

Sweden

638

332

970

160

63

223

25.1

19.0

23.0

2011

U.S.A.

634

512

1146

164

128

292

25.9

25.0

25.5

2012

Korea

571

369

940

111

76

187

19.4

20.6

19.9

2013

Bulgaria

664

624

1288

174

154

328

26.2

24.7

25.5

2014

U.S.A.

557

532

1089

146

139

285

26.2

26.1

26.1

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

9風景 (1)2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

10風景 (2)2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

11

@odashi_tは何をしていたか• 22日：– チュートリアル参加（意味解析系2個）– ご飯• 23~25日：– 機械翻訳・意味解析・機械学習系を中心にセッション参加
– ご飯
•

24日：
– 自分の発表（ポスター）• 26, 27日：
– ワークショップ参加• Semantic Parsing Workshop• WMT• etc.
2014/9/22 (YANS2014)– & many飲み会©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

12ResultWeight [kg]Baseline

78.2

+ACL

82.3*

Table 1. Experimental Results for Physical Effects.

Future work: Regularization against the weight
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

13

発表• 24日：ポスター– 音声翻訳のアルゴリズムを発表
3時間くらいポスターの前で粘る聞きにに来た人：
音声処理の研究者
機械翻訳の研究者
Microsoftの社員（たくさん）（？）

通じない…

ご飯
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

14

Microsoft?
• ACLの直前（5月末）のMicrosoftのプレス （Skypeの音声翻訳）– 発表と時事的な話題が重なった結果？

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

15

この人• 1時間くらいポスターの前で会話– 似たような研究をしていたらしい

気が付いたら論文が引用されていた(EMNLP 2014)2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

16

論文の傾向• タイトルに含まれる単語の頻度 (赤は去年より個数が増加)– Lots of 機械翻訳 & 意味解析(いつも通り) & 中国語＆ニューラル
learning
41
translation
34
word
30
extraction
23
parsing23
semantic
22
language
22
machine20
2014/9/22 (YANS2014)

dependency
18
relation
16
text
15
chinese14
automatic
13
detection
13
analysis
13
topic
12

sentiment
12
semantics
11
unsupervised
11
discourse
11
neural11
supervised
11
information
10
entity10©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

summarization
10
context
10
cross
10
graph
9
level
9
statistical9
network
9
structured
917機械翻訳関連の論文• 何らかの形でニューラルネットワークを使用したものが多い。
• [Devlin, et al.] 単語選択のモデルにNNを使用
••
•
•
•

[Lu, et al.]Deep learningの結果をMTの素性に使用[Cui et al.]NNでトピックモデルを作ってMTで使用[Tamura et al.] 並べ替えモデルにRNNを使用[Liu et al.]
デコーダのスコア計算にR2NNを使用
etc…

Best long paper award
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

18

論文紹介: [Devlin, et al.]• "Fast and Robust Neural Network Joint Models for Statistical
Machine Translation"• NNLMの考え方を機械翻訳プロセスへ応用– 目的言語だけでなく、対応する原言語の単語を考慮• "Joint Model" の由来• そのままでは遅いので高速化を検討– 入力層のテーブル化– "Self Normalization"• 何もしない場合より1万倍程度高速化

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

19

手法の概要• 点線部分に"the"が来たときの尤度が知りたい。
– 目的言語の「履歴」、原言語の「ある範囲」の単語をニューラルネットに放り込む– 「ある範囲」• "the"にアライメントがある…アライメント先を中心語とする• アライメントがない…いくつかのヒューリスティクスで中心語を決定• 中心語の左右数語を使用

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

20

ネットワークの構造
𝑃(𝑡𝑖 )

vocab=16k

𝑠𝑎𝑖 −2𝑠𝑎𝑖 −1𝑠𝑎𝑖𝑠𝑎𝑖 +1𝑠𝑎𝑖 +2input
1-of-K

𝑡𝑖−3
𝑡𝑖−2
𝑡𝑖−1
vocab=16k
2014/9/22 (YANS2014)

projection
192 * #input

hidden512hidden512

shared projection matrix©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

soft-max
vocab=32k
21

高速化• 何が遅いのか？
• 射影層から隠れ層への遷移– 射影層の次元が大きい– 入力層は非常に疎なのに無駄な計算

前処理• 出力層のsoft-max演算– 分配関数の計算に、すべての出力ノードの総和が必要

正則化

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

22

実験結果

従来法（単純な階層フレーズベースモデル）に対して精度が向上（評価によるがBLEUで3～6程度）

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

23

なぜBest Paper?
• ニューラルネット由来の素性を機械翻訳に綺麗に導入可能• 提案法の素性のみで従来の「よく設計された」素性集合とほぼ同等性能– ※新たに素性を追加して「すごくよく設計された」システムにできるとは言っていない• 実際、既存システムに追加しても大して性能が上がるわけではないらしい…

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

24

論文紹介: [Liu, et al.]• "A Recursive Recurrent Neural Network for Statistical MachineTranslation"• CKY探索＋ニューラルネットで機械翻訳• スコアまわりを数種類のニューラルネットで計算– ニューラルネット以外のモデルは一切使用していない

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

25

基本のモデルRecurrent Neural Net

Recursive Neural Net

大域素性を計算しやすい

階層構造を表現しやすい(CKYで計算可能)

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

26

提案法: R2NN
• Recurrent NNとRecurisve NNを合成
CKY
スコア

子要素からの素性

大域素性
言語モデル・並べ替えモデルなど

1-1

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

27

R2NNの枠組み

CKY探索

WordEmbedding
別のNNで設計（2種類）
2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

28

実験結果

• なかなかいい結果• ただ提案法のモデルの複雑さを考えると…

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST

29

Accepted Paperについて思ったこと• 通るための要件（斬新なモデル∨すごい性能向上）∧妥当？な実験

2014/9/22 (YANS2014)©2014 by Yusuke Oda, AHC-Lab, IS, NAIST30