Japanese to English Machine Translation using Preordering and Compositional Distributed Semantics
Sho Hoshino, Hubert Soyer, Yusuke Miyao, Akiko Aizawa
National Institute of Informatics (NII), Japan	

SummaryContributions / Findings

•	  Applied	  preordering	  and	  RNNLM	  reranking	  (both	  worked	  well	  in	  the	  NTCIR)	  •	  Employed	  neural	  network	  based	  tuning	  in	  the	  Ja-­‐En	  task	  for	  the	  ﬁrst	  Dme	  •	  ASPEC	  corpus	  (τ=0.29)	  is	  much	  more	  diﬃcult	  than	  NTCIR	  corpus	  (τ=0.39)	  •	  Obtaining	  beWer	  word	  alignment	  (τ=0.37)	  did	  not	  improve	  BLEU	  and	  RIBES	  Three Components (Preordering, Tuning with Embeddings, and Reranking with RNNLM) and Intrinsic Evaluation
	  Tuning	  with	  Embeddings	

Preordering	  rules	  (Hoshino+	  2014)	  Reranking	  100-­‐best	  with	  RNNLM	  	  Modiﬁed	  “BI”	  model	  by	  Hermann	  and	  Blunsom	  (2014):	
• vector	  =	  128	  dimensions	  ex:	  表1と,	  図2は → 表1と図2,	  は	  •	  sentence	  =	  mean	  vector	  Rule	  2	  (inter-­‐chunk	  reordering):	  	  	  reverse	  chunks	  before/ager	  topic-­‐marker	   •	  min.	  posiDve	  alignment	  S	  {は,が}	  O	  V	  → S	  {は,が}	  V	  O	  •	  max.	  negaDve	  alignment	  ex:	  表1と図2	  は 次の ものを 表している	  Improved	  preordered	  translaRon	  • #classes	  =	  220	  (sqrt	  of	  vocabulary	  size)	  •	  backpropagaDon-­‐through-­‐Dme	  steps	  =	  5	  Improved	  RIBES	  by	  trading	  oﬀ	  BLEU	

Rule	  1	  (chunking):	  	  	  merge	  coordinated	  chunks	  into	  one	  	  Preordering		  	  	  	  	  	  	  表1と図2	  は 表している ものを 次の	  Rule	  3	  (intra-­‐chunk	  reordering):	  	  	  postposiDonal	  phrase	  → preposiDonal	  Preordering	

ex:	  表して いる → いる 表して	Our	  System	 BLEU	
Baseline	
19.16	+Preordering	 18.55	

RIBES	 Kendall’s	  tau	
63.41	
0.2990	61.44	
0.3712	✔	✔	Embeddings	
None	Feature	  FuncDon	
Phrase	  Table	  (ext.)	
None	
Feature	  FuncDon	
Phrase	  Table	  (1	  col.)	

BLEU	
19.16	
18.95	
18.82	
18.55	
18.92	
14.53	RIBES	
63.41	
63.48	
63.23	
61.44	
61.76	
60.59	

✔	✔	✔	
✔	
✔	ConﬁguraRon	
BLEU	h	  =	  300,	  d=150	
18.37	h	  =	  300,	  d=100	
18.40	h	  =	  200,	  d=100	
18.61	h	  =	  200,	  d=150	
18.30	
None	  (Baseline)	
19.16	h	  =	  200,	  d=100	
18.36	h	  =	  200,	  d=150	
18.29	h	  =	  300,	  d=150	
18.34	h	  =	  300,	  d=100	
18.48	
None	  (+Preordering)	 18.55	

RIBES	
63.90	
63.74	
63.72	
63.66	
63.41	
62.06	
62.03	
61.99	
61.98	
61.44	

Extrinsic Evaluation
NegaRve	  Eﬀect	  (judged	  as	  -­‐1	  -­‐1	  -­‐1)	  Future	  Work	  • negaDve:	  197	   ex:	  	  	  論じた ついて に 義肢 装具 材料 の 非 金属 製 の プラスチック 以外 。	
•	  Error	  Analysis	  •	  De:	  63	  out:	  The	  non	  -­‐	  metallic	  materials	  of	  a	  prosthesis	  apparatus	  is	  made	  of	  plasDcs.	  
•	  ApplicaDon	  •	  posiDve:	  139	 PosiRve	  Eﬀect	  (judged	  as	  1	  1	  1)	  for	  Embeddings	  ex:	  	  	  開発 した を インライン 流量 計 新しい の 標記 。	
Our	  intuiDon	  “beWer	  word	  alignment	  leads	  to	  translaDon	  out:	  We	  have	  developed	  a	  new	  in-­‐line	  ﬂowmeter.	  
•	  Improvement	  improvement”	  did	  not	  hold	  in	  the	  oﬃcial	  human	  Our	  System	
Baseline	+Preordering	

evaluaDon.	

BLEU	
17.47	
17.01	RIBES	
63.08	
61.08	

Human	-­‐5.750	
-­‐14.250	

Contact: Sho Hoshino／National Institute of Informatics 	
Email : hoshino@nii.ac.jp