KyotoEBMT  System  Descrip3on  for  the    2nd  Workshop  on  Asian  Transla3on	John Richardson
Raj Dabre
Chenhui Chu
Fabien Cromières
Toshiaki Nakazawa
Sadao Kurohashi	

1	Outline	• Overview	  of	  the	  system	  • Improvements	  since	  WAT2014	  • Results	  for	  WAT2015	  • Conclusion	  2	Overview  of  Kyoto-­‐EBMT	

3	

KyotoEBMT  Overview	• Example-­‐Based	  MT	  paradigm	  • Need	  parallel	  corpus	  • Few	  language-­‐speciﬁc	  assumpJons	  • sJll	  a	  few	  language-­‐speciﬁc	  rules	  • Tree-­‐to-­‐Tree	  Machine	  TranslaJon	  • Maybe	  the	  least	  commonly	  used	  variant	  of	  x-­‐to-­‐x	  • SensiJve	  to	  parsing	  quality	  of	  both	  source	  and	  target	  languages	  • Maximize	  the	  chances	  of	  preserving	  informaJon	  • Dependency	  trees	  • Less	  commonly	  used	  than	  ConsJtuent	  trees	  • Most	  natural	  for	  Japanese	  • Should	  contain	  all	  important	  semanJc	  informaJon	  4	

KyotoEBMT  pipeline	• Somehow	  classic	  pipeline	  • 1-­‐	  Preprocessing	  of	  the	  parallel	  corpus	  • 2-­‐	  Processing	  of	  input	  sentence	  • 3-­‐	  Decoding/Tuning/Reranking	  • Tuning	  and	  reranking	  done	  with	  kbMira	  • seems	  to	  work	  beVer	  than	  PRO	  for	  us	  5	Other  speciﬁci3es	
• No	  “phrase-­‐table”	  • all	  translaJon	  rules	  computed	  on-­‐the-­‐ﬂy	  for	  each	  input	  • cons:	  • possibly	  slower	  (but	  not	  so	  slow)	  • compuJng	  signiﬁcance/	  sparse	  features	  more	  complicated	  • pros:	  • full-­‐context	  available	  for	  compuJng	  features	  • no	  limit	  on	  the	  size	  of	  matched	  rules	  • possibility	  to	  output	  perfect	  translaJon	  when	  input	  is	  very	  similar	  to	  an	  example	  • “Flexible”	  translaJon	  rules	  • OpJonal	  words	  • AlternaJve	  inserJon	  posiJons	  • Decoder	  can	  process	  ﬂexible	  rules	  more	  eﬃciently	  than	  a	  long	  list	  of	  alternaJve	  rules	  • some	  “ﬂexible	  rules”	  may	  actually	  encode	  >millions	  of	  “standard	  rules”	  6	Flexible  Rules  Extracted  on-­‐the-­‐ﬂy	?	
Input:	

Matched	  Example:	
水素	は	現在	

the	hydrogen	
is	

天然ガス	
例えば(for	  や		  example)	  石油	プラスチック	  から	は		  (plasJc)	
製造	
石油	  さ	から	れる	
製造	

さ	れる	

Flexible	  translaJon	  rule	  created	  on-­‐the-­‐ﬂy:	X(plasJc)	

is	(encode	  many	  translaJon	  opJons	  at	  once)	

Y(for	  example)	
produced	Y(for	  example)	
from	
raw*	
petroleum	
Y(for	  example)	

produced	from	

natural	gas	and	raw	
petroleum	at	
present	

X:	  Simple	  case	  	  (X	  has	  an	  equivalent	  in	  the	  source	  example)	
Y:	  ambiguous	  inserJon	  posiJon	
“raw”:	  null-­‐aligned	  -­‐>	  opJonal	

opJonal	  	  word	7	Other  speciﬁci3es	• No	  “phrase-­‐table”	  • all	  translaJon	  rules	  computed	  on-­‐the-­‐ﬂy	  for	  each	  input	  • cons:	  • possibly	  slower	  (but	  not	  so	  slow)	  • compuJng	  signiﬁcance/	  sparse	  features	  more	  complicated	  • pros:	  • full-­‐context	  available	  for	  compuJng	  features	  • no	  limit	  on	  the	  size	  of	  matched	  rules	  • possibility	  to	  output	  perfect	  translaJon	  when	  input	  is	  very	  similar	  to	  an	  example	  • “Flexible”	  translaJon	  rules	  • OpJonal	  words	  • AlternaJve	  inserJon	  posiJons	  • Decoder	  can	  process	  ﬂexible	  rules	  more	  eﬃciently	  than	  a	  long	  list	  of	  alternaJve	  rules	  • some	  “ﬂexible	  rules”	  may	  actually	  encode	  >millions	  of	  “standard	  rules”	  8	Improvements  since  WAT2014	

9	

KyotoEBMT  improvements	
• Our	  system	  is	  very	  sensiJve	  to	  parsing	  errors	  • ConJnuous	  improvements	  to	  Forest	  parses	

• Juman	  • KNP	  • SKP	  • Added	  support	  for	  parse	  forests	  	  • (compact	  representaJons)	  10	Forest  Input	• A	  parJal	  soluJon	  to	  the	  issues	  of	  Tree-­‐to-­‐Tree	  MT	  • Can	  help	  with	  parsing	  errors	  • Can	  help	  with	  syntacJc	  divergences	  • In	  WAT2014,	  • we	  used	  20-­‐best	  input	  parses	  • n-­‐best	  list	  of	  all	  inputs	  merged	  and	  reranked	  • Now,	  with	  forest:	  • an	  exponenJal	  number	  of	  input	  parses	  can	  be	  encoded	  • the	  selecJon	  of	  parses	  is	  done	  during	  decoding	  11	KyotoEBMT  improvements	

Forest	  parses	

• System	  is	  also	  very	  sensiJve	  to	  alignment	  errors	  • We	  used	  to	  correct	  alignments	  by	  using	  dependency	  trees	  (Nakazawa	  and	  Kurohashi,	  2012)	  • Now	  we	  further	  improve	  them	  with	  Nile	  (Riesa	  et	  al.,	  2011)	  	  12	

Alignment  Improvements	
• Used	  Nile	  (Riesa	  et	  al.,	  2011)	  	  to	  improve	  the	  alignment	  • As	  suggested	  by	  (Neubig	  and	  Duh,	  2014)	  • Require	  us	  to	  parse	  into	  consJtuent	  trees	  as	  well	  • Ckylark	  parser	  for	  Japanese	  (Oda+,	  2015)	  • Berkeley	  Parser	  for	  Chinese/English	  • Nile	  becomes	  the	  third	  element	  of	  an	  alignment	  pipeline	  	  JC	  alignment	  F	  -­‐>	with	  dependency	  trees	

with	  consJtuent	  trees	

Giza++	(Nakazawa	  and	  Kurohashi,	  2012)	

Nile	

F:0.63	

F:0.69	

F:0.75	

(Giza++	  /	  Nile	  only	  -­‐>	  F:0.70)	
13	

KyotoEBMT  improvements	
• Many	  small	  improvements	  • BeVer	  handling	  of	  ﬂexible	  rules	  • Bug	  ﬁxes	  Forest	  parses	

• 10	  new	  features	  • alignment	  score	  • context	  similarity	  score	  based	  on	  word2vec	  vectors	  • …	  14	

KyotoEBMT  improvements	
• Reranking	  • Previously	  used	  features:	  Forest	  parses	

• 7-­‐gram	  language	  model	  • RNNLM	  language	  model	  • Now	  also	  using	  a	  Neural	  MT	  based	  bilingual	  Language	  Model	  	  15	Bilingual  Neural  Network  Language  Model	• Combine	  Neural	  MT	  with	  EBMT	  • We	  use	  the	  state-­‐of-­‐the-­‐art	  model	  described	  by	  (Bahdanau	  et	  al.,	  2015)	  • Model	  seen	  as	  a	  Language	  Model	  condiJonalized	  on	  the	  input	  • Remarks:	  • Processing	  Japanese	  and	  Chinese	  as	  sequences	  of	  characters	  gave	  good	  results	  • No	  need	  to	  limit	  vocabulary	  (~4000/6000	  characters	  for	  J/C)	  • Avoid	  segmentaJon	  issues	  • Faster	  training	  • Neural	  MT	  models	  alone	  produced	  bad	  translaJons	  • eg.	  Character	  BLEU	  for	  C-­‐>J	  almost	  half	  that	  of	  KyotoEBMT	  • Reranking	  performances	  saturates	  before	  MT	  performances	

Reranked	  BLEU/	  NeuralMT	  char-­‐BLEU	  vs	  Epochs	  for	  J-­‐>C	60	  50	  40	  30	  20	  10	  0	  10	  20	  Neural	  MT	  cBLEU	  KyotoEBMT	  cBLEU	  40	  reranked	  BLEU	  16	

KyotoEBMT  improvements	
• Improved	  working	  methods	  (that	  maVers!)	  Forest	  parses	

• automaJc	  nightly	  tesJng	  for	  variaJons	  in	  BLEU/	  asserJon	  errors/	  memory	  leaks	  • Overall	  improvements	  across	  all	  the	  pipeline	  • EsJmaJng	  the	  global	  contribuJon	  of	  each	  element	  is	  tough,	  but	  here	  are	  the	  ﬁnal	  results,	  …	  	  17	Results	

18	

Results  for  WAT2015	

J-­‐>E	E-­‐>J	J-­‐>C	C-­‐>J	

Reranking	BLEU	

RIBES	

HUMAN	

NO	

21.31	  (+0.71)	

70.65	  (+0.53)	

16.50	

YES	22.89	  (+1.82)	

72.46	  (+2.56)	

32.50	

NO	  30.69	  (+0.92)	

76.78	  (+1.57)	

40.50	

YES	

33.06	  (+1.97)	

78.95	  (+2.99)	

51.00	

NO	

29.99	  (+2.78)	

80.71	  (+1.58)	

16.00	

YES	

31.40	  (+3.83)	

82.70	  (+3.87)	

12.50	

NO	

36.30	  (+2.73)	

81.97	  (+1.87)	

16.75	

YES	38.53	  (+3.78)	

84.07	  (+3.81)	

18.50	
19	Results  for  WAT2015	

J-­‐>E	
E-­‐>J	J-­‐>C	C-­‐>J	

Reranking	BLEU	

RIBES	

HUMAN	NO	

21.31	  +0.71	
(+0.71)	70.65	  (+0.53)	

16.50	

YES	22.89	  +1.82(+1.82)
	 	

NO	  

30.69
+0.92	  (+0.92)
	 	

72.46	  The	  (+2.56)
	
32.50	
various	  improvements	  YES	

33.06
+1.97		  (+1.97)	

78.95	  (+2.99)	

51.00	NO	29.99	  +2.78(+2.78)	 	

80.71	  (+1.58)	

16.00	

YES	

31.40	  +3.83(+3.83)
	 	

82.70	  (+3.87)	

12.50	NO	36.30	  +2.73	
(+2.73)	

81.97	  (+1.87)	

16.75	

YES	38.53	  +3.78(+3.78)	 	

84.07	  (+3.81)	

18.50	

lead	  to	  g	ood	  changes	  in	  BLEU.	  
76.78	  (+1.57)
40.50	

Almost	  +4	  BLEU	  for	  the	  JC/CJ	20	

Results  for  WAT2015	
Reranking	J-­‐>E	E-­‐>J	J-­‐>C	C-­‐>J	BLEU	

RIBES	

Mystery!	  
NO	 Only	  for	  J-­‐>C,	  21.31	  70.65	  (+0.53)	
we	  ﬁ(+0.71)	
nd	  that	  reranking	  decreased	  Human	  (+1.82)
EvaluaJon	  score.	   72.46	  (+2.56)	
YES	
22.89	  	(While	  sJll	  improving	  BLEU/RIBES)	

HUMAN	
16.50	
32.50	

NO	  30.69	  (+0.92)	

76.78	  (+1.57)	

40.50	

YES	

33.06	  (+1.97)	

78.95	  (+2.99)	

51.00	NO	29.99	  (+2.78)	

80.71	  (+1.58)	

16.00	

YES	

31.40	  (+3.83)	

82.70	  (+3.87)	

12.50	

NO	

36.30	  (+2.73)	

81.97	  (+1.87)	

16.75	

YES	38.53	  (+3.78)	

84.07	  (+3.81)	

18.50	
21	Results  for  WAT2015	

J-­‐>E	E-­‐>J	J-­‐>C	C-­‐>J	

Reranking	BLEU	

RIBES	

HUMAN	

NO	

21.31	  (+0.71)	

70.65	  (+0.53)	

16.50	

YES	22.89	  (+1.82)	

72.46	  (+2.56)	

32.50	

NO	  30.69	  (+0.92)	

76.78	  (+1.57)	

40.50	

YES	

33.06	  (+1.97)	

78.95	  (+2.99)	

51.00	

NO	

29.99	  (+2.78)	

80.71	  (+1.58)	

16.00	

YES	

31.40	  (+3.83)	

82.70	  (+3.87)	

12.50	

NO	

36.30	  (+2.73)	

81.97	  (+1.87)	

16.75	

YES	38.53	  (+3.78)	

84.07	  (+3.81)	

18.50	
22	

Code  is  available  and  Open-­‐sourced	
• Version	  1.0	  released	  • 1	  year	  arer	  version	  0.1	  • 2	  years	  arer	  development	  started	  • Downloadable	  at:	  hVp://nlp.ist.i.kyoto-­‐u.ac.jp/kyotoebmt/	  • GPL	  Licence	

23	Conclusion	
• KyotoEBMT	  is	  a	  (Dependency)	  Tree-­‐to-­‐Tree	  MT	  system	  with	  state-­‐of-­‐the-­‐art	  results	  • Open-­‐sourced	  (hVp://nlp.ist.i.kyoto-­‐u.ac.jp/kyotoebmt/)	  • Improvements	  across	  the	  whole	  pipeline	  lead	  us	  to	  close	  to	  +4	  BLEU	  improvements	  • Some	  future	  works:	  • Make	  more	  use	  of	  the	  target	  structure	  • Use	  of	  deep	  learning	  features	  in	  the	  decoder	  • eg.	  as	  in	  (Devlin	  et	  al.,	  2014)	  • …	  24	

Thank  you!	

25