Adapta&on	  Data	  Selec&on	  using	  Neural	  Language	  Models:	  Experiments	  in	  Machine	  Transla2on	  	Kevin	  Duh	  Graham	  Neubig	

Katsuhito	  Sudoh	  Hajime	  Tsukada	The	  Big	  Picture	IN-­‐DOMAIN	  BITEXT	

GENERAL-­‐DOMAIN	  	  BITEXT	
Data	  Selec&on	  using	  Language	  Models	  (LMs)	
SUBSET	  Training	  	  Pipeline	

Many	  unknown	  words	  here!	  
Are	  Ngram	  LMs	  suﬃcient?	

MT	  SYSTEM	
1	

Research	  Ques?on:	  	  – To	  inves?gate	  alterna?ve	  LMs	  for	  data	  selec?on	  – In	  par?cular:	  Neural	  LM	  	  • Their	  con2nuous	  word	  representa2ons	  have	  been	  shown	  to	  be	  robust	  to	  unknown	  words	  Result:	  	  – Data	  selec?on	  by	  Neural	  LMs	  improve	  over	  Ngram	  LMs	  by	  0.1-­‐1.7	  BLEU	  (TED	  Talks	  tasks).	  	  

2	Data	  Selec?on	  Criteria	

[A.	  Axelrod,	  X.	  He,	  J.	  Gao.	  Domain	  Adapta?on	  via	  Pseudo	  In-­‐Domain	  Data	  Selec?on	  (EMNLP11)]	

1.	  Score	  each	  General-­‐Domain	  sentence-­‐pair	  (e,f)	  by	  4	  LMs:	  	  	  	  	  	  	  [CrossEntropy(LMeIN,e)	  -­‐	  CrossEntropy	  (LMeGENERAL,e)]		  	  	  +	  [CrossEntropy(LMfIN,f)	  	  -­‐	  CrossEntropy(LMfGENERAL,f)]		  	  Prefer	  sentences	  similar	  Prefer	  sentences	  dissimilar	  to	  	  to	  in-­‐domain	  bitext	
average	  general	  domain	  bitext		  	  2.	  Rank	  sentence	  pairs	  by	  score;	  threshold	  by	  valida?on	  set	  3	Ngram	 vs.	
Recurrent	  Neural	  LM	  [T.	  Mikolov,	  S.	  Kombrink,	  L.	  Burget,	  J.	  Cernocky,	  S.	  Khudanpur.	  	  Extensions	  of	  Recurrent	  Neural	  Net	  Language	  Model	  (ICASSP11)]	

P(wt|wt-­‐1,wt-­‐2)	  Backoﬀ	  is	  needed	  for	  rare	  or	  unknown	  contexts	  (wt-­‐1,wt-­‐2)	  	  e.g.	  	  “recite	  Shakespeare’s	  poem”	  àP(poem|Shakespeare’s	  recite)	  	  “recite	  ScoobyDoo’s	  poem”	  àP(poem|ScoobyDoo’s	  recite)	  àP(poem|ScoobyDoo’s)	  àP(poem)	

Previous	  	   Con>nuous	  vector	  representa>ons	  	   Current	  Word	  wt-­‐1	 enable	  sharing	  of	  context!	
Word	  wt	Current	  State	  st	sigmoid(Uwt-­‐1	  +	  Ast-­‐1)	

Previous	  	  State	  st-­‐1	sodmax(Vst)	

4	Experimental	  Setup:	  4	  language-­‐pairs	
IN-­‐DOMAIN:	  TED	  Talks	  from	  WIT3	  (~130k	  sentences)	

GENERAL-­‐DOMAIN:	  	  All	  WMT2013	  data,	  e.g.	  Europarl,	  News-­‐crawl	  (2M-­‐40M	  sentences)	

1.	  Data	  Selec&on	  using	  Ngram	  vs.	  Neural	  LMs	SUBSET	  2.	  Standard	  	  Moses	  Pipeline	

3.	  Determine	  best	  subset	  size	  	  {10k,	  50k,	  100k,	  500k,	  1M}	  sentences	  by	  valida&on	  set	  BLEU	

MT	  SYSTEM	 4.	  Compare	  test	  set	  BLEU	
5	

+0.5	

34	  +0.1	32	  BLEU	

30	  28	  +1.7	26	  24	  +0.4	

IN-­‐DOMAIN	  ONLY	  ALL	  DATA	  22	  20	  18	  16	  IN-­‐DOMAIN+NGRAM	  SELECTION	  IN-­‐DOMAIN+NEURAL	  SELECTION	  14	  6	Analysis	
1. Are	  improvements	  due	  to	  lower	  OOV	  rate	  or	  beker	  es?mates	  of	  transla?on	  probability?	  
– Force	  decoding	  gives	  similar	  BLEU	  à	  beker	  es?mates	  2. How	  much	  overlap	  between	  sentences	  selected	  by	  Ngram	  vs.	  Neural	  LM?	  
– 60-­‐75%	  overlap,	  so	  this	  is	  incremental	  improvement	  3.	  Computa?on	  ?me?	  	  	  -­‐	  Fast	  to	  train	  Neural	  LMs	  for	  small	  in-­‐domain	  set	  	7	Summary	  of	  paper	  in	  Haiku	  	  (thanks	  to	  Chris	  Quirk	  for	  poe?c	  inspira?on)	

These	  Neural	  LMs	  	  	  	  	  	  	  	  	  	  Easy	  and	  good	  like	  N-­‐grams	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  Why	  don’t	  you	  try	  them?	

Code/Scripts	  available:	  hkp://cl.naist.jp/~kevinduh/a/acl2013/	  	8