Overview	  of	  WAT2014	
Toshiaki	  Nakazawa	  	  	  	  Hideya	  Mino	  Isao	  Goto	  	  	  	  	  Sadao	  Kurohashi	  Eiichiro	  Sumita	  4th	  October,	  2014	  @	  WAT2014	
1	hVp://lotus.kuee.kyoto-­‐u.ac.jp/WAT/	

• MT	  evaluaIon	  campaign	  focusing	  on	  Asian	  languages	  (Japanese,	  Chinese	  and	  English	  for	  this	  Ime)	  • The	  ﬁrst	  evaluaIon	  workshop	  that	  uses	  scienIﬁc	  papers	  as	  a	  domain	  and	  Japanese-­‐Chinese	  as	  a	  language	  pair	  • Paragraph-­‐based	  test	  set	  – invesIgate	  the	  viability	  of	  the	  context-­‐aware	  MT	  • All	  the	  data	  including	  test	  set	  are	  OPEN	  – contribute	  to	  conInuous	  evoluIon	  of	  MT	  research	  by	  freely	  distribuIng	  the	  data	  (like	  PennTreebank	  sec.	  23)	  2	AutomaIc	  EvaluaIon	  in	  WAT2014	
• Prepared	  an	  automaIc	  evaluaIon	  server	  • BLEU,	  RIBES	  • several	  word	  segmentaIon	  tools	  See	  EvaluaIon	  Results:	
hVp://lotus.kuee.kyoto-­‐u.ac.jp/WAT/evaluaIon/	
Submit	  Your	  TranslaIons	  (need	  FREE	  registraIon):	hVp://lotus.kuee.kyoto-­‐u.ac.jp/WAT/submission/	3	

Human	  EvaluaIon	  of	  MT	• Costs	  a	  lot	  of	  money	  and	  Ime	  • Unstable	  results	  caused	  by	  the	  diﬀerent	  criteria	  of	  each	  evaluators	  • Many	  measures	  – Adequacy/Fluency	  – Ranking	  – Acceptability	  (NTCIR)	  – Patent	  ExaminaIon	  EvaluaIon	  (NTCIR)	  4	Human	  EvaluaIon	  in	  WAT2014	
• Costs	  a	  lot	  of	  money	  and	  Ime	  – using	  crowdsourcing	  to	  reduce	  them	  • Unstable	  results	  caused	  by	  the	  diﬀerent	  criteria	  of	  each	  evaluators	  – alleviate	  the	  divergence	  by	  voIng	  	  • Many	  measures	  – HUMAN	  score	  5	

hVp://www.crowdinfo.jp/2014/02/02/world-­‐crowdsourcing-­‐service/	6	

Human	  EvaluaIon	  in	  WAT2014	
Phrase-­‐based	  SMT	• Pairwise	  evaluaIon	  compared	  to	  the	  baseline	  – reduce	  the	  number	  of	  sentences	  to	  be	  evaluated	  – enable	  the	  evaluaIon	  of	  new	  translaIon	  results	  aber	  the	  workshop	  • 400	  sentences	  selected	  from	  the	  test	  set	  by	  document-­‐based	  sampling	  • Reference	  translaIons	  are	  not	  shown	  7	Sample	  of	  the	  Task	
Task	  DescripIon	

Input	
Output1	
Output2	
Output1	  is	  beVer	

Output2	  is	  beVer	 Same	  quality	• The	  order	  of	  the	  baseline	  and	  subject	  outputs	  are	  at	  random	
8	

Pairwise	  EvaluaIon	  by	  VoIng	
• To	  guarantee	  the	  quality	  of	  the	  evaluaIon,	  each	  pair	  is	  evaluated	  3	  diﬀerent	  workers	  • The	  evaluaIon	  result	  of	  each	  pair	  is	  decided	  by	  the	  voIng	  of	  3	  judgments	  – e.g.	  MT	  A	  vs.	  MT	  B	  	  Worker	  1	

Ａ	

Ａ	

Ａ	

Ａ	

Ａ	

Ａ	

Tie	

Tie	

Tie	

Ｂ	

Worker	  2	Ａ	

Ａ	

Ａ	

Tie	

Tie	

Ｂ	

Tie	

Tie	

Ｂ	

Ｂ	

Worker	  3	  Ａ	

Tie	

Ｂ	

Tie	

Ｂ	

Ｂ	

Tie	

Ｂ	

Ｂ	

Ｂ	

Decision	

Ａ	

Ａ	

Ａ	

Ａ	

Tie	

Ｂ	  Tie	  Ｂ	  Ｂ	  Ｂ	  9	Comparison	  to	  the	  Baseline	
BASELINE-­‐MT-­‐1	

SYSTEM1-­‐MT-­‐1	BASELINE-­‐MT-­‐2	

SYSTEM1-­‐MT-­‐2	BASELINE-­‐MT-­‐3	

SYSTEM1-­‐MT-­‐3	BASELINE-­‐MT-­‐4	

SYSTEM1-­‐MT-­‐4	BASELINE-­‐MT-­‐5	

SYSTEM1-­‐MT-­‐5	BASELINE-­‐MT-­‐6	

SYSTEM1-­‐MT-­‐6	BASELINE-­‐MT-­‐7	

SYSTEM1-­‐MT-­‐7	BASELINE-­‐MT-­‐8	

SYSTEM1-­‐MT-­‐8	BASELINE	  BASELINE-­‐MT-­‐9	(Phrase-­‐based	  SMT)	
BASELINE-­‐MT-­‐10	

SYSTEM1-­‐MT-­‐9	

SYSTEM1	

SYSTEM1-­‐MT-­‐10	5	  wins,	  2	  losses,	  3	  Ies	
10	

Human	  EvaluaIon	  Score	• Suppose	  W	  =	  #	  of	  wins,	  L	  =	  #	  of	  losses	  and	  T	  =	  #	  of	  Ies,	  the	  HUMAN	  score	  is	  W − L e.g.	  sample	  of	  the	  previous	  page	
HUMAN = 100 ×
5− 2
100 ×= 30
W + L +T
5+ 2 +3• EsImate	  the	  conﬁdence	  interval	  by	  bootstrap	  resampling	  [Koehn,	  2004]	  – calculate	  the	  human	  evaluaIon	  score	  on	  300	  sentences	  randomly	  sampled	  from	  400	  sentences	– iterate	  calculaIon	  1000	  Imes	– sort	  the	  1000	  scores	  and	  discard	  top	  and	  boVom	  25	  scores	  to	  get	  the	  95%	  conﬁdence	  interval	
11	

Cost	  of	  Crowdsourcing	• One	  judgment	  by	  one	  worker	  costs	  5	  JPY	  • Each	  sentence	  requires	  3	  judgments	  • We	  have	  400	  sentences	  for	  the	  human	  evaluaIon	  • One	  evaluaIon	  of	  one	  submission	  costs	

5	  ×	  3	  ×	  400	  =	  6,000	  JPY	12	OFFICIAL	  HUMAN	  EVALUATION	  RESULTS	
13	

ParIcipants	  List	
Team	  ID	J-­‐>E	
E-­‐>J	J-­‐>C	C-­‐>J	 Team	  ID	 J-­‐>E	
E-­‐>J	
J-­‐>C	C-­‐>J	

NAIST	
EIWA	

✓	 ✓	 ✓	 ✓	✓	✓	NII	SAS_MT	✓	Kyoto-­‐U	✓	 ✓	 ✓	 ✓	WEBLIO-­‐EJ1	
✓	Sense	
NICT	✓	 ✓	 ✓	 ✓	✓	TMU	BJTUNLP	TOSHIBA	 ✓	WASUIPS	

Company	

✓	
✓	✓	

✓	

✓	
✓*	 ✓*	*	  Only	  submiVed	  to	  the	  automaIc	  evaluaIons	

Outside	  Japan	
14	

50.00	  	  40.50	  	  37.50	  	  40.00	  	  30.00	  	  20.00	  	  JE	  HUMAN	  score	

25.50	  	  25.00	  	  23.25	  	  23.00	  	  22.50	  	  21.25	  	  20.25	  	  13.75	  	  10.00	  	  0.00	  	  -­‐10.00	  	  -­‐20.00	  	  7.75	  	  1.25	  	   0.00	  	  -­‐5.75	  	  -­‐14.25	  	  -­‐17.00	  -­‐17.25	  	  	  -­‐30.00	  	  15	

70.00	  	  60.00	  	  EJ	  HUMAN	  score	
56.25	  	  51.50	  	  50.00	  	  43.25	  	   42.50	  	  40.00	  	  30.00	  	  38.00	  	  36.00	  	  34.25	  	   33.75	  	  31.50	  	  27.50	  	  20.00	  	  10.00	  	  3.75	  	  0.00	  	  0.75	  	  0.00	  	  -­‐10.00	  	  16	

30.00	  	  20.00	  	  JC	  HUMAN	  score	
17.75	  	  14.00	  	  10.00	  	  10.00	  	  6.50	  	  3.75	  	  1.25	  	  0.75	  	  0.00	  	  -­‐0.75	  	  -­‐3.75	  	  -­‐10.00	  	  -­‐5.25	  	  -­‐8.75	  	  -­‐14.50	  	  -­‐20.00	  	  -­‐20.00	  	  -­‐30.00	  	  17	

60.00	  	  50.00	  	  40.00	  	  CJ	  HUMAN	  score	

50.75	  	  38.00	  	  30.00	  	  22.50	  	  20.00	  	  10.00	  	  0.00	  	  16.00	  	  15.00	  	  7.50	  	  6.00	  	  4.75	  	  0.00	  	  -­‐1.00	  	  -­‐10.00	  	  -­‐20.00	  	  -­‐21.75	  	  -­‐30.00	  	  -­‐40.00	  	  -­‐37.75	  	  -­‐50.00	  	  18	

CORRELATION	  BETWEEN	  BLEU/RIBES	  AND	  HUMAN	  SCORE	
19	

JE	  (HUMAN/BLEU)	  40	  NAIST	  1	  NAIST	  2	  30	  RBMT	  D	  TOSHIBA	  2	  20	  HUMAN	

SMT	  S2T	  Kyoto-­‐U	  1	  TOSHIBA	  EIWA	   Kyoto-­‐U	  21	   	  R²	  =	  0.46489	  Online	  D	  10	  SMT	  Hiero	  Sense	  0	  15	  16	  17	  18	  NII	  1	  19	  20	  21	  22	  23	  24	  25	  -­‐10	  -­‐20	  TMU	  TMU	  2	   1	  NII	  2	  BLEU	

20	

JE	  (HUMAN/RIBES)	  40	  NAIST	  1	  NAIST	  2	  30	  SMT	  S2T	  Kyoto-­‐U	  1	  TOSHIBA	  1	  RBMT	  D	  EIWA	  Kyoto-­‐U	  2	  TOSHIBA	  2	  HUMAN	

20	  Online	  D	  10	  R²	  =	  0.78255	  SMT	  Hiero	  Sense	  0	  61	  63	  65	  67	  69	  71	  73	  NII	  1	  -­‐10	  NII	  2	  -­‐20	  TMU	  TMU	  2	   1	  BLEU	

21	

60	  EJ	  (HUMAN/BLEU)	

NAIST	  1	  NAIST	  2	  50	  40	  HUMAN	WEBLIO-­‐EJ1	  1	  Online	  A	  Kyoto-­‐U	  1	  WEBLIO-­‐EJ1	  2	  SMT	  TKyoto-­‐U	  2	  2S	  SMT	  Hiero	  30	  SAS_MT	  R²	  =	  0.41524	  20	  10	  Sense	  RBMT	  B	  0	  10	  15	  20	  25	  BLEU	

30	  35	  40	  22	60	  EJ	  (HUMAN/RIBES)	

NAIST	  1	  NAIST	  2	  50	  40	  HUMAN	WEBLIO-­‐EJ1	  1	  Online	  A	  Kyoto-­‐U	  1	  SMT	  T2S	   2	  Kyoto-­‐U	  SMT	  Hiero	  30	  WEBLIO-­‐EJ1	  2	  SAS_MT	  R²	  =	  0.75105	  20	  10	  Sense	  RBMT	  B	  0	  66	  68	  70	  72	  74	  RIBES	76	  78	  80	  82	  23	

20	  JC	  (HUMAN/BLEU)	

NAIST	  1	  15	  SMT	  S2T	  10	  Sense	  NICT	  HUMAN	

5	  SMT	  Hiero	  0	  5	  10	  -­‐5	  -­‐20	  -­‐25	  20	  TOSHIBA	  2	  25	  BJTUNLP	  35	  Kyoto-­‐U	  2	  -­‐10	  -­‐15	  15	  NAIST	  TOSHIBA	  1	   2	  Kyoto-­‐U	  1	  30	  R²	  =	  0.4924	  Online	  D	  RBMT	  B	  BLEU	

24	

20	  

JC	  (HUMAN/RIBES)	

15	  SMT	  S2T	  10	  Sense	  NICT	  5	  SMT	  Hiero	  R²	  =	  0.38695	  HUMAN	NAIST	  1	  74	  75	  -­‐5	  76	  77	  TOSHIBA	  2	  78	  NAIST	  2	  TOSHIBA	  1	  0	  79	  Kyoto-­‐U	  1	  80	  81	  BJTUNLP	  82	  83	  84	  Kyoto-­‐U	  2	  -­‐10	  -­‐15	  -­‐20	  -­‐25	  RBMT	  B	  RIBES	

25	CJ	  (HUMAN/BLEU)	

50	  NAIST	  1	  40	  NAIST	  2	  30	  SAS_MT	  HUMAN	

20	  EIWA	   SMT	  T2S	  10	  Kyoto-­‐U	  1	  Kyoto-­‐U	  2	  SMT	  Hiero	  R²	  =	  0.78713	  0	  5	  10	  15	  20	  25	  30	  Sense	  35	  40	  45	  -­‐10	  -­‐20	  Online	  A	  -­‐30	  -­‐40	  RBMT	  A	  BLEU	

26	

CJ	  (HUMAN/RIBES)	

50	  NAIST	  1	  40	  NAIST	  2	  30	  SAS_MT	  HUMAN	

20	  EIWA	  SMT	  T2S	  10	  Kyoto-­‐U	  21	  	  Kyoto-­‐U	  SMT	  Hiero	  0	  59	  64	  69	  -­‐10	  -­‐20	  74	  Sense	  79	  84	  R²	  =	  0.70081	  Online	  A	  -­‐30	  -­‐40	  

RBMT	  A	  RIBES	

27	

BeVer	  CorrelaIon	  among	  Corpus-­‐based	  MT?	
• Less	  correlaIons	  between	  automaIc	  and	  human	  evaluaIons	  for	  RBMT	  and	  Online	
All	  systems	

Corpus-­‐based	  only	

JE	  BLEU	 0.46489	

0.95098	

JE	  RIBES	 0.78255	

0.83691	

EJ	  BLEU	 0.41524	

0.84418	

EJ	  RIBES	 0.75105	

0.85730	

JC	  BLEU	 0.49240	

0.07937	

JC	  RIBES	 0.38695	

0.10198	

CJ	  BLEU	 0.78713	

0.82592	

CJ	  RIBES	 0.70081	

0.83209	*	  R2	  values	
28	INTER	  ANNOTATOR	  AGREEMENT	29	

Inter	  Annotator	  Agreement	
JE	

EJ	

System	  ID	 Kappa	 System	  ID	NAIST	  1	NAIST	  2	SMT	  S2T	
Kyoto-­‐U	  1	TOSHIBA	  1	RBMT	  D	EIWA	Kyoto-­‐U	  2	TOSHIBA	  2	Online	  D	SMT	  Hiero	
Sense	NII	  1	NII	  2	TMU	  1	TMU	  2	

0.162	
0.047	
0.099	
0.070	
0.098	
0.075	
0.083	
0.139	
0.078	
0.055	
0.119	
0.245	
0.119	
0.086	
0.091	
0.136	

Ave.	

0.106	

JC	

Kappa	 System	  ID	 Kappa	 System	  ID	 Kappa	

NAIST	  1	0.280	
NAIST	  2	0.250	
WEBLIO-­‐EJ1	  1	 0.238	
Online	  A	0.219	
Kyoto-­‐U	  1	0.216	
WEBLIO-­‐EJ1	  2	 0.240	
SMT	  T2S	0.240	
Kyoto-­‐U	  2	0.229	
SMT	  Hiero	
0.277	
SAS_MT	
0.248	
Sense	
0.395	
RBMT	  B	0.217	Ave.	

CJ	0.254	NAIST	  1	SMT	  S2T	
Sense	NICT	SMT	  Hiero	
NAIST	  2	TOSHIBA	  1	Kyoto-­‐U	  1	BJTUNLP	TOSHIBA	  2	Kyoto-­‐U	  2	Online	  D	RBMT	  B	

0.077	
0.069	
0.087	
0.066	
0.202	
0.093	
0.089	
0.091	
0.198	
0.066	
0.163	
0.035	
0.083	

Ave.	

0.101	NAIST	  1	NAIST	  2	SAS_MT	
SMT	  T2S	EIWA	Kyoto-­‐U	  1	Kyoto-­‐U	  2	SMT	  Hiero	
Sense	
Online	  A	RBMT	  A	

0.168	
0.203	
0.167	
0.236	
0.175	
0.199	
0.180	
0.274	
0.228	
0.239	
0.130	

Ave.	

0.200	

*	  Fleiss’s	  Kappa	  values	
30	

Inter	  Annotator	  Agreement	
JE	

EJ	

System	  ID	 Kappa	 System	  ID	NAIST	  1	NAIST	  2	SMT	  S2T	
Kyoto-­‐U	  1	TOSHIBA	  1	RBMT	  D	EIWA	Kyoto-­‐U	  2	TOSHIBA	  2	Online	  D	SMT	  Hiero	
Sense	NII	  1	NII	  2	TMU	  1	TMU	  2	

0.162	
0.047	
0.099	
0.070	
0.098	
0.075	
0.083	
0.139	
0.078	
0.055	
0.119	
0.245	
0.119	
0.086	
0.091	
0.136	

Ave.	

0.106	JC	CJ	

Kappa	 System	  ID	 Kappa	 System	  ID	 Kappa	

NAIST	  1	0.280	
NAIST	  2	0.250	
WEBLIO-­‐EJ1	  1	 0.238	
Online	  A	0.219	
Kyoto-­‐U	  1	0.216	
WEBLIO-­‐EJ1	  2	 0.240	
SMT	  T2S	0.240	
Kyoto-­‐U	  2	0.229	
SMT	  Hiero	
0.277	
SAS_MT	
0.248	
Sense	
0.395	
RBMT	  B	0.217	NAIST	  1	SMT	  S2T	
Sense	NICT	SMT	  Hiero	
NAIST	  2	TOSHIBA	  1	Kyoto-­‐U	  1	BJTUNLP	TOSHIBA	  2	Kyoto-­‐U	  2	Online	  D	RBMT	  B	

0.077	
0.069	
0.087	
0.066	
0.202	
0.093	
0.089	
0.091	
0.198	
0.066	
0.163	
0.035	
0.083	

Ave.	

0.101	NAIST	  1	NAIST	  2	SAS_MT	
SMT	  T2S	EIWA	Kyoto-­‐U	  1	Kyoto-­‐U	  2	SMT	  Hiero	
Sense	
Online	  A	RBMT	  A	

0.168	
0.203	
0.167	
0.236	
0.175	
0.199	
0.180	
0.274	
0.228	
0.239	
0.130	

Ave.	

0.200	

X-­‐>J	  evaluaIons	  are	  easier	  than	  J-­‐>X	  evaluaIons	  (because	  the	  workers	  are	  almost	  Japanese?)	
Ave.	

0.254	

*	  Fleiss’s	  Kappa	  values	
31	Case	  Study	
Submission	  ID	 BLEU	WEBLIO-­‐EJ1	  1	 32.53	

RIBES	
0.782	

HUMAN	 DescripVon	
43.25	 w/o	  forest	  input	

WEBLIO-­‐EJ1	  2	0.785	

36.00	 w/	  forest	  input	

HUMAN	

Kappa	

32.69	

BASELINE	  WEBLIO-­‐EJ1	  2	(WEBLIO-­‐EJ1	  1)	2.50	  ±	  4.17	
0.528	

• No	  signiﬁcant	  diﬀerence	  • Much	  higher	  Kappa	  value	  – similar	  outputs	  can	  be	  easily	  and	  faithfully	  judged	
32	

Conclusion	• 12	  parIcipants	  for	  the	  evaluaIon	  task	  – including	  3	  companies	  and	  3	  teams	  outside	  Japan	  • Human	  evaluaIon	  using	  crowdsourcing	  • NAIST	  team	  achieved	  the	  best	  results	  for	  all	  the	  subtasks	  (congratulaIons!!)	  • Shared	  the	  ﬁndings	  of	  MT	  for	  scienIﬁc	  papers	  – hVp://lotus.kuee.kyoto-­‐u.ac.jp/WAT/papers/papers-­‐2014.html	  33	Future	  PerspecIve	
• AutomaIc	  evaluaIon	  server	  will	  keep	  running	  even	  aber	  the	  workshop	  – promote	  conInuous	  evoluIon	  of	  MT	  research	  • WAT	  will	  be	  held	  annually	  – include	  more	  languages,	  domains…	  • Let’s	  share	  your	  resource!	  
– monolingual/bilingual	  corpora,	  dicIonaries…	  34	Future	  PerspecIve	• Need	  more	  invesIgaIon	  to	  acquire	  reliable	  human	  evaluaIon	  results	  at	  low	  cost	  • Need	  to	  ﬁnd	  a	  beVer	  way	  to	  compare	  two	  systems	  eﬃciently	  and	  reliably	  • Discuss	  the	  importance	  of	  both	  sentence	  internal/external	  informaIon	  35	Thank	  you	  very	  much	  for	  aVending	  WAT2014	  	  Stay	  tuned	  for	  the	  next	  WAT	  workshop!	
36	

Future	  PerspecIve	
• WAT	  will	  be	  held	  annually	  – include	  more	  languages,	  domains…	  • Let’s	  share	  your	  resource!	  
– monolingual/bilingual	  corpora,	  dicIonaries…	  • Discuss	  the	  importance	  of	  both	  sentence	  internal/external	  informaIon	  37