3	  Sep.	  2013	
Machine	  Transla)on	  Summit	  XIV	  Workshop	  3:	  UserCentric	  Machine	  Transla)on	  &	  Evalua)on	  Towards	  acceptable	  quality	  machine	  transla6on	  without	  post-­‐edi6ng	  for	  municipal	  websites:	  	  An	  evalua)on	  of	  Japanese	  controlled	  language	  rules	
Midori	  Tatsumi,	  Rei	  Miyata†,	  Anthony	  Hartley‡	  Kyo	  Kageura†,	  Hitoshi	  Isahara*	
†U	  of	  Tokyo,‡Tokyo	  U	  of	  Foreign	  Studies,	  *Toyohashi	  U	  of	  Technology	  rei@p.u-­‐tokyo.ac.jp	  	Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

1	Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

2	

Background	• Social	  background	  – Need	  for	  frequent	  updates	  of	  municipal	  informa)on	  – MT	  use	  in	  Japanese	  municipali)es	  – Limited	  budget	  and	  resources	  for	  post-­‐edi)ng	  • Technical	  background	  – Diﬃcul)es	  in	  Ja-­‐En	  MT	  – Controlled	  Authoring	  3	Outline	• Background	  • Objec)ve	  and	  Scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  Discussions	  • Future	  Plans	4	Objec)ve	  and	  Scope	• Controlled	  Authoring	  – Document	  templates,	  glossary	  management,	  grammar	  and	  style	  checkers,	  controlled	  language	  (CL)	  rules,	  	  etc.	  
• Bernth	  and	  Gdaniec,	  2001;	  O'Brien	  and	  Roturier,	  2007.	  
• Nagao	  et	  al.,	  1984;	  Shirai,	  1998;	  Ogura	  et	  al,	  2010.	  

• Three	  types	  of	  ‘MT	  users’	  – Municipali)es	  – Authors	  – Readers	  • Evalua)on	  of	  each	  CL	  rule	  (Hartley	  et	  al.,	  2012)	  – MT	  quality	  (Target	  text	  readers)	  – Readability	  (Source	  text	  readers)	  – Feasibility	  assessment	  (Source	  text	  authors)	

5	

Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

6	CL	  rules	
• CL	  rules	  must:	  1. Help	  to	  raise	  the	  quality	  of	  MT	  output	  2. Not	  degrade	  the	  quality	  of	  source	  texts	  3. Be	  easy	  for	  humans	  to	  implement	  • Formula)on	  of	  CL	  rules	  in	  this	  study	  – Wri)ng	  guidelines	  from	  technical	  wri)ng	  books	  and	  documents	  – A	  total	  of	  22	  rules	  7	

CL	  rules	
a.
b.
c.
d.
e.
f.
g.
h.
i.
j.

Try	  to	  write	  sentences	  of	  no	  more	  than	  70	  characters.	  In	  no	  case	  use	  more	  than	  100	  characters.	  	  Do	  not	  interrupt	  a	  sentence	  with	  a	  bulleted	  list.	  
Do	  not	  use	  parentheses	  to	  embed	  a	  sentence	  or	  long	  expression	  in	  a	  surrounding	  sentence.	  
Ensure	  the	  rela)onship	  between	  the	  subject	  and	  the	  predicate	  is	  clear.	  
Ensure	  the	  rela)onship	  between	  the	  modiﬁer	  and	  the	  modiﬁed	  is	  clear.	  
Use	  the	  par)cle	  が	  only	  to	  mean	  ‘but’.	  
Do	  not	  use	  the	  preposi)on	  ため	  to	  mean	  ‘because’.	  
To	  express	  ‘from’,	  use	  the	  par)cle	  から.	  Use	  par)cle	  より	  only	  in	  comparisons.	  
Avoid	  using	  mul)ple	  nega)ve	  forms	  in	  a	  sentence.	  
Use	  れる/られる	  only	  for	  the	  passive	  voice,	  and	  not	  to	  express	  the	  poten)al	  mood	  or	  honoriﬁcs.	  

8	CL	  rules	
k.

Avoid	  using	  words	  that	  can	  be	  interpreted	  in	  mul)ple	  ways.	  Use	  words	  with	  a	  narrowly	  deﬁned	  meaning.	  
l. Avoid	  using	  the	  colloquial	  expression	  になります	  (become).	  
m. Avoid	  using	  the	  expression	  という (as/like).	  	  n. Avoid	  using	  the	  expressions	  ような,	  こと	  and	  もの	  (such	  as).	  
o. Do	  not	  double-­‐up	  on	  words	  with	  the	  same	  meaning	  in	  a	  single	  sentence.	  
p. Avoid	  using	  the	  expression	  思われる	  (seems	  to	  be)	  and	  考えられる	  (be	  considered).	  
q. Avoid	  using	  the	  verb	  行う	  (do)	  with	  Sahen	  nouns.	  
r. Avoid	  the	  single	  use	  of	  the	  formしたり	  (do	  …	  and).	  
s. When	  lis)ng	  items,	  make	  sure	  they	  are	  syntac)cally	  parallel.	  
t. Use	  words	  from	  a	  general	  Japanese-­‐English	  dic)onary.	  
u. Avoid	  using	  compound	  Sahen	  nouns.	  
v. Ensure	  there	  are	  no	  typos	  or	  missing	  characters.	
9	Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

10	Experimental	  framework	

11	

Experimental	  framework	

12	

Experimental	  framework	

13	

Experimental	  framework	

14	

Experimental	  framework	

15	

Experimental	  framework	

16	

Experimental	  framework	
Target	  text	  readers	17	

Experimental	  framework	
Source	  text	  readers	18	

Experimental	  framework	
Source	  text	  authors	19	

(1)	  MT	  quality	  evalua)on	  • Usefulness	  	  – Understandability	  – Correctness	  • Two-­‐step	  evalua)on	  method	  1. How	  much	  they	  understood	  and	  how	  much	  eﬀort	  was	  required	  2. How	  close	  the	  meaning	  of	  human	  transla)on	  was	  to	  their	  understanding	  of	  MT	  output	  • 16	  adult	  English	  speakers	  	  (eight	  na)ve	  and	  eight	  non-­‐na)ve)	  20	

21	

22	

23	

24	

25	

(2)	  Japanese	  readability	  evalua)on	  • Readability	  on	  a	  four-­‐point	  scale	  • Method	  – Present	  both	  BJ	  and	  AJ	  – Ask	  judges	  to	  evaluate	  each	  sentence	  • 10	  Japanese	  na)ve-­‐speaker	  university	  students	  26	

27	(3)	  Feasibility	  assessment	  • Assessment	  of	  diﬃculty	  in	  rewri)ng	  sentences	  	  in	  accordance	  with	  CL	  rules	  for	  third	  person	  • Rewri)ng	  120	  sentences	  in	  three	  hours	  • Two	  na)ve	  Japanese	  speakers	  28	Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

29	Overall	  results	  (MT	  quality)	

MT-­‐Useful	  cases:	  less	  than	  30%	  even	  when	  CL	  rules	  applied	MT	

Before	  applying	  CL	  rules	

ABer	  applying	  CL	  rules	

The	  Hon’yaku	

118	  (24.6%)	

137	  (28.5%)	

Google	  Translate	

113	  (23.5%)	

133	  (27.7%)	

30	

Usefulness	  of	  	  The	  Hon’yaku	  output		  [MT–Useful]	  improvement:	  12	  /	  22	  rules	  	  (b,f,q,s:	  without	  causing	  an	  increase	  in	  [MT–Inaccurate]	  )	

31	

Usefulness	  of	  	  Google	  Translate	  output	  		  [MT–Useful]	  improvement:	  11	  /	  22	  rules	  	  (c,i,j,k,n,p,r:	  without	  causing	  an	  increase	  in	  [MT–Inaccurate]	  )	

32	

Changes	  in	  Japanese	  readability	  	Most	  of	  the	  CL	  rules	  improved	  or	  at	  least	  retained	  the	  quality	  of	  the	  source	  text	  	  	  (b,	  f	  and	  t:	  ʻBeuer’	  by	  about	  80%)	

33	

Results	  (Feasibility	  assessment)	
• CL	  viola)on	  was	  successfully	  amended	  	  – 111	  (92%)	  for	  Rewriter	  A	  – 103	  (86%)	  for	  Rewriter	  B	  • The	  success	  rate	  varied	  depending	  on	  the	  CL	  rules	  – 100%:	  a,	  b,	  h,	  i,	  l,	  m,	  p,	  q,	  and	  t	  	  – 90-­‐99%:	  j,	  n,	  and	  u	  – Less	  than	  80%:	  d	  and	  s	  • 	  c,	  e,	  f,	  g,	  k,	  o,	  r,	  and	  v	  	  – one	  of	  the	  rewriters	  amended	  all	  sentences	  successfully,	  but	  the	  other	  rewriter	  succeeded	  less	  than	  80%	  34	Discussions	  • The	  eﬀec)veness	  of	  CL	  rules	  is	  aﬀected	  by	  the	  MT	  system	  that	  is	  used	  • The	  feasibility	  assessment	  gives	  us	  insight	  into	  the	  applica)on	  of	  CL	  rules	  • Our	  methodology	  is	  helpful	  for	  assessing	  the	  usefulness	  of	  machine-­‐translated	  texts	  in	  real-­‐life	  situa)ons	  35	Outline	• Background	  • Objec)ve	  and	  scope	  • CL	  rules	  • Evalua)on	  • Results	  and	  discussions	  • Future	  plans	

36	Future	  plans	
• CL	  rules	  – Formula)on	  – Reﬁnement	  – Adjustment	  • Authoring	  environment	  – Document	  template	  – CL	  checker	  (Mitamura	  et	  al.,	  2003;	  Nyberg	  et	  al.,	  2003)	  – Terminology	  manager	  – MT	  system	  – Post-­‐edi)ng	  – User	  feedback	  mechanism	  37	Authoring	  tool	  (prototype)	

Document	  template	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  (with	  DITA)	

Original	  text	  input	  (+	  Pre-­‐edit)		  	  	  	  	  	  	  	  	  	  	  	  MT	  outputs	  (+	  Post-­‐edit)	  CL	  checker	  (detec)on	  &	  sugges)on)	

38	

Authoring	  tool	  (prototype)	

Document	  template	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  (with	  DITA)	

Original	  text	  input	  (+	  Pre-­‐edit)		  	  	  	  	  	  	  	  	  	  	  	  MT	  outputs	  (+	  Post-­‐edit)	  CL	  checker	  (detec)on	  &	  sugges)on)	

39	Thank	  you	  very	  much	  for	  your	  kind	  auen)on.	
Rei	  Miyata	  rei@p.u-­‐tokyo.ac.jp