2nd	  November,	  2015	  MT	  Summit	  2015:	  MT	  Researchers’	  Track	  	  Japanese	  Controlled	  Language	  Rules	  to	  Improve	  Machine	  Translatability	  of	  Municipal	  Documents	
Rei	  Miyata†,	  Anthony	  Hartley‡,	  Cecile	  Paris#,	  Midori	  Tatsumi‡,	  Kyo	  Kageura†	  †U	  of	  Tokyo,	  ‡Rikkyo	  U,	  #CSIRO	  	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  1	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  2	

Background	Social	Technical	ü MulTlingualisaTon	  of	  municipal	  websites	  in	  Japan	  ü Widespread	  use	  of	  MT	  ü DiﬃculTes	  in	  Ja-­‐En	  MT	  ü ‘Black	  box’	  use	  se]ng	  Controlled	  Language	  (CL)	ex)	  AECMA,	  Caterpillar	  Technical	  English,	  KANT	  ex)	  Technical	  Japanese,	  Simpliﬁed	  Technical	  Japanese	  Source	  text		

MT	  system	

Raw	  outputs	  Post-­‐edited	  text		

3	

Problems	
• Applicability	  of	  CL	  rules	   (O’Brien	  2006)	
– To	  what	  extent	  can	  CL	  rules	  be	  eﬀecTvely	  generalised	  across	  MT	  systems	  and	  language	  pairs?	  

• CompaTbility	  of	  source	  text	  (ST)	  and	  target	  text	  (TT)	  quality	   (Hartley	  et	  al.	  2012;	  Tatsumi	  et	  al.	  2013)	
– Conﬂict	  between	  ST	  and	  TT	  quality	  4	ObjecTves	  and	  scope	• ObjecTves	  1. [CL	  formula9on]	  	  Propose	  and	  implement	  a	  protocol	  to	  formulate	  CL	  rules	  2. [CL	  evalua9on]	  	  InvesTgate	  to	  what	  extent	  we	  can	  Applicability		  	   improve	  MT	  quality	  through	  CL	  rules,	  without	  degrading	  ST	  readability.	  	   	• Scope	  – Municipal	  website	  documents	  – Japanese	  to	  English	  MT	  (4	  systems)	  Compa9bility	

5	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  6	Requirements	
Our	  CL	  rules	  should:	  1. help	  to	  raise	  the	  quality	  of	  MT	  outputs	  (TT	  quality)	  2. not	  degrade	  the	  quality	  of	  the	  Japanese	  source	  texts	  (ST	  quality)	

7	

CL	  formulaTon	  protocol	
• Principle	  Comparing	  original	  source	  texts	  and	  more	  machine	  translatable	  ones	  rewrihen	  by	  humans	  • Trial	  and	  error	  protocol	  1. Rewrite	  a	  source	  text	  aiming	  at	  a	  beher	  quality	  of	  MT	  output	  2. Record	  how	  the	  text	  was	  changed	  and	  assess	  the	  quality	  of	  the	  output	  3. Repeat	  steps	  1	  and	  2,	  unTl	  achieving	  saTsfactory	  quality	  of	  the	  MT	  output	
8	

ImplementaTon	  of	  the	  protocol	
ST	MT	

電力会社に連絡、使用開You	  can	  turn	  on	  the	  始手続き完了後、ブレー
contact,	  the	  procedures	  カーのスイッチを入れます	 ajer	  compleTon	  of	  the	  electric	  power	  companies	

Change	[Original	  sentence]	

Will	  contact	  the	  electric	  power	  company.	  
Procedures	  for	  acTvaTon	  is	  complete,	  you	  turn	  on	  the	  breaker.	  	

Split	  sentence	  Add	  “します”	  Add	  “の”	  “完了後”→“完了した後”	  	電力会社に連絡してくださ Please	  contact	  the	  electric	  い。使用開始の手続きがpower	  company.	  Please	  完了した後に、ブレーカー turn	  on	  the	  breaker	  ajer	  のスイッチを入れてください。	
the	  procedure	  of	  the	  acTvaTon	  is	  completed.	  	

“します”→“してください”	  Add	  “に”	  “ます”→“てください”	  	電力会社に連絡します。使用開始の手続きが完了した後、ブレーカーのスイッチを入れます。	

1	  rewriter,	  100	  sentences	  in	  municipal	  domain,	  3	  MT	  systems	

9	

38	  features	  to	  be	  regulated	
1. mulTple	  verbs	  in	  a	  sentence	  2. lack	  of	  subject	  3. lack	  of	  object	  4. connecTon	  5. parTcle	  Ga	  (が)	  for	  object	  6. enumeraTon	  A-­‐Mo,	  B-­‐Mo	  (Aも、Bも)	  7. Te-­‐kuru	  (てくる)	  /	  Te-­‐iku	  (ていく)	  8. inserted	  adverbial	  clause	  9. ending	  clause	  with	  Noun	  10. Sahen-­‐noun	  +	  Desu	  (です)	  11. ahribuTve	  use	  of	  Shika	  -­‐	  Nai	  (しか〜ない)	  12. verb	  +	  You	  (よう)	  13. A	  or	  not	  14. Sahen-­‐noun	  +	  Wo	  (を)	  +	  Suru	  (する)	  15. Sahen-­‐noun+	  Sareru（される）	
16. parTcle	  Nado	  (など・等)	  17. giving	  and	  receiving	  verb	  18. redundant	  word	  19. compound	  word	

20. omission	  21. suﬃx	  22. parTcle	  Made	  23. parTcle	  De	  (で)	  24. parTcle	  No	  (の)	  to	  mean	  "by"	  or	  "from"	  25. per	  A	  26. parTcle	  Te	  (て)	  27. if	  parTcle	  To	  (と)	  28. parTcle	  He-­‐Ha	  (へは)	  29. parTcle	  Ni-­‐Ha	  (には)	  30. parTcle	  No-­‐Ka	  (のか)	  31. demonstraTve	  pronoun	  (ko-­‐so-­‐a-­‐do)	  32. parTcle	  Ni	  (に)	  33. Japanese	  Kana	  /	  Chinese	  Kanji	  /	  number	  34. bullet	  mark	  35. unit	  36. punctuaTon	  (sentence	  separaTon)	  37. square	  bracket	  38. wave	  dash	  (〜)	10	

CL	  rules	  (examples)	
Rule	  1.	 Avoid	  using	  mulTple	  verbs	  in	  a	  sentence.	  
Rule	  2.	 Avoid	  omi]ng	  subject.	  
Rule	  9.	 Do	  not	  end	  clause	  with	  noun.	
Rule	  11.	 Avoid	  using	  ahribuTve	  use	  of	  Shika-­‐Nai	  (しか-­‐ない).	
Rule	  14.	 Avoid	  using	  Sahen-­‐noun	  +	  	  Wo	  (を)	  +	  Suru	  (する).	
Rule	  20.	 Do	  not	  omit	  parts	  of	  words	  or	  sentences.	
Rule	  24.	 Avoid	  using	  parTcle	  No	  (の)	  to	  mean	  “by”	  or	  “from”.	
Rule	  36.	 Use	  punctuaTons	  properly	  to	  separate	  sentences.	
Rule	  38.	 Avoid	  using	  wave	  dash	  (〜).	
11	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  12	

EvaluaTon	  framework	
JO	Japanese	
Original:	
燃えるゴミになります。	

Rewrite	JR	

Rewrihen:	
燃えるゴミです。	

MT	English	
AO	  TranslaTon	  for	  JO:	 BO	  It	  becomes	  combusTble.	 CO	  DO	AR	  TranslaTon	  for	  JR:	 BR	  CR	  	  It	  is	  combusTble.	
DR	system	  A	  =	  The	  Hon’yaku	  (Toshiba)	  RBMT:	 system	  B	  =	  TransGateway	  (Kodensha)	  system	  C	  =	  Google	  Translate	  (Google)	  SMT:	 system	  D	  =	  Minnano	  Jido	  Hon’yaku	  (NICT)	  13	

• Data	  4	  sentences	  *	  38	  rules	  =	  152	  sentences	  	– 152	  Japanese	  Original	  sentences	  (JO)	  – 152	  Japanese	  Rewrihen	  sentences	  (JR)	  – 304	  Human	  translaTons	  (HO/HR)	  – 1216	  MT	  sentences	  • 304	  outputs	  of	  system	  A	  (AO/AR)	  • 304	  outputs	  of	  system	  B	  (BO/BR)	  • 304	  outputs	  of	  system	  C	  (CO/CR)	  • 304	  outputs	  of	  system	  D	  (DO/DR)	  RBMT	
SMT	14	

EvaluaTon	  framework	
Japanese	
Original:	

English	TranslaTon	  for	  JO:	燃えるゴミになります。	

It	  becomes	  combusTble.	

Rewrite	MT	

Rewrihen:	

TranslaTon	  for	  JR:	燃えるゴミです。	

It	  is	  combusTble.	

(2)	  Japanese	  readability	  	  	  	  	  	  	  for	  ST	  readers	  (1)	  MT	  quality	  	  	  	  	  	  	  for	  TT	  readers	  15	

(1)	  MT	  quality	  evaluaTon	  • Two-­‐step	  evaluaTon	  method	   (Tatsumi	  et	  al.	  2013)	
1. [Understandability]	  How	  much	  they	  understood	  and	  how	  much	  eﬀort	  was	  required	  2. [Accuracy]	  How	  close	  the	  meaning	  of	  human	  translaTon	  was	  to	  their	  understanding	  of	  MT	  output	  • 24	  adult	  English	  speakers	  with	  lihle	  Japanese	  knowledge	  	  – Each	  sentence	  was	  evaluated	  by	  3	  judges	  16	

(2)	  Japanese	  readability	  evaluaTon	  • Method	   (Hartley	  et	  al.	  2012)	
– Present	  both	  JO	  and	  JR	  – Ask	  judges	  to	  evaluate	  the	  readability	  of	  each	  sentence	  on	  a	  four-­‐point	  scale	  • 3	  Japanese	  naTve	  speakers	  – Each	  sentence	  was	  evaluated	  by	  3	  judges	  17	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  18	

(1)	  MT	  quality	  evaluaTon	
• 4	  categories	  of	  MT	  quality	  Category	
Understandability	 Accuracy	
MT	  useful	◯	◯	MT	  inaccurate	◯	☓	MT	  unintelligible	☓	ー	HT	  	  unintelligible	
☓	  	  ー	(even	  human	  translaTon	  was	  not	  	  understandable)	

19	

Overall	  results	
AO	AR	BO	BR	CO	CR	DO	DR	MT	  useful	  MT	  inaccurate	  MT	  unintelligible	  HT	  unintelligible	

27.4%	
30.9%	
23.2%	
27.2%	
26.5%	
30.0%	
27.0%	
26.3%	

4.6%	
5.5%	
5.0%	
5.7%	
3.9%	
6.8%	
6.4%	
6.8%	

62.1%	
58.8%	
66.0%	
63.4%	
64.7%	
58.3%	
61.0%	
60.1%	

5.9%	
4.8%	
5.7%	
3.7%	
4.8%	
4.8%	
5.7%	
6.8%	

3–4%	  increase	  in	  system	  A,	  B	  and	  C	20	

MT	  useful	  case	  (rule1–13)	
Rule	Feature	A	1	 multiple verbs in a sentence	-25.0 	
✔	   2	 lack of subject	25.0 	
3	 lack of object	
8.3 	✔	   4	 connection	
0.0 	
5	 particle Ga (が) for object	
0.0 	
6	 enumeration A-Mo, B-Mo (Aも、Bも)	
8.3 	
7	 Te-kuru (てくる) / Te-iku (ていく)	
-16.7 	
✔	   8	 inserted adverbial clause	
33.3 	
9	 ending clause with Noun	-8.3 	
✔	   10	
Sahen-Noun + Desu (です)	
16.7 	
11	
attributive use of Shika - Nai (しか〜ない)	 -8.3 	
✔	   12	verb + You (よう)	
8.3 	
16.7 	
✔	   13	
A or not	✔：posiTve	  eﬀects	  on	  4	  MT	  systems	  ✔：posiTve	  eﬀects	  on	  3	  MT	  systems	  B	8.3 	25.0 	33.3 	
16.7 	
8.3 	
-16.7 	0.0 	
-16.7 	0.0 	16.7 	
0.0 	
-8.3 	
25.0 	

C	-8.3 	
25.0 	
0.0 	
8.3 	-8.3 	
0.0 	
8.3 	
8.3 	
0.0 	
25.0 	
25.0 	
8.3 	
8.3 	

（%）	
D	-16.7 	
-16.7 	
-8.3 	
16.7 	
-16.7 	
-16.7 	25.0 	
16.7 	
25.0 	
16.7 	
8.3 	
16.7 	
8.3 	Generally	  applicable	  CL	  rules	 21	

Example	
Rule	  2.	  Avoid	  omi]ng	  subject	  [AO]	  A	  home	  and	  the	  community	  are	  places	  where	  a	  child	  spends	  much	  Tme	  daily,	  and	  study	  that	  it	  is	  various	  in	  a	  life.	  
[AR]	  A	  home	  and	  the	  community	  are	  places	  where	  a	  child	  spends	  much	  Tme	  daily,	  and	  a	  child	  studies	  that	  it	  is	  various	  in	  a	  life.	  
[BO]	  A	  house	  and	  an	  area	  are	  the	  place	  where	  a	  child	  spends	  much	  Tme	  daily,	  and	  various	  things	  will	  be	  learned	  in	  the	  life.	  
[BR]	  A	  house	  and	  an	  area	  are	  the	  place	  where	  a	  child	  spends	  much	  Tme	  daily,	  and	  a	  child	  will	  learn	  various	  things	  in	  the	  life.	  
[CO]	  Home	  and	  regions,	  children	  are	  rouTnely	  spend	  place	  a	  lot	  of	  Tme,	  you	  will	  learn	  a	  variety	  of	  things	  in	  life.	  
[CR]	  Home	  and	  regions,	  children	  are	  rouTnely	  spend	  place	  a	  lot	  of	  Tme,	  children	  will	  learn	  a	  variety	  of	  things	  in	  life.	  
22	Applicability	  of	  the	  rules	
• Generally	  applicable	  CL	  rules	  – 11	  rules	  have	  posiTve	  eﬀects	  on	  at	  least	  three	  MT	  systems	  	  • MT-­‐dependent	  CL	  rules	  	  – EﬀecTveness	  of	  the	  CL	  rule	  is	  varied	  depending	  on	  the	  systems	  – RBMT	  (system	  A,	  B)	  versus	  SMT	  (system	  C,	  D)?	  
à	  Diﬀerent	  “reacTons”	  do	  not	  correlate	  to	  the	  diﬀerent	  “architectures”	  23	

OpTmal	  rule	  set	*18	  rules	  for	  system	  A,	  19	  for	  B,	  19	  for	  C	  and	  16	  for	  D	  	  AO	AR	BO	BR	CO	CR	
DO	DR	MT	  useful	  MT	  inaccurate	  MT	  unintelligible	  HT	  unintelligible	

20.6%	
37.3%	
20.6%	
38.2%	
21.1%	
36.4%	
17.7%	
34.4%	

3.9%	
3.9%	
4.4%	
3.5%	
4.8%	
5.3%	
7.8%	
6.8%	

68.9%	
55.7%	
70.6%	
54.4%	
70.2%	
53.1%	
69.3%	
53.1%	

6.6%	
3.1%	
4.4%	
3.9%	
3.9%	
5.3%	
5.2%	
5.7%	

More	  than	  15%	  increase	  for	  all	  systems	

24	

(2)	  Japanese	  readability	  evaluaTon	
• 2	  categories	  of	  JA	  readability	  Category	
Acceptable	

Op9on	
1.	  Easy	  to	  read	  2.	  Fairly	  easy	  to	  read	
Unacceptable	 3.	  Fairly	  diﬃcult	  to	  read	  4.	  Diﬃcult	  to	  read	  	25	Japanese	  readability	  (rule1–13)	  	Rule	

Feature	Improvement	  (%)	1	 multiple verbs in a sentence	-16.7 	

2	 lack of subject	3	 lack of object	
4	 connection	

41.7 	
33.3 	
-25.0 	

5	 particle Ga (が) for object	33.3 	

6	 enumeration A-Mo, B-Mo (Aも、Bも)	
7	 Te-kuru (てくる) / Te-iku (ていく)	
8	 inserted adverbial clause	
9	 ending clause with Noun	10	 Sahen-Noun + Desu (です)	
11	 attributive use of Shika - Nai (しか〜ない)	
12	 verb + You (よう)	
13	 A or not	

-41.7 	16.7 	
0.0 	
-16.7 	33.3 	
-8.3 	
8.3 	
-16.7 	

26	CompaTbility	  of	  ST	  and	  TT	  quality	
Rule	1	
2	
3	
4	
5	
6	7	
8	
9	
10	
11	12	13	
14	
15	
16	
17	
18	
19	

A	

B	

C	

D	ST	

✔	
✔	

✔	

✔	✔	
✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	

✔	Rule	A	

B	

C	

20	  21	  22	  23	  24	  25	  26	  27	  28	  29	  30	  31	  32	  33	  34	  35	  36	  37	  38	  ✔	

✔	

✔	

✔	

✔	

✔	

✔	

D	

ST	

✔	
✔	
✔	

✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	✔	27	

Example	  (adverse	  eﬀect)	
Rule 20. Avoid omission	
[JO]	  月・水・金曜日の午前9時から午後4時まで開設しており、3月末まで開設しています。	  
[BO]	  It’s	  established	  from	  a	  month	  and	  9:00am	  of	  water	  and	  Friday	  to	  4:00pm	  and	  it’s	  established	  unTl	  the	  end	  of	  March.	  	  ↓	[JR]	  月曜日・水曜日・金曜日の午前9時から午後4時まで開設しており、3月末まで開設しています。 	
[BR]	  It’s	  established	  from	  9:00am	  of	  Monday,	  Wednesday	  and	  Friday	  to	  4:00pm	  and	  it’s	  established	  unTl	  the	  end	  of	  March.	  	  28	Outline	
1. Background	  and	  objecTves	  2. CL	  formulaTon	  3. CL	  evaluaTon	  4. Results	  and	  discussions	  5. Conclusion	  and	  future	  plan	  29	Conclusion	
• Applicability	  – 11	  general	  rules	  eﬀecTve	  for	  at	  least	  three	  MT	  systems	  – More	  than	  15%	  improvement	  if	  we	  compile	  op9mal	  rule	  sets	  • CompaTbility	  – About	  two	  thirds	  of	  the	  CL	  rules	  improved	  or	  retained	  Japanese	  source	  readability	  – DegradaTons	  in	  readability	  for	  humans	  ojen	  correlate	  with	  redundancy	  generated	  by	  the	  rules	
30	Future	  plan	
• CL	  rules	  that	  degrade	  ST	  quality	  become	  background	  (automaTc)	  rewriTng	  rules	  CL	  rules	 Background	  rewri9ng	  rules	
Source	  text		

Pre-­‐edited	  text	  for	  MT		MT	  system	

Raw	  outputs	  Post-­‐edited	  text		

• Implement	  our	  CL	  formulaTon	  protocol	  to:	  – other	  language	  pairs	  – other	  text	  domains	  Thank	  you!	  

mutual-­‐project.com	

31