語彙的対応関係の一般化に基づく	  言い換え知識の拡張	  藤田 篤	  Pierre	  Isabelle 	  	  	  情報通信研究機構	  	  Na,onal	  Research	  Council	  Canada 	  今日の話題! 与えられた言い換え知識の自動拡張	  l 言い換え知識:	  言い換え関係にある表現の対の集合	  l 提案手法	  n関係ありそうな語の対の抽象化	  amendment	  of	  regula,on	  	  X:ment	  of	  Y:φ	  nlamending	  regula,on	  X:ing	  Y:φ	  大規模単言語コーパスからの具体例の抽出	  investment	  of	  resources	  investing	  resources	  recruitment	  of	  engineers	  recruiting	  engineers	  実験結果	  規模:	  コーパスの規模によるが100倍のオーダーは達成可能	  n 精度:	  ナイーブな使い方でも従来手法と同程度以上
n2

背景と動機言い換え:概ね同じ意味内容を表す言語表現! 語や語の列	  The	  roof	  looks	  like	  a	  prehistoric	  lizard’s	  spine.
The	  roof	  resembles	  a	  prehistoric	  lizard’s	  spine.

! 節内の構造変換	  Employment	  showed	  a	  sharp	  decrease.
Employment	  decreased	  sharply.
The	  car	  collided	  with	  the	  bicycle.	  	  The	  car	  and	  the	  bicycle	  collided.	  	  ! 複数の節にまたがる構造変換	  It	  was	  his	  best	  suit	  that	  John	  wore	  to	  the	  dance	  last	  night.	  
John	  wore	  his	  best	  suit	  to	  the	  dance	  last	  night.	  
4言い換え(生成)に必要な知識! とくに言い換え知識	  l 言い換え関係にある表現の集合(一般に対)の集合	  nl何らかの文脈で同義かつ置き換え可能	  一般に文よりも小さなテキスト断片	  n表層表現	  (構造情報を含む場合も)	  重傷	  重傷を負う	  n大ケガ	  resemble	  look	  like	  大ケガをする	  comfort	  console	  パターン，テンプレート	  VPする恐れがある	  X	  wrote	  Y	  X:ment	  of	  Y:φ	  VPしてしまうかもしれない	  X	  is	  the	  author	  of	  Y	  X:ing	  Y:φ	  5言い換え知識の自動獲得の研究動向! 獲得元	  l (シソーラス)	  l 単言語(シングル)コーパス	  l 単言語パラレルコーパス	  l 単言語コンパラブルコーパス	  l 異言語パラレルコーパス	  (対訳コーパス)	  ! 手がかり	  l 周辺文脈 [Harris,	  54][Lin+,	  01]	  l 共通の翻訳	  [Barzilay+,	  01][Bannard+,	  05][Callison-­‐Burch,	  08]	  l 概念，トピック，用語 [Shinyama+,	  02][Hashimoto+,	  11]	  6

単言語シングル + 分布仮説	  ! 分布仮説 [Harris,	  54]	  l “類似する文脈でよく使われる表現は似た意味を持つ”	  nl

文脈素性:	  左右の隣接 n-­‐gram，構造上の隣接要素	  e.g.,	  “Tezgüno”	  [Pantel+,	  02]	  nwine,	  cognac,	  whiskey と似ている à アルコール飲料	  A	  bo\le	  of	  tezgüno	  is	  on	  the	  table	  Everyone	  likes	  tezgüno	  Tezgüno	  makes	  you	  drunk	  We	  make	  tezgüno	  out	  of	  corn	  l同義とは限らない:	  e.g.,	  反義語，上位下位語	  resembles	  tezgüno	  decrease	  liquor	  looks	  like	  wine	  increase	  wine	  7

異言語パラレル +	  アラインメント	  ! 翻訳を意味表現として用いる [Bannard+,	  05]	  l 分布仮説における「文脈」よりも信頼できる	  nl対訳コーパスから自動的に獲得可能	  nl多義性の問題は残る	  単語アラインメント	  +	  対訳句対の抽出	  対訳コーパス	  <<	  単言語コーパス	  自動的に学習したフレーズテーブル
health	  issue 	  	  	  |||	  problème	  de	  santé	  health	  problem 	  	  |||	  problème	  de	  santé	  regional	  issue 	  	  |||	  problème	  régional	  regional	  problem	  	  |||	  problème	  régional	  health	  issue	  health	  problem	  regional	  issue	  regional	  problem	  8

単言語コンパラブル +	  アラインメント	  ! 複数の語釈文の対応付け	  l 複数の辞書における語釈文 [Murata+,	  04]	  l Webから得た定義文	  [Hashimoto+,	  11][Yan+,	  13]	  l コンパラブルコーパス <<	  シングルコーパス	  Osteoporosis	  a	  disease	  that	  decreases	  the	  quan,ty	  of	  bone	  and	  makes	  bones	  fragile	  a	  disease	  that	  reduces	  bone	  mass	  and	  increases	  the	  risk	  of	  bone	  fracture

decreases	  the	  quan,ty	  of	  bone	  	  reduces	  bone	  mass	  makes	  bones	  fragile	  increases	  the	  risk	  of	  bone	  fracture	  9カバレージと精度の両立が課題	  ! 単言語コーパス + 分布仮説	  l Pro.	  大規模コーパス à 高カバレージ	  l Con.	  周辺文脈の類似性は弱い手がかり à	  低精度	  ne.g.,	  反義語，上位下位語も似た文脈で使われる	  ! パラレル/コンパラブルコーパス	  +	  アラインメント	  Pro.	  文単位の同義性/類義性 à	  高精度	  l Con.	  規模が限られる à 低カバレージ	  l10

品質を保ったまま知識を拡張する

与えられた言い換え知識の拡張! タスクの定義	  l 入力:	  高品質な言い換え知識	  l 出力:	  新たな言い換え知識	  ! 提案手法	  l関係ありそうな語の対の抽象化	  amendment	  of	  regula,on	  	  X:ment	  of	  Y:φ	  lamending	  regula,on	  X:ing	  Y:φ	  大規模単言語コーパスからの具体例の抽出	  investment	  of	  resources	  investing	  resources	  recruitment	  of	  engineers	  recruiting	  engineers	  12手続きSSeed : 種となる言い換え表現対の集合
airports	  in	  Europe	  ⇔	  European	  airports	  amendment	  of	  regula,on	  ⇔	  amending	  regula,on	  should	  be	  noted	  that	  ⇔	  is	  worth	  no,ng	  that	  Step 1. 言い換えパターンの獲得	
言い換えパターン	
X:φ	  in	  Y:φ	  ⇔	  Y:an	  X:φ	  X:ment	  of	  Y:φ	  ⇔	  X:ing	  Y:φ	  should	  be	  X:ed	  that	  ⇔	  is	  worth	  X:ing	  that	  Step 2. 新規言い換え表現対の収集	

単言語コーパス

SLV : 新規言い換え表現対の集合	
cohesion	  in	  Europe	  ⇔	  European	  cohesion	  democracy	  in	  Europe	  ⇔	  European	  democracy	  increase	  in	  Hai,	  ⇔	  Hai,an	  increase	  transporta,on	  in	  suburb	  ⇔	  suburban	  transporta,on	  economy	  in	  Uruguay	  ⇔	  Uruguayan	  economy	  amendment	  of	  documents	  ⇔	  amending	  documents	  amendment	  of	  protocol	  ⇔	  amending	  protocol	  investment	  of	  resources	  ⇔	  investing	  resources	  recruitment	  of	  engineers	  ⇔	  recruiting	  engineers	  should	  be	  highlighted	  that	  ⇔	  is	  worth	  highlighting	  that	  should	  be	  reiterated	  that	  ⇔	  is	  worth	  reiterating	  that	  should	  be	  stated	  that	  ⇔	  is	  worth	  stating	  that	  13Step	  1.	  言い換えパターンの獲得! 種となる(高品質な)言い換え表現対の集合	  (SSeed)	  à 言い換えパターンの集合	  両辺において対応関係にある語を変数化	  l 作業仮説:	  言い換え表現対の各辺にあり，	  同じ語幹を持つ語の対は，特定の(意味的な)関係を持つ	  lamendment	  of	  regula,on	  	  X:ment	  of	  Y:φ	  amending	  regula,on	  X:ing	  Y:φ	  14

対応関係のある語の同定! 語幹を厳密には同定せず，文字ベースの候補生成	  l (“that”,	  “this”)	  à (“X:at”,	  “X:is”)	  /	  “th”	  l (“oblige”,	  “force”)	  à (“oblig:X”,	  “forc:X”)	  /	  “e”	  l (“amendment”,	  “amending”)	  à	  (“X:ment”,	  “X:ing”)	  /	  “amend”	  l (“unclear”,	  “clear”)	  à	  (“un:X”,	  “φ:X”)	  /	  “clear”	  ! 接辞パターン候補のフィルタリング	  l 長さ k	  以上の語幹 n	  種類に対して観察された	  接辞パターン候補のみを残す [Gaussier,	  99]	  k:	  共通部分の最小文字数 (5)	  n n:	  語幹の種類	  (2)	  n15

自動的に同定した語対の例! 	  	  X:φ	  in	  Y:φ	  Y:an	  X:φ	  l (“Hai,”,	  “Hai,an”),	  (“Tibet”,	  “Tibetan”),	  (“Uruguay”,	  “Uruguayan”),	  (“Chicago”,	  “Chicagoan”),	  (“Elizabeth”,	  “Elizabethan”),	  (“suburb”,	  “suburban”)	  !	  	  X:ment	  of	  Y:φ	  X:ing	  Y:φ	  l (“development”,	  “developing”),	  (“treatment”,	  “treating”),	  (“payment”,	  “paying”),	  (“employment”,	  “employing”),	  (“investment”,	  “investing”)	  Y:φ	  which	  can	  be	  X:ed	  	  ! 	  	  X:able	  Y:φ	  l (“adjustable”,	  “adjusted”),	  (“reportable”,	  “reported”),	  (“playable”,	  “played”),	  (“diversiﬁable”,	  “diversiﬁed”),	  (“recordable”,	  “recorded”)	  16

Step	  2.	  新規言い換え表現対の収集! 言い換えパターンの集合	  +	  単言語コーパス	  à 新規言い換え表現対の集合 (SLV)	  l各パターンの両辺にマッチする表現を抽出	  nl両表現の存在性を重要視	  各対の信頼性を文脈類似度で定量化

X:ment	  of	  Y:φ	  X:ing	  Y:φ	  amendment	  of	  documents	  amending	  documents	  amendment	  of	  protocol	  amending	  protocol	  単言語コーパス investment	  of	  resources	  investing	  resources	  recruitment	  of	  engineers	  recruiting	  engineers	  17

信頼性:	  表現の存在性と表現対の類似性! 表現の存在性:	  コーパス中に一定回数出現	  ! 表現対の類似性:	  文脈類似度	  l 文脈素性:	  隣接する左右トークンn-­‐gram	  [Marton+,	  09]	  cf.	  bag-­‐of-­‐words:	  安価だがノイジー	  n cf.依存構造上の隣接要素:	  正確だが高価	  nThere	  have	  been	  many	  approaches	  to	  compute	  the	  similarity	  between	  words	  based	  on	  their	  distribu,on	  in	  a	  corpus.	  

to	  ___	  between	  lベクトルの比較:	  コサイン類似度，Jaccard係数，etc.	  

18先行研究	  (1)
! 表現の外側に変数を制約として付加	  l 元の表層表現のスコアリングのために変数を付加	  	  [Lin+,	  01][Ravichandran+,	  02][Szpektor+,	  04]	  nSimilarity(“ﬁnd	  a	  solu,on	  to”,	  “solve”)	  =def	  GeoMean(Similarity(X1,	  X2),	  Similarity(Y1,	  Y2))	  X1	  ﬁnd	  a	  solu,on	  to	  Y1	  l両者が置換可能な条件を特定 [Callison-­‐Burch,	  08][Zhao+,	  09]	  n“create	  equal”	  が右側のNPを含まないVPで，	  そのNPがその右側の複数形の名詞句(NNS)を含まないならば，	  	  “crea,ng	  equal”	  に置換可能	  create	  equal:	  VP/(NP/NNS)	  lX2	  solve	  Y2	  crea,ng	  equal	  集合拡張の諸手法も対象の外側の抽象化	  ( 文脈類似度)	  19

先行研究	  (2)	  ! 人間による帰納 [Jacquemin,	  99][Fujita+,	  07]	  l 言い換えにおける派生語間の関係に着目	  l 高コスト，言語依存	  n関数の実体となる辞書も人間が編纂	  X	  solves	  Y	  X	  V	  Y	  Y	  is	  solved	  by	  X	  Y	  is	  V-­‐PP	  by	  X	  X	  gives	  Y	  a	  fright	  X	  gives	  Y	  a	  N	  Y	  is	  frightened	  of	  X	  Y	  is	  v(N)-­‐PP	  of	  X	  X	  is	  in	  our	  favor	  X	  is	  in	  N’s	  Y	  X	  is	  favorable	  to	  us	  X	  is	  adj(Y)	  to	  N	  X	  shows	  a	  sharp	  decrease	  X	  shows	  a	  A	  N	  X	  decreases	  sharply	  X	  v(N)	  adv(A)	  20

提案手法の特徴! 全自動・教師なし	  l ごく少数のパラメタ	  (カバレージと精度のバランサ)	  ! 種々の語彙的対応関係をカバー	  l 派生語	  l 語形変化	  (e.g.,	  数，性，格)	  l 異表記	  (e.g.,	  -­‐nize/-­‐nise)	  ! 単言語コーパスが大きいほどレバレッジが効く	  l 対訳コーパスを大きくするよりも安価	  21

英語の言い換え知識獲得実験	  規模・精度

Step	  0.	  種となる言い換え知識の獲得! 異言語パラレルコーパス(対訳コーパス)	  à 種となる(高品質な)言い換え表現対の集合	  (SSeed)	  lBilingual	  pivo,ng	  [Bannard+,	  05]	  health	  issue 	  	  health	  problem 	  regional	  issue 	  regional	  problem	  l

	  |||	  problème	  de	  santé	  	  |||	  problème	  de	  santé	  	  |||	  problème	  régional	  	  |||	  problème	  régional	  health	  issue	  health	  problem	  regional	  issue	  regional	  problem	  各種クリーニング [Fujita+,	  12]	  ストップリスト	  n 言い換え確率	  p(e2 |e1 ) =nX

f 2tr (e1 )\tr (e2 )

p(e2 |f )p(f |e1 )23

データ! コーパス (2種類の設定)	  l Europarl	  (En-­‐Fr)	  対訳:	  Europarl	  (v7)	  2.0M文/55.7Mトークン	  (en)	  n 単言語:	  WMT	  News	  Crawl	  (2011-­‐2013)	  52.0M文/1.20Bトークン	  n

lNTCIR	  (En-­‐Ja)	  対訳:	  NTCIR	  特許翻訳コーパス 3.2M文/107Mトークン	  (en)	  n 単言語:	  NTCIR	  2006-­‐2007年分 39.9M文/1.36Bトークン	  n24

使用したツール! トーカナイザ	  l En,	  Fr:	  Mosesdecoder	  (RELEASE-­‐2.1.1)	  の tokenizer.perl	  l Ja:	  MeCab	  (0.996)の分かち書き	  ! 単語アラインメント:	  SyMGIZA++	  lIBM-­‐2	  単語アラインメント	  ! フレーズテーブルの学習:	  Mosesdecoder	  l Diag-­‐grow-­‐ﬁnal	  l フレーズ長の上限:	  8	  l Signiﬁcance	  pruning	  [Johnson+,	  07]	  25

新たに獲得できた言い換え表現対の数
10240
137.6M

863.8M

107

0.97M

106
105

NTCIR: SLV
Europarl: SLVNTCIR: SSeed
Europarl: SSeed

104
10

1.37M

3106
107
108
# of words in the English side of bilingual corpus

Ratio of paraphrase pairs
against SSeed# of paraphrase pairs

109

NTCIREuroparl

205
200
160
109

120

100

80
40
066
41
106
107
108
# of words in the English side of bilingual corpus! 顕著に大規模な言い換え知識を構築可能	  l 対訳コーパスが大きいほど	  獲得できる言い換え表現対が多い	  (PSeed,	  PLV	  ともに)	  n コーパスのサイズ比が小さいためレバレッジは小さい	  nllEuroparlの1/16以下を用いた設定では異なる振る舞い	  単言語コーパスはもっとある à さらなる大規模化も可能
26

掘り当てたのは本当に金か?
! 人間による精度の評価:	  文脈における置換テスト	  l intrinsicにしたいが	  l 言い換え生成	  (ナイーブな置換+LM)	  [Callison-­‐Burch,	  08]	  	  l評価対象looks	  like	  resembles	  原文The	  roof	  looks	  like	  a	  prehistoric	  lizard’s	  spine.

言い換え文The	  roof	  resembles	  a	  prehistoric	  lizard’s	  spine.

プロトコル [Fujita,	  13]	  同じ箇所に対する複数の言い換え候補を同時に見ながら	  n 2つの基準で	  nまず文法性の評価	  (5段階)	  l 次に意味の等価性の評価	  (6段階)	  ln各々決定木に従って	  27

評価対象データ! 候補生成	  l WMT	  2011-­‐2013	  “newstest”	  data	  (10,050文)	  n制約:	  10-­‐30	  words	  (5,850文)	  Europarl 設定の PSeed	  (0.97M対) と PLV	  (63.8M対)	  l 89k箇所に対する1.0M件の言い換え事例	  l! スコアリング	  l5-­‐gram	  LMを用いて各箇所に対するベスト3を選択	  ! サンプリング	  l重複のない語句200件	  (言い換え文対600件)	  PSeed	  由来:	  66件	  n PLV	  由来:	  534件	  n28

文法性の評価! 評価対象:	  言い換え後の文のみ! 評価者3名のKappa値	  l 5段階:	  0.51	  -­‐	  0.56	  (moderate)	  l 2段階:	  0.64	  -­‐	  0.79	  (substan,al)	  Q2Perfect	Awkward	

Q1
Q4
Q3

Minor	  Problem	

OKNGMajor	  Problem	

Irredeemable	
29意味の等価性の評価! 評価対象:	  言い換え前の文と言い換え後の文の対	  ! 評価者3名のKappa値	  l 6段階:	  0.27	  -­‐	  0.35	  (fair)	  l 2段階:	  0.48	  -­‐	  0.53	  (moderate)	  Completely	  Diﬀerent	Signiﬁcantly	  Diﬀerent	

Q1

Missing	  Negligible	  Info.	

Q2

Q4
Q3

NG
OKAdding	  Negligible	  Info.	
Other	  Ignorable	  Change	Equivalent	30

評価結果! 精度:	  3人の評価者，2段階評価の多数派に基づく	  文数 文法性
SSeed	 66	 0.85	
SLV	534	 0.74	
合計 600	 0.75	
l

両方0.76	
0.59	0.61	

SSeed	  由来の言い換えの精度は十分に高い	  nl

意味の等価性0.91	
0.78	0.79	

クリーニングの効果 [Fujita+,	  12;	  13]	  SLV	  由来の言い換えも従来手法と同等以上	  nstate-­‐of-­‐the-­‐artにおける値 [Callison-­‐Burch,	  08]	  評価者，データが異なるので参考まで	  l Europarl	  (10言語-­‐En)	  +	  CCG	  +	  LM	  l 文法性	  0.68,	  意味の等価性 0.62,	  両方 0.55	  
	  l

31

主なエラーの原因! フレーズ全体のカテゴリ交替	  評価対象

considered	  suﬃciently	  suﬃcient	  considera,on	  原文The	  safety	  issue	  was	  considered	  suﬃciently	  serious	  for	  all	  aﬀected	  par,es	  to	  be	  informed.

言い換え文The	  safety	  issue	  was	  suﬃcient	  considera,on	  serious	  for	  all	  aﬀected	  par,es	  to	  be	  informed.

! 数や冠詞などの Agreement 誤り	  評価対象

poten,al	  buyers	  a	  poten,al	  buyer	  原文...	  there	  are	  tons	  of	  poten,al	  buyers	  of	  military	  weapons.

言い換え文...	  there	  are	  tons	  of	  a	  poten,al	  buyer	  of	  military	  weapons.

! 言い換え認識の応用タスクでは有用	  32

まとめ! 与えられた言い換え知識の自動拡張	  l 言い換え知識:	  言い換え関係にある表現の対の集合	  l 提案手法	  n関係ありそうな語の対の抽象化	  amendment	  of	  regula,on	  	  X:ment	  of	  Y:φ	  nlamending	  regula,on	  X:ing	  Y:φ	  大規模単言語コーパスからの具体例の抽出	  investment	  of	  resources	  investing	  resources	  recruitment	  of	  engineers	  recruiting	  engineers	  実験結果	  規模:	  コーパスの規模によるが100倍のオーダーは達成可能	  n 精度:	  ナイーブな使い方でも従来手法と同程度以上
n33