大規模言語資源時代の意味談話処理	
乾 健太郎"
東北大学	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	感謝します	
本講演の機会を与えてくださったプログ
ラム委員の諸氏，講演内容について多くの貴重な助言をいただいた黒橋禎夫
氏（京都大学），宮尾祐介氏（国立情報学研究所），小町守氏（奈良先端科学
技術大学院大学），東北大学乾・岡崎研究室の諸氏に深く感謝いたします．	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

2	

自然言語の理解	
週末に母とやなぎに行きました。
私は評判のきつねうどんを頼みました。期待通りの味に大満足。	
やなぎはうどん屋の名前	
やなぎに行ったのは私	
頼んだは注文したと同じ	
私はきつねうどんを食べた	
味はきつねうどんの味	
大満足は美味しかったってこと	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

4	

歴史	

1990	

1980	
応
用
インプリカチャ	

意
味
処
理

合理主義	
プラン/意図理解	
知識表現	
制約に基づく文法	

基
盤
技
術

2000	

2010	

行為の意図を読む	
庭に洗濯物を全部干し終わったところに，雨が降ってきた	
ガッカリ	
庭に洗濯物を干す	

雨が降る	〈洗濯物を干す〉 効果	
 〈洗濯物が乾く〉
原因結果〈晴れ〉 （条件）	
 〈洗濯物が乾く〉©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

常識的な
知識	

6	

歴史	

2000	

1990	

2010	

1980	
統計的機械翻訳	

応
用

情報検索	
 情報抽出・質問応答	

経験主義	

インプリカチャ	

意
味
処
理

合理主義	
プラン/意図理解	

知識獲得のボトルネック	

知識表現	
制約に基づく文法	基
盤
技
術

共参照解析	

経験主義	述語項構造解析	

固有表現抽出	
統計的形態素/構文解析	

歴史	

2000	

1990	

2010	
情報爆発	

1980	

統計的機械翻訳	
知

応
用

識

情報検索	
 情報抽出・質問応答	

合理主義	
プラン/意図理解	

知識獲得のボトルネック	

大規模な
知識獲得	

知識表現	
制約に基づく文法	

基
盤
技
術

	

経験主義	

インプリカチャ	

意
味
処
理

獲
得

共参照解析	

経験主義	述語項構造解析	

固有表現抽出	
統計的形態素/構文解析	

歴史	

2000	

1990	

2010	
情報爆発	

1980	

統計的機械翻訳	
知

応
用

識

情報検索	
 情報抽出・質問応答	

プラン/意図理解	

推論	
知識獲得の
ボトルネック	

大規模な
知識獲得	

知識表現	
制約に基づく文法	

基
盤
技
術

	

合理主義	

編
集

	

経験主義	

インプリカチャ	

意
味
処
理

獲
得

知

意味談話
共参照解析	
経験主義	解析	

述語項構造解析	

固有表現抽出	
統計的形態素/構文解析	   
Knowledge Acquisition for NLP 2009 
Tutorial at Japanese NLP 2009

Satoshi Sekine
New York University
Tutorial at Japanese NLP-2009

Knowledge Discovery for NLP

Satoshi Sekine (NYU)

関根聡（2009） 自然言語処理のための知識獲得．言語処理学会第15回年次大会チュートリアル資料．	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

10	風間淳一，橋本力，山田一郎（2010） NICT発の言語資源−ALAGINフォーラムの活動を中心に−．
言語処理学会第16回年次大会チュートリアル資料．	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

11	

ALAGINフォーラム	
http://alagin.jp/	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

12	

本講演では	• 大規模言語資源時代の意味談話処理"– 意味談話処理 → むちゃくちゃ広い"– 全体をカバーするのは困難"• 大規模言語資源のインパクトに焦点"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

13	

大規模言語資源のインパクト①	
個々の部分問題における外部資源の利用	
談話関係	

出力（e.g. 述語項構造）	

事実性	
時間関係	

述語項構造	語義	

外部資源	
入力（e.g. 依存構造）	

固有表現	

シソーラス	
共起行列"
格フレーム辞書"
スクリプト知識"POS, 統語構造	
言語処理学会第18回年次大会チュートリアル資料	

…

©2012 Kentaro Inui		

センチメント	解析モデル	

訓練事例	14	

大規模言語資源のインパクト②	
意味解析モデル構築と知識獲得の融合	
/#/&0 $"
SCP[G" #/R]J
>6OTC[
D[NZI]

?@& :A< )!

*-!
D[NZI]

WRY ;FWJK


*89
& 

?@8*89

("= )!&-"*893\JH]Q"

MEJN

DRT
modal ULXMB
logic 1-52
3


 .


©2012 Kentaro Inui	

'\ "
>+%

NLP
>(SIVXMB ^(4,/_
7@

7@

言語処理学会第18回年次大会チュートリアル資料	

DCS

=;

15	

大規模言語資源のインパクト③	
実応用の広がり"
テキストマイニング	
意見/評判分析	
  
質問応答	
  
意思決定支援	  機械翻訳	
  その他いろいろ	  ©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

16	

本講演では	• 大規模言語資源のインパクトに焦点"①個々の部分問題における外部資源の利用""→ 方法論的には従来の延長，あまり話しません"②意味解析モデル構築と知識獲得の融合""→ 大きな動きあり，少し詳しく話します	③実応用の広がり""→ 話しません"• 動向を俯瞰する視座 → 地図を用意しました"– 個別の技術ではなく，地図の見方を解説します"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

意味談話解析研究の地図	
!9)Q$K(QLStHu#A><+
2NOL
HS 8 ©2012 Kentaro Inui

&IS

&IS

X killdie of X

X preventheart attack

1

1

0

heart disease

1

1

0

exercise

0

0

1

X is key to Y

X reduce
risk of Y

X prevent Y"−<8FE

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 0

1

1

?4−<8FE



DCS

&PN

% -10#

5B70'
3

+2heart attack+2)
G=F;7;B:>H

1

1

0

heart disease

1

1

0

exercise

0

0

1

+!−(%0/
diet – heart attack

1

exercise – breast cancer

1

aspirin – blood clots 0−(%0/heart attack  ,'."$

1

0

heart disease

1

1

0

exercise00+!−(%0/

1

1

1

0



0

diet – heart attack1

1

exercise – breast cancer

1

1

1

1

1

aspirin – blood clots 0

1

1




1)0'$'-&*2

"-$



W_X 7MF%\Ydb
5I/Vd]bR
/FW_X

FUbXYbX"W_XUbXYbX5I/Vd]bR
/FW_X"-$%./#  ,'."$

1

1

©2012 Kentaro Inui

5B73)./,"-$%./#

X prevent1)0'$'-&*2"-$


die of X
 

;, 

"-$



X kill

X prevent

die of X

X kill−(%0/

NLP
#Q7h]lnbV t7E<?u

4B1 "
 

"-$
:=/218+akscnUo@'

#
G
*H

4B1 "

X reduce
risk of Y

"

$.

X reduce
risk of Y


!>

$.

X prevent YbY^c&cS
NE/FW_X

DRT
modal j`nbV
logic B=F*CD 

4BQS0

:&'*eWebf"!% Web)

DC/

70P!8.

5=0:J%K
D r^\sf"

HS9 

'*"
!% 

W_X 7M
F%
\Ydb



:=!
Xqcp]smgo-NZm^_


:J%K
5 

RSJ:J%K

9F?BHQ
NPS#A><+

X is key to Y

RS5 MTO!8.

X is key to Y

diWqXqcp]s"SG

6r !"Q;4

X prevent Y/1?5A3"hWeq[" 1?gs^
QG
!,

!% SEeKf

JJ

=@ 3618-Z^d[`TaC(1<58IEGM 742"
`Ca

5B78CE6

!M 2"L*1<
MFNMXU_]P&

#0@;C57

,)L D
OF<PX
U_]H

<M/ "+8M%0^$"?DB[]R_S

+8Y_T+8P;(

<` @aM= >,)K<P 

&0' 

: .
"
KJ

!M742"L*©2012 Kentaro Inui©2012 Kentaro Inui	!"18  9AF;C4D$(((©2012 Kentaro Inui

36'-18#VZ_W[Q\9

言語処理学会第18回年次大会チュートリアル資料	

BA

18	

本講演の構成	
1. Annotation layer cake"2. 情報抽出と知識獲得の今"
3. Making the implicit explicit"
4. やわらかい記号の世界"
5. ルールを作るところから	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

意味談話解析：テキスト→意味表現	
① 漸進的（水平）アプローチ"– Corpus annotation layer cake"– 各レイヤの入出力を設計"

談話関係	
事実性	
時間関係	
センチメント	② 応用指向的（垂直）アプローチ" 述語項構造	– 問題を限定し，出口を設定"– 情報（関係）抽出"

語義	
固有表現	
POS, 統語構造	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

20	Corpus Annotation Layer Cake"
談話関係	

Penn Discourse
Treebank	

時間関係	

TimeBank	• 同じテキストに重層的に付与"• 注釈付きコーパスは他にも多数	

センチメント	

MPQA	

述語項構造
（省略）	

NomBank	
PropBank	

照応・共参照	
語義・固有表現	句/依存構造	
形態素	©2012 Kentaro Inui	

GNOME	

OntoNote	CoNLL
FactBank	
 2012	

Prague Discourse TB	

モダリティ	GDA	

GDA	FrameNet	 BCCWJ	
ACE/EDT

京大 NAIST
テキスト
TC コーパス
	
 GDA	
4.0	

BCCWJ	

Penn Treebank	
英語	

BCCWJ

日本語コーパス

言語処理学会第18回年次大会チュートリアル資料	

京大
コーパス
日本語	

21	

述語項構造	• PropBank （Palmer+ 05）： 動詞の項"• NomBank （Meyers+ 04）： 名詞の項	
OBJ	

SBJ	

NMOD	

PMOD	
COORD	
CONJ	

APPO	
LOC	
 NAME	INSTITUTION	
  

依存構造	

COORD	
COORD	CONJ	AGENT	  AM-­‐LOC	
   AGENT	  base.01	
©2012 Kentaro Inui	PRODUCT	  make.01	

THEME	  distribute.01	

THEME	
  
AGENT	
  述語項構造	

言語処理学会第18回年次大会チュートリアル資料	

product.01	
22	

イベントの事実性	
• FactBank （Sauri & Pustejovsky 09）	R. Sauri. FactBank 1.0 Annotation Guidelines, 2008	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	イベントの事実性	
Newspaper reports have said Amir was infatuated with
Har-Shefi and may have been trying to impress her bykilling the prime minister.	

R. Sauri. FactBank 1.0 Annotation Guidelines, 2008	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

共参照関係	• OntoNotes （Pradhan+ 11）"– She had a good suggestion and it was
unanimously accepted by all.
– Japan’s domestic sales of cars, trucks andbuses in October rose 18% from a year
earlier to 500,004 units, a record for themonth, the Japan Automobile Dealers’
Association said. The strong growthfollowed year-to-year increases of 21% inAugust and 12% in September.	
S. Pradhan, L. Ramshow, M. Marcus, M. Palmer, R.Weischedel, and N. Xue （2011）
CoNLL-2011 Shared Task: Modeling Unrestricted Coreference in OntoNotes, CoNLL Shared Task.
	
25	
©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	

テキストから意味表現へ	
共参照	
事実性	
述語項構造	
固有表現	

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2),
co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2),local-concern(x3),

Bridgestone Sports Co. said Friday it has set up a joint
venture in Taiwan with a local concern and a Japanesetrading house to produce golf clubs to be shipped to Japan.
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

26	

テキストから意味表現へ	
capitalize(e2),factuality(e2, CT+),
theme(e2, x2),
BridgestoneSports-Taiwan-Co.(x2),amount(e2, NT$2,000,000)

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2),
co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2),local-concern(x3),

Bridgestone Sports Co. said Friday it has set up a joint
venture in Taiwan with a local concern and a Japanesetrading house to produce golf clubs to be shipped to Japan.
The joint venture, Bridgestone Sports Taiwan Co.,
capitalized at 20 million new Taiwan dollars, will start
production in January 1990. 	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

27	

個別の部分問題での外部資源の利用	
研究多数（NLPマジョリティ）	
談話関係	

出力（e.g. 述語項構造）	

事実性	

訓練事例	

時間関係	

述語項構造	語義	

外部資源	
入力（e.g. 依存構造）	

固有表現	

シソーラス	
共起行列"
格フレーム辞書"
スクリプト知識"POS, 統語構造	
言語処理学会第18回年次大会チュートリアル資料	

…

©2012 Kentaro Inui		

センチメント	解析モデル	

28	

大規模外部資源のインパクト	
（Kawahara & Kurohashi 06; Sasano+ 2010）	
%ry}t'0
1!

@;D'Bl}i!

' 8#V1
0.9!

r[xiw|c!

bvgiw|c!

' 8#!

%ry}t~GGGGGG
100ry}t !

150un}b !

I *QYJ!
ojmz}bH H<H/H!
"H…!}!`!
3H>&H,H6B&H…!F{!

0.8!

%8#V1
0.7!


 0.6!
 0.5!

 0.4!
%ry}t!
V_pyjf4@;!

=7(]^skagm!

2:<
-+8#V1APH!
 )L K?X !)L.PH!
 )L K?X !)LNTH!
 )L K?X !)L2:<V!


0.3!

0.2!

1

K?W
$LLYK?W
C ZOR
K?W
Y


APH
!
 )LQY !)LP$L5PR
.PH!
 )LPR !)LPPMUY
5STH!
 )LPR !)LPC ZOR



0.1!

0!

1.5M!!6M!!25M!!100M!!400M!1.6G!!6.4G!15G

d}qge\h(©2012 Kentaro Inui	)

4LEQY9Z !)L K?X!)LQY

言語処理学会第18回年次大会チュートリアル資料	

29	テキストから意味表現へ	
同義表現の標準化
ドメイン	
  オントロジー	

より統合された意味表現	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	©2012 Kentaro Inui	

情報の統合
set-up(e1) ＋ capitalize(e2)

より広い言い換え	言語	
  オントロジー	

set-up(e) ⇔ form(e)DRT	modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	

NLP
マジョリティ	人手	

教師あり学習	

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2), co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2), local-concern(x3),

Bridgestone Sports Co. said Friday it has
set up a joint venture in Taiwan with alocal concern and a Japanese trading houseto produce golf clubs to be shipped to Japan.

言語処理学会第18回年次大会チュートリアル資料	

ドメインオントロジーへの対応付け	
TIE-UP-1	
Relationship:	

TIE-UP	

Entities:	

“Bridgestone Sports Co.”	
“a local concern”	
“a Japanese trading house”	

Joint Venture Company:	
 “Bridgestone Sports Taiwan Co.”	
Amount:	

NT$2,000,000	

capitalize(e2),factuality(e2, CT+),
theme(e2, x2),
BridgestoneSports-Taiwan-Co.(x2),amount(e2, NT$2,000,000)©2012 Kentaro Inui	

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2),
co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2),local-concern(x3),

言語処理学会第18回年次大会チュートリアル資料	

31	

テキストから意味表現へ	
知識統合
質問応答"
マイニング" 知識ベース	
意思決定	
ドメイン	
  
オントロジー	

より統合された意味表現	
言い換え"
情報統合	

より広い言い換え	言語	
  オントロジー	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	©2012 Kentaro Inui	

DRT	
modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	

NLP
マジョリティ	人手	

教師あり学習	

TIE-UP-1
Relationship:
Entities:

Joint Venture:
Amount:

TIE-UP
“Bridgestone Sports Co.”
“a local concern”
“a Japanese trading house”
“Bridgestone Sports Taiwan Co.”
NT$2,000,000

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2), co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2), local-concern(x3),

Bridgestone Sports Co. said Friday it has
set up a joint venture in Taiwan with alocal concern and a Japanese trading houseto produce golf clubs to be shipped to Japan.

言語処理学会第18回年次大会チュートリアル資料	

多様な言い換えの存在	
知識ベース	
prevent"

exercise	©2012 Kentaro Inui	

Preventer"

Preventee"

exercise"heart
disease"prevents
protects against

言語処理学会第18回年次大会チュートリアル資料	

heart
disease	33	多様な言い換えの存在	
知識ベース	
prevent"
Preventer"

Preventee"

exercise"heart
disease"？	

大問題！

prevents
protects againsthas a special importance in the prevention of
exercise	
plays a significant role in preventing
reduces the risk of
reduces your overall risk of developing
is associated with a lower risk of©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

heart
disease	34	テキストから意味表現へ	
情報/知識統合
質問応答"
マイニング" 知識ベース	
意思決定	
ドメイン
オントロジー	

想像の領域	

より統合された意味表現	

TIE-UP-1
Relationship:
Entities:

Joint Venture:
Amount:

言い換え
情報統合	

より広い言い換え	言語	
  オントロジー	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	©2012 Kentaro Inui	

TIE-UP
“Bridgestone Sports Co.”
“a local concern”
“a Japanese trading house”
“Bridgestone Sports Taiwan Co.”
NT$2,000,000

DRT	
modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	

NLP
マジョリティ	

人手	

教師あり	

set-up(e1), factuality(e1, CT+),
agent(e1, x1), theme(e1, x2), co-agent(e1, x3)
Bridgestone-Sports-Co.(x1),
joint-venture(x2), local-concern(x3),

Bridgestone Sports Co. said Friday it has
set up a joint venture in Taiwan with alocal concern and a Japanese trading houseto produce golf clubs to be shipped to Japan.

言語処理学会第18回年次大会チュートリアル資料	

意味解析の捉え方の広がり（地図①）	
情報/知識統合
質問応答"
マイニング" 知識ベース	
意思決定	
ドメイン
オントロジー	

同義・含意"の計算	

より統合された意味表現	

言語	
  オントロジー	

ラベル無しクラスタ
	

言い換え
情報統合	

より広い言い換え	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	

DRT	
modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	
人手	

©2012 Kentaro Inui	

想像の領域	

NLP
情報抽出の一般化
マジョリティ	 （一般関係認識）	
教師あり	

半教師あり	

言語処理学会第18回年次大会チュートリアル資料	

DCS	

教師なし	

本講演の構成	
1. Annotation layer cake"2. 情報抽出と知識獲得の今"
3. Making the implicit explicit"
4. やわらかい記号の世界"
5. ルールを作るところから	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

情報抽出の展開（地図②）	
F> BEF>9%F(*+aNLPUKZ\PHb
75@

意味談話解析
実現したい	

ae.g. <6A#=b



4.

?@

2!XQ]

<6A#=
6/

問題の単純化	

>9%
ae.g. #=b

 1&

JN`[L
:0 !
"S^`V;!
LI\TR)8!

POS, -6#=
©2012 Kentaro Inui

36 ',18$OY`R\G]9…

少数・固定の 単一文書"
NE/関係クラス	
 情報抽出	



M_OW_R

CD

手段	

知識獲得"


 

X killdie of X

X preventheart attack

1

1

0

heart disease

1

1

0

exercise

0

0

1

+!−(%0/

X prevent Y

X is key to Y

X reduce
risk of Y"-$


diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 011−(%0/©2012 Kentaro Inui	





"-$




1)0'$'-&*2"-$%./#  ,'."$

言語処理学会第18回年次大会チュートリアル資料	

38	

Example from MUC-5 （1993）	
Web誕生の年	

テンプレート	
TIE-UP-1	
Relationship:	

TIE-UP	

Entities:	

“Bridgestone Sports Co.”	
“a local concern”	
“a Japanese trading house”	

Joint Venture Company:	
 “Bridgestone Sports Taiwan Co.”	
Amount:	

NT$2,000,000	

Bridgestone Sports Co. said Friday it has set up a joint venture in
Taiwan with a local concern and a Japanese trading house to produce
golf clubs to be shipped to Japan.
The joint venture, Bridgestone Sports Taiwan Co., capitalized at 20
million new Taiwan dollars, will start production in January 1990 withproduction of 20,000 iron and “metal wood” clubs a month.	
Onyshkevych, et al. Tasks, Domains, and Languages. Proc. of the 5th Message Understanding Conference, 1993.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

39	

パターンによる情報抽出	
TIE-UP-1	
Relationship:	

TIE-UP	

Entities:	

“Bridgestone Sports Co.”	
“a local concern”	
“a Japanese trading house”	

Joint Venture Company:	
 “Bridgestone Sports Taiwan Co.”	
Amount:	

NT$2,000,000	

意味クラス付きパターン	 <Company> set up <Joint-Venture> with <Company>	

<Company> capitalized at <Currency>	Bridgestone Sports Co. said Friday it has set up a joint venture in
Taiwan with a local concern and a Japanese trading house to produce
golf clubs to be shipped to Japan.
The joint venture, Bridgestone Sports Taiwan Co., capitalized at
20 million new Taiwan dollars, will start production in January 1990
with production of 20,000 iron and “metal wood” clubs a month.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

40	

情報抽出の展開（地図②）	
F> BEF>9%F(*+aNLPUKZ\PHb
75@

意味談話解析
実現したい	

ae.g. <6A#=b



4.

?@

2!XQ]

<6A#=
6/

問題の単純化	

>9%
ae.g. #=b

 1&

JN`[L
:0 !
"S^`V;!
LI\TR)8!

POS, -6#=
©2012 Kentaro Inui

手段	
 

X killdie of X

X preventheart attack

1

1

0

1

1

0

exercise

0

0

1

+!−(%0/

X prevent Y

X is key to Y

X reduce
risk of Y"-$


heart disease

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 01

1

©2012 Kentaro Inui	

CD

パターンベースの情報抽出"

知識獲得"
−(%0/

36 ',18$OY`R\G]9…

少数・固定の 単一文書"
NE/関係クラス	
 情報抽出	



M_OW_R





"-$




1)0'$'-&*2"-$%./#  ,'."$

• 情報抽出モデル＝抽出パターン集合→ 解析モデルと知識獲得が一体"• 知識獲得方法に多様なアイデア"

言語処理学会第18回年次大会チュートリアル資料	

41	

抽出のための知識	
知識①	
関係を表すパターン	<Company> set up <Joint-Venture> with <Company>	
<Company> tie up <Joint-Venture> with <Company>	
<Company> and <Company> enter into
an agreement of <Joint-Venture>	
**** Co.
local concern
trading house:	©2012 Kentaro Inui	

知識②	
関係パターンの言い換え	

知識③	語の意味クラス	

言語処理学会第18回年次大会チュートリアル資料	

42	

知識獲得（地図③）	

共起行列から
の知識獲得	

単語−パターン行列	

X kill	die of X	

X prevent	heart attack	

1	

1	

0	

heart disease	

1	

1	

0	

exercise	

0	

0	

1	

ペア−パターン行列	

X prevent Y	

X is key to Y	

X reduce
risk of Y		

クラスの集合を指定	

diet – heart attack	

1	

1	

0	

exercise – breast cancer	

1	

1	

1	

aspirin – blood clots	
 0	

1	

1	

©2012 Kentaro Inui	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

言語処理学会第18回年次大会チュートリアル資料	

43	

情報抽出の展開（地図②）	
F> BEF>9%F(*+aNLPUKZ\PHb
75@

意味談話解析
実現したい	

ae.g. <6A#=b



4.

?@

2!XQ]

<6A#=
6/

問題の単純化	

>9%
ae.g. #=b

 1&

JN`[L
:0 !
"S^`V;!
LI\TR)8!

POS, -6#=
©2012 Kentaro Inui

手段	
 

X killdie of X

X preventheart attack

1

1

0

1

1

0

exercise

0

0

1

+!−(%0/

X prevent Y

X is key to Y

X reduce
risk of Y"-$


heart disease

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 01

1

©2012 Kentaro Inui	

CD

パターンベースの情報抽出"

知識獲得"
−(%0/

36 ',18$OY`R\G]9…

少数・固定の 単一文書"
NE/関係クラス	
 情報抽出	



M_OW_R





"-$




1)0'$'-&*2"-$%./#  ,'."$

• 情報抽出モデル＝抽出パターン集合→ 解析モデルと知識獲得が一体"• 知識獲得方法に多様なアイデア"

言語処理学会第18回年次大会チュートリアル資料	

44	

情報抽出の展開（地図②）	
情報爆発時代へ""• 複数文書間の冗長性を利用（macro reading）"• 知識獲得が大規模化・実用化"• 実体/関係概念の多クラス化"
単一文書"
情報抽出	

クラス制約付き関係抽出
パターン	

少数・固定のNE/関係クラス	

複数文書（Web）"
情報抽出	
Web時代	

手段	

手段	

知識獲得"

知識獲得"


 

大規模化	"-$



"-$




X killdie of X

X prevent

X killdie of X

X preventheart attack

1

1

0

heart attack

1

1

0

heart disease

1

1

0

heart disease

1

1

0

exercise

0

0

1

exercise

0

0

1

+!−(%0/

X reduce
risk of Y+!−(%0/

X prevent Y

X is key to Y

X reduce
risk of Y"-$%./#

X is key to Y

1)0'$'-&*2"-$


X prevent Y
 

diet – heart attack

1

1

0

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

exercise – breast cancer

1

1

1

aspirin – blood clots 0

1

1

aspirin – blood clots 011−(%0/©2012 Kentaro Inui	  ,'."$

−(%0/





"-$




1)0'$'-&*2

クラス制約付き関係抽出パターン	
関係インスタンス"
クラスインスタンス	

多種類/オープンな
実体/関係クラス	

"-$%./#  ,'."$

言語処理学会第18回年次大会チュートリアル資料	

45	

情報抽出の大規模化・多クラス化	
意味解析の目的に接近
関係概念の多クラス化	

実体概念の多クラス化	○○関係の抽出パターン	
prevents関係の抽出パターン	〈Action〉 prevents 〈Trouble〉〈Action〉 protects against 〈Trouble〉

多様な言い換えをカバーする"
パターン集合	〈Action〉 has a special importance in the prevention of 〈..
〈Action〉 plays a significant role in preventing 〈Trouble〉〈Action〉 reduces the risk of 〈Trouble〉〈Action〉 reduces your overall risk of developing 〈Tr…
〈Action〉 is associated with a lower risk of 〈Trouble〉…

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

46	

情報抽出の展開（地図②）	
想像の領域	
意味談話解析
実現したい	

一般関係認識問題としての意味談話解析	

問題の単純化	

問題の一般化	

単一文書"
情報抽出	

クラス制約付き関係抽出
パターン	

少数・固定のNE/関係クラス	

複数文書（Web）"
情報抽出	
Web時代	

手段	

手段	

知識獲得"

知識獲得"


 



"-$




die of X

X prevent

1

0

heart attack

1

1

0

0

heart disease

1

1

0

exercise

0

0

1

+!−(%0/+!−(%0/

X reduce
risk of Y  ,'."$

0

X is key to Y

1

X prevent Y1

X reduce
risk of Y1

exercise

X is key to Y

heart attack
heart disease

X prevent Y

X kill−(%0/

X kill"-$%./#

X prevent

1)0'$'-&*2"-$


die of X
 

大規模化	"-$


−(%0/

diet – heart attack

1

1

0

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

exercise – breast cancer

1

1

1

aspirin – blood clots 0

1

1

aspirin – blood clots 01

1

©2012 Kentaro Inui	0

1

知識との照合	





"-$




1)0'$'-&*2

外部資源	

クラス制約付き関係抽出パターン	
多種類/オープンな
実体/関係クラス	

関係インスタンス"
クラスインスタンス	

多種類/オープンな
実体/関係クラス	

"-$%./#  ,'."$

言語処理学会第18回年次大会チュートリアル資料	

47	

知識獲得（地図③）	

単語−パターン行列	

X kill	die of X	

X prevent	heart attack	

1	

1	

0	

heart disease	

1	

1	

0	

exercise	

0	

0	

1	

ペア−パターン行列	

X prevent Y	

X is key to Y	

X reduce
risk of Y		

情報抽出の一般化の文脈で	

diet – heart attack	

1	

1	

0	

exercise – breast cancer	

1	

1	

1	

aspirin – blood clots	
 0	

1	

1	

©2012 Kentaro Inui	

共起行列から
の知識獲得	

クラスの集合を指定	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

言語処理学会第18回年次大会チュートリアル資料	

48	

単語−パターン行列	
• 単語の意味 ⇒ 出現文脈の分布から推測できる
"

"

"

"

"

"

"

"

"

（Firth 57, Harris 64）""

• 文脈の分布 （文脈ベクトル）"

X kill	

X is for	

X prevent	

X be cause of		
X be key to	

X reduce risk		
die of X	

prevent X		reduce riskof X	

＝ その単語の局所文脈に現れる表現の分布"

heart attack	

1	

0	

0	

1	

0	

0	

1	

1	

1	

heart disease	

1	

0	

0	

1	

0	

0	

1	

1	

1	

sunburn	

0	

0	

0	

1	

0	

0	

0	

1	

1	

diet	

0	

1	

1	

0	

1	

1	

0	

0	

0	

exercise	

0	

1	

1	

0	

1	

1	

0	

0	

0	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

49	

0	

1	

0	

0	

1	

0	

sunscreen − sunburn	
 0	

0	

1	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

exercise – breast cancer	
 0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

aspirin – blood clots	
 0	

0	

0	

0	

1	

0	

0	

1	

0	

0	

0	

0	

0	

0	

0	

1	

0	

1	

safety belt − fatalities	
 0	

0	

0	

0	

0	

0	

0	

1	

1	

	

・・・	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

・・・	

1	

	

0	

・・・	

・・・	

	
X is key to Y	・・・	diet – heart attack	
 0	

・・・	

・・・	

・・・	

関
係

	
X prevent Y	

関係を表すパターン		
X reduce risk of Y	
	
・・・	
	

ペア−パターン行列	50	

ペア−パターン行列の作り方	
• 依存構造 （NVN, NPN, NVNPN, VCV, ...）"– Sekine （2006）, Shinyama & Sekine （2006）,"
Abe+ （2008）, Peñas & Hovy （2010）, Wu &"Weld （2010）, Shibata & Kurohashi （2011）, etc."• 述語項構造 （APA, APAA, ...）"– Christensen+ （2011）, etc."• 文中のすべての名詞ペア"– De Saeger+ （2009）, etc."• 品詞列＋学習"– Banko+ （2007） （TextRunner）"– Fader+ （2011） （ReVerb）, etc."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

51	

http://openie.cs.washington.edu/
	（Fader+ 2011）	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

52	

http://openie.cs.washington.edu/
	（Fader+ 2011）	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

53	

知識獲得（地図③）	

共起行列から
の知識獲得	

単語−パターン行列	

X kill	die of X	

X prevent	heart attack	

1	

1	

0	

heart disease	

1	

1	

0	

exercise	

0	

0	

1	

ペア−パターン行列	

X prevent Y	

X is key to Y	

X reduce
risk of Y		

クラスの集合を指定	

diet – heart attack	

1	

1	

0	

exercise – breast cancer	

1	

1	

1	

aspirin – blood clots	
 0	

1	

1	

©2012 Kentaro Inui	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

言語処理学会第18回年次大会チュートリアル資料	

54	

半教師あり学習（ブートストラップ）	

Slide from M. Komachi (2010) Graph-Theoretic Approaches to MinimallySupervised Natural Language Learning, Ph.D. Thesis.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

55	

半教師あり学習（ブートストラップ）"
Riloff & Jones （1999）	

シード
bolivia, city, colombia, district, guatemala, honduras,
region, nicaragua, neighborhood, town	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	半教師あり学習（ブートストラップ）	
Espresso （Pantel+ 2006）	
パターンの信頼度©2012 Kentaro Inui	

インスタンスの信頼度

言語処理学会第18回年次大会チュートリアル資料	

57	

Prevents		
X reduce risk of Y	
	
・・・	
	

1	

0	

1	

0	

0	

0	

0	

Prevents	

sunscreen − sunburn	
 0	

0	

1	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

Prevents	
 exercise – breast cancer	
 0	

0	

1	

0	

1	

0	

0	

1	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

aspirin – blood clots	
 0	

0	

1	

0	

1	

0	

0	

1	

0	

0	

0	

0	

0	

0	

0	

0	

0	

1	

safety belt − fatalities	
 0	

0	

0	

0	

0	

0	

0	

1	

1	

Prevents	

・・・	Prevents	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

・・・	

0	

	

diet – heart attack	
 0	

・・・	

・・・	

Prevents		
X is key to Y	・・・	Prevents	

・・・	

・・・	

・・・	

Prevents		
X prevent Y	

ペア−パターン行列でも同じ	

58	

TextRunner（Banko+ 07）の出力から	

M. Banko (2009) Open Information Extraction from the Web. Ph.D. Thesis.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

59	意味ドリフト（意味の曖昧性）	

M. Komachi (2010) Graph-Theoretic Approaches to Minimally-Supervised
Natural Language Learning, Ph.D. Thesis.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

60	意味ドリフト対策 （曖昧性解消）	
• 多様な手がかりを併用"– Carlson+ （2010）, etc."• クラスの排他性を利用"– Riloff and Jones （1999），Yangarber （2003）, etc."• パターンに意味クラス制約を導入"– Pasca+ （2006），Rosenfeld+ （2007），"
De Saeger+ （2009），Carlson+ （2009）, etc."• クラス獲得と関係獲得を統合"– Carlson+ （2009）: Coupled pattern learning"• 途中で人間の判断を追加"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

61	

多様な手がかりを併用"（Carlson+ 10）	Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

62	意味クラス間の排他制約	
（Carlson+ 10）	Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

63	意味クラスの制約	
（Carlson+ 10）	Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
	64	©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	意味クラス制約つきパターンの学習"• De Saeger+ （2009）"– 500クラスにクラスタリングされた名詞50万語（Kazama & Torisawa 08）を利用"
かび − ニオイ"③どれくらいよく共起するか？	

X が Y の原因となる	
シードパターン	

獲得される関係
インスタンス	

①どれくらいよく共起するか？	

〈C471〉 による 〈C290〉	
獲得されるパターン	カビ − 悪臭 ②どれくらい重なりがあるか？	
細菌 −におい○○ − ○○○○ − ○○
コーパス中の出現	
 ○○ − ○○"○○ − ○○" コーパス中の出現	

C471	
©2012 Kentaro Inui	

カビ かび"
細菌 …"におい 悪臭"ニオイ …"

言語処理学会第18回年次大会チュートリアル資料	

C290	
65	

意味クラス制約つきパターンの学習"
意味クラス制約あり	
意味クラス制約あり	

S. De Saeger, K. Torisawa, J. Kazama, K. Kuroda, and M. Murata (2009)
Large Scale Relation Acquisition Using Class Dependent Patterns, ICDM.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

66	

関係間の依存関係	

Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
	67	©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	

Never-Ending Language Learner	
多重の意味ドリフト対策  !

Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
©2012 Kentaro Inui18

! 

Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
©2012 Kentaro Inui

Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf 18 ©2012 Kentaro Inui	 18 " ! 



©2012 Kentaro Inui

（Carlson+ 10）	Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf



18
 ©2012 Kentaro Inui

言語処理学会第18回年次大会チュートリアル資料	

68	

Never-Ending Language Learner	
（Carlson+ 10）	• 入力"
– オントロジ"• 実体/関係のクラス総数 約500"• 定義はシードで与える"– Web文書 約5億ページ（Clueweb）"
http://boston.lti.cs.cmu.edu/Data/
clueweb09/"• タスク"– クラス＆関係インスタンスの獲得"– ブートストラップを24時間×毎日	
– 定期的に人手でチェック"• 約30万個以上の“知識”を獲得（2010年1〜7月）"	

©2012 Kentaro Inui	

http://rtw.ml.cmu.edu/rtw/overview	
69	
言語処理学会第18回年次大会チュートリアル資料	

Never-Ending Language Learner	
http://rtw.ml.cmu.edu/rtw/	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

70	

Slides from Tom Mitchell's invited talk in the Univ. of Washington CSE Distinguished Lecture Series, October, 2010.
http://rtw.ml.cmu.edu/slides/Mitchell_NELL_UW_Oct_21_2010.pdf
	71	©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	

情報抽出の展開（地図②）	
想像の領域	
意味談話解析
実現したい	

一般関係認識問題としての意味談話解析	

問題の単純化	

問題の一般化	

単一文書"
情報抽出	

クラス制約付き関係抽出
パターン	

少数・固定のNE/関係クラス	

複数文書（Web）"
情報抽出	
Web時代	

手段	

手段	

知識獲得"

知識獲得"


 



"-$




die of X

X prevent

1

0

heart attack

1

1

0

0

heart disease

1

1

0

exercise

0

0

1

+!−(%0/+!−(%0/

X reduce
risk of Y  ,'."$

0

X is key to Y

1

X prevent Y1

X reduce
risk of Y1

exercise

X is key to Y

heart attack
heart disease

X prevent Y

X kill−(%0/

X kill"-$%./#

X prevent

1)0'$'-&*2"-$


die of X
 

大規模化	"-$


−(%0/

diet – heart attack

1

1

0

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

exercise – breast cancer

1

1

1

aspirin – blood clots 0

1

1

aspirin – blood clots 01

1

©2012 Kentaro Inui	0

1

知識との照合	





"-$




1)0'$'-&*2

外部資源	

クラス制約付き関係抽出パターン	
多種類/オープンな
実体/関係クラス	

関係インスタンス"
クラスインスタンス	

多種類/オープンな
実体/関係クラス	

"-$%./#  ,'."$

言語処理学会第18回年次大会チュートリアル資料	

72	

情報抽出と知識獲得： まとめ	
• 情報抽出"– 応用指向的，ドメイン限定，垂直的"– 解析モデルと知識獲得が一体"• Web時代"– 文書間の冗長性（macro reading）"– オープンドメイン，大規模化，超多クラス化"– 意味解析の目的に別の角度から接近"• 課題"– 抽出対象は明示的な関係のみ"– モダリティ（事実性），時間，量化等との統合"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

一般関係認識としての意味談話解析	（地図④）	
従来の意味解析に相当	
一般関係認識のためのパターンを獲得	

明示的に書かれた関係をパ
ターンで抽出	関係の統合"
知識の洗練・汎化"
領域DBリンケージ	

知識ベース
知識を適用	

関係（命題）の集合	

非明示的な関係を同定	
従来の談話解析に相当	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

質問応答
情報分析
意思決定
など	
74	

一般関係認識としての意味談話解析	（地図④）	
従来の意味解析に相当	
一般関係抽出のためのパターンを獲得	

明示的に書かれた関係をパ
ターンで抽出	関係の統合"
知識の洗練・汎化"
領域DBリンケージ	

知識ベース
知識を適用	

関係（命題）の集合	

非明示的な関係を同定	

質問応答
情報分析
など	

従来の談話解析に相当	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

75	

本講演の構成	
1. Annotation layer cake"2. 情報抽出と知識獲得の今"
3. Making the implicit explicit"
4. やわらかい記号の世界"
5. ルールを作るところから	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

非明示的な関係の認識	
含意関係認識で	[t] Harriet Lane served as Buchanan’s White House hostess.
	含意	[h] Harriet Lane worked at the White House.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

77	非明示的な関係の認識	
含意関係認識で	[t] Harriet Lane served as Buchanan’s White House hostess.
	
＝	

arg1	

arg2	
 arg1	

work at	nn	

serve as	
arg1	Harriet Lane
	

arg2	

arg2	

arg1	

hostess	

arg2	

White House	[h] Harriet Lane worked at the White House.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

78	非明示的な関係の認識	
• Hickl & Bensley（07）"– Discourse commitment を網羅的に抽出できれば，含意関係認識のかなりの問題が解ける	

A. Hickl and J. Bensley （2007） A Discourse Commitment-Based Framework for Recognizing Textual Entailment,
ACL-07 Workshop on Textual Entailment and Paraphrasing.
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

79	非明示的な関係の認識	
（Peñas and Hovy 2010）	

E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

80	

一般関係認識としての意味談話解析	（地図④）	

従来の意味解析に相当	
一般関係抽出のためのパターンを獲得	

明示的に書かれた関係をパターンで抽出	

知識ベース
知識を適用	

関係（命題）の集合	

非明示的な関係を同定	
従来の談話解析に相当	©2012 Kentaro Inui	• 手続き的アプローチ"- Semantic enrichment（Peñas & Hovy 2010）"• 論理ベースのアプローチ"- アブダクション	

言語処理学会第18回年次大会チュートリアル資料	

81	

Semantic Enrichment （Peñas & Hovy 10）	E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

82	

Semantic Enrichment （Peñas & Hovy 10）	知識ベース	arg	  1	
relaHon	arg	
  2	
 freq	
quarterback" has-­‐instance	 Young	 12	
end	
has-­‐instance	 Jones	 33	
quarterback	
throw	pass	
 98	quarterback	
 complete	
pass	
 27	
end	
catch	
pass	
 28	
end	
drop	
pass	
6	
E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

83	

Semantic Enrichment （Peñas & Hovy 10）	知識ベース	arg	  1	
relaHon	arg	
  2	
 freq	
quarterback" has-­‐instance	 Young	 12	
end	
has-­‐instance	 Jones	 33	
quarterback	
throw	pass	
 98	quarterback	
 complete	
pass	
 27	
end	
catch	
pass	
 28	
end	
drop	
pass	
6	
E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

84	

Semantic Enrichment （Peñas & Hovy 10）	E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

85	

Semantic Enrichment （Peñas & Hovy 10）	E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

86	

Semantic Enrichment （Peñas & Hovy 10）	E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

87	

Semantic Enrichment （Peñas & Hovy 10）	知識ベース	arg	  1	
relaHon	arg	
  2	
 freq	
quarterback" has-­‐instance	 Young	 12	
end	
has-­‐instance	 Jones	 33	
quarterback	
throw	pass	
 98	quarterback	
 complete	
pass	
 27	
end	
catch	
pass	
 28	
end	
drop	
pass	
6	
E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

88	

論理ベースのアプローチ	
quarterback(Young)	
知識ベース	

quarterback(x) ⇒ human(x)	
throw(x1, x2) ⇒ nn(x1, x2)	quarterback(x1) ∧ pass(x2) ⇒ throw(x1, x2)	quarterback(Young)	
quarterback(x1) ∧ pass(x2)⇒ throw(x1, x2)	説明（仮説）	

入力（観察）	
©2012 Kentaro Inui	

quarterback(x)⇒ human(x)	

throw(x1, x2)⇒ nn(x1, x2)	human(Young)	

nn(Young, x2)	言語処理学会第18回年次大会チュートリアル資料	

pass(x2)	
89	

論理ベースのアプローチ	
• テキストに埋め込まれた非明示的な関係""＝明示的な情報（観察）に対する説明（仮説）"• アブダクション（仮説推論）"– 背景知識 B と観察 O とが与えられたとき，観察を説明できる尤もらしい仮説 H を見つける推論""

H
H

B |= O （背景知識 B のもとで観察 O を導く仮説を選べ）	
B |= （背景知識 B に矛盾しない仮説を選べ）	

"尤もらしい仮説（なるべく小さい（事後確率の高い）仮説を選べ）	

• Interpretation as abduction （Hobbs+ 1993）"– “Interpreting sentences is to find the best explanation
to the sentences.”©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

90	

Interpretation as Abduction 	

（Hobbs+ 1993, etc.）	

loan(y2)
背景知識	( e2, y1, y3) issue(e2, y3, y2, y1)

issue(e2, x2, x3, x1)go(e2, x1, x2)

financial_inst(y3)financial_inst(x2)bank(x2)

issue(e2, y3, y2, y1)get(e2, y1, y2)

観察	( e1,e2,x1,x2,y1,y2)

John(x1)
入力	

©2012 Kentaro Inui	go(e1, x1, x2)bank(x2)

he(y1)

get(e2, y1, y2)loan(y2)John went to the bank. He got a loan.
言語処理学会第18回年次大会チュートリアル資料	

91	

Interpretation as Abduction 	

（Hobbs+ 1993, etc.）	

went to the bankis the purpose of
got a loan	

John and heare coreferent	loan(y2)hypothesized	

説明	

bank refers toa financial bank	( e2, y1, y3) issue(e2, y3, y2, y1)

x1=y1

issue(e2, x2, x3, x1)go(e2, x1, x2)

financial_inst(y3)x2=y3financial_inst(x2)bank(x2)

issue(e2, y3, y2, y1)get(e2, y1, y2)

観察	( e1,e2,x1,x2,y1,y2)

John(x1)go(e1, x1, x2)bank(x2)

he(y1)

get(e2, y1, y2)loan(y2)hypothesized	

入力	©2012 Kentaro Inui	

John went to the bank. He got a loan.
言語処理学会第18回年次大会チュートリアル資料	

92	

Interpretation as Abduction 	• 知識の使い方に原理的な指針"• スケーラブルな推論エンジン"– Markov Logicによる実現 （Blythe+ 2011）"– 整数線形計画法による高速化（近似解，並列化も可） （井之上&乾 2012）"• 仮説の評価関数も（おそらく）学習可能	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

93	

スケーラブルな推論エンジン	
（井之上&乾 12）	入力 (文章):	
Steve will resign from Microsoft next week.
His products have attracted many people over the years.	
work(Steve, Microsoft)?
create(Steve, products)?
sick(Steve)?
:
仮説選択

work → resign
create → ofsick → resign:	

論理ベースの推論	

出力 (文章に潜在する情報):	
- Steve works for Microsoft- His refers to Steve"- Steve creates products	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

背景知識

94	

スケーラブルな推論エンジン	
（井之上&乾 12）	入力 (文章):	
Steve will resign fromMicrosoft next
20リテラル	 week.
His products have attracted many people over the years.	
work(Steve, Microsoft)?
create(Steve,products)?
1,000
個のリテラルの組
sick(Steve)?
み合わせ最適化問題	:
仮説選択

work → resign
create → of
37万の推論規則
	sick → resign:	

論理ベースの推論	
背景知識

出力提案手法の推論時間:(文章に潜在する情報):	
約2.6秒"--Steve
works
forNetworks
Microsoft (Richardson & Domingos 05)
Markov
Logic- His
refers to Steve"
による実装(Blythe+ 11): 7分"--Stevecreates products	
Mini-TACITUS(Mulkar-Mehta+ 07): 30分以上	
95	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

95	

loc'(t29e26,t29x4)

スケーラブルな推論エンジン	
（井之上&乾 12）	synset108206460'(ubm24,ub1953)

synset108199025'(ub144,ub1953)

synset108206460'(ubm24,ub1953)

synset108199025'(ub144,ub1953)

synset108206460'(ubm24,ub1953)

solidiers are
member of militarysynset108206460'(ubm24,ub1953)

memberof'(ub1954,ub1953,t29x8)

synset110622053'(ubm15,t29x8)

beiji-nn'(t29e25,t29x4)

loc'(t29e28,t29x5)

military-nn'(t29e21,ub1953)

beiji-nn'(t29e25,t29x4)

観測"
(入力)
©2012 Kentaro Inui	

memberof'(ub1954,ub1953,t29x8)

memberof'(ub1954,ub1953,t29x8)

synset110523341'(ub259,t29x8)

c'(t29e26,t29x4)

memberof'(ub1954,ub1953,t29x8)

soldier-nn'(t29e33,t29x8)

loc'(t29e28,t29x5)

synset108913434'(ubm19,ub1953)

synset110523341'(ub259,t29x8)
synset108913434'(ubm19,ub1953)

synset108913434'(ubm19,ub1953)

synset109714694'(ub1,t29x8)

iraqi-nn'(t29e30,t29x8)

symemberof'(ub296,ub1953,t29x0)

partof'(ub614,ub1953,t29x5)

synset110622053'(ubm15,t29x8)

synset109714694'(ub2,t29x0)

iraqi-nn'(t29e18,t29x0)

synset109

synset108914193'(ub97,t29x5)

baghdad-nn'(t29e27,t29x5)

military-nn'(t29e21,ub1953)

soldier-nn'(t29e33,t29x8)

iraqi-nn

Also Friday, five Iraqi soldiers were killed and nine wounded in a bombing,targeting their convoy near Beiji, 150 miles north of Baghdad, the Iraqi
military said. 	
言語処理学会第18回年次大会チュートリアル資料	

96	

Making the Implicit Explicit： まとめ	• 問題： 非明示的な情報"– パターンの漏れ"– 関係の組み合わせ"– 文をまたぐ関係"• 対策"– 既知の知識で「行間」を埋める推論"• 現状はまだまだ"– Machine Reading （DARPA）"– 文章全体で整合する解釈の探索"– アブダクション"©2012 Kentaro Inui	

http://www.darpa.mil/Our_Work/I2O/
言語処理学会第18回年次大会チュートリアル資料	
 Programs/Machine_Reading.aspx
	本講演の構成	
1. Annotation layer cake"2. 情報抽出と知識獲得の今"
3. Making the implicit explicit"
4. やわらかい記号の世界"
5. ルールを作るところから	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

実体/関係のクラスをどう決めるか	

知識ベース	arg	  1	
relaHon	arg	
  2	
 freq	
quarterback" has-­‐instance	 Young	 12	
end	
has-­‐instance	 Jones	 33	
quarterback	
throw	pass	
 98	quarterback	
 complete	
pass	
 27	
end	
catch	
pass	
 28	
end	
drop	
pass	
6	
E. Hovy. A New Semantics: Merging Propositional and Distributional Approaches. IWCS, 2010.
http://www.meaningfactory.com/iwcs2011/hovy.pdf	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

99	

実体/関係のクラスをどう決めるか	
① 固定のセット	② クラスを自動選択	  ③ クラスタリング	  ④ クラスタも作らない	  ©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

100	

実体/関係のクラスをどう決めるか	
① 固定のセット"– 例： NELL （Carlson+ 10）"
• 実体/関係のクラス総数 約500"• 人間が設計，シードで指定 （ドメインごとに？）"
http://rtw.ml.cmu.edu/rtw/	

② クラス粒度を自動選択"– 例： Proposition Store （Peñas & Hovy 10）"• フットボールドメインではpersonは粒度が荒すぎる• 適当な粒度は，quarterback, leader, veteran, etc.
• ドメインでインスタンスがどう分類されているか""→ 適当な粒度のクラスを獲得"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

101	

の知識獲得	X killdie of X

X prevent

知識獲得（地図③）	
heart attack

1

1

0

heart disease

1

1

0

exercise

0

0

1

X prevent Y

X is key to Y

X reduce
risk of Y

単語−パターン行列	

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 011

ペア−パターン行列	

クラスの集合を指定	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

依存構造の集合	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

102	

量化を含む意味表現の学習	（Liang+ 11）	most populous city in California?	
Dependency-­‐Based	  	
  ComposiIonal	  SemanIcs	
  	

Semantic Parsing	（確率的）	

Interpretation	（決定的）	

Los Angeles	
P. Liang, et al. (2011), Learning dependency-based compositional semantics, ACL.
http://cs.stanford.edu/~pliang/papers/dcs-acl2011-talk.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

103	

量化を含む意味表現の学習	（Liang+ 11）	P. Liang, et al. (2011), Learning dependency-based compositional semantics, ACL.
http://cs.stanford.edu/~pliang/papers/dcs-acl2011-talk.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

104	

量化を含む意味表現の学習	（Liang+ 11）	P. Liang, et al. (2011), Learning dependency-based compositional semantics, ACL.
http://cs.stanford.edu/~pliang/papers/dcs-acl2011-talk.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

105	意味解析の捉え方の広がり（地図①）	
情報/知識統合
質問応答"
マイニング" 知識ベース	
意思決定	
ドメイン
オントロジー	

同義・含意"の計算	

より統合された意味表現	

言語	
  オントロジー	

ラベル無しクラスタ
	

言い換え
情報統合	

より広い言い換え	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	

DRT	
modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	
人手	

©2012 Kentaro Inui	

想像の領域	

NLP
情報抽出の一般化
マジョリティ	 （一般関係認識）	
教師あり	

半教師あり	

言語処理学会第18回年次大会チュートリアル資料	

DCS	

教師なし	

実体/関係のクラスをどう決めるか	
① 固定のセット"– 例： NELL （Carlson+ 10）"
• 実体/関係のクラス総数 約500"• 人間が設計，シードで指定 （ドメインごとに？）"② クラス粒度を自動選択"– 例： Proposition Store （Peñas & Hovy 10）"• フットボールドメインではpersonは粒度が荒すぎる• 適当な粒度は，quarterback, leader, veteran, etc.
• ドメインでインスタンスがどう分類されているか""→ 適当な粒度のクラスを獲得"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

107	human? player? quarterback?	
（Peñas & Hovy 10）	〈クラス−インスタンス〉 のパターン	

ドメインコーパスから抽出	

http://www.mavir.net/docs/ReadingMachine-apenas.pdf
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

108	human? player? quarterback?	
（Peñas & Hovy 10）	頻出クラス	

©2012 Kentaro Inui	

http://www.mavir.net/docs/ReadingMachine-apenas.pdf
	109	
言語処理学会第18回年次大会チュートリアル資料	

意味解析の捉え方の広がり（地図①）	
情報/知識統合
質問応答"
マイニング" 知識ベース	
意思決定	
ドメイン
オントロジー	

同義・含意"の計算	

より統合された意味表現	

言語	
  オントロジー	

ラベル無しクラスタ
	

言い換え
情報統合	

より広い言い換え	

一般的な意味表現	

統語的言い換え量化・スコープ"

テキスト	

DRT	
modal モダリティ	
logic	
 述語項構造	
量化	

形式
意味論	
人手	

©2012 Kentaro Inui	

想像の領域	

NLP
情報抽出の一般化
マジョリティ	 （一般関係認識）	
教師あり	

半教師あり	

言語処理学会第18回年次大会チュートリアル資料	

DCS	

教師なし	

実体/関係のクラスをどう決めるか	③ 文脈類似度によるクラスタリング"– 各表現はクラスタに確率的に所属"– クラスタはラベルを持たない"④ クラスタも作らない"– ベクトル空間モデル"• 語の意味を文脈ベクトルで表現"– Compositional distributional semanticsへ"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

111	

の知識獲得	X killdie of X

X prevent

知識獲得（地図③）	
heart attack

1

1

0

heart disease

1

1

0

exercise

0

0

1

X prevent Y

X is key to Y

X reduce
risk of Y

単語−パターン行列	

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 011

ペア−パターン行列	

クラスの集合を指定	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

依存構造の集合	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

112	

文脈ベクトルのクラスタリング	• 教師なし学習"©2012 Kentaro Inui	

X is for	

X prevent	

X be cause of		
X be key to	

X reduce risk		
die of X	

prevent X		reduce risk of X	

似たベクトルを持つ語をグルーピング	X kill	– 意味クラス集合を用意しない"– 意味クラスはラベルを持たない "	

heart attack	

1	

0	

0	

1	

0	

0	

1	

1	

1	

heart disease	

1	

0	

0	

1	

0	

0	

1	

1	

1	

sunburn	

0	

0	

0	

1	

0	

0	

0	

1	

1	

diet	

0	

1	

1	

0	

1	

1	

0	

0	

0	

exercise	

0	

1	

1	

0	

1	

1	

0	

0	

0	

言語処理学会第18回年次大会チュートリアル資料	

113	

文脈ベクトルのクラスタリング	• ソフトクラスタリング，共クラスタリング"• LSA，pLSI，LDA, etc."• 研究多数"– Dhillon (2001) "– Hodge & Austin (2002) "– Pereira+ (1993)"– Dhillon & Guan (2003)"– Kazama & Torisawa(2008)"J. Kazama and K. Torisawa (2008) Inducing
gazetteers for named entity recognition by largescale clustering of dependency relations. ACL.	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

114	

	
X reduce risk of Y	
	
・・・	
	

0	

1	

0	

0	

1	

0	

sunscreen − sunburn	
 0	

0	

1	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

0	

exercise – breast cancer	
 0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

1	

0	

0	

0	

0	

1	

0	

0	

aspirin – blood clots	
 0	

0	

0	

0	

1	

0	

0	

1	

0	

0	

0	

0	

0	

0	

0	

1	

0	

1	

safety belt − fatalities	
 0	

0	

0	

0	

0	

0	

0	

1	

1	

・・・	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

・・・	

1	

	

0	

・・・	

・・・	

	
X is key to Y	・・・	diet – heart attack	
 0	

・・・	

・・・	

・・・	

	
X prevent Y	

関係とパターンの共クラスタリング	

115	

	

	
X prevent Y	

X is key to Y	

X reduce risk of Y	

X protect against Y	
	
・・・	
	
・・・	
	
・・・	
	

関係とパターンの共クラスタリング	

1	

1	

0	

0	

0	

1	

0	

0	

0	

diet – heart attack	

0	

0	

1	

1	

1	

0	

0	

0	

0	

sunscreen − sunburn	

0	

0	

1	

1	

0	

0	

0	

0	

0	

exercise – breast cancer	

0	

0	

1	

0	

1	

0	

0	

0	

0	

aspirin – blood clots	

0	

0	

0	

1	

1	

0	

0	

0	

0	

safety belt − fatalities	

0	

0	

0	

0	

1	

1	

0	

0	

0	

・・・	

0	

0	

0	

0	

0	

0	

1	

1	

1	

・・・	

0	

0	

0	

0	

0	

0	

1	

0	

1	

例．pLSI	

・・・	

©2012 Kentaro Inui	

・・・	

・・・	

P(r, p) = ∑c P(r | c)P( p | c)P(c)

言語処理学会第18回年次大会チュートリアル資料	

116	

実体と関係の共クラスタリング	

S. Kok and P. Domingos (2008) Extracting semantic
networks from text via relational clustering, ECML.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

117	

情報抽出の展開（地図②）	
想像の領域	
意味談話解析
実現したい	

一般関係認識問題としての意味談話解析	

問題の単純化	

問題の一般化	

単一文書"
情報抽出	

クラス制約付き関係抽出
パターン	

少数・固定のNE/関係クラス	

複数文書（Web）"
情報抽出	
Web時代	

手段	

手段	

知識獲得"

知識獲得"


 



"-$




die of X

X prevent

1

0

heart attack

1

1

0

0

heart disease

1

1

0

exercise

0

0

1

+!−(%0/+!−(%0/

X reduce
risk of Y  ,'."$

0

X is key to Y

1

X prevent Y1

X reduce
risk of Y1

exercise

X is key to Y

heart attack
heart disease

X prevent Y

X kill−(%0/

X kill"-$%./#

X prevent

1)0'$'-&*2"-$


die of X
 

大規模化	"-$


−(%0/

diet – heart attack

1

1

0

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

exercise – breast cancer

1

1

1

aspirin – blood clots 0

1

1

aspirin – blood clots 01

1

©2012 Kentaro Inui	0

1

知識との照合	





"-$




1)0'$'-&*2

外部資源	

クラス制約付き関係抽出パターン	
多種類/オープンな
実体/関係クラス	

関係インスタンス"
クラスインスタンス	

多種類/オープンな
実体/関係クラス	

"-$%./#  ,'."$

言語処理学会第18回年次大会チュートリアル資料	

118	

の知識獲得	X killdie of X

X prevent

知識獲得方式（地図③）	
heart attack

1

1

0

heart disease

1

1

0

exercise

0

0

1

X prevent Y

X is key to Y

X reduce
risk of Y

単語−パターン行列	

diet – heart attack

1

1

0

exercise – breast cancer

1

1

1

aspirin – blood clots 011

ペア−パターン行列	

クラスの集合を指定	

教師あり学習	

半教師あり学習（ブートストラップ）	

クラスを指定しない	

クラスタリング	

知識獲得方式のマトリクス	

依存構造の集合	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

119	

再帰構造のクラスタリング	• Poon and Domingos （2009）"– Unsupervised semantic parsing"– 依存構造の部分木を確率的にクラスタリング"– Markov logicで確率モデルを表現	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

120	

部分木のクラスタリング	
（Poon & Domingos 2009）
クラスタリングの初期状態	
Farecast was acquired by Microsoft.	
 Microsoft Corporation bought Farecast.	
acquired	
nsubjpass	Farecast	bought	agent
	

nsubj	

dobj	

Microsoft	Corporation	

Farecast	nn	
Microsoft	
H. Poon (2011), Markov Logic for Machine Reading. Ph.D. Thesis.
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

121	

部分木のクラスタリング	
（Poon & Domingos 2009）推定されるクラスタ	
Farecast was acquired by Microsoft.	
 Microsoft Corporation bought Farecast.	
acquired	
nsubjpass	②	

Farecast	bought	

①	

①	

agent
	

nsubj	

Microsoft	Corporation	

②	

dobj	

Farecast	nn	
Microsoft	
H. Poon (2011), Markov Logic for Machine Reading. Ph.D. Thesis.
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

122	

実体/関係のクラスをどう決めるか	③ 文脈類似度によるクラスタリング"– 各表現はクラスタに確率的に所属"– クラスタはラベルを持たない"④ クラスタも作らない"– ベクトル空間モデル"• 語の意味を文脈ベクトルで表現"– Compositional distributional semanticsへ"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

123	

Compositional Distributional Semantics	
• 語の意味を文脈ベクトルで表現 （ベクトル空間モデル; VSM）"• フレーズの文脈ベクトルを単語の文脈ベクトルから構成的に計算"• フレーズ間の意味的類似度 ＝ 文脈ベクトルの近さ"
例．Thater+ （2010）	
acquire×	

15(OBJ, OBJ−1, gain)
6(OBJ, CONJ−1, skill)
6(OBJ, OBJ−1, buy-back)42(OBJ, OBJ−1, purchase)...	
©2012 Kentaro Inui	

knowledge＝	 acquire knowledge
75(OBJ, OBJ−1, gain)
5(OBJ−1, gain)
12(OBJ, CONJ−1, skill)
2(CONJ−1, skill)0(OBJ−1, buy-back) 0(OBJ, OBJ−1, buy-back)0(OBJ−1, purchase) 0(OBJ, OBJ−1, purchase)
...	
...	

言語処理学会第18回年次大会チュートリアル資料	

124	

Compositional Distributional Semantics	
• 近年論文増加"– Clark & Pulman (2007), Erk & Padó (2008),
Widdows (2008), Preller & Prince (2010),
Thater+ (2010), Reddy+ (2011), Clarke (2011),
Mitchell (2011), etc."– Proc. of the ACL-HLT 2011 Workshop on
Distributional Semantics and Compositionality(DiSCo’2011)"• 対象"– 動詞×名詞，形容詞×名詞，文全体，etc."– 語順，多義性，連言，選言，否定"• 文の意味をどこまでVSMで表現できるかは今後の課題"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

125	

やわらかい記号の世界： まとめ	• 問題"
– テキストと知識ベースの柔軟な照合が必要"– 知識ベースの実体/関係のクラスをどう決めるか"• 対策"– 固定多クラス（ラベルあり）から
クラスタリング，DCS（ラベルなし）まで多様化"– 構造を持つ意味表現を教師なし学習するアプローチも"• Open issues"– ラベル無しの意味表現だけで自己完結できるか？"– Propositional & Distributional Semanticsの融合？"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

本講演の構成	
1. Annotation layer cake"2. 情報抽出と知識獲得の今"
3. Making the implicit explicit"
4. やわらかい記号の世界"
5. ルールを作るところから	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

多様なタスク、性質の見極めを	“Event extraction” represents a broad
range of tasks. The differences among thesetasks reflect themselves in differences in theapplicable extraction procedures anddifferences in the effectiveness of particularlearning methods. These factors must berecognized if we are to make continued
progress in event extraction.
（Ralph Grishman: The Impact of Task and Corpus on Event Extraction Systems, LREC 2010.）	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

128	

多様なタスク、性質の見極めを	We must also maintain an awareness ofthe characteristics of the corpora, particularly
if the corpora for development or evaluationdiffer in some way from the final target
application. Understanding thecharacteristics of the corpus is an inherent
part of understanding the extraction task.	
（Ralph Grishman: The Impact of Task and Corpus on Event Extraction Systems, LREC 2010.）	

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

129	

ルールを作っているのは誰か？	
テンプレート	
TIE-UP-1	
Relationship:	

TIE-UP	

Entities:	

“Bridgestone Sports Co.”	
“a local concern”	
“a Japanese trading house”	

Joint Venture Company:	
 “Bridgestone Sports Taiwan Co.”	
Amount:	

NT$2,000,000	

Bridgestone Sports Co. said Friday it has set up a joint venture in
Taiwan with a local concern and a Japanese trading house to produce
golf clubs to be shipped to Japan.
The joint venture, Bridgestone Sports Taiwan Co., capitalized at 20
million new Taiwan dollars, will start production in January 1990 withproduction of 20,000 iron and “metal wood” clubs a month.	
Onyshkevych, et al. Tasks, Domains, and Languages. Proc. of the 5th Message Understanding Conference, 1993.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

130	

ルールを作っているのは誰か？"
談話関係	

Penn Discourse
Treebank	

時間関係	

TimeBank	

GDA	

センチメント	

MPQA	

述語項構造
（省略）	

NomBank	
PropBank	

照応・共参照	
語義・固有表現	句/依存構造	
形態素	©2012 Kentaro Inui	

GNOME	

OntoNote	CoNLL
FactBank	
 2012	

Prague Discourse TB	

モダリティ	GDA	FrameNet	 BCCWJ	
ACE/EDT

京大 NAIST
テキスト
TC コーパス
	
 GDA	
4.0	

BCCWJ	

Penn Treebank	
英語	

BCCWJ

日本語コーパス

言語処理学会第18回年次大会チュートリアル資料	

京大
コーパス
日本語	

131	

OntoNote（CoNLL2011）の共参照タグ	
generic nominal mention との共参照は代名詞と定名詞
句のみ．generic nominal mention 同士の共参照は考えない．
– Meetings are most productive when they are heldin the morning. （この例のみ共参照）– Allergan Inc. said it received approval to sell the
PhacoFlex intraocular lens, the first foldable silicone
lens available for *cataract surgery. The lens’foldability enables it to be inserted in smaller incisions
than are now possible for *cataract surgery.

– Argentina said it will ask creditor banks to *halve its
foreign debt of $64 billion – the third-highest in thedeveloping world . Argentina aspires to reach*a reduction of 50% in the value of its external debt.	
S. Pradhan, L. Ramshow, M. Marcus, M. Palmer, R.Weischedel, and N. Xue （2011）
CoNLL-2011 Shared Task: Modeling Unrestricted Coreference in OntoNotes, CoNLL Shared Task.
	
132	
©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	

Penn Discourse Treebank	（Miltsakaki, Prasad, Joshi and Webber, 2004）	

• 談話マーカで明示された談話関係"" → スコープを同定"• 非明示的な談話関係"" → 隣接する文の間の談話関係を同定	

Examples from Prasad, et al. (2004) Attribution and its annotation in the Penn Discourse TreeBank. L’objet.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

133	

計算言語学者が牽引	• C. Fillmore（認知言語学，フレーム意味論）"– C. Baker, C. Fillmore, and J. Lowe. The Berkeley FrameNet
project. COLING/ACL, 1998."– N. Ide, C. Baker, C. Fellbaum, C. Fillmore, and R. Passonneau.
MASC: The manually annotated sub-corpus of American
English. LREC, 2008."• J. Pustejovsky（語彙意味論，生成語彙論）"– J. Pustejovsky, A. Meyers, M. Palmer, and M. Poesio. Merging
PropBank, NomBank, TimeBank, Penn Discourse Treebank andCoreference. Workshop on Frontiers in Corpus Annotation II,
2005."– R. Sauri, J. Littman, B. Knippen, R. Gaizauskas, A. Setzer, andJ. Pustejovsky. TimeML Annotation Guidelines Version 1.2.1.
2006. 	
– R. Sauri and J. Pustejovsky. FactBank: A corpus annotated with
event factuality. Language Resources and Evaluation, 2009. 	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

134	

計算言語学者が牽引	• Prague Tectogrammatics"©2012 Kentaro Inui	

http://ufal.mff.cuni.cz/pdt/Corpora/PDT_1.0/Doc/tect.html	
言語処理学会第18回年次大会チュートリアル資料	

135	

ルール作りから①： 大学入試問題"
2009年度センター試験	
  
世界史B	
  
兵制や兵士について述べた文として最も適当なものを，次のうちから一つ選べ。	
  ① イェニチェリは，オスマン帝国の常備軍であった。	
② フランク王国では，テマ制（軍管区制）の下で屯田兵制が行われた。	
東地中海の強国―オスマン帝国	
．．． イェニチェリ軍団は，軍楽隊，工兵隊，大砲隊，鉄砲隊などをそなえた皇帝直属の常備軍で，のちにヨーロッパで発展する近代的陸軍の先がけであった。	
  ビザンツ帝国	．．．7世紀前半のヘラクレイオス1世は，アラブ軍の侵入にそなえて地方の体制を整えるためにテマ（軍管区）制を採用した。兵士には軍役とひきかえに世襲地が与えられ（屯田兵制），自作農の増加によって農村社会は活力にあふれるようになった。	
  東京書籍 平成19年度 世界史B	  宮尾祐介 「自然言語の意味解析はなぜ難しいのか」，ALAGIN技術開発部会：自然言語処理分科会セミナー，2012年2月	
136	
言語処理学会第18回年次大会チュートリアル資料	

©2012 Kentaro Inui	ルール作りから①： 大学入試問題	
• 記憶していることと問われていることが意味的に一致しているかどうかを認識する→ 含意関係認識"
兵制や兵士について述べた文として最も適当なものを，次のうちから一つ選べ。	
  ① イェニチェリは，オスマン帝国の常備軍であった。	
② フランク王国では，テマ制（軍管区制）の下で屯田兵制が行われた。	
イェニチェリ	  ＝イェニチェリ軍団	
  オスマン帝国の常備軍	
  ← 皇帝直属の常備軍	
  東地中海の強国―オスマン帝国	
．．． イェニチェリ軍団は，軍楽隊，工兵隊，大砲隊，鉄砲隊などをそなえた皇帝直属の常備軍で，のちにヨーロッパで発展する近代的陸軍の先がけであった。	
  宮尾祐介 「自然言語の意味解析はなぜ難しいのか」，ALAGIN技術開発部会：自然言語処理分科会セミナー，2012年2月	
137	
©2012 Kentaro Inui	
言語処理学会第18回年次大会チュートリアル資料	

ルール作りから②： 常識推論	
• 文の implication を認識する"– 文のEntailment: 文が真ならば，必然的に真である命題"– 文のImplication: 文が真ならば，真であると期待できる命題"
The service at the restaurant was slow.
[implication] The restaurant was crowded.

©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

138	

ルール作りから②： 常識推論	
• Choice Of Plausible Alternatives （COPA）（Roemmele+ 11）"– premise に対して最も plausible な
implication を選択するタスク"– 開発セット500問，テストセット500問"– 多様なトピック，高い作業者間一致率"– 共起指標を用いた単純な手法: 正解率58.8%"[Premise] The man fell unconscious. What was the cause of this?
[Alternative 1] The assailant struck the man in the head.
[Alternative 2] The assailant took the man’s wallet.	
M. Roemmele, C. A. Bejan, and A. S. Gordon (2011), Choice of Plausible Alternatives: An Evaluation of Commonsense
Causal Reasoning, AAAI-2011 Spring Symposium on Logical Formalizations of Commonsense Reasoning.
	©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

139	

まとめ	
• 大規模言語資源（コーパス，知識）が利用可能な時代を迎え，知識獲得のボトルネックが少なくとも部分的には解消されつつある"• しかし，大規模知識ベースなるミッシングピースをはめ込めば直ちに深い意味談話解析や推論が実現できる，といった単純なストーリーには今のところなっていない"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

140	

まとめ	
• 一方，応用指向的に問題を限定することで発展してきた情報抽出技術は，ウェブスケールの知識獲得との融合により，超多クラスの情報抽出と情報統合をねらう新しい領域を切り拓きつつあり，
意味解析の目的に別の角度から接近している"• ただし，パターンベースの抽出が困難な非明示的関係を推論する談話解析相当問題については，
頑健で柔軟な推論方式や意味の表現方法，モデ
ルの評価方法など，今後取り組むべき課題が山積している"©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

141	参考文献	
Annotation layer cake	• D. Kawahara and S. Kurohashi (2006) A Fully-Lexicalized Probabilistic
Model for Japanese Syntactic and Case Structure Analysis. HLT."• A. Meyers, R. Reeves, C. Macleod, R. Szekely, V. Zielinska, B. Young, and
R. Grishman (2004), The Nombank Project: An interimreport, HLT-NAACL
Workshop on Frontiers in Corpus Annotation."• E. Miltsakaki, R. Prasad, A. Joshi, and B. Webber (2004), The Penn
Discourse Treebank, LREC."• M. Palmer, D. Gildea, and P. Kingsbury (2005), The proposition bank: An
annotated corpus of semantic roles, Computational Linguistics."• R. Prasad, et al. (2004), Attribution and its annotation in the Penn Discourse
Treebank. L’objet."• R. Sasano, D. Kawahara and S. Kurohashi (2010) The Effect of Corpus
Size on Case Frame Acquisition for Predicate-Argument Structure Analysis.
IEICE TRANSACTIONS on Information and Systems, E93-D (6)."• R. Sauri and J. Pustejovsky. FactBank (2009) A corpus annotated with event
factuality. LREC.	
©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

142	

情報抽出と知識獲得の今	• S. Abe, K. Inui, and Y. Matsumoto (2008), Two-phased event relationacquisition: coupling the relation-oriented and argument-oriented
approaches. COLING."• M. Banko, M. J. Cafarella, S. Soderland, M. Broadhead, and O. Etzioni(2007), Open information extraction from the web. IJCAI."• A. Carlson, J. Betteridge, E. R. Hruschka Jr. and T. M. Mitchell (2009)
Coupling Semi-Supervised Learning of Categories and Relations. NAACL
HLT Workshop on Semi-supervised Learning for Natural Language
Processing."• A. Carlson, J. Betteridge, B. Kisiel, B. Settles, E.R. Hruschka Jr. and T.M.
Mitchell (2010) Toward an Architecture for Never-Ending Language
Learning. AAAI. "• T. Chklovski and P. Pantel (2004), Verbocean: Mining the web for finegrained semantic verb relations, EMNLP."• J. Christensen, M. S. Soderland and O. Etzioni (2011), An Analysis of OpenInformation Extraction based on Semantic Role Labeling. International
Conference on Knowledge Capture."• T. Chklovski and P. Pantel (2004), Verbocean: Mining the web for finegrained semantic verb relations, EMNLP.""©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

143	• J. Christensen, M. S. Soderland and O. Etzioni (2011), An Analysis of OpenInformation Extraction based on Semantic Role Labeling. International
Conference on Knowledge Capture."• S. De Saeger, K. Torisawa, J. Kazama, K. Kuroda, and M. Murata (2009),
Large Scale Relation Acquisition Using Class Dependent Patterns. ICDM. "• O. Etzioni, A. Fader, J. Christensen, S. Soderland, and M. T. Center (2011),
Open Information Extraction: The Second Generation, IJCAI."• A. Fader, S. Soderland, and O. Etzioni (2011), Identifying Relations forOpen Information Extraction. EMNLP."• M. Hearst (1992), Automatic acquisition of hyponyms from large text
corpora. COLING."• M. Komachi (2010), Graph-Theoretic Approaches to Minimally-Supervised
Natural Language Learning. Ph.D. Thesis."• B. Onyshkevych, et al. (1993), Tasks, Domains, and Languages, Proc. of
MUC-5."• P. Pantel and M. Pennacchiotti (2006), Espresso: Leveraging Generic
Patterns for Automatically Harvesting Semantic Relations, COLING."• M. Pasca, D. Lin, J. Bigham, A. Lifchits, and A. Jain (2006), Organizing andsearching the world wide web of facts − step one: The one-million fact
extraction challenge. AAAI."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

144	• A. Peñas and E. H. Hovy (2010), Filling Knowledge Gaps in Text for
Machine Reading, COLING, Poster."• E. Riloff, and R. Jones (1999), Learning Dictionaries for Information
Extraction by Multi-Level Bootstrapping. AAAI."• B. Rosenfeld and R. Feldman (2007), Using corpus statistics on entities toimprove semi-supervised relation extraction from the Web. ACL."• S. Sekine (2006), On-Demand Information Extraction, COLING."• T. Shibata and S. Kurohashi (2011), Acquiring Strongly-related Events using
Predicate-argument Co-occurring Statistics and Case Frames. IJCNLP,
poster."• Y. Shinyama and S. Sekine (2006), Preemptive information extraction using
unrestricted relation discovery, HLT-NAACL."• F. Wu and D. S. Weld (2010), Open information extraction using Wikipedia.
ACL."• R. Yangarber (2003), Counter-training in discovery of semantic patterns.
ACL."
Making the implicit explict"• J. Blythe, J. R. Hobbs, P. Domingos, R. J. Kate, and R. J. Mooney (2011),
Implementing Weighted Abduction in Markov Logic. IWCS."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

145	• A. Hickl and J. Bensley (2007), A Discourse Commitment-Based Framework
for Recognizing Textual Entailment. ACL Workshop on Textual Entailment
and Paraphrasing."• J. R. Hobbs, M. Stickel, P. Martin, and D. Edwards (1993), Interpretation as
abduction. Artificial Intelligence."• E. Hovy (2010), A New Semantics: Merging Propositional and Distributional
Approaches. IWCS."• N. Inoue and K. Inui (2011), ILP-Based Reasoning for Weighted Abduction.
AAAI Workshop on Plan, Activity and Intent Recognition."• 井之上直也，乾健太郎，E. Ovchinnikova，J. R. Hobbs （2012）, 大規模世界知識を用いた仮説推論による談話解析の課題と対策．言語処理学会第18回
年次大会．	• A. Peñas and E. H. Hovy (2010), Semantic Enrichment of Text with
Background Knowledge. First International Workshop on Formalisms andMethodology for Learning by Reading.""
やわらかい記号の世界	• A. Carlson, J. Betteridge, E. R. Hruschka Jr. and T. M. Mitchell (2009),
Coupling Semi-Supervised Learning of Categories and Relations. NAACL
HLT Workshop on Semi-supervised Learning for Natural Language
Processing."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

146	• D. Clarke (2011), A Context-theoretic Framework for Composi-tionality inDistributional Semantics, Computational Linguistics."• S. Clark and S. Pulman (2007), Combining symbolic and distributionalmodels of meaning, AAAI Spring Symposium on Quantum Interaction. "• I. S. Dhillon (2001), Co-clustering documents and words using Bipartite
Spectral Graph Partitioning. KDD, 2001."• I. S. Dhillon and Y. Guan (2003), Information theoretic clustering of sparseco-occurrence data. ICDM."• K. Erk and S. Padó (2008), A structured vector space model for word
meaning in context, EMNLP."• V. J. Hodge and J. Austin (2002), Hierarchical word clustering − automaticthesaurus generation. Neurocomputing, 48 (1-4). "• J. Kazama and K. Torisawa (2008), Inducing Gazetteers for Named Entity
Recognition by Large-scale Clustering of Dependency Relations. ACL. "• S. Kok and P. Domingos (2008), Extracting Semantic Networks from Text via
Relational Clustering. ECML."• P. Liang, M. I. Jordan, D. Klein (2011), Learning dependency-based
compositional semantics, ACL."• J. Mitchell (2011), Composition in distributional models of semantics, Ph.D.
Thesis."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

147	• A. Peñas and E. H. Hovy (2010), Semantic Enrichment of Text with
Background Knowledge. First International Workshop on Formalisms andMethodology for Learning by Reading."• F. Pereira, N. Tishby, and L. Lee (1993), Distributional clustering of English
words. ACL."• A. Preller and V. Prince (2010), Quantum logic unites compositional
functional semantics and distributional semantic models. In Compositionality
and Distributional Semantic Models, ESSLLI."• H. Poon (2011) Markov Logic for Machine Reading. Ph.D. Thesis."• H. Poon and P. Domingos (2009) Unsupervised semantic parsing. EMNLP."• S. Reddy, I. P. Klapaftis, D. McCarthy, S. Manandhar (2011), Dynamic andStatic Prototype Vectors for Semantic Composition, IJCNLP."• S. Thater, H. Furstenau, and M. Pinkal (2010), Contextualizing Semantic
Representations Using Syntactically Enriched Vector Models, ACL."• D. Widdows (2008), Semantic vector products: Some initial investigations.
AAAI Symposium on Quantum Interaction."• Proc. of the ACL-HLT 2011 Workshop on Distributional Semantics andCompositionality (DiSCo’2011)."©2012 Kentaro Inui	

言語処理学会第18回年次大会チュートリアル資料	

148