言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ⾃自然⾔言語を意味表現に変換する⼿手法と展望 　⽥田 　然（TIAN  Ran）
東北北⼤大学1

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  「意味」の⼀一つの捉え⽅方

2ª⾔言語の基本的な機能の⼀一つは、実世界を記述することにある。
ª発話の「意味」を理理解することは、発話が実世界のどの状況に対応するかを理理解することである。
自然言語	
  

対応

実世界の状況を示す意味表現	  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  問題が⼆二つに分かれるª意味表現は何なのか？
ª⾃自然⾔言語を意味表現に変換するにはどうすれば？

3言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  概要① Semantic  Parsing② 推論論③ 知識識表現とは何か？
④ 展望

4言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

5

概要

① Semantic  Parsing
⾃自然⾔言語を意味表現に変換する

CCG

DCS

Freebase-‐‑‒QA

この流流れを⼀一⾔言で⾔言えば…

意味表現の性質を捉えて、
ダイレクトに変換しよう！

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

6

概要

② 推論論
世界に関する情報とどうマッチする？
自然言語	
  

意味表現	
  

世界に関する情報のデータベース	  

1. フレームのマッピング
2. 関係データベースのクエリ
3. 論論理理推論論

より複雑言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

概要

7

③ 知識識表現とは何か？
– “What  is  a  Knowledge  Representation?”  AI  Magazine,  1993
• 実世界の代⽤用物• 実世界にある概念念の部分集合• インテリジェントな推論論に関する断⽚片的理理論論• 効率率率的な計算を⾏行行うための媒介• ⼈人間が世界を表現する媒介物

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

概要

④ 展望
より⾼高度度なインテリジェンス⽬目指して
1. 東ロボ世界史オントロジー
2. Common  Sense  Reasoning  (Event  Calculus)

8言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ① Semantic  Parsing

9言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

10

概要

① Semantic  Parsing
⾃自然⾔言語を意味表現に変換する

CCG

DCS

Freebase-‐‑‒QA

この流流れを⼀一⾔言で⾔言えば…

意味表現の性質を捉えて、
ダイレクトに変換しよう！

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  CCG 11
CCG:  Combinatory  Categorial  Grammar

⾃自然⾔言語⽂文

意味を表す論論理理表現

CCG  parsing

⾊色んなインテリジェントなタスクに使う

h*p://yoavartzi.com/pub/afz-­‐tutorial.acl.2013.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  CCG 12

⾃自然⾔言語⽂文から（なるべく）完全な意味を引き出す。
出来上がった意味表現を様々なタスクに応⽤用する。
• データベース・クエリに変換して質問に答える  [1]• 記述に合った物体を探し出す  [2]• 指⽰示通りにロボットを動かす  [3]h*p://yoavartzi.com/pub/afz-­‐tutorial.acl.2013.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  13

全てのインテリジェントなタスクに適する、完全に整合性の取れる意味表現は
ほぼ無理理では？
個⼈人的感想：「Complete」なんかあり得ない…

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  CCG 14ªもっと詳しい説明は  Yoav  Artzi  のスライド参照h*p://yoavartzi.com/tutorial/	  v 前２ページで使った図は上記スライドから引⽤用した

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 15

DCS:  Dependency-‐‑‒based  Compositional  Semanticsª⾃自然⾔言語をデータベース・クエリに変換して質問に答えるタスク[4]

What  is  the  largest  city  in  California?

Los  Angles
h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 16ª質問・答えのペアからクエリの作り⽅方を学習

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 17ªDCSの考え⽅方：– 質問を答えるために必要なデータベースの操作を整理理してモジュール化– ⽊木構造でモジュールを組み⽴立立ててデータ
ベース・クエリを表す– 依存構造解析のように⾃自然⾔言語からクエリの⽊木構造を解析する– 正しい答えを出⼒力力するような⽊木構造を学習する

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 18
city  in  California

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 19
city  in  California

city1  と  loc1  をジョインする

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 20
city  in  California

CA1  と  loc2  をジョインする
h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 21
city  in  California
依存構造⽊木に類似

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 22ª依存構造⽊木とデータベース操作の順序はそのまま対応してなくても、依存構造に合わせる

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 23ª統語スコープでマーク・意味スコークで実⾏行行

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 24ª量量化⼦子のスコープ違いは、実⾏行行順序の違い

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  25• ⽂文の「完全な意味」を表す⼀一般
的な論論理理形式ではなく、必要なデータベース操作を図式化• 間接的な訓練データ（質問回答ペアなど）で⾃自然⾔言語⽂文からのマッピングを学習する⼿手法は、
個⼈人的感想： もはや  Semantic  Parsing  基本

⽬目標とする意味表現（データベース・クエリ）をよりダイレクトに表す設計

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Semantic  Parsing  with  DCS 26ªもっと詳しい説明は  Percy  Liang  のスライド参照
h*p://semanBcrepresentaBon.stanford.edu/
Slides/Percy-­‐Liang.pdf	
  v 前７ページで使った図は上記スライドから引⽤用した

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

27ªFreebase:共同で作るデータベースで世界中の知識識をシェアする、という壮⼤大な構想– 実際の内容は、有名な⼈人物・場所・物などに関する情報
{	
  
	
  	
  	
  	
  	
  	
  "id":	
  "/en/barack_obama",	
  
	
  	
  	
  	
  	
  	
  "name":	
  "Barack	
  Obama",	
  
	
  	
  	
  	
  	
  	
  "notable":	
  {	
  
	
  	
  	
  	
  	
  	
  	
  	
  "name":	
  "US	  President",	
  
	
  	
  	
  	
  	
  	
  	
  	
  "id":	
  "/government/
us_president"	
  
	
  	
  	
  	
  	
  	
  }	
  
}	
  

h*ps://www.freebase.com	
  h*p://yoavartzi.com/sp14/slides/liang.sp14.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

28ªインターネットでよく聞かれる質問に対して、Freebaseから答えを探し出すタスク
people  who  have  lived  in  Chicago

Freebase	  {BarackObama,MichelleObama,...}	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

29ª「DCS的な」アプローチ[5]people  who  have  lived  in  Chicago

Freebase	  {BarackObama,MichelleObama,...}	
  h*p://yoavartzi.com/sp14/slides/liang.sp14.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

30ªしかし  Freebase  は関係DBではなかった…
– Freebaseは、有名な物事を中⼼心に情報をまとめている– 「よく聞かれる質問」も、有名な物事に関するのが多い

関係DB“What	  is	
  the	
  longest	
  river	
  that	  runs	  through	  a	
  state	
  that	  borders	  Tennessee”?	
  Freebase

people  who  have  lived  in  Chicago

h*p://yoavartzi.com/sp14/slides/liang.sp14.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

31ªFreebase-‐‑‒QA  を扱う、もっとダイレクトな⽅方法 [6]	
  – 「DCS的な⼿手法」とほぼ同じ（場合によって少しよい）性能を出した1. 質問⽂文の中の固有名詞をFreebaseのノードにマッチ
2. マッチされたノードのまわりのノードに対して、それが答えであるかどうかを判定する
分類器をかける

people  who  have  lived  in  Chicago

h*p://yoavartzi.com/sp14/slides/liang.sp14.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebase-‐‑‒QA

32ª詳しくは  Xuchen  Yao  と  Jonathan  Berant  の論論⽂文[7]  を参照

h*p://yoavartzi.com/sp14/	  v 前４ページで使った図は上記  Percy  Liang  のスライドから引⽤用した

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  33• Freebaseも関係データベース
も⼀一⾔言でデータベースだけど、Freebaseの⽅方は「フラット」• DCS的クエリを仲介するやり⽅方
は、⼀一般論論理理表現を「余計に」中間層に取り付けたCCGと同じ
個⼈人的感想： 「過ち」を犯した気がする

意味表現の性質により合致する変換法
こそベスト言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Freebaseと関係DB

34ªでは、Freebaseと関係DBの違いは
どうして⽣生じたのだろう？
– 関係DBの情報はFreebaseに変換できるし、逆も頑張ればできるはず– 本当に違うもの？

ªいや、本質的に違う！
à推論論

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

② 推論論

35

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

36

概要

② 推論論
世界に関する情報とどうマッチする？
自然言語	
  

意味表現	
  

世界に関する情報のデータベース	  

1. フレームのマッピング
2. 関係データベースのクエリ
3. 論論理理推論論

より複雑言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  マッピング的な推論論

37ªAIにおける「フレーム」の考え⽅方– ある概念念に関するすべての事実と属性が⼀一箇所に置かれていたら、データベース内を⼿手間をかけて検索索する必要がない– ⼿手元にあるデータを「プロトタイプ」に関するフレームに当てはめて、関連する事実や属性を導き出す推論論言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  マッピング的な推論論ª例例１：Freebase
{	
  
	
  	
  	
  	
  "type":	
  "/people/person",	
  
	
  	
  	
  	
  "name":	
  "Barack	
  Obama",	
  
	
  	
  	
  	
  ”*":	
  null	
  
}	
  

38

{	
  
	
  	
  	
  	
  "type":	
  "/people/person",	
  
	
  	
  	
  	
  "name":	
  "Barack	
  Obama",	
  
	
  	
  	
  	
  "children":	
  [	
  
	
  	
  	
  	
  	
  	
  	
  	
  "Natasha	
  Obama",	
  
	
  	
  	
  	
  	
  	
  	
  	
  "Malia	
  Ann	
  Obama"	
  
	
  	
  	
  	
  ],	
  
	
  	
  	
  	
  "place_of_birth":	
  "Honolulu",	
  
	
  	
  	
  	
  "date_of_birth":	
  "1961-­‐08-­‐04",	
  
	
  	
  	
  	
  "height_meters":	
  1.85,	
  
	
  	
  	
  	
  "parents":	
  [	
  
	
  	
  	
  	
  	
  	
  	
  	
  "Barack	
  Obama,	
  Sr.",	
  
	
  	
  	
  	
  	
  	
  	
  	
  "Ann	  Dunham"	
  
	
  	
  	
  	
  ],	
  
	
  	
  	
  	
  ...	  }	  

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  マッピング的な推論論

39ª例例２：格フレーム

修行を 積む	  積む/つむ:動2	
  	
  	
  <ガ格>	
  一人一人,	
  人,	
  選手,	  私,	  ... 	
  	
  
	
  
＊	
<ヲ格>	
  研鑽,	
  修行,	
  練習,	
  トレーニング,	
  …	
  
	
  
	
  <ニ格>	
  自分,	
  相手,	  ...	
  	
  
	
  
	
  <デ格>	
  下,	
  元,	
  病院,	
  音楽+院,	
  レストラン,	  ...	
  	
  
	
  
	
  <修飾>	
  更に,	  為,	  シッカリ,	  もっと,	
  ... 	
  	
  
	
  

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  マッピング的推論論に関して⼀一⾔言：直感的。論論理理的でない場合もある。
⼤大雑把で型に嵌った推論論しかできない40

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  データ・クエリ41ª関係モデル– 関係によってデータレコードをまとめる– 様々な関係の制約を満たすレコードを探す“What	  is	
  the	
  longest	
  river	
  that	  runs	  through	  a	
  state	  that	
  borders	
  Tennessee”?	
  …
h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  42

データ・クエリªレコード取り出す操作は関係代数の演算⼦子で記述される
×:  直積“books	  read	  by	
  students”	
  ∩:  交わり

πOBJ { read ∩( student × book )}	

read!

π:  射影…

student!

book!

SUBJ!

OBJ!

ARG!

ARG!

Mark	
  
Mary	
  
John	
  
…	
  

New	
  York	  Times	  A	
  Tale	  of	  Two	  CiBes	  Ulysses	
  
…	
  

Mark	
  
John	
  
Emily	  …	
  Linear	  Algebra	
  A	
  Tale	  of	  Two	  CiBes	  Ulysses	  …	  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  データ・クエリに関して⼀一⾔言：

カノニカルな関係が複数絡まっている
場合、要求に合った情報を取り出せる43

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  論論理理推論論

44ª関係DBのクエリは論論理理式の⼀一種
city  in  California
クエリ（関係代数式）
π1 { loc ∩( city × CA )}	

論論理理式（ラムダ式）
λc.∃l. ∃s.(c∈city∧c1=l1∧l∈loc∧ l2=s2∧s∈CA)	

h*p://semanBcrepresentaBon.stanford.edu/Slides/Percy-­‐Liang.pdf	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  論論理理推論論は「開世界」

45ª ⼀一般的な論論理理推論論とデータ・クエリとは、⼀一つ⼤大き
な違いがあるª データ・クエリでは、テーブルに記録がなければ、その関係を満たさないものとする（閉世界仮説）ª 論論理理推論論では⼀一般にこれを仮定しない（開世界）ª 「開世界」において、データ・クエリのやり⽅方そのままでは正しく推論論できない可能性があるª それを端的に表したのはエディプスの例例[10]  である

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  エディプスの例例

46ªエディプスは⽗父親を殺し、⺟母親のイオカステと結婚した。⼆二⼈人の間にポリュネイケスという⼦子が⽣生まれた。そして、ポリュネイケスは
後に⾃自分の⼦子のテルサンドロスを⽣生んだ。
ªエディプスは⽗父殺しである。テルサンドロス
は⽗父殺しではない。
ª問題：イオカステの⼦子供で、⽗父殺しで、かつ⽗父殺しでない⼦子を持つような⼈人物はいるか？

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  47

エディプスの例例ª関係データベースで表現すると
親

親⼦子関係

⼦子

イオカステ	
  エディプス	  イオカステ	  ポリュネイケス	
  エディプス	  ポリュネイケス	  ポリュネイケス	
   テルサンドロス	
  
…	
  
…	
  

⽗父殺し

エディプス	  …	  ⽗父殺しでない

テルサンドロス	  …	  問題：イオカステの子供で、父殺しで、かつ父殺しでない子を持つような人物？	

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  エディプスの例例

48ª間違った推論論（データ・クエリ的やり⽅方）

問題：イオカステの子供で、父殺しで、かつ父殺しでない子を持つような人物？	

– イオカステの⼦子は⼆二⼈人いる。⼀一⼈人、エディプスは
⽗父殺しだが、彼の⼦子供のポリュネイケスが⽗父殺しでないかどうかは分からない。そしてもう⼀一⼈人、ポリュネイケスは⽗父殺しでない⼦子テルサンドロスを持つが、彼⾃自⾝身が⽗父殺しかどうか分からない。
– よって、答えはNO

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  エディプスの例例

49ª正しい推論論

問題：イオカステの子供で、父殺しで、かつ父殺しでない子を持つような人物？	

– ポリュネイケスは⽗父殺しか⽗父殺しでないかどちらかである。もし、ポリュネイケスは⽗父殺しである
場合、ポリュネイケスは問題の条件を満たす。⼀一⽅方、もしポリュネイケスは⽗父殺しでないとすると、エディプスは問題の条件を満たす。
– よって、答えは「ポリュネイケスかエディプスかのいずれか」で、YESである！
– 条件にも問題にも  AND  しかない。にも関わらず答えには  OR  が出た！

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  論論理理推論論に関して⼀一⾔言：50

明⽰示的に⾔言われた事以外は仮定しない。
それでいて⼿手掛りは何⼀一つ⾒見見逃さない。

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  含意関係認識識への応⽤用

51ª⾃自然⾔言語⽂文をDCSによって、関係代数の演算に変換できるª関係代数の演算の間に、どんなデータベースにおいても成り⽴立立つような、論論理理的性質が考えられる

A × ( B ∩ C ) = ( A × B ) ∩ ( A × C ), A ∩ B ⊂ A, … 	

ª⼆二つの⽂文が同じ意味かどうかは、論論理理推論論で判定できる

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  52

含意関係認識識への応⽤用ª本来、（係り受けにない）述語項構造が認識識されないと解けない問題が、係り受け⽊木（に近いDCS⽊木）と共参照と論論理理推論論で解かれる[8,9]	  T:  Hurrican  Isabel,  which  caused  signiﬁcant  damage,  was  a  tropical  storm  when  she  entered  Virginia.

H:  A  storm  entered  Virginia,  causing  damage.

storm	
  

ARG	
  

ARG	
  
TIME	
  
MOD	
  
ARG	
  

Hurrican_Isabel#1	
  
ARG	
  
SUBJ	
  
cause	
  
OBJ	
  
ARG	
  
damage	  MOD	  tropical	
  

TIME	
  

enter	
  
OBJ	
  
ARG	
  
ARG	
  
she#1	
   Virginia	
  
SUBJ	
  

ARG	
  

signiﬁcant	  含意enter	
  

SUBJ	
  
ARG	
  

storm	
  

SUBJ	
  
SUBJ	
  

cause	
  
OBJ	
  
ARG	
  
damage	
  

OBJ	
  

ARG	
  

Virginia	  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  53

⾔言語知識識との組み合わせª パラフレーズ知識識と組み合わせて使うこともできる
T:  Tropical  storm  Debby
  is  blamed  for  death.

H:  A  storm  has  caused
  loss  of  life.

blame	
  

OBJ	
  

ARG	
  
Debby	
  
ARG	
  

ARG	
  

storm	
  

ARG	
  

MOD	
  

tropical	
  prep_for	
  
ARG	
  

death	
  パラフレーズ
X  is  blamed  for  death  à  X  cause  loss  of  life

cause	
  

SUBJ	
  

ARG	
  
Debby	
  
ARG	
  

ARG	
  

storm	
  

ARG	
  

MOD	
  

cause	
  

OBJ	
  

SUBJ	
  

ARG	
  

loss	
  
prep_of	
  
ARG	
  

life	
  

ARG	
  

storm	
  
論論理理	
  

OBJ	
  
ARG	
  
loss	
  
prep_of	
  
ARG	
  

life	
  

tropical	  ª 単語ベクトルを⾜足して得られるフレーズ・ベクトルの類似度度をパラフレーズ知識識として利利⽤用することで、含意関係認識識の  State  of  the  Art

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  含意関係認識識への応⽤用ª詳しくはTIFMOシステムに参照
h*p://kmcs.nii.ac.jp/Banran/Bfmo/	
  v 東ロボプロジェクトによってサポートされた研究です54言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  TIFMOに関して⼀一⾔言：論論理理的推論論とマッピング的推論論（パラフレーズ）を組み合わせたと⾔言える

55

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  論論理理的知識識推論論

56ª論論理理的な知識識を使って、論論理理推論論を⾏行行う推理理を、ここで「論論理理的知識識推論論」と呼ぶ。
ª現在AIの主流流で想定する知識識（オントロジーなど）の使われ⽅方は、マッピング的推論論に型制限を⼊入れたようなものªしかし、⾊色んな知能現象を、原則に基づいて、論論理理的に説明しようとする理理論論研究はたくさんある。中には「論論理理的知識識推論論」を実⽤用化するヒントも埋もれているかもしれない。

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ③ 知識識表現とは何か？

57

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

概要

58

③ 知識識表現とは何か？
– “What  is  a  Knowledge  Representation?”  AI  Magazine,  1993  [11]• 実世界の代⽤用物• 実世界にある概念念の部分集合• インテリジェントな推論論に関する断⽚片的理理論論• 効率率率的な計算を⾏行行うための媒介• ⼈人間が世界を表現する時の媒介物

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

概要

59

③ 知識識表現とは何か？
– “What  is  a  Knowledge  Representation?”  AI  Magazine,  1993

更更にこの論論⽂文の要点を幾つかまとめてみた言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ⼀一、完全はあり得ない60ª知識識表現は世界の⼀一部を代表し、完全ではあり得ないª⼀一部である故、フォーカス絞れるª⼀一部である故、いつか必ず間違う（たとえ厳密な論論理理推論論としても）ªどの部分にフォーカスするかこそ
本質、データ構造⾃自体は本質でない言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ⼆二、表現と推論論は切切り離離せず

61ª何をインテリジェントな推論論と考える？
ª許容・推奨する推論論は何か？

ª知識識表現の性質を⼤大きく左右するのは、世界のどの部分をモデル化し、どんな推論論を⾏行行うかであるªフレームとロジックとは⼤大分違う

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  三、KRは組み合わせて使おう 62ª知識識表現の本質にはこだわる。
ªデータ構造が似ているからと⾔言って当初意図しない使い⽅方はするな。
ª違う知識識表現を組み合せて使おう。
ª組み合せる時は、違う知識識表現にインテリジェンスの違う部分の推論論を担ってもらう。

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  四、効率率率性と理理解しやすさ

63ª五つの側⾯面すべてが重要であるª知能現象を説明するために、厳密
な論論理理しか認めず、使われた知識識を全て解き明かそうとするロジック的アプローチは重要な理理論論研究だが、ª計算の効率率率性やアノテーションしやすさもないとAI作るのには不不完全言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

④ 展望

64

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

概要

④ 展望
より⾼高度度なインテリジェンス⽬目指して
1. 東ロボ世界史オントロジー
2. Common  Sense  Reasoning  (Event  Calculus)

65

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  東ロボ世界史オントロジー

66ª「出来事（イベント）の成⽴立立を記述する⽂文」の真偽判断をサポートするための、イベントに関するオントロジー[12]⻄西郷隆盛は織⽥田信⻑⾧長と戦った？

ª記述するのはイベントの内容の詳細ではなく、それが成⽴立立するための前提条件、及び成⽴立立した場合に他のイベントの成⽴立立・不不成⽴立立にどう影響するかである言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  東ロボ世界史オントロジー

67ªイベントの概念念クラスに対して以下の属性を記述する：– イベント成⽴立立の必要条件（参加者・回数など）
⻄西郷隆盛は織⽥田信⻑⾧長と戦った？  -‐‑‒  参加者の存在時間が⼀一致しない– 参加者の粒粒度度との関係

北北フランスを占領領した  à  パリを占領領した– 異異なるイベント間の関係「勝利利」と「敗北北」両⽴立立しない,「勝利利」の前には「戦い」,…

– イベントを記述する⾔言語表現例例（動詞＋項構造）
evt:勝利利 　agentがsituationに勝つ,  agentがthemeを倒す,  …

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  東ロボ世界史オントロジー

68ª⾃自然⾔言語処理理の課題– 「出来事の成⽴立立を記述する⽂文」を、世界史
オントロジーで記述される知識識表現に変換
する  Semantic  Parsing  はどの位できる？
– この知識識表現にモデル化されている推論論を使って、⼤大学⼊入試の世界史問題をどれ位解ける？

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  東ロボ世界史オントロジー

69ª詳しくは下記参照
h*p://researchmap.jp/zoeai/event-­‐ontology-­‐EVT/	
  v 「ロボットは東⼤大に⼊入れるか。」プロジェクト 　http://21robot.org

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  70• オントロジーである以上、マッ
ピング的な推論論を想定している（それが⼗十分である）知識識表現• DCSと論論理理推論論を含意関係認識識に応⽤用した研究は東ロボ世界史の為に始めたが…オントロジー
個⼈人的感想： +述語項構造解析が近道かもすごく使ってみたい。が、DCSや論論理理
推論論とはあまり関係なさそう言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Common  Sense  Reasoning71ª我々が「⽇日常的」に⾏行行っている推論論– リサは新聞を持って台所に⼊入った。à  新聞は台所にある。
– ⽇日本銀⾏行行は預⾦金金準備率率率を1.5%に上げた。à  特に何も⾔言わない限り預⾦金金準備率率率は1.5%のままである。
–…

ªそこにはどういう論論理理があって、どんな知識識が必要で、どんな推論論過程を辿って⾏行行くのかªこれらの問題を真正⾯面から答えた理理論論がある（ß論論理理的知識識推論論のヒントになるか？）言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

72ªEvent  と  Fluent– Event  はある時点で「起こる」動作や出来事
WakeUp(p),  FallAsleep(p),  …
– Fluent  は各時点で真理理値が変わりうる性質
Awake(p),  …
– ⾔言語学のイベントとステートの区別に通じるªEvent  が  Fluent  を変える
– Initiates(WakeUp(p),  Awake(p),  t)
  （任意の時点  t  で）起きると⽬目覚めた状態が真になる– Terminates(FallAsleep(p),  Awake(p),  t)言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

73ªThe  Common  Sense  Law  of  Inertia– 何もイベントが起こらなければ、多くの状態はそのまま保ち続ける傾向がある
明かりをつけると、ついたままになる– コモンセンスの慣性法則はこの経験則を定式化した公理理¬HoldsAt(On(Light1),  0),  ¬HoldsAt(On(Light2),  0)
時刻０において、どの明かりもついてない
Initiates(e,f,t)  ⇔  ∃l (e=TurnOn(l)  ∧  f=On(l))
「つける」こと以外、明かりをオンにする⽅方法はない
Happens(e,t)  ⇔  (e=TurnOn(Light2)  ∧  t=1)
時刻１でLight2をつけた。それ以外何も起こらなかった¬HoldsAt(On(Light1),  2),  HoldsAt(On(Light2),  2)

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

74

ª知識識は何種類あって、それぞれどんな論論理理式の形をしていて、推論論においてどんな役割を果たすのか、全部整理理してある– 使う知識識はこれこれの形しかない、という表がある：
Observation:  HoldsAt(β,  τ),  …
  

Trigger:  γ  ⇒  Happens(α,  τ),  …
  Positive  Eﬀect:  γ  ⇒  Initiates(α,  β,  τ),  …
  …

ªこの枠組みで⼈人間の感情までモデリングした

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

75

ª例例
– “Smoking  increases  the  risk  of  cancer.”HoldsAt(Risk(p,  r1),  t)
    ⇒  Initiates(Smoke(p),  Risk(p,  r2),  t)            &  Initiates(Smoke(p),  r2  >  r1,  t)

HoldsAt(Risk(p,  r1),  t)
    ⇒  Terminates(Smoke(p),  Risk(p,  r1),  t)– 「⼀一回喫煙した後は、リスク値が⼤大きくなって、何もしないと⼤大きいまま」、などの推論論が出来る– increase(smoking,  risk)  のような書き⽅方して、後で  ad  hoc  なルールでこれを扱うよりは、多分ずっといい言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

76

ª⾔言語処理理の研究者はデータを持って、データを⾒見見ることに強みがあるが、AI理理論論の研究者
は何⼗十年年も知識識や推論論の問題を考えてきた。
彼らのインサイトは信じるべきかもしれないª⾃自然⾔言語から⼤大規模な知識識抽出を⾏行行う研究はたくさんあるが、数量量の変化をきちんと扱って論論理理推論論を⾏行行えるようなインテリジェンスはまだない気がする（「円安になると株価が上がる」ことを数値レベルで理理解しているイ
ンテリジェンスとか）言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  Event  Calculus  超概要

77ª詳しくは  Erik  T.  Mueller  の著書
『Common  Sense  Reasoning』に参照
h*p://www.amazon.co.jp/dp/0123693888/	
  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  個⼈人的感想：私的には、最初にDCSと出会った時と同じようなトキメキを感じた78

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  ご清聴ありがとう
ディスカッションしよう！

79

言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

参考⽂文献

80

[1]	
  Tom	
  Kwiatkowski;	
  Eunsol	
  Choi;	
  Yoav	
  Artzi;	
  Luke	  Ze*lemoyer;	
  (2013)	
  Scaling	
  SemanBc	
  Parsers	
  with	
  On-­‐the-­‐Fly	
  Ontology	
  Matching;	
  EMNLP	
  
	
  
[2]	
  Matuszek,	
  C.,	
  FitzGerald,	
  N.,	
  Ze*lemoyer,	
  L.,	
  Bo,	
  L.,	
  and	
  Fox,	
  D.	
  (2012).	
  A	
  joint	
  model	  of	
  language	
  and	  percepBon	
  for	
  grounded	
  a*ribute	  learning.	
  ICML.	
  
	
  
[3]	
  Artzi,	
  Y.	
  and	
  Ze*lemoyer,	
  L.	
  (2013).	
  Weakly	
  supervised	
  learning	
  of	
  semanBc	
  parsers	
  for	  mapping	  instrucBons	
  to	
  acBons.	
  TACL,	
  1(1)	
  
	
  
[4]	
  Percy	  Liang,	
  Michael	
  I.	
  Jordan,	
  and	  Dan	
  Klein.	
  (2013).	
  Learning	
  dependency-­‐based	
  composiBonal	
  semanBcs.	
  ComputaBonal	
  LinguisBcs,	
  39(2)	
  
	
  
[5]	
  Jonathan	
  Berant;	
  Percy	  Liang;	
  (2014)	
  SemanBc	
  Parsing	
  via	  Paraphrasing;	
  ACL	  	  [6]	  Xuchen	
  Yao;	
  Benjamin	
  Van	
  Durme;	
  (2014)	
  InformaBon	  ExtracBon	
  over	  Structured	
  Data:	  QuesBon	  Answering	
  with	  Freebase;	
  ACL	  	  [7]	  Xuchen	
  Yao,	
  Jonathan	
  Berant	
  and	
  Benjamin	
  Van	
  Durme.	
  (2014)	
  Freebase	
  QA:	  InformaBon	
  ExtracBon	  or	
  SemanBc	
  Parsing?	
  ACL	  2014	
  Workshop	
  on	
  SemanBc	
  Parsing	  言語処理学会 第 21	
  回年次大会 チュートリアル資料 (2015年3月)	
  

参考⽂文献

81

[8]	
  Ran	
  Tian;	
  Yusuke	
  Miyao;	
  Takuya	
  Matsuzaki;	
  (2014)	
  Logical	
  Inference	
  on	
  Dependency-­‐based	
  ComposiBonal	  SemanBcs;	
  ACL	  	  [9]	  Ran	
  Tian,	
  Yusuke	
  Miyao	
  and	  Takuya	
  Matsuzaki.	
  (2014)	
  Eﬃcient	
  Logical	
  Inference	
  for	  SemanBc	
  Processing.	
  ACL	  2014	
  Workshop	
  on	
  SemanBc	
  Parsing	
  
	
  
[10]	
  Franz	  Baader,	
  Diego	  Calvanese,	
  Deborah	
  L.	
  McGuinness,	
  Daniele	
  Nardi,	
  and	  Peter	
  F.	
  Patel-­‐Schneider,	
  editors.	
  (2003).	
  The	  DescripBon	  Logic	
  Handbook:	
  Theory,	
  ImplementaBon,	
  and	
  ApplicaBons.	
  Cambridge	
  University	
  Press,	
  New	
  York.	
  
	
  
[11]	
  R.	
  Davis,	
  H.	
  Shrobe,	
  and	  P.	
  Szolovits.	
  What	  is	  a	
  Knowledge	  RepresentaBon?	
  (1993).	
  AI	
  Magazine,	
  14(1)	
  
	
  
[12]	
  川添愛、宮尾祐介、松崎拓也、横野光、新井紀子;	
  (2014)	
  出来事の成立・不成立の判断をサポートするイベントオントロジー;	
  人工知能学会全国大会