CREST “Advanced Core Technologies for Big Data Integration”

知識に基づく構造的言語処理の確立と知識インフラの構築(2013.10－2019.3)

Research Director Sadao KUROHASHI (Kyoto University)
Main Research Collaborator Kentaro INUI
(Tohoku U)

Daisuke BEKKI(Ochanomizu U)

情報系 WINTER FESTA Episode3 (2017/12/25,26)

Knowledge
Infrastructure
Language
Understanding

Knowledge
Acquisition

Big Data(Huge Text Corpora)2ニューラル機械翻訳モデル
Neural Machine Translation Model [Bahdanau+ 2015]

attentionI

ama

student

EOS

h’1

h’2

h’3

h’4

h’5
decodercα1

α2 α3 α4 α5

hb1

hb2

hb3

hb4

hb5

hf1hf2

hf3

hf4

hf5

私は学生ですEOS

encoder3End‐to‐End
学習
End‐to‐End Learning
OutputInput

4

Deep Learning
Pros– 意味表現
– End‐to‐end learning

Cons–Data hungry
5

NLPのアプローチ
形態素解析
Morphological Analysis

構文解析

同義・類義
SynonymParsing

知識Knowledge

論理・推論

照応省略解析 Logic / Inference
Anaphora Resolution6

実課題への応用
Application of NLP to Real World Tasks

7

Complaint Purchase Center(不満買取センター）

Complaints about Hamburger Shops
ハンバーガーはおいしいけど、hamburger

tasty

ソースが多すぎて、口の周りが必ず汚れる。
saucemuch mouth mouthalways

dirty

ソース多すぎて食べにくい。
sauce

too muchhard to eat

テリヤキソースとマヨネーズが多すぎて
teriyaki saucemayo too much

食べにくいのが超不満!
hard to eatvery discontent

ソースが垂れて最後に残り過ぎてもったいない。
saucedrool

lastleft too muchwasteful

日曜日の昼間は喫煙席は、いらないと思います。
Sundaydaytime smoking area

unnecessary

店内タバコ臭い。喫煙席デカすぎ。
shop tobacco stink smoking area too big8

構造的⾔言語処理理の実世界課題への適⽤用

⿊黒橋CREST・京都⼤大学・柴⽥田知秀• 意⾒見見集約:  因果関係グラフ構築• 対象:  不不満買取センター• ⼿手法:  1.  形態素・構⽂文・省省略略解析・因果関係抽出を適⽤用                2.  同義・反義判定や類似度度に基づきクラスタリング

構造的⾔言語処理理の実世界課題への適⽤用• ⾏行行政サービスの対話ボットシステム


対話フローチャート生成	⿊黒橋CREST・京都⼤大学・柴⽥田知秀

時間・事象表現の解釈に基づくテキストの時間的構造化⿊黒橋CREST・京都⼤大学・坂⼝口智洋
Web上には⼤大量量のテキスト情報があるが、現在の視点からは古い情報も多いため、時間軸を考慮した分析が必要

時間・事象表現の解釈に基づくテキストの時間的構造化⿊黒橋CREST・京都⼤大学・坂⼝口智洋
機械がテキストを理理解するためには、テキストが「いつ」の「何」に⾔言及しているかを正しく理理解する必要がある意味役割を区別する加法的分散表現
⿊黒橋CREST・東北北⼤大学・⽥田然• ⾃自然⾔言語の形式意味論論（記号による推論論）と分布意味論論（ベクトル表現）の融合を⽬目指すformal semantics

Reasoning	  Logic	  symbolic	  formula	  symbolic	  opera0ons	  words	  distributional semantics?
?

composed	  vectors	  vector	  composi0on	  word	  vectors	  意味役割を区別する加法的分散表現
⿊黒橋CREST・東北北⼤大学・⽥田然• なぜ単語ベクトルを⾜足し算してフレーズの意味を表現できるか？  [Tian+, Machine Learning Journal 2017]“dance hall”: dance + hall ≈  ballroom• 語順à意味役割を区別するにはどうすれば？
[Tian+, ACL 2016]trans(arrest, _SBJ>) ≈ policeman, gestapo, …
trans(arrest, _OBJ>) ≈ guilty, accomplice, …
• この分散表現を使った⾃自然⾔言語推論論を⽬目指す！
（Demoあり）賛否表明パターンと⾏行行列列分解に基づく賛否モデリング ⿊黒橋CREST・東北北⼤大学・佐々⽊木彬• ⽬目的• 「Aに賛成する⼈人はBにも賛成する」あるいは「Aに反対する⼈人はBにも反対する」といった⼈人々の賛否の傾向をモデリング• このような知識識は賛否分類などに有⽤用賛否分類• テキストと特定の賛否対象  (トピック)  を⼊入⼒力力として賛否  (賛成/反対)  を出⼒力力するタスク
入力
トピック: TPP
テキスト: 国内消費を促進すべきだ

出力
賛否: 反対• Web上の⼤大規模テキストに蓄積された膨⼤大な意⾒見見の俯瞰などに繋がる賛否表明パターンと⾏行行列列分解に基づく賛否モデリング ⿊黒橋CREST・東北北⼤大学・佐々⽊木彬• アイデア• Matrix  Factorizationを利利⽤用• これにより、ユーザの⼀一部の賛否表明から他のトピックへの賛否も予測…

抽出頻度順に並べて有用なパターンをフィルタリング

Aを導入すべきだ

Aを支持します / Aが必要 /A歓迎 / Aを導入すべき…
Aに反対 / Aは完全に誤っている /TPPは国をダメにする

Aのため

Aは国をダメにする

賛否ハッシュタグ利用ユーザによるユーザがトピックに言及賛否を表す

コーパス (ツイート)① ユーザ-トピック賛否行列の構築≈=×0.5!

1234

ク

ク

ク

ク

ピ
ッ

ユーザ 4-1.0

ピ
ッ

1.0

0.3

-1.0

0.2

ユーザ 1-1.0

0.2

0.7

-0.2

ユーザ 2-0.4

-0.3

1.0

-1.0

ユーザ 3

0.2

0.5

0.1

-0.5

ユーザ 4!"!

② Matrix Factorizationト

ユーザ 3 -0.4

ピ
ッ

0.7

1.0

ト

ユーザ 2 -1.0

ピ
ッ

4-1.0

ト3

ク

ト

ユーザ-トピック ユーザ 1 1.0
間の賛否

言語パターン

ピッ

ク2

ト

ピ
ッ

1

ピ
ッ

ト

ト

ピ
ッ

ク

する際の言語パターン

ク

投稿ツイート…

!"ト

これは良いニュースです [URL] #TPP反対

Aは完全に誤っているパターン

⾃自然演繹に基づく証明を⽤用いた
⽂文間の意味的関連性の学習
⿊黒橋CREST・東京⼤大学・⾕谷中瞳
Semantic Textual Similarity (STS) (Agirre et al, 2012)：
文の意味を正しく表現し，文間類似度を予測するタスク
論理推論：否定や数量表現の解析	  など，文の頑健な意味解析を実現
A:	  There	  is	  no	  child	  sawing	  logs	  in	  the	  park
B:	  All	  boys	  are	  not	  cu7ng	  wood	  outside	  文A→文Bの含意関係の証明：	  ¬∃x(child(x)∧saw(x, logs)∧in(x, park))→ ∀x(boy(x)→¬(cut(x, woods)∧outside(x))

機械学習：特徴量から	  ソフトな推論を実現
Random	  	  Forest	  予測：	  	  文間類似度/含意関係	  論理推論の実行過程から文間の意味的関連性に関する特徴を抽出し、文間の意味的関連性を予測	  ⾃自然演繹に基づく証明を⽤用いた
⽂文間の意味的関連性の学習
⿊黒橋CREST・東京⼤大学・⾕谷中瞳
入力：文ペア

内容語の意味計算：語彙知識と単語の分散表現を組み合わせて内容語の意味を計算し，証明で利用

There is no child sawing logs in the park
CCGに基づく統語解析	  All boys are not cutting wood outside

ラムダ計算による	  意味合成	  語彙知識

高階述語論理式

公理生成

含意関係の証明	  機能語の意味計算：含意関係の証明から否定・量化などの機能語の意味を計算

特徴量

There is no child sawing logs in the park
→All boys are not cutting wood outside

ランダムフォレスト	  出力：類似度/含意関係¬∃x(child(x)∧saw(x, logs)∧in(x, park))→ ∀x(boy(x)→¬(cut(x, woods)∧outside(x))