EMNLP 2012 参加報告
http://www.chokkan.org/publications/emnlp2012.pdf
東北大学大学院情報科学研究科
東北大学工学部情報知能システム総合学科
東北大学電気通信情報機構
JST 戦略的創造研究推進事業「さきがけ」・ 「情報環境と人」
岡崎 直観（okazaki at ecei tohoku ac jp）
http://www.chokkan.org/@chokkanorg

2012-09-04

EMNLP 2012 国際会議参加報告

1

EMNLP 2012• スケジュール
• 2012年3月28日: 論文投稿締切り（ACL 2012の採択通知後）• 2012年5月1日～4日: 著者回答期間• 2012年5月18日: 採択通知
• 2012年6月3日: 最終原稿締切り• 2012年7月12日～14日: 会議開催（韓国の済州島，ACL2012から連続）• オーガナイザ• General Chair: Jun’ichi Tsujii• Program Chairs: James Henderson
Marius Pasca• Publication Chair: Naoaki Okazaki• Area Chairs: Hiroya Takamura 他• Program Committee (reviewers): 591名
2012-09-04

EMNLP 2012 国際会議参加報告2

Publication Chairのお仕事• 5月下旬: ACL 2012のPublication Chairsと段取りを相談• 5月下旬: START上のACLPubの使い方を習得• 6月3日～20日: 怒濤の確認・編集作業• 提出されたcopyrightフォームがきちんと書かれているか確認• A4サイズになっていた論文への対応，論文の余白の調整• STARTに登録されているメタデータのチェック• 論文PDFのタイトルとSTART上のタイトルが違う！ Σ(ﾟДﾟ)ｶﾞｰﾝ• 論文中の著者名とSTART上の著者名が違う！ Σ（ﾟдﾟlll）ｶﾞｰﾝ• 前書きのプラニング，原稿の取り立て，編集• 会議のプログラムのチェック作業 （6月13日のメールやりとりだけで92回）• 最終版のPDFの生成2012-09-04

EMNLP 2012 国際会議参加報告3

Publication Chairをやってみて思ったこと• すごい研究者は何にでも全力！
• ACLPub（プロシーディング生成システム）はDavid Yarowskyのスクリプトを基に，Jason EisnerとPhilipp Koehnが2005年に制作• 貴重な資料がいっぱい（古くなっているものもありますが）• Jason Eisner. 2007. How to Serve as Program Chair of a Conference.
• Joakim Nivre and Noah Smith. 2008. How to Serve as Publications
Chair for an ACL Conference.
• Conference Handbook (会議・ワークショップ開催に関する資料)• とにかくメールを送ることは重要• 発生するトラブルのほとんどはメールを出さない，もしくは（意図せず）受信者から外れてしまっていることによるコミュニケーション不足• みんな忙しいので，気づいたことはどんどんメールする
2012-09-04

EMNLP 2012 国際会議参加報告

4

会議のハイライト• Invited Talks• Eric Xing (Carnegie Mellon University). On Learning Sparse Structured
Input-Output Models.
• Patrick Pantel (Microsoft Research). The Appification of the Web andthe Renaissance of Conversational User Interfaces• Best paper awards• Annie Louis and Ani Nenkova (UPenn) A coherence model based onsyntactic patterns.
• David Hall and Dan Klein (University of California, Berkeley). Training
Factored PCFGs with Expectation Propagation.
• Ndapandula Nakashole, Gerhard Weikum and Fabian Suchanek (MaxPlanck Institute for Informatics). PATTY: A Taxonomy of Relational
Patterns with Semantic Types
2012-09-04

EMNLP 2012 国際会議参加報告5(Best paper)
A coherence model based onsyntactic patterns
Annie Louis and Ani Nenkova (UPenn)
EMNLP 2012, pages 1157-1168

2012-09-04

EMNLP 2012 国際会議参加報告

6

背景• テキストの一貫性のモデル化の研究において仮説• 統語構造から取り出される素性（生成規則な「意図構造」が注目されてこなかったど）が意図構造や一貫性を映し出すのでは？
• 隣接する文間の統語素性のペアの中には，確かに意図構造を反映するものが存在しそうだ• 統語素性からテキストの一貫性をモデル化す貢献 る手法（局所確率モデル，HMM）を提案• 統語素性がテキストの一貫性，文の意図構造，文章のタイプなどを予測できることを実証した
2012-09-04

EMNLP 2012 国際会議参加報告

7

グロッス

サイドナー

テキストの一貫性 (Grosz and Sidner, 86)
注意構造

言語構造

意図構造

• 注意状態 (attentional structure)• 談話の進行にともなう注意の焦点• 「どんな内容が議論されているか」• 言語構造 (linguistic structure)• 談話単位（discourse segment）の列を組み上げたもの• 意図構造 (intentional structure)• 談話の背後にある意図の構造• 「概念・事態を説明したい」「批判したい」など

2012-09-04

EMNLP 2012 国際会議参加報告8既存研究: テキストの一貫性
注意構造

言語構造

意図構造

• Entity Grid（固有表現の繰り返しにおける統語的役割の推移）• (Barzilay and Lapata, 08; Elsner and Charniak, 08)
一貫性のあるテキストでは密な列（例: Microsoft）と疎な列（例: Markets）が見られる
密な列（例: Microsoft）ではSやOが出やすい

S: subject; O:object; X:other position
Barzilay and Lapata (2008) より
2012-09-04

EMNLP 2012 国際会議参加報告

隣り合う文同士からgridの値の遷移確率（例えば”S-”が0.08など）を素性とすれば，テキストの一貫性を評価（機械学習によるランキング）できる
9既存研究: テキストの一貫性
注意構造

意図構造

言語構造

• HMMによるトピックの遷移と文（単語列）の生成のモデル化• (Barzilay and Lee, 04; Fung and Ngai, 06)𝒄𝒔

B𝑃(c=3|c=B)

3𝑃(c=3|c=3)
𝑃 𝑠1 |c=3

トピックの遷移3𝑃(𝑐𝑡+1 |𝑐𝑡 )𝑃 𝑠2 |c=3

7

𝑃(E|c=7)

E

𝑃 𝑠𝑇 |c=7= � 𝑃3 (𝑤𝑖+1 |𝑤𝑖 ) = � 𝑃3 (𝑤𝑖+1 |𝑤𝑖 ) = � 𝑃7 (𝑤𝑖+1 |𝑤𝑖 )文𝑠1𝑠2𝑠𝑇• コーパス中の文をクラスタリングしてトピックを表すクラスター 𝑐1 , … , 𝑐𝑚 を作る• 各クラスタをHMMにおける「状態」と考える• 状態遷移確率𝑃(𝑐𝑡+1 |𝑐𝑡 ): 𝑐𝑡 に属する文に続き𝑐𝑡+1 に属する文が出現する条件付き確率• 文生成確率𝑃(𝑠𝑡 |𝑐𝑡 ): クラスタ𝑐𝑡 に属する文集合におけるバイグラム言語モデル• テキストの生成確率𝑃 𝑆 = ∏ 𝑃(𝑠𝑡+1 |𝑠𝑡 )を求め，テキストの一貫性を評価する

2012-09-04

EMNLP 2012 国際会議参加報告10

既存研究: テキストの一貫性
注意構造

言語構造

意図構造

• 談話関係は読みやすさと関連が深い (Pitler and Nenkova, 08)• 分析対象: PDTBの記事に読みやすさスコアを人手で付けたもの• ２つのタスクに貢献する素性を分析• 線形回帰モデルによる読みやすさのスコアの予測• （２つの記事が与えられた時）線形SVMによる読みやすさの優劣の予測• 以下の素性セットに対して，素性の貢献を調べた• テキストの長さ• WSJコーパスから作った言語モデルに対する尤度• 統語素性（構文木の高さ，平均NP数/文，平均VP数/文，平均従属節数/文）• 語彙的結束性素性（隣り合う文での名詞の重なり数，コサイン類似度など）• Entity Grid（固有表現の出現パターン）による一貫性
両方のタスクで• PDTBから作った談話関係の「言語モデル」に対する尤度安定して貢献
2012-09-04

EMNLP 2012 国際会議参加報告11

テキストの一貫性
注意構造

意図構造

言語構造

• 意図構造• 談話の背後にある話し手の意図の構造• これまでほとんど研究されてこなかった

本研究

統語的なパターンが意図構造の代用品として有用
2012-09-04

EMNLP 2012 国際会議参加報告12一体どういうアイディアか？
導水管

サイトカイン受容体

An aqueduct is a water supply or
navigable channel constructed to convey
water. In modern engineering, the term
is used for any system of pipes, ditches,
canals, tunnels, and other structures
used for this purpose.[1]Cytokine receptors are receptors thatbind cytokines.[1] In recent years, thecytokine receptors have come todemand the attention of moreinvestigators than cytokines themselves,
partly because of ...

• 先頭の文は定義文の典型• NPの後にcopular verb（is/are）が続き，導入したい実体・概念を説明• 補語は以下の２つの部分から構成される• 導入した実体・概念の親の概念を説明するNP• 説明したい実体・概念に固有な属性を説明する従属節• ２番目の文で実体・概念をさらに説明• Topicalized phraseから始まることにより，２番目の文の焦点を定める
2012-09-04

EMNLP 2012 国際会議参加報告13

生成規則により示される談話意図の例
VP → VB VP

NP-LOC → NNP"The refund pool may not [be held
hostage through another round ofappeals] VP," Judge Curry said.

“It has to be considered as anadditional risk for the investor,” said
Gary P. Smaby of Smaby Group Inc.,[Minneapolis] NP-LOC.

「VP → VB VP」のVBはモーダルと結びつきやすい

推量 → 支持固有名詞が主語になる
NP-SBJ → NNP NNP[Commonwealth Edison] NP-SBJ said
it is already appealing the underlying
commission order and is considering
appealing Judge Curry’s order.
2012-09-04「NP-LOC → NNP」は場所
から人のタイトルを表す

Xを紹介 → Xが述べる
トピック構造S-TOC-1 → NP-SBJ VP["Cray Computer will be a conceptstock,"] S-TPC-1 he said.

EMNLP 2012 国際会議参加報告14

予備実験: 統語素性による一貫性の例• Penn TreebankのSection 0（99文書，1727文）において• 出現回数が25回未満の生成規則は削除 → 197個の生成規則に• 隣接文対において𝜒 2 検定で統計的に有意に出現する生成規則のペアを列挙• 顕著に出現するペアの特徴• 先行研究で指摘されている同一の生成規則の繰り返しも見つかるが，全体の５％くらいで少ない• 数量の説明など，談話の意図が見えやすいペアも多く見つかる
2012-09-04

EMNLP 2012 国際会議参加報告15

手法の準備: 統語素性の２種類の表現形式• 生成規則• 終端記号（単語）は除去ROOTS• d-sequence• 深さdにおける非終端記号の系列 “• 最も左下の非終端記号で修飾する• 句の内部構造を表現できる• “the chairs”: NPDT• “his chairs”: NPPRP$• “comfortable chairs”: NPJJ

SNP,“NPVPNNPDTVBZ NPDr.

That

‘s JJ

NN

goodnews• 深さ2: “ SDT , “ NPNNP VPVBD .

VP

NNP VBD
Leaksaid• 深さ3: “ NPDT VPVBZ , “ NNP NNP VBD .
2012-09-04

EMNLP 2012 国際会議参加報告16.

手法1: 局所的な一貫性モデル• テキスト𝑇の一貫性を次式で測る
𝑛• 𝑃 𝑇 =�𝑆1

𝑆𝑖−1𝑖=2

�

𝑗=1

1|𝑆𝑖−1 ||𝑆𝑖−1 |

�𝑘=1𝑝(𝑆𝑖 𝑗 |𝑆𝑖−1 𝑘 )隣り合う文が含む統語素性の全ペアの条件付き確率（スムージング有）から𝑆𝑖−1 →𝑆𝑖 の遷移確率を計算

𝑆𝑖𝑆𝑛|𝑆𝑖 |𝑆𝑖−11𝑆𝑖−1 2

AVG

𝑆𝑖−1 3123AVG

𝑆𝑖𝑆𝑖

AVG

𝑆𝑖𝑆𝑖−1 |𝑆𝑖−1|

AVG

𝑆𝑖 |𝑆𝑖|

PROD

テキスト𝑇: 文の系列
2012-09-04

EMNLP 2012 国際会議参加報告17手法2: HMMによる一貫性モデル• Barzilay and Lee (04) のアプローチを踏襲• 文を生成するモデル → 統語素性を生成するモデル に変更• HMMの状態: 統語素性のコサイン類似度を用いて文をクラスタリング• 状態遷移確率𝑃(𝑐𝑡+1 |𝑐𝑡 ): 𝑐𝑡 に属する文に続き𝑐𝑡+1 に属する文が出現する確率• 文生成確率𝑃(𝑠𝑡 |𝑐𝑡 ): クラスタ𝑐𝑡 に属する文集合から構築した「統語素性生成言語モデル」• 生成規則の場合: それぞれの生成規則を生成する確率（ユニグラムモデル）• d-sequenceの場合: d-sequence中のbi-gramを生成する確率𝒄𝒔
2012-09-04

B𝑃(𝑐1 |B)

トピックの遷移

統語素性

𝑐1𝑃(𝑐2 |𝑐1 )𝑃 𝑠1 |𝑐1𝑠1

𝑐2

𝑃(𝑐𝑡+1 |𝑐𝑡 )𝑃 𝑠2 |𝑐2𝑠2
EMNLP 2012 国際会議参加報告

𝑐𝑇𝑃(E|𝑐𝑇 )E𝑃 𝑠𝑇 |𝑐𝑇𝑠𝑇
18

評価実験: 一貫性のあるテキストの選択
ランダムに並び替えた文章と並び替えていない文章を与え，後者を選ぶタスク

統語素性からテキストの一貫性を予測できた

局所的な一貫性モデル
よりもHMMによる一貫性モデルの方が性能が良かった

既存手法よりも提案手法の方が高精度

2012-09-04

EMNLP 2012 国際会議参加報告19

評価実験: 複数の手がかりの組み合わせ※太字は組み合わせで改善が見られたもの※２値分類問題としてロジスティック回帰で複数の素性を統合

2012-09-04

EMNLP 2012 国際会議参加報告20

意図構造と統語素性クラスタの関連づけ• ART Corpus（225件の化学分野の論文概要）でアノテートされた意図構造に対応するクラスタを作ることが出来るか？
• 意図構造: 結果，結論，目的，手法，背景，所見，実験，動機，モデル，仮説• クラスタと意図構造の相関が強いペアを𝜒 2 検定で結びつける• 意図構造と相関が強いペアを見つけることができる• （ちょっと厳しいような･･･）

2012-09-04

EMNLP 2012 国際会議参加報告21

論文コーパスにおけるその他の実験• ランダムに並び替えた文章と，元々の並び順の文章が与えられ，元々の並び順の文章を選ぶ実験• ACLの本会議の論文とワークショップの論文を分類できるか？
• 本会議: 完成された研究• ワークショップ: 途中の研究• 二値分類問題として定式化• アブストラクトを使うと判別が可能• 論文の意図構造のモデル化が可能
2012-09-04

EMNLP 2012 国際会議参加報告

22

感想など
• 統語素性だけで一貫性がモデル化出来るというのは興味深い• 語彙素性と統語素性を組み合わせられるようになると楽しそう• 談話解析器 (Lin+, 09; Feng and Hearst, 12) に構文木の生成規則を素性として入れる意義がクリアになった• 隣接文を考慮した構文解析 (Cheung and Penn, 10) との関連
• 一貫性は確かにモデル化出来てそうであるが，モデル化出来ているものが「意図構造」なのか，検証が不十分

2012-09-04

EMNLP 2012 国際会議参加報告

23

その他

2012-09-04

EMNLP 2012 国際会議参加報告

24

その他面白かった研究• D Hall and D Klein. Training Factored PCFGs withExpectation Propagation• PCFGの文法規則をヘッド単語，親のシンボル，隠れ変数など，複数のアノテーションを混ぜて使えるようにした• V Chahuneau, K Gimpel, B R Routledge, L Scherlis and N A

Smith. Word Salad: Relating Food Prices and Descriptions• メニューの記述から食べ物の値段を予測する• 手法の目新しさはないが，とにかくプレゼンが楽しい• A Goyal, H Daume III and R Guerra. Fast Large-Scale

Approximate Graph Construction for NLP• Online PMIで単語共起行列を近似的に求める• Count Min sketchで類似頻度計測と並列化を同時に実現• 解説資料あり
2012-09-04

EMNLP 2012 国際会議参加報告25

国際会議スケジュール (※非公開・誤りの情報を含む)
会議名

開催場所

投稿〆切

開催日

PAKDD 2013

Gold Coast, Australia

2012/10/1

2013/4/14-17

WWW 2013

Rio de Janeiro, Brazil

2012/11/26

2013/5/13-17

NAACL 2013

Atlanta, USA

2012/12/7

2013/6/9-14

ICML 2013

Atlanta, USA

2012/10/1

2013/6/16-21

ICDM 2013

New York, USA

2012/12/18

2013/6/16-21

SIGIR 2013

Dublin, Ireland

2013/1/28

2013/7/28-8/1

IJCAI 2013

Beijing, China?

2013/8/3-9

ACL 2013

Sofia, Bulgaria(NAACL採択通知後)

2013/8/4-9

CoNLL 2013

Sofia, Bulgaria?

2013/8/8-9(?)

KDD 2013

Chicago, USA?

2013/8/11-14

EMNLP 2013

(North America)(ACL採択通知後)

2013年秋IJCNLP 2013

Nagoya, Japan?

2013/10/15-17

EACL 2014

Gothenburg, Sweden?

2014/4/26-30

2012-09-04

EMNLP 2012 国際会議参加報告26