新近性効果の減衰曲線を加味した顕現性計算手法に基づく
話題遷移の可視化
白松 俊

駒谷 和範

尾形 哲也

奥乃 博

京都大学大学院情報学研究科{siramatu,komatani,ogata,okuno}@kuis.kyoto-u.ac.jp• 時系列的遷移: 顕現性の動的な変化を表現するため

1 はじめに■ 背景

本研究では，長い談話 (e.g., 議事録, 裁判記録) の流れをユーザが容易に把握できる談話閲覧インに，時系列的遷移を扱うことが必要不可欠である．

• 定量化: 工学的に扱い易いように，(順序尺度ではなく) 定量的な尺度として定義する必要がある．

タフェースの実現を目指す．動的に変化する流れの把• 素性の統合基準: 多様な顕現性の影響要因 (e.g., 単握を容易にするには，談話参与者の注目対象の遷移を語頻度, 助詞, etc.) を統合する基準が必要である．

どのように可視化するかが重要な課題である．そのた• 評価尺度: 計算手法の最適化のために，顕現性計算めにわれわれは，参与者達が各単語に注目する度合をのパフォーマンスを測る評価尺度が必要である．

定量化し，その遷移を視覚化する．この注目度を，本稿では顕現性 (salience) と呼ぶ．顕現性は，発話ごとに推移する心理量である．
■ 仮定

本来，各参与者にとっての顕現性は主観に依存するが，本稿では客観的に観測可能な顕現性を対象とする．すなわち，参与者間で顕現性の分布が共有されている協調的な状況を仮定する．これは，談話の流れの可視化には客観的な顕現性が必要なためである．
■ 具体例

目指す話題遷移図の具体例 (約 830 文から成る議事録) を図 1 に示す．横軸が発話系列，縦軸が顕現性の尺度を表す．われわれは，このようなグラフを SalienceGraph と名付ける．これにより，発話系列中のどこで所望の議論が行われているかをユーザが把握し易くすることで，Shneiderman の Visual-Information Seeking Mantra, すなわち “Overview
first, zoom and filter, then details on demand”[3] を満たす談話インタフェースが実現可能と考える．
■ 技術的要求 SalienceGraph の縦軸にあたる顕現性の計算手法は，以下の要件を満たす必要がある．

■ 本稿で扱う課題

われわれは過去の研究で，顕現性の尺度として参照確率を定義した [4]．これは，「目立っている単語ほど継続的に参照されやすい」という性質を利用した尺度であり，センタリング理論 [1] との整合性が実データ上で確認されている．発話 Ui における実体 e の顕現性は，以下のように定義される．
ref(Ui での e の顕現性) = Pr(∃w −→ e in Ui+1 |pre(Ui ))= Pr(e|pre(Ui ))た だ し ，Ui+1 は 後 続 発 話 を ，pre(Ui ) は 先 行 文 脈
ref[U1 , . . . , Ui ] を，w −→ e は単語 w が実体 e を参照することを表す．Pr(e|pre(Ui )) は参照確率の略記法である．計算は，ロジスティック回帰モデルで複数の素性を統合することで行う．参照確率は定量化されており，複数の素性の統合基準を備えているが，以下の課題を残していた．

(1)「最近の事象ほど思い出され易い」という新近性効果 (recency effect)[2] の減衰曲線を直接扱っていなかったので，時系列的遷移の扱いに改良の余地が残Salience

0.4


 

されていた．

(2) 最適化のための評価尺度が明らかでなかった．

0.3
0.2
0.10                                

図 1 SalienceGraph: 顕現性に基づく談話遷移の可視化

2 新近性効果の減衰曲線を表す窓関数の導入
新近性効果とは，図 2 に示す系列位置曲線 (serialposition curve) のうち，右側の楕円で囲まれた部分



1F0G W(dist)W(dist)
!



図 2 系列位置曲線と新近性効果(dist( w, U i +1 )CDE )

3  ' @2  ( 1  @ ,A(B 6    
124365879;:<*=>?
 W(dist) ⋅ feature(w)refw→ 'shift' in pre(U i )

shift




- -    : !#" .0/ $!!
  % : !
  & : !
  ' : !./  ( :: + )*!!
 , ( )図 4 窓関数を用いた素性の重み付け

3 評価尺度: 後続発話における参照
Ui−2 Ui−1 Ui 

図 3 1 発話毎にシフトする窓関数で新近性効果を表現のことである．この曲線は，被験者に孤立単語の系列を提示し，最後に思い出してもらうという実験によっの予測性能ある顕現性の推定手法 m の評価尺度 evalSal(m)を，以下のように定義する．

evalSal(m)³£´¤£¤= cor salm (e|pre(Ui )) he,U i , isRef(e, Ui+1 ) he,U iiiて得られる．ただし，談話文脈における新近性効果のただし，cor(x, y) は x と y の相関係数，he, Ui i は実体性質は未解明である．われわれは，より正確に顕現性

e と発話 Ui の組から成るサンプル，salm (e|pre(Ui ))の動的遷移を表すために，1 発話毎にシフトする窓関は m により計算される Ui における e の顕現性の値，数 (window function) によって新近性効果の減衰曲

isRef(e, Ui+1 ) は後続発話における e への参照の正解(ref1 (∃w −→ e in Ui+1 )isRef(e, Ui+1 ) =0 (otherwise)

線を表現する (図 3)．図 4 に示すように，窓関数を掛けることで過去の出現箇所ほど素性の重みを小さくすれば，談話文脈における新近性効果を扱うことができる．ただし，図中の W(dist) は W(dist(w, Ui+1 )) のrefである．この evalSal(m) は，テストセットコーパス

略記であり，dist(w, Ui+1 ) は，w −→ e in pre(Ui ) たを用いて計測され，後続発話における参照の予測性能る単語 w から後続発話 Ui+1 への発話距離を表す．

を表す．つまり，「後続発話での参照の予測性能が高具体的には，以下の 4 種の窓関数について後述する

い尺度ほど，良い顕現性尺度である」という仮定に基評価尺度が最大となるパラメタを求める．そして，最づき，顕現性計算手法を最適化することができる．

適な窓関数を 1 つ選択する．

• 矩形窓 (パラメタ: (k)W(dist) =1 dist ≤ k

0 otherwise• ガウス窓 (パラメタ: σ)
dist2W(dist) = exp(− 2 )σ
• 指数窓 (パラメタ: T )dist
W(dist) = exp(−)
T• 逆数窓 (パラメタ: d)1W(dist) =distd

4 実験: 計算手法の最適化■ コーパス

実験には以下の 2 種のーパスを用いる．

• 話し言葉: 日本語話し言葉コーパス (CSJ) に含まれる 4 つの 2 者自由対話 (インタビュー D03F0001,

D03M0013, D03F0040, D03M0048)．1,780 発話単位 (IPUs; inter-pause units), 1 発話単位あたり6.92 形態素を含む．
• 新聞記事: 1994 年の毎日新聞 3,000 記事．63,221
発話単位 (述語節), 1 発話単位あたり 10.79 形態素を含む．

表 3 素性の候補

表 1 各素性に最適化された窓関数の比較 (CSJ)
素性
出現頻度
文法役割

窓関数

最適なパラメタevalSal(m)

素性

説明

矩形窓

k=9σ = 3.66
T = 2.51
d = 1.35

0.10480.16670.17270.1731gram(w)

w −→ e が係っている機能語 (文法役割)

pos(w)
title(e)w −→ e の品詞
e がタイトル中で参照されているか

dist(w, Ui+1 )Uj 中で w −→ e のとき，(i + 1) − j

k=9
σ = 5.01
T = 3.39
d = 1.14

0.11950.19280.20130.2063freq(he, Ui i)

ref1(# w −→ e in pre(Ui ))i

k=9
σ = 2.52
T = 2.19
d = 1.24

0.12000.22260.23080.2390

ガウス窓
指数窓
逆数窓
矩形窓
ガウス窓
指数窓

表2
素性

回帰

逆数窓

freq

指数窓

各素性単独での評価尺度の比較 (CSJ)

dist

品詞

ガウス窓

表4

ref

pos

矩形窓

refgram

逆数窓

refevalSal(m)√0.04750.05260.15190.0437√√√

各素性に最適化された窓関数の比較 (毎日新聞)

k=1
σ = 1.14
T = 0.45
d = 3.01

0.29910.36820.36850.3696k=1
σ = 1.04
T = 0.37
d = 3.80

0.29850.35370.35370.3540

指数窓
逆数窓
矩形窓
ガウス窓
指数窓
逆数窓
矩形窓

品詞

ガウス窓
指数窓
逆数窓

√√
√
√
√

回帰

0.3013
0.34670.34670.3468freq

k=1
σ = 0.99
T = 0.33
d = 4.27

ガウス窓

各素性単独での評価尺度の比較 (毎日新聞)

dist

矩形窓

表5

title

evalSal(m)

pos

文法役割

最適なパラメタ

gram

出現頻度

窓関数

evalSal(m)0.11710.08170.06440.28310.2519無いため，相対的に新近性効果の減衰曲線がなだらかであると考えられる．
■ 素性の影響力の調査

表 3 に示す素性の候補に対し，各素性単独での評価尺度 evalSal(m) を計測した
結果を表 4, 5 に示す．これにより，話し言葉，新聞記それぞれ，統語情報と照応情報を表す GDA (Global

事の双方でともに dist, すなわち新近性効果が最も影

Document Annotation) タグが付与されている．統響力の強い素性であることが示された．

語タグは半自動で，照応タグは人手で付与した．
■ 最適な窓関数の決定■ 最適な素性セットの選択

参照確率 Pr(e|pre(Ui ))参照確率はロジスティックを計算するためのロジスティック回帰で用いる素性回帰によって計算される [4] が，まずは回帰を用いず，セットの最適化を行った結果，両コーパスで図 5 の計各素性に重み付けする窓関数の部分最適化を行った．

算手法が最適であった．ただし，図の avgPr は離散的出現頻度，文法役割，品詞のそれぞれに対して窓をかな素性に値を割り当てる関数である．単語 w の離散けて総和した値 (図 4) を顕現性推定値と見なした場

素性 feature(w) = x に対する avgPr は，以下のよう合に，評価尺度 evalSal(m) を最大化する最適な窓関に定義される．

数を求めた．その結果を表 1, 2 に示す．これにより，談話文脈における新近性効果の減衰曲線を表す窓関数としては，逆数窓が最適であることが示された．更に，CSJ で最適な窓関数は，毎日新聞で最適な窓関refavgPr(x) =#{w; C(x, w, e, Ui ) ∧ ∃w0 −→ e in Ui+1 }#{w; C(x, w, e, Ui )}¡ ref¢
C(x, w, e, Ui ) ≡ w −→ e in pre(Ui )∧feature(w) = x

数よりもなだらかであった．新聞記事は紙面の制約によって注目対象が素早く遷移するのに対し，対象とし図 5 が最適となった根拠が，表 6, 7 である．これらた CSJ のインタビューはそのような制約がほとんど

は，素性セットの組み合わせを変え，10 分割交差検定

".-(+*/')(+*$,

性能を表す evalSal(m) が，CSJ で矩形窓 TF: 0.1048

Pr(e | pre(U i ))Logistic regression to explain isRef(e,U i +1 )gramFeat

posFeatrefref  

w→e in pre(U i )w→e in pre(U i )Wgram (dist)

Wpos (dist)

avgPr

avgPr



ref!
 

明らかになった．
■ 得られた知見

上記の実験で得られた知見を示す．

は，逆数窓が適していた．また，話し言葉は新聞記事に比べて新近性効果の減衰がなだらかであった．
セットの選択は，特に話し言葉で有効であった．

U i − 2 U i −1 U i

図5

最適な窓関数と素性セットの選択が有効であることが(2) 評価関数 evalSal(m) に基づく最適な窓関数と素性

shift shift本手法: 0.3680 となった．よって，特に話し言葉で，(1) 談話文脈における新近性効果の減衰曲線を扱うに

pos: Part-of-speech
Grammatical"$#&%')(+*$, gram:function
 of w e  ofweref→ 本手法: 0.3652, 毎日新聞で矩形窓 TF: 0.3013 →

評価尺度最大となった参照確率の計算手法

5 関連研究活性化拡散モデル (Spreading activation model) や

PLSA (Probabilistic Latent Semantic Analysis) 等
表6refw−→e in pre(Ui )回帰√√√evalSal(m)0.34580.35910.3652化するため，顕現性を表す参照確率の計算手法に 2 つの拡張 (新近性効果の減衰曲線を表す窓関数と，後続発話での参照の予測性能を表す評価尺度) を加えた．
これにより，文脈の動的変化をより良く捉えるよう計算手法を最適化できた．今後は，SalienceGraph を用X

回帰ref√

√
√

√
√
√
√

w−→e in pre(Ui )√W(dist)title

posgram√

√
√

√
√
√
√
√
√
√

6 まとめ
図 1 に示した SalienceGraph で談話の流れを可視√√√

表 7 素性セットの選択 (毎日新聞)√

も顕現性計算に利用できる可能性がある．今後は，矩形窓 TF だけでなく，これらとの比較実験も行う．

X√√
√

√
√

√

W(dist)posgram√

素性セットの選択 (CSJ)

evalSal(m)いた談話閲覧システムを開発する予定である．
謝辞 新聞記事 GDA コーパスの研究利用を許諾された三菱電機株式会社と調整して下さった GSK に感謝する．本√√√√√√√√√√√√√√

0.36870.34370.36800.08600.36380.33950.3631

によって評価尺度 evalSal(m) を計測した結果である．
評価尺度 evalSal(m) は，CSJ で 0.3652, 毎日新聞で0.3680 となった．
■ 矩形窓 TF との性能比較 本手法を，TF(単語の頻度) に矩形窓をかけた単純な手法と比較する．前述の研究は科研費補助金 (特別研究員奨励費) の支援を受けた．

参考文献[1] B. Grosz, A. Joshi, and S. Weinstein. Centering: A
Framework for Modeling the Local Coherence of Discourse. Computational Linguistics, Vol. 21, No. 2,
pp. 203–226, June 1995.
[2] B.B. Murdock. The Serial Position Effect in Free
Recall. Journal of Experimental Psychology, Vol. 64,
pp. 482–488, 1962.
[3] B. Shneiderman and C. Plaisant. Designing the User
Interface: Strategies for Effective Human-Computer
Interaction (4th Edition). Addison-Wesley, 2004.
[4] 白松俊, 駒谷和範, 橋田浩一, 尾形哲也, 奥乃博. ゲー
ム理論に基づく参照結束性のモデル化と日本語・英語

表 1, 2 の最初の行 (矩形窓をかけた出現頻度) が，すの大規模コーパスを用いた統計的検証. 自然言語処理,

なわち TF に矩形窓をかけたものである．参照の予測

Vol. 14, No. 5, pp. 199–239, 2007.