情報処理学会研究報告
IPSJ SIG Technical Report

確率的潜在意味スケーリング
持橋 大地1,a)
概要：テキストをある意味的な軸に沿って連続的に測ることは, 社会科学・人文科学などにも様々な応用を持つ重要な問題である. 本研究ではこのために, 項目反応理論とニューラル単語ベクトルに基づいて, 政治
学方法論の分野で提案された潜在意味スケーリング (LSS) の考え方を統計モデルとして実現する, 確率的
潜在意味スケーリング (PLSS) を提案する. また, 分析対象となるテキストをキーワードに基づいて選択するための枠組として, 潜在トピックモデルおよびニューラル文書ベクトルに基づく二種類の統計的な方法を提案する. 政治学分野での公開データを用いた実験により, PLSS は LSS より人間の評価と高い相関を見せることを確認し, また LSS を確率モデルとして捉えることで, 様々な統計的拡張を可能にする.
キーワード：項目反応理論, 政治学方法論, 潜在意味解析, 単語ベクトル, ガウス–エルミート求積

Probabilistic Latent Semantic Scaling
Daichi Mochihashi1,a)Abstract: Measuring text in a continuous scale is a fundamental problem that has many applications including social sciences and humanities. This paper proposes a probabilistic extension to Latent Semantic
Scaling (LSS) in political methodology, called Probabilistic Latent Semantic Scaling (PLSS). Leveraging
Item Response Theory and neural word vectors, we show that PLSS consistently outperforms LSS in termsof relevance to human evaluation. We also propose two statistical methods to select texts to be analyzed
that are associated with the given keywords. Probabilistic treatment of LSS enables many future extensions,
including handling missing data and time series analysis.
Keywords: Item Response Theory, Political Methodology, Latent Semantic Analysis, Word vectors, GaussHermite quadrature

1. はじめにテキストをある尺度 (スケール) で連続的に測りたい, とた尺度で違いがあるのかを知りたい探索的 (exploratory)
な分析の場合は, 事前に人が固定された観点で付与した教師データは意味をなさない.

いう場面に我々はよく遭遇する. たとえば, 自然言語処理

特に社会科学においては, 分類問題に還元できないこや心理学において, あるレビューやアンケートがどれくらうした問題は重要であり, 中でも統計学や機械学習の導いポジティブなのか, どれくらいネガティブなのか知りた

入が最近急速に進んでいる政治学 (政治学方法論; political

い場面はよく存在するし, 社会科学においてはある法案がmethodology) の分野では, Wordﬁsh [4] あるいは LSS [5][6]が, この目的でテキストを分析するために使われている. 後で説明するように, Wordﬁsh は教師なしモデルであるが,LSS はキーワードの形で分析者が尺度の視点を決めることのできる方法であり, R パッケージ*1 もあるために世界的に広く使われている.
しかし, LSS は古典的なベクトル空間モデルによる潜在意味解析に基づいているために, 推定値の分散が非常に大きく, また確率的な解釈や拡張が難しいという実用的な問題を抱えている. 実際に, 5 章で示すように, LSS の尺度との相関はかなり弱いものになっている. また, Wordﬁsh とLSS のいずれにおいても, 分析の対象となるテキストを絞り込むための系統的な方法論がなく [4], 分析の際の障害となってきた.
そこで本研究では, テキストをこうした連続値で測るた
めに, 心理統計学における項目反応理論 (IRT) をもとに,どれくらい左翼=革新的か, あるいは右翼=保守的かを知ることで, この法案に賛成する議員の立場を逆算して焙り出すことが可能になる [1][2]. 特に, テキストの極性自体はお客様センターへの苦情や自民党から提出された法案といった形で自明な場合があり, そこではむしろ, どれくらい強い苦情なのか, どれくらい保守的な法案なのかといった「程度」を知ることが実用上重要となると考えられる.
しかし, こうした問題は, 1/0 の分類を行う従来のテキス
ト分類や極性判定のような教師あり学習では対応することができない. ロジスティック回帰のような分類器は, 尤度を上げるために結果を 1 か 0 のどちらかの極に寄せる傾向があり, SVM のようなベクトル空間で動く分類器においても,分類平面からの距離がクラスに対応する尺度であることは保証されていないからである [3]. また, そもそもどういっ
1a)

統計数理研究所 数理・推論研究系
The Institute of Statistical Mathematics
daichi@ism.ac.jp

c 2016 Information Processing Society of Japan⃝*1

https://github.com/koheiw/LSX. CRAN への登録上, 名前がLSX になっていることに注意されたい.

1

FDP

–2

–2

FDP

1990

情報処理学会研究報告

1994

1998

2002

2005

1990

1994

Year

IPSJ SIG Technical Report

1998

2002

2005

Year

(C) Societal Policy(D) Foreign Policy22

Word2Vec 等で得られる現代的なニューラル単語ベクトルを利用し, LSS の考え方を統計モデルとして実現する確率
的潜在意味スケーリング (PLSS) を提案する. 分析の前段においても, 背景分布を持つ LDA [7] およびニューラル文
書ベクトル [8] を利用して, 各テキストが分析したいキー
ワード集合に関係する「関係確率」を求め, 上記のニューラルな IRT と組み合わせることで, PLSS が様々な話題を持つテキストの中からキーワードに関係する文書を自動的に抽出し, 人間の評価ともより高い相関を持つ尺度値を出力できることを示す.
図 1 Wordﬁsh によって推定された, ドイツの各政党の外交方針 θit
本論文は, 以下のように構成される. まず 2 章で, テキスの時間変化の例 (1990–2005) ([4] より引用).
トの尺度分析のための Wordﬁsh と LSSについて解説する.
have similar positions. In 1990 and 2005, the FDP is more
The Political Lexicon , その期待値
式 (1) は, 頻度Word
yivt Analysis:
はポアソン分布に従うがcentrist and located between the two major parties.
3 章で本論文の基本となる項目反応理論
(IRT)
と提案する
To
furtherconfirm
ourfindings, we check the validity
A comparison of the size of the confidence
intervals=分散λivt はテキスト
it と単語v で決まるベースライン
of our results both internally and externally. For internal
reveals that positions estimated from fewer words have
PLSS のモデル化について説明し, 学習データの各テキスト
validiation,
weexaminetheword
parameters.
We expectlarger intervals. For example, the average confidence
αit +βv in-を, 政党の持つ極性 θit と単語の持つ極性ϕv で上to find a particular pattern in the results. Frequent wordsの潜在尺度 θ を数値的に積分消去するための適応的なガウ
terval for the economic policy dimension (4,714 words)(e.g.,
conjunctions,articles,prepositions,etc.)shouldnot
下して決まるということを表している
.
θ
>
0
が右翼を表
it
is 54% larger than the average confidence interval for theス–エルミート求積に基づく学習法について述べる. また, These results confirm discriminate between party manifestos because they doleft-right dimension (8,995
words).
すとき,政党の位置と単語の位置の符号が一致する, すな
notcontainany
political
meaning.
Therefore,
theyshouldthe Monte Carlo simulation that more words reduce the
4 章で分析のためにコーパスからキーワードに関係するテ
have large fixed effects associated with weights close touncertainty surrounding the estimates. わち単語 v (たとえば “軍備”) の位置も同様に ϕv > 0 であキストを確率付きで抽出する方法について説明する. 5 章
るか, または θit < 0 すなわち左翼で ϕv < 0 のときに単語で政治学において尺度を判定した公開データにおける実験
v (たとえば “社会保障”) の期待値は増加する. 逆に θit とを行い, 提案手法の優位性を示す. さらに実際に中国共産ϕv の極性が異なるときには, 単語 v の期待値は減少するこ党の潜在的なイデオロギーの時間変化と国会議事録の分析とになる. 推定には EM アルゴリズムを用い, 適切な初期に適用した例を示し, 6 章でまとめと今後の課題について値から始めて, α および θ の推定と β および ϕ の推定を反述べる. 提案する PLSS の R パッケージは, github におい
復する.
て公開予定である.
Wordﬁsh は系統的な統計モデルであるが, この方法で発見される
θ の極性軸が分析の目的と対応している保証はな
2. テキストの尺度分析と統計モデル
い. 適切な分析のためには, 入力テキスト集合を注意深く政治学において法案や演説, 議事録といったテキストの選択する必要があるが, その方法は Wordﬁsh には含まれて分析は重要な課題であり [9], さまざまな方法が提案されておらず, 客観的な方法は示されていない. また, Wordﬁsh は
きた. テキストマイニングの分野で行われているように, 単「与えられたテキストの頻度」を説明するものであり, 学習
純に単語ベクトルの和の第一主成分をプロットするといっされる式 (1) の αit は暗黙にテキストの長さに依存していたヒューリスティックな方法もあるが, より系統的な方法るため, 学習したモデルを新しいテキストに適用できないとして, Slapin らによる教師なし手法である Wordﬁsh [4]という問題点もある.*3 Wordﬁsh によって推定したドイツ
および渡辺による半教師あり手法である LSS [5][6] が広くの政党の θit の推定例 [4] を図 1 に示した.
使われている.
2.2 Latent Semantic Scaling (LSS)
2.1 Wordﬁsh
これに対して, 渡辺が政治学方法論の分野で開発した LSS
Wordﬁsh はテキストの系列*2 から極性の変化を発見する(潜在意味スケーリング)[5][6] は, 「目標語 (target words)」
ことのできる教師なし学習の統計モデルであり, ポアソンという形で分析の対象を, 「種語 (seed words)」という形
分布に基づいた生成モデルになっている. yivt を政党 i がで尺度の視点をそれぞれ指定することのできる半教師あり
時刻 t のテキスト (たとえば選挙時の公約) で単語 v を使っアルゴリズムである.
た頻度とすると, 観測値 Y = {yivt }i,v,t について, Wordﬁsh
目標語と特徴語 LSS ではまず, 指定した目標語 (targetは次の確率を最大化するパラメータ (α, β, θ, ϕ) を求める.
words) を使い, 分析に用いる語彙を特徴語 (entry words)

YYYとして決定する. これには目標語 (たとえば “econom*” や p(Y ) =Po(yivt |λivt )
(1)
t
v
i
“政治”) から一定の窓内で共起した語のうち, 符号付き χ2
λivt = exp (αit + βv + ϕv ·θit )検定値の小さい順にたとえば 2,000 語を用い [6], “growth,
ここで αit はテキスト it での固定効果, βv は単語 v のsocial, recovery, · · · ” のような語彙を特徴語とする. また,固定効果で, 興味があるのは単語 v の極性軸上での位置 ϕv
文書–単語の共起頻度行列を SVD で分解することで, 潜在および, 政党 i の時刻 t での潜在位置 (理想点) θit である.
意味解析 (LSA)[12] に基づいて各目標語および特徴語の単PDSGreens

1

1

PDS

FDP

–1

CDU/CSUSPD

0

Party Position

0

SPD

–1

Party Position

Greens

CDU/CSU

–2

–2

FDP

1990

1994

1998

2002

Year

*2

これらの方法では時系列性を直接モデル化していないが, 本研究のように確率モデルとして捉えることで, ガウス過程 [10] などを用いた時系列拡張を行うことも可能になる.

c 2016 Information Processing Society of Japan
⃝

2005

1990

1994

1998

2002

2005

Year

*3

ポアソン分布をテキストの長さ (一般に既知) で条件づければ多項分布が得られるため [11], 式 (11) のようにモデルを多項分布で再定式化すれば, 新しい文書にも適用することができる.

2

Figure 7: Longitudinal analysis of news articles on the economy (English) in the New York

情報処理学会研究報告

Times corpus by LSS. Curves are LOESS smoothed sentiment scores with 95% confidence

IPSJ SIG Technical Reportintervals. Circles are individual sentiment scores of 10,000 news articles.

語ベクトルを計算しておく.
種語分析の視点として, 極性 p[s] (たとえば 1 や −1) の付いた単語リストを種語 (seed words) として与える. 次に,
上記の各特徴語 f について, その極性 p[f ] を種語 s とのコサイン距離により, 次のように計算する.
−
→−
1 X
→
p[f ] =
cos( f , s ) p[s]
|S|

(2)

s∈S

−
→ −
→
ここで S は種語の集合で, f , s はそれぞれ f および s の

図 3 LSS によって推定した, New York Times の記事の極性の時

単語ベクトルである. この様子を図 2 に示した.

系列変化 [6]. 点は各文書の極性を, 実線はスムージングしたそ

テキストの極性の計算

れらの平均を表している.

p[f ] が式 (2) で計算できると, 与えられたテキストの極性は, テキストのうち特徴語だけを抜き出したものを d として
1 X
p[d] =n(f ) p[f ]
(3)
|d|
f ∈d

統計モデルとして確率化し, これらの問題点を克服することを試みる.

3. 確率的潜在意味スケーリングとして計算される. ここで n(f ) は特徴語 f の d 内での頻項目反応理論 (item response theory, IRT) [14] は心理統度, |d| は d の長さである. この値は平均や分散が一定の値

計学の分野で開発された方法論であり, テストの結果からにならないため, 平均 0, 分散 1 となるように正規化した結被験者の潜在的な能力あるいは傾向 θ を推定することを目果を LSS の最終的な出力とする.

的とする. 各被験者の θ が標準正規分布 N (0, 1)

LSS は, それまで使われていた人手による極性単語リスト (たとえば Lexicoder Sentiment Dictionary, LSD [13])による分析を自動化し, 単語リストが存在しない言語にも適用できるようにしたもので, R パッケージにより政治学の多くの研究で使われている [6]. 図 3 に, [6] で New Yorkθ ∼ N (0, 1)(4)に従っているとすると, 最も基本的な 2PL(2 パラメータロ
ジスティック) モデルでは, 被験者 i の問題 j に対する正答確率 pij を次のようにモデル化する.

pij = σ(aj (θi − bj ))(5)Times の 10,000 記事を標準的な正負の種語を使って分析した例を示した.
ここで σ(x) = 1/(1 + e−x ) はロジスティック関数であり,LSS は有用なアルゴリズムであり, 各時期での文書の極式 (5) は, 問 j への正答率は問題の難易度を表す bj を境
性の平均値は人手による評価とよく一致することが示されに, aj に比例する確率で上昇することを表している. 被験ている [6]. しかし一方で, 図 3 の各点にみられるように,者 i の能力 (あるいは傾向) θi が bj に比べて充分大きけれ
各文書の極性は非常にばらつきが大きいという問題が原論ば式 (5) の正答率は 1 に近づき, 小さければ 0 に近づく. 観
文によっても指摘されている. また, Word2Vec や GloVe
測データとして Y = {yij }i,j を考え, yij は被験者 i が問題のような現代的なニューラル単語ベクトルではなく, ベク
j に正答したとき 1, 誤ったとき 0 とすると, Y の確率はトル空間モデルによる古典的な潜在意味解析を用いている
YY
p(Y |a, b, θ) =Bernoulli (yij |pij )(6)ために, ストップワードや頻度の前処理といったヒューリijスティックおよびその際のパラメータに依存することに加 11
YY=Bernoulli (yij |σ(aj (θi − bj ))) (7)え, 5 章に示すように, ベクトル空間モデルで得られる極性ijFigure 1:の「方向」がConceptual illustrationof word weighting by seed words in semantic space. The arrow, 必ずしも人間の期待するものと一致しないと表すことができる. IRT では, 事前確率 (4) の下で尤度
is the sentiment
dimension in the semantic
space and circles are proximities of positive seedという問題点がある.
(7) を最大にするパラメータ {aj , bj } を求め, 同時に被験者
そこで本研究では, こうした潜在的な「尺度(スケール)」(“good”) words
and negative seed words(“bad”) to “crisis”, which is projectedon the sentimentの能力 {θi } を推定する.
に対応する連続値を扱うことのできる方法論である項目反dimension and receives a negative score.
標準的な IRT はテストに対する正解/不正解の二値データ
応理論 (IRT) をもとに, Wordﬁsh のモデルを参考に LSS を
yij に対するベルヌーイ分布の統計モデルであるが, 式 (7)と式 (1) を比較するとわかるように, Wordﬁsh はポアソン分布に基づく IRT の一種とみなすことができる. ただし,
Wordﬁsh では θ が標準正規分布に従うことは仮定されていないという違いがある.
3.1 確率的潜在意味スケーリング
そこで本研究ではまず, 式 (5) を多項分布に拡張する形
図 2 LSS による特徴語の極性の計算 [5]. 種語とのコサイン距離に基づき, 分析に用いる特徴語の極性をスコアリングする.

で, あるテキストにおける単語 v の確率を次のようにモデル化する.

Table1: Generic sentiment seed words(Turney & Littman,2003) Society of Japan
Japanese (by author)c 2016English⃝
Information
Processing

Positive

Negative

good, nice, excellent, positive, fortunate,
correct, superiorbad, nasty, poor, negative, unfortunate, wrong,inferior

絶好, 美麗, 秀逸, 卓越, 優雅, 絶賛, 善良
粗悪, 醜悪, 稚拙, 非礼, 貧相, 酷評, 悪徳

3

IPSJ SIG Technical Reportl Easiest method: difference of means between “positive”

sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

Estimating<latexit

情報処理学会研究報告

words and “negative” words from polarity dictionary= PV

v=1 exp (log p(v) + θ · ϕv )‘good’

(9)

‘bad’

 

 

ここで ϕv ∈ R は式 (1) の Wordﬁsh の場合と同様に, 単語‘poor’‘nasty’sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

図– 4Norm
極性辞書と単語ベクトルによるβ の計算. to give extremeof can be 1 à not necessary

words as LSS, 2.1 節で述べたように, そなしで学習することもできるがうして得られた β が分析の目的と一致しているとは限らない. そこで, 本研究では表 1 のように, 正例および負例として与える少数の極性語辞書から, 単語ベクトルを用いて

β を次のように計算する. なお, β のノルムは 1 に正規化
する.


X −
X −
1
1
→
→
v −
w
(14)
β ∝
|S+ |
|S− |
v∈S+

v=1

と書けるから, D 個のテキストからなるコーパス D 全体の確率はp(D|Θ, ϕ) =

D Y
V
Y

p(v|θd , ϕ)ndv(11)

d=1 v=1‘superior’<latexitv の「極性」を表すパラメータである. θ はこのテキストのもつ潜在的な極性で, 標準正規分布 N (0, 1) に従うとする.
式 (8) より, このモデルでは単語 v の確率は ϕv と θ の正負と大きさが一致すれば事前確率 p(v) より高くなり, 逆になれば低くなる, というモデルになっている. p(v) はコー
パスから容易に計算できるため, このモデルは IRT の多項分布化, あるいは式 (9) で表される多値ロジスティック回帰において, θ も ϕ も未知の場合の教師なし学習とみなすことができる.
このとき, テキスト d の確率は単語 v のテキスト内での頻度を ndv とおくとVYp(d|θ, ϕ) =p(v|θ, ϕ)ndv(10)  ‘well’

sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

exp (log p(v) + θ · ϕv )(8)<latexitp(v|θ, ϕ) ∝ p(v) exp (θ · ϕv )w∈S−

ここで S+ は極性辞書のうち正の語の集合, S− は負の語の集合とした. 式 (14) は単純に, β として負の単語ベクトルの平均から, 正の単語ベクトルの平均へ向かう方向を取る
ことを表している. この様子を図 4 に示した. 極性辞書とWordﬁsh と 同 様 に, 事 前 確 率 (4) の 下 で
式 (11) を最大化するパラメータ Θ = {θ1 , · · · , θD } および ϕ1 , · · · , ϕV を最適化や MCMC 法などにより計算することができる.*4
ただし, こうするとたとえ単語 v と w が意味的に関係が深くても, ϕv と ϕw は別のパラメータとして推定しなければならないという問題がある. たとえば ϕgood > 0 と推定できても, これは ϕexcellent や ϕwell とは無関係であり,excellent や well がコーパスに現れなければ, まったく学習
することができない.
そこで, ϕ1 , · · · , ϕV を独立に学習する代わりに, 与えられたコーパスあるいは一般的なコーパスから事前に Word2Vec
や GloVe 等で学習された K 次元のニューラル単語ベクト−→ル v を用いて, ϕv を−→
ϕv = β T v(12)

しては, 表 1 に示した LSS に付属する標準極性辞書 [15] のとモデル化する. これにより, V 個の独立な ϕ1 , · · · , ϕV をととした.*5と 表 さ れ る.

ように, ごく少数の単語のリストがあればよい. なお, LSSと異なり, 正例・負例の単語が「最も極端な語」である必
要はなく, 意味方向のみが合っていればよいことに注意されたい.
ここで「正例」「負例」とは必ずしも感情的な正負と関係していなくてもよく, 「右翼–左翼」「都会–田舎」「東洋–西洋」のように, 任意の意味的な軸を扱うことができる. Schütze
らは, 単語埋め込みの空間に実際にこうした, 与えられたタスクに関係する低次元の部分空間が存在することを発見
し, これを超密埋め込み (Ultradense embedding) と呼んでいる [16]. 超密埋め込みは, 最も単純には, この場合のように 1 次元の部分空間となる. ただし, 予備実験でこの超密埋め込みを行列の固有ベクトルとして求める DensRay [17]を使用したところ, 式 (14) と比べて明らかにノイズの多い方向となったため, 本研究では単純な式 (14) を採用するこ

求める代わりに, K 次元の係数ベクトル β を一つだけ推定すればよい. このとき, 式 (9) は ℓv = log p(v) とおけば−→exp (ℓv + θ · β T v )(13)p(v|θ, β) = PV→T−
v=1 exp (ℓv + θ · β v )と表すことができ, 式 (2) の LSS のコサイン類似度 (≃ 内積) の確率モデル化になっているといえる.
この β は, 単語埋め込みベクトルの空間において “良い–悪い”, “右翼–左翼” といった θ の極性を与える「極性軸」, あるいは「意味方向」を表している. β は完全に教師*4

これは多項モデルであるため, 式 (1) の Wordﬁsh と異なりパラメータが学習テキストの長さに依存せず, 新しいテキストについても適用することができるという特徴がある.

c 2016 Information Processing Society of Japan
⃝

図 5 に, 表 1 の標準的な極性辞書と, 160 万文の New York
表 1 LSS に付属する標準的な極性辞書 [15]. + が正例を, − が負例を表す.
+

good, nice, excellent, positive, fortunate, correct, superior−bad, nasty, poor, negative, unfortunate, wrong, inferior*5

これは, DenseRay の目的関数が, 極性辞書で単語
v の属する符号
−
→ −
→ −
→ −
→ T
1 ∑
を s(v) としたとき, 行列 A = N(v,w) : ( v − w )( v − w ) −s(v) = s(w)
−
→ −
→ −
→ −
→ T
1 ∑
の固有ベクトルの計算に帰着さ(v,w) : ( v − w )( v − w )Ms(v) ̸= s(w)れ, 正例と負例の内部およびその間のペアを結ぶ個別のベクトルの和になっていることが原因だと考えられる. 式 (14) と異なり,この定式化では S+ , S− の中で和をとることでノイズを消す作
用が働かず, v, w の選択に起因するノイズが A に残ってしまうからである.

4

sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

latexit<sha1_base64="bPv6oxq9RlzvtBZO0xp33r1av5w=">AAAIdHiclZXNbtNAEMcnFGgIH23hggSHlChVK0q0CSAQUqUWqNSqVdWmX6m6bWQ7m9aKE1u24zY1eQFegAMnkDggHoMLB64c+giIYxFcODBeO0oaT4uwlXhn5vcfz+zaa9UydMdl7DhxYeDipcuDySupq9eu3xgaHrm54ZhNWxPrmmmYdklVHGHoDbHu6q4hSpYtlLpqiE219iKIb3rCdnSzsea2LLFTV/YaelXXFBdd5eGv1nhrsvKKu/vCVSbGplJod6w0t2yzUva9NNcb6UobY14Um+SqGiApzrcf5B6Lwx0iiNl41VY0n4tDa5wLwyh7fPQ+Hw0xrlVMN0R317gnNN9rT7RTPneadbzpVL69u5H+L2l5OMNyTB7p+CAfDTIQHcvmyMAccKiACRo0oQ4CGuDi2AAFHDy3IQ8MLPTtgI8+G0e6jAtoQwq1TaQEEgp6a/i/h9Z25G2gHeR0pFrDuxj4s1GZhiz7xj6yE/aFfWLf2Z8zc/kyR1BLC69qqBVWeej17dXf/1TV8erCfld1jkJF+vyeXKjCU9mLjr1Z0hN0qYX5vaM3J6vPill/jL1nP7C/d+yYfcYOG95P7cOKKL7F7Fk53wIzcfDwqkEG59hHq1OrijFfettRPV3+tMKUto2njjXuo1qRlgkHZ2Y4JO51SHAtgmsR3BHBHRHcAcEdEFyV4KoEVyO4GsHNENwMwc0T3DzBLRDcAsGVCK5EcFsEt0VwjOBYjFOj9Q2eZWpd1Whdw3h8PVX5JnTigojX8anvElzaccrCGvVTXOihSCdGOiQZ1BY84b1sxxeng1nq8L2Krr9NqAy5b6jo6df1Rijlcqzj5TM6XpVva72vk643rlg8VVVXs9hXU69qKapfw5iBu9NSjJjte6JUtGdjVJGgijHqpdxtMlCQdBX3oGDvDFez89UI6wh3JTpSCPLiNyzf/8WKDzYKufzDXGHlUWb6efQ1S8IduAfjmP8JTMMczv86aIlCopRQEurgr+TdZCaZDdELiUhzC04dydxfNjjXSA==</latexit><latexit「負例」のテキストは示せる場合が多いと考えられる. 直感

的には, それぞれのテキストに共通して現れる単語 (単語ベクトル) から, 間接的に単語の極性が導かれるはずであc 2016 Information Processing Society of Japan⃝であり, これを最大にするテキストの潜在的な極性 θ のる [18]. また, 二値ラベルの y という弱い教師情報からは θ

MAP 解は, 1 次元の最適化で容易に計算することができる.

は一意には決まらず, θ を学習時に点推定することは教師

3.2 PLSS の半教師あり学習

データへの過学習をもたらす可能性がある.
l Learnby only maximizing p(Y` |X` )Estimating

極性辞書を用いたが, こうした辞書が分析対象について自明に作成できるとは限らない. 例えば, 欧州において移民✓

労働者についての賛成派と反対派を特徴づけるキーワード

が, 分析前から明らかとは限らないからである.

しかし, そうした場合でも典型的な「正例」のテキストと

*6

V
Y

v N

y

図 6 β を推定するための教師データのグラフィカルモデル.

p(y, d|✓) = p(y|✓)

l Problem: ✓ of labeled data is unknown!

この方法はうまく働くが, より精密な半教師あり学習の理論に基exp(`v +✓ · T ~v )づいて式p(v|✓,(18) の目的関数を置き換えることは今後の課題とした) = PVい.
exp(`v +✓ · T ~v )v2dY

sha1_base64="XK+xpvQ59H4JblugmDQGR27FTkg=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1m3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vctd0/ADxk5nZucuXb6izF9duHb9xs3FpeVbVd9pe5qoaI7peDWu+sI0bFEJjMAUNdcTqsVNsc9bz0P/fkd4vuHYe0HPFU1LPbIN3dDUAE3VBuciUA+XMizH5LWSbuTjRgbiq+gsz21AA16CAxq0wQIBNgTYNkEFH+865IGBi7YmDNDmYcuQfgFDWEBtGymBhIrWFv4fYa8eW23shzF9qdbwLSb+PFSuQJb9YF/YGfvOvrKf7O+5sQYyRphLD5880gr3cPH1nfKf/6osfAZwnKguUHCkL64pAB2eyFoMrM2VlrBKLYrf6b89Kz8tZQf32Sf2C+v7yE7ZN6zQ7vzWPu+K0geMnpXjLTBSAzr41CCDYzzA3ihXjr6BtA7jfBJ+UuHIvoe3gTkeo1qVPQe650Y4Id51QnA9gusRXJ/g+gTXJbguwekEpxNci+BaBLdGcGsEt0lwmwS3RXBbBFcjuBrBHRDcAcExgmMpjsfzG65lal55PK+RPz2fXH4JI78g/Bau+oRoyH6acjFHY4KLLBTpp0ifJMPcwhU+zo5saTocpRE/rkjsQ0Jlyn2Do2VaN+6hlMVUxcVzKi7Lr9WaqiSxphXbE1klmu2pnMZVO3H+GvpM3J12UsT61Iri2F9PUSWCKqWoF3K3yUBB0jruQeHeGc3m6NSI8oh2JdpTCOPiGZafPrHSjWohl3+YK+w+yqw+i0+zebgL9+ABxn8Mq7CB41/BHF7BG3gH75WcsqfUlWaEzs7EmtswcSn6P19PkN8=</latexit>

ストの潜在的な極性 θ も未知なことである. θ および β を

sha1_base64="tKLc9AVqwcrZQOWYiLe+kDbD9WA=">AAAHuHichZXNbtNAEMenLeBSPprCBYlLRRRULtEmIIF6aoFKrVpVaULaRE2Ves0mteIv2U7SJOQFeAEOcAGpSIjH4MILcOgjII5F4sKB8dpRPjwpthLvzvz+45nd9S53DN3zGTufmZ27cvWaMn994cbNW7cXE0t39j276WqiqNmG7Za46glDt0TR131DlBxXqCY3xAFvvAj8By3herptvfI7jjgy1bql13RN9dFUTSSclXK1IgzjTUk+HlUTSZZm8lqONzJRIwnRlbOX5jahAq/BBg2aYIIAC3xsG6CCh/chZICBg7Yj6KHNxZYu/QL6sIDaJlICCRWtDfyvY+8wslrYD2J6Uq3hWwz8uahchhT7wb6wC/adfWU/2d+psXoyRpBLB5881Aqnuvj2XuHPf1UmPn04GaouUXCkL6/Jhxo8k7XoWJsjLUGVWhi/1X13UVjNp3oP2Sf2C+v7yM7ZN6zQav3WzvZE/j1GT8nxFhipAi18apDEMe5hb5ArR19PWvtRPkN+XGHLvou3jjmeoFqVPRvaUyOcEu86JbgOwXUIrktwXYJrE1yb4GoEVyO4BsE1CG6d4NYJbovgtghum+C2Ca5EcCWCKxNcmeAYwbEYx6P5DdYyNa88mtfQH59PLr+EgV8QfhNX/ZCoyH6ccjBHfYwLLRTpxUiPJIPcghU+yg5scToYpQE/qhja+4TKkPsGR8ukbtRDKXOxinNTKi7Ir9WcqGRojSt2xrIaanYmchpV7Ub5a+gzcHfajREbEyuKY38jRuUJKh+jXsrdJglZSddwDwr2znA2B6dGmEe4K9GebBAXz7DM5IkVb+xn05nH6ezek+Ta8+g0m4f78ABWMP5TWINNHP8i5tCCD3AGn5VV5VipK3qIzs5EmrswdinuP+PVlPg=</latexit>

ここで問題なのは, 回帰パラメータ β だけでなく, テキ<latexit

p(y, d, θ, β) = p(y|θ)<latexit

上では θ の極性を表す基準として LSS と同様に少量の

sha1_base64="dgnbaQMVfaVGceN9ClP19VhJacI=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWmilVq1KPkiaqqkqr7tprTi2ZTtJkygvAFcQB04gcUA8BhdegEMfAXEsEhcOjNeOnGSnxVbi3Znffzyzu97lrmX6AWOnU9Mzly5f0Wavzl27fuPm/MLirYrvtDxDlA3Hcrwq131hmbYoB2ZgiarrCb3JLbHDGy9C/05beL7p2K+Criv2m/qRbdZNQw/QVFg9WEixDJPXktrIxo0UxFfeWZxZhxocggMGtKAJAmwIsG2BDj7ee5AFBi7a9qGPNg9bpvQLGMAcaltICSR0tDbw/wh7e7HVxn4Y05dqA99i4c9D5RKk2Q/2hZ2x7+wr+8n+nhurL2OEuXTxySOtcA/mX98p/fmvqonPAI4T1QUKjvTFNQVQh6eyFhNrc6UlrNKI4rd7789Kz4rp/n32if3C+j6yU/YNK7Tbv43PBVH8gNHTcrwFRqpBG58GpHCM+9gb5srR15fWQZxPwo8rHNn38DYxx2NU67LnQOfcCCfEu04IrktwXYLrEVyP4DoE1yG4OsHVCa5BcA2CWyG4FYLbILgNgtskuE2CqxJcleB2CW6X4BjBMYXj8fyGa5maVx7Pa+RX55PLL2HoF4S/ias+IWqyr1Iu5miOcZGFIn2F9EkyzC1c4aPs0KbS4SgN+VFFYh8QKkvuGxwtk7pRD6XMKxXnz6m4JL/W5kQliVVVbI1llWi2JnIaVW3H+Rvos3B32laItYkVxbG/plBFgioq1KrcbVKQk3Qd96Bw74xmc3hqRHlEuxLtyYVx8QzLTp5YaqOSy2QfZXKFx6nl5/FpNgt34R48wPhPYBnWcfzLmIOAN/AW3mkPtZdaRatG6PRUrLkNY5em/wNdoo6X</latexit>

Times の記事から Word2Vec で学習した K = 100 次元の単−→語ベクトルを用いて計算した単語の極性 ϕv = β T v を示した. 非常に少ない教師データにもかかわらず, 肯定的な単語および否定的な単語が, その強さとともに連続的に取り出せている様子がわかる.
このモデルは LSS の確率化とみなせるため, 確率的潜在
意味スケーリング (Probabilistic Latent Semantic Scaling,
PLSS) と呼ぶ. 極性辞書を用いる場合は, PLSS は単語
ベクトルの計算以外にパラメータの学習を必要としない.
式 (10) から, テキスト d と極性 θ の同時確率はlatexit

表 1 の極性辞書を用いて計算した単語の極性 ϕv .

sha1_base64="8NIuWjUcVuWpm5f7vJ0xiiQ8VXI=">AAAHp3ichZVLb9NAEMenLeBSHm3hgsSlIgqCS7QJSCBOLVCpVauQB0lTNVXlNZvWil+ynaRJlC8AVxAHTiBxQHwMLnwBDv0IiGORuHBgvHaUx06LrcS7M7//eGZ3vcs9ywxCxk5mZucuXLykzV9euHL12vXFpeUb1cBt+YaoGK7l+jWuB8IyHVEJzdASNc8Xus0tscObzyL/Tlv4gek6L8OuJ/Zt/dAxG6ahh2gq5g+WUizD5LWiNrJJIwXJVXCX5zagDq/ABQNaYIMAB0JsW6BDgPceZIGBh7Z96KPNx5Yp/QIGsIDaFlICCR2tTfw/xN5eYnWwH8UMpNrAt1j481G5Amn2g31hp+w7+8p+sr9nxurLGFEuXXzyWCu8g8XXt8p//quy8RnC0Uh1joIjfX5NITTgsazFxNo8aYmqNOL47d770/KTUrp/l31iv7C+j+yEfcMKnfZv43NRlD5g9LQcb4GR6tDGpwEpHOM+9oa5cvT1pXWQ5DPiJxWu7Pt4m5jjEap12XOhc2aEY+JdxwTXJbguwfUIrkdwHYLrEFyD4BoE1yS4JsGtEdwawW0S3CbBbRHcFsHVCK5GcLsEt0twjOCYwvFkfqO1TM0rT+Y19qvzyeWXMPQLwm/jqh8RddlXKQ9zNCe42EKRgUIGJBnlFq3wcXZoU+lolIb8uGJkHxAqS+4bHC3TunEPpSwoFRfOqLgsv1Z7qpKRVVVsT2Q10mxP5TSuyif5G+izcHfKK8T61Iri2F9XqBJBlRTqudxtUpCTdAP3oGjvjGdzeGrEecS7Eu3JRXHxDMtOn1hqo5rLZB9kcsWHqdWnyWk2D7fhDtzD+I9gFTZw/CuYg4A38Bbeafe1F1pVq8Xo7EyiuQkTl6b/A6ZAjqE=</latexit>

図 5 New York Times のコーパスから事前学習した Word2Vec とlatexit(b) 極性 ϕv < 0 の下位単語.

sha1_base64="x1R2dLyocGWtbJNnhD1WFWmAFbo=">AAAHsHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJqRNaarIazatib9ku0kTKy/AGYkDAgkkDojH4MILcOgjII5F4sKB8dpRPnZSbCXenfn9xzO7613uWWYQMnY6NT1z4eIlbfby3JWr167PLyze2AncY98QFcO1XL/K9UBYpiMqoRlaour5Qre5JXZ582ns320JPzBd53nY8cSBrR86ZsM09BBNL2rcjmpchHqvvpBhOSavJbWRTxsZSK+iuzizBjV4CS4YcAw2CHAgxLYFOgR470MeGHhoO4AIbT62TOkX0IM51B4jJZDQ0drE/0Ps7adWB/txzECqDXyLhT8flUuQZT/YF3bGvrOv7Cf7OzFWJGPEuXTwyROt8Orzr2+V//xXZeMzhKOB6hwFR/r8mkJowCNZi4m1edISV2kk8Vvdt2flx6VsdJd9Yr+wvo/slH3DCp3Wb+Pztii9w+hZOd4CI9WghU8DMjjGEfb6uXL0RdLaS/MZ8KMKV/Z9vE3M8QjVuuy50J4Y4YR41wnBdQiuQ3BdgusSXJvg2gTXILgGwTUJrklwKwS3QnDrBLdOcBsEt0FwVYKrEtwewe0RHCM4pnA8nd94LVPzytN5TfzqfHL5JfT9gvDbuOoHRE32VcrDHM0RLrFQZKCQAUnGucUrfJjt21Q6HqU+P6wY2HuEypL7BkfLuG7YQymLSsXFCRWX5ddqj1UysKqKzZGsBprNsZyGVVtp/gb6LNydthRidWxFceyvKlSJoEoK9UzuNhkoSLqBe1C8dyaz2T81kjySXYn2FOK4eIblx08stbFTyOXv5wrbDzLLT9LTbBZuwx24h/EfwjKs4fhXMAcH3sB7+KAVtKpW1/QEnZ5KNTdh5NJe/QPTkpLI</latexit>

ignoring−0.4317
beatings−0.4309
rebellion−0.4296
violence−0.4294
provoking −0.4293
abruptly−0.4277
subprime −0.4265
fears−0.4252
violently−0.4246
violent−0.4179
disastrously −0.4175
plague−0.4171<latexit(a) 極性 ϕv > 0 の上位単語.

<

v=1

!ndv
−
→
exp (ℓv + θ · β T v )· N (θ | 0, 1)PV→T−
v=1 exp (ℓv + θ · β v )(16)p(v|θ, β)ndv · p(θ)

0.38900.38750.38680.38570.38240.37990.37940.37670.37560.37450.37320.3706

sha1_base64="BT8b2Ykhk5arXIZX4/Rzz8aeP+k=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FdqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P8jHjsk=</latexit>=
決まり, それによって式 (16) から β が決まることになる.

V
Y

riots
−0.4519
racism−0.4510fear−0.4499
unneces.. −0.4482
panic−0.4466
strife−0.4465
chaos−0.4444
abuses−0.4364
carnage −0.4357
tolerating −0.4355
scandals −0.4334
collapse −0.4332

accommod..
comfortableamenities
ﬂexiblecraft
grateful
thrilled
agassipreparedreadyablecellars

latexit

v=1

(15)

V
Y

0.40800.40730.40620.40400.40210.3996
0.3992
0.3966
0.39320.39170.3914
0.3910sha1_base64="XK+xpvQ59H4JblugmDQGR27FTkg=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1m3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjtyEk+LrcS7M7//eGZ3vctd0/ADxk5nZucuXb6izF9duHb9xs3FpeVbVd9pe5qoaI7peDWu+sI0bFEJjMAUNdcTqsVNsc9bz0P/fkd4vuHYe0HPFU1LPbIN3dDUAE3VBuciUA+XMizH5LWSbuTjRgbiq+gsz21AA16CAxq0wQIBNgTYNkEFH+865IGBi7YmDNDmYcuQfgFDWEBtGymBhIrWFv4fYa8eW23shzF9qdbwLSb+PFSuQJb9YF/YGfvOvrKf7O+5sQYyRphLD5880gr3cPH1nfKf/6osfAZwnKguUHCkL64pAB2eyFoMrM2VlrBKLYrf6b89Kz8tZQf32Sf2C+v7yE7ZN6zQ7vzWPu+K0geMnpXjLTBSAzr41CCDYzzA3ihXjr6BtA7jfBJ+UuHIvoe3gTkeo1qVPQe650Y4Id51QnA9gusRXJ/g+gTXJbguwekEpxNci+BaBLdGcGsEt0lwmwS3RXBbBFcjuBrBHRDcAcExgmMpjsfzG65lal55PK+RPz2fXH4JI78g/Bau+oRoyH6acjFHY4KLLBTpp0ifJMPcwhU+zo5saTocpRE/rkjsQ0Jlyn2Do2VaN+6hlMVUxcVzKi7Lr9WaqiSxphXbE1klmu2pnMZVO3H+GvpM3J12UsT61Iri2F9PUSWCKqWoF3K3yUBB0jruQeHeGc3m6NSI8oh2JdpTCOPiGZafPrHSjWohl3+YK+w+yqw+i0+zebgL9+ABxn8Mq7CB41/BHF7BG3gH75WcsqfUlWaEzs7EmtswcSn6P19PkN8=</latexit>

famine−0.5043
rioting−0.4987
mismana.. −0.4945
rampant −0.4871
greed−0.4800
crippling −0.4735
mongering −0.4710
unrest−0.4657
blaming −0.4609
hysteria −0.4604
unchecked −0.4582
intimida.. −0.4521
tasting
sturdychoseninvitedluxurious
exciting
thankful
suite
great
uniqueavailableﬁne<p(d, θ) =0.50390.50160.47390.46480.46060.45220.44850.43960.43910.42950.4156
0.4125<latexit

niceversatilehonoredexcellent
fortunateterriﬁcpleasant
wonderfulselected
happy
covetedperfect<

sha1_base64="7M9nOU5+dnI0VTl7I55Qzi3u36c=">AAAHp3ichZXNbtNAEMenLeBSPtrCBYlLRRQEl2gTkECcWqBSq1YlHyRN1VSV12xaK45t2U7SJMoLwBXEgRNIHBCPwYUX4NBHQByLxIUD47UjJ9lJsZV4d+b3H8/srne5a5l+wNjpzOzchYuXtPnLC1euXru+uLR8o+I7Lc8QZcOxHK/KdV9Ypi3KgRlYoup6Qm9yS+zyxrPQv9sWnm869sug64qDpn5km3XT0AM0FbqHSymWYfJaURvZuJGC+Mo7y3MbUINX4IABLWiCABsCbFugg4/3PmSBgYu2A+ijzcOWKf0CBrCA2hZSAgkdrQ38P8Lefmy1sR/G9KXawLdY+PNQuQJp9oN9YWfsO/vKfrK/U2P1ZYwwly4+eaQV7uHi61ulP/9VNfEZwHGiOkfBkT6/pgDq8FjWYmJtrrSEVRpR/Hbv/VnpSTHdv8s+sV9Y30d2yr5hhXb7t/G5IIofMHpajrfASDVo49OAFI5xH3vDXDn6+tI6iPNJ+HGFI/se3ibmeIxqXfYc6EyNcEK864TgugTXJbgewfUIrkNwHYKrE1yd4BoE1yC4NYJbI7hNgtskuC2C2yK4KsFVCW6P4PYIjhEcUzgez2+4lql55fG8Rn51Prn8EoZ+QfibuOoToib7KuVijuYYF1ko0ldInyTD3MIVPsoObSodjtKQH1Uk9gGhsuS+wdEyqRv1UMq8UnF+SsUl+bU2JypJrKpieyyrRLM9kdOoaifO30CfhbvTjkKsT6wojv11hSoSVFGhnsvdJgU5SddxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds5ImlNiq5TPZBJld4mFp9Gp9m83Ab7sA9jP8IVmEDx7+MOQh4A2/hnXZfe6FVtGqEzs7Empswdmn6P96Qjsw=</latexit><latexit

sha1_base64="ynPS7gJubn89RDmwNQQr7ofE/NE=">AAAHrHichZXNbtNAEMenLeBSPtrCBYlLRRTEKdoEJBCnFqjUqlWVJk2aKokqr1k3Jv6S7SRNorwAJ24IOIHEAfEYXHgBDn0ExLFIXDgwXjvKhyfFVuLdmd9/PLO73uWuafgBY2dz8wuXLl9RFq8uXbt+4+byyuqtsu+0PE2UNMd0vApXfWEatigFRmCKiusJ1eKmOOTN56H/sC0833Dsg6DrirqlntiGbmhqgKZyLWiIQD1eSbEMk9daspGNGymIr7yzurAFNXgJDmjQAgsE2BBg2wQVfLyrkAUGLtrq0Eebhy1D+gUMYAm1LaQEEipam/h/gr1qbLWxH8b0pVrDt5j481C5Bmn2g31h5+w7+8p+sr8zY/VljDCXLj55pBXu8fLrO8U//1VZ+AygMVJdoOBIX1xTADo8kbUYWJsrLWGVWhS/3Xt7XnxaSPfvs0/sF9b3kZ2xb1ih3f6tfd4XhQ8YPS3HW2CkGrTxqUEKx7iPvWGuHH19aR3E+Yz4SYUj+x7eBubYQLUqew50ZkY4Jd51SnBdgusSXI/gegTXIbgOwekEpxNck+CaBLdBcBsEt01w2wS3Q3A7BFchuArBHRHcEcExgmMJjsfzG65lal55PK+RPzmfXH4JQ78g/Bau+hFRk/0k5WKOxgQXWSjST5A+SYa5hSt8nB3aknQ4SkN+XDGyDwiVKfcNjpZp3biHUuYTFednVFyUX6s1VcnImlTsTmQ10uxO5TSu2ovz19Bn4u60lyA2p1YUx/5mgioQVCFBvZC7TQpyktZxDwr3zmg2h6dGlEe0K9GeXBgXz7Ds9ImVbJRzmezDTG7/UWr9WXyaLcJduAcPMP5jWIctHP8S5vAK3sA7eK9klAOlqtQjdH4u1tyGiUvR/wEOAJD3</latexit>

latexit<

情報処理学会研究報告

IPSJ SIG Technical Report

る. コーパスのうち, こうした極性が既知のテキストの集

合を Xℓ , それらへの 1/0 のラベルを Yℓ とし, それ以外の極性が未知のテキストの集合を Xu とおくと, 最も簡単には, Yℓ , Xℓ , Xu の同時確率を

p(Yℓ , Xℓ , Xu ) = p(Yℓ |Xℓ )p(Xℓ )p(Xu )p(v|θ, β)ndv · p(θ)p(β)

p(y = 1|θ) = σ(θ) =1
1 + e−θ(17)と定義し, この確率を最大化する PLSS のパラメータ β を学習すればよいと考えられる.

がわかった. 式 (17) の対数をとるとしかし, 予備実験によりこの方法は上手く行かないこと

log p(Yℓ , Xℓ , Xu ) = log p(Yℓ |Xℓ ) + log p(Xℓ ) + log p(Xu )(18)となるが, この第 1 項・2 項の教師ありデータのテキストの対数尤度より, 第 3 項の教師なしデータの対数尤度の方が圧倒的に大きいため, 単純に式 (18) を最大化すると教師ありデータがほとんど無視されて, 教師なしデータの尤度のみを最大化する β が学習されてしまうからである. この結果, 極性の尺度のために与えた教師ありデータはほぼ意
味を持たず, Wordﬁsh のように教師なしでコーパスを説明
する極性軸 β が学習されてしまう.
そこで本研究では, 式 (18) の第 1・第 2 項の (Yℓ , Xℓ ) だ
けを用いて β を学習することとした.*6 すなわち, 教師デー
タの各テキストとそのラベル (y, d) ∈ (Yℓ , Xℓ ) について,

v=1

(19)

を最大化する β を求めることを考える. ここで第 1 項はロジスティック回帰(20)

きい, あるいは小さい方が第 1 項の教師データに対する識である. このグラフィカルモデルを図 6 に示した. θ が大率が下がる可能性があるため, 両者のトレードオフで θ が別モデルの尤度が高くなるが, 逆に第 2 項の単語の生成確

同時に最適化することも可能であるが, 心理統計学においてこうした同時推定は一致性を持たないことが知られてい: corrected methodDp(v|✓, )v=1

5

情報処理学会研究報告
IPSJ SIG Technical Report

適応的ガウス–エルミート求積による解法 そこで, θ を推定する代わりにモデルから積分消去し,Z ∞p(y, d, β) =p(y, d, θ, β)dθ

Z ∞
I=
−∞
Z ∞

=

(21)

−∞

Z ∞
=

p(y|θ)−∞

VY

p(v|θ, β)ndv p(θ)dθ · p(β)

v=1

(22)

N (θ|0, 1)
f (θ)
N (θ|µ, σ 2 )dθ
N (θ|µ, σ 2 )
−∞
|
{z
}
h(θ)

(27)
(28)

式 (28) の最初の 2 項を h(θ) とおけば, 式 (26) より√
1 X
wi h(µ + 2σxi )
I≃ √
π i=1
H

を β について最適化することを考える.*7 p(θ) は標準正規
分布 N (0, 1) であるから, 式 (22) の形のガウス分布に関す

f (θ) N (θ|0, 1)dθ(29)

る積分はガウス–エルミート求積と呼ばれる方法で, きわめと, N (θ|µ, σ 2 ) についての適応的な積分で置き換えて求めて正確に数値的に求めることができる.

ることができる.

ガウス–エルミート求積では, 関数空間での直交多項式を用いて, 関数 f (x) の e−x に関する積分を次の形で高精度2に近似する.

Z ∞f (x)e

−x2

−∞

dx ≃

H
X

wi f (xi )

(23)

i=1

ここで x = (x1 , · · · , xH ) は分点 (abscissa) と呼ばれる座標,w = (w1 , · · · , wH ) は対応する重みであり, H = 7 のとき (本研究では H = 20 とした) は
x = (−2.652, −1.674, −0.816, 0, 0.816, 1.674, 2.652),
w = (0.001, 0.055, 0.426, 0.810, 0.426, 0.055, 0.001)
である. これらの値は, 標準的なガウス–エルミート求積のパッケージで計算することができる.*8 式 (23) は e−x に√22ついての積分なので, e−x = e−θ /2 すなわち θ = 2x とお
2けば, 変数変換により
Z ∞
Z ∞
θ2
1
f (θ)N (θ|0, 1)dθ =f (θ) √ e− 2 dθ (24)
2π
−∞
−∞

√
1 X
wi f ( 2xi )
≃ √
π i=1
H

(25)

と計算することができる.

われわれの場合, 求めたい積分は式 (22) だったから, 対数で計算するためにℓ(θ) = log p(y|θ) +VX

ndv log p(v|θ, β)

(30)

v=1

と定義すれば, h(θ) はh(θ) = eℓ(θ)

N (θ|0, 1)
N (θ|µ, σ 2 )(31)= exp(ℓ(θ) + log N (θ|0, 1) − log N (θ|µ, σ 2 )) (32)√となる. 見やすくするために yi = µ + 2σxi とおけば,
Z ∞p(y, d, β) =h(θ)N (θ|µ, σ 2 )dθ · p(β)
(33)
−∞




1
σ
1
2
2
exp log wi + ℓ(yi ) +
(y
−
µ)
−
y
≃ √
i
i
2 σ2
π i=1
H
X

· p(β)(34)となり, この対数を β について偏微分し, L-BFGS 法で最適化することで β を計算する.

4. 関連テキストの確率的抽出

ただし, 式 (25) による積分は, そのままでは非常に効率

3 章の方法でテキストの潜在的なスケール θ が推定できが悪い. 一般にテキストは多くの単語を含むため, θ の事後るようになったが, 分析の対象となるテキストがアンケー

分布はある値 θ̂ の近くに集中しており, 式 (25) ではほとんトの場合のように事前に定まっていない場合は, 対象となどの分点での尤度が 0 になってしまうからである. そこで,るテキストを最初にコーパスから抽出する必要がある. 一[20] の方法を用いて, 積分を θ̂ の周りで実行することにす

般に, 分析に使用される新聞記事や SNS のテキストといっる. θ の事後分布を近似する平均 µ = θ̂ と分散 σ 2 は二分探

たコーパスは, 分析したい対象とまったく関係のない多種

索と 2 階差分により容易に求めることができるので, まず,

多様な内容を含んでおり, その量も厖大だからである. 例

ϕ = µ + σθ と変数変換すると, 簡単な計算により
Z ∞
H
√
1 X
wi f (µ + 2σxi )f (θ) N (θ|µ, σ 2 )dθ ≃ √
π
−∞
i=1
(26)

えば, 米大統領のスピーチのうち「中東経済」に関係するのであることがわかる. このとき, 求める積分を次のように変形する.

はそのごく一部分であるし, 「エアコン」を含む Twitter のツイートは, 筆者の手元にある Twitter 公開ストリームから得た 100 万件の日本語ツイートのうち 67 件 (0.007%) にすぎず, ほとんどは全く関係のないツイートであるといってよい.
こうした目的のための方法として, 政治学方法論の分野
では (1) 潜在トピックモデルを学習し, 分析対象に関連す*7*8

Hamiltonian MCMC 法 [19] を用いた β のベイズ推定も検討したが, MAP 推定を用いる方が安定した結果となった.
Python では numpy.polynomial.hermite.hermgauss で, R では gaussquad パッケージの hermite.h.quadrature.rules で計算できる.

c 2016 Information Processing Society of Japan⃝るトピックを人手で選択する, あるいは (2) キーワードでコーパスを検索し, キーワードが含まれるテキストを分析対象とするというアプローチが取られてきた. しかし, ト
ピックを選択する方法は, 「北アフリカへの経済援助」の6

情報処理学会研究報告
IPSJ SIG Technical Report

ような複数のトピックにまたがる話題を扱うことができな化することはできない. 例えば, 論文であれば「研究」やいという問題がある. たとえ「北アフリカ」と「経済援助」「モデル」はそれ自体ではほぼ意味を持たない単語であるにそれぞれ対応するトピックが同定できたとしても, そのし [24], こうした単語は分野ごとに無数に存在する.

重みを同等としてよいかは自明ではない. また, 分析に使

そこで, こうした背景語が専用の背景分布 p0 (·) から生

われるコーパスが大規模化し, 特にトピックモデルに使わ成されたとする, 背景付き LDA[24][25] を考える. この背れるトピック数が容易に 1000 を超えるような場合 [21] は,景付き LDA(以下 LDAb と呼ぶ*10 ) では, 各テキスト d の人手でトピックを同定することは困難であり, その結果の単語 wdn は次のように生成されたと仮定する. ここで Dir

客観性も保証されない.

はディリクレ分布, Be はベータ分布を表す.

一方でキーワードで検索する方法は客観的であるが, たとえ意味的に近くても, そのキーワードを含まない場合にテキストを取り出せない, という問題がある. たとえば「衆議院議員選挙」に関するツイートを検索する方法では, 「衆院選」や「国政選挙」といった言葉を使ったツイートは検索に漏れてしまう. こうした同義語をどの程度まで検索に含めるかに客観的な指針はなく*9 , 人手では漏れが生じる
可能性が非常に高い.

LSS で用いられているように, 共起頻度や単語ベクトル
を用いて, 関連度を表す何らかのスコアを定義してその上位を用いることでこれらの問題は解決できるが, こうした

1: Draw p0 (·) ∼ Dir (η).
2: For k = 1 · · · K, Draw p (·|k) ∼ Dir (β).
3: for d = 1 · · · D do
4:
Draw λ ∼ Be (a, b); Draw θ ∼ Dir (α).
5:for n = 1 · · · Ni do
6:
if Bernoulli (λ) then7:
Draw wdn ∼ p0 (·)
8:
else
9:
Draw zdn ∼ θ
10:Draw wdn ∼ p (·|zdn ).
11:
end if
12:
end for
13: end for

ヒューリスティックな方法では, スコアの「上位」とは何か

すなわち, このモデルでは各単語はテキストごとに異なの基準が分析対象によって毎回異なってしまい, 客観的なる背景確率 λ で背景分布 p0 (·) から生成され, そうでなけ

定義が難しいという問題がある. このため, こうした方法

れば通常のトピックモデルと同様にテキストのトピック分

は社会科学に特に求められる客観性や再現性 (reproducible

布に従って生成されたと考える. ここで, 最後のステップ 9

research [22]) に繋がらない.

と 10 は zdn について期待値をとれば, β = {p(·|k)}K
k=1 を

そこで本研究では, (1) 潜在トピックモデルおよび (2)ニューラル文書ベクトルを用いて, テキストの, キーワード
集合 T への関連度を確率として求める方法を提案する. こ
れらは人手やヒューリスティックに依存せず, 確率として得られるために確率の閾値を変えることで, 分析に用いるテキストの粒度を客観的に調整することができる. これらの方法は本稿で提案する PLSS だけでなく, Wordﬁsh 等の他の分析にも同様に用いることができる, 基礎的な方法である.

4.1 潜在トピックモデルに基づく方法
確率的な潜在トピックモデル [7] は, 政治学におけるテキスト分析においても標準的に使われる方法となってい混合比 θ で混ぜ合わせたユニグラム分布PK
wdn ∼ k=1 θk p (·|k) = Mixture (β, θ)から 1 ステップで生成されたと考えることができるから,この分布を右辺のように, Mixture (β, θ) と以後表記する.
背景分布 p0 (·) はトピック分布よりごく一部の語に確率が集中していると考えられることから, η < β に設定することで, ギブスサンプリングにより, 上の背景付き LDA を与えられたコーパスについて学習することができる. LSS に付属する, 英国の新聞 The Guardian から採られた 10,000
記事からなる Guardian コーパスおよび, 日本語の Livedoor
表 2 Guardian (左) および Livedoor (右) コーパスで学習された
背景分布 p0 (·) の上位語. 一般的なストップワードに含まれなる [2][23]. いま, LSS における「目標語」, すなわち分析の対象とするキーワード集合 T が T = {“労働”, “賃金”} のように与えられたとしよう. このとき, コーパスの各テキストが T と関連する確率をどのように求めたらいいのだろうか.
直感的には, テキストに含まれる単語のうち T と関連する単語の割合が高いほど, そのテキストは T と関連していると考えられる. しかし, テキストには英語ならば “is”,“the”, “thing”, “way” など内容と関連の薄い背景語 (機能語) が多く存在し, それらは分野によるために事前にリスト*9

本稿で提案するような統計的な方法に基づき, いかにしてキー
ワード検索を自動的に発行し, その結果を統合するかは興味深い問題である. たとえ高速な方法を用いても, 巨大な SNS テキスト全体に対して統計モデルを計算することは現実的ではないからである.

c 2016 Information Processing Society of Japan⃝(35)

い単語も, 統計的に背景語と学習されていることがわかる.

the
to
of
a
and
in
that
’s
is
for
on
it

*10

0.1351
0.0656
0.0571
0.05110.05060.04730.02720.02380.02170.02170.02070.0182

was
said
with
as
be
at
by
have
has
are
from
not

0.01550.01380.01360.01360.01210.01190.01160.01130.01100.01090.01020.0096

の
、
に
を
が
は
て
。
で
た
と
し

0.10380.06780.06600.0636
0.05830.05620.05090.04890.04240.04210.03850.0313

も
な
する
いる
ない
こと
さ
だ
から
れ
い
か

0.02390.01810.01360.01350.01300.01230.01140.01100.01090.01000.00900.0088

http://chasen.org/~daiti-m/dist/ldab/ でテキストから直接学習できる Cython 実装を公開している.

7

sha1_base64="JMmkRoWt6uuwaFjpfsKXyVV1vZk=">AAAHPXichZXPTxNBFMcfoCvij4JeTLyADcaLZFpNNJ5AJZFASGkttKGE7CyzddP9ld1toW36D3j14EE9aOLB+Ed48OI/4IE/wIPReMGEiwffzm6zbfcB03Rn5r3P9/W9nekMd03DDxg7HBufOHdeuTB5cerS5StXM9Mz1zZ9p+lpoqw5puNVuOoL07BFOTACU1RcT6gWN8UWbzwJ/Vst4fmGYz8P2q7YsdS6beiGpgZoquZqc3drczWruTudZQtMttn0IBcPshC3gjMzkYEa7IEDGjTBAgE2BDg2QQUfP9uQAwYu2nagizYPR4b0C+jBFGqbSAkkVLQ28FnH2XZstXEexvSlWsNfMfHroXIW5tl39okdsW/sM/vJ/p0YqytjhLm0seeRVri7mZc3SsdnqizsA3iRqE5RcKRPrykAHR7KWgyszZWWsEotit/qvD4qPSrOd2+zD+wX1veeHbKvWKHd+qt93BDFNzL6Hmp07FvYa5DFN9zFWT9Tjr6utPbibBL+gCAPCK5NcG2C6xBch+D2CW6f4HSC0wmuQXANglsiuCWCWyG4FYJbJbhVgqsQXIXgqgRXJThGcCzF8Xh9w31IrSuP1zXyp9eTy13c9wvCb+GOTYianKcpF3M0hrjIQpF+ivRJMqxb4FNFapBP7D1CZcp/MUfLqG7QQykLqRoKJ9RQQmtdrs0gnVjTirWhrBLN2khOg6r1OH8NfSaeFespYnlkj3CcL6eoIkEVU9RTeX5kIS9pHU/c8CSL1qd/hkd5ROcM7cmHcfFGyY3eH+nBZn4hd28hv3E/u/g4vlsm4SbcgjsY/wEswjN8/2XMwYJX8BbeKV+UH8pv5U+Ejo/Fmusw1JTj/8CKffw=</latexit><latexit

1
1 µsha1_base64="3o2Cm+aYIQ8+S8IBgMleecPUSY8=">AAAHaHichZXPTxNBFMcfoBTxB0UParwQGoinZlpNNJ5AJZFASGltKaGE7CyzZe12d7O7LbRN/wFP3ox60sSD8c/w4j/ggT9BPWLixYNvZ7fZ0nnANu3MvPf5vr43MzvDXcv0A8aOx8YnLl2eTE1dmb567fqNmfTszYrvtDxdlHXHcrwq13xhmbYoB2ZgiarrCa3JLbHFG89C/1ZbeL7p2C+Djit2m1rdNg1T1wI0VWrBgQi0vXSGZZl85tROLu5kIH4KzuzEItRgHxzQoQVNEGBDgH0LNPDxswM5YOCibRd6aPOwZ0q/gD5Mo7aFlEBCQ2sDf+s42omtNo7DmL5U6/gvFn49VM7BAvvBvrAT9p19ZT/ZvzNj9WSMMJcOtjzSCndv5vWd0t8LVU1sAzhIVOcoONLn1xSAAY9lLSbW5kpLWKUexW93356UnhQXeovsE/uN9X1kx+wbVmi3/+ifN0Xxg4y+jxoD2za2OmRwhns4GmTK0deT1n6cTcIfEeQRwXUIrkNwXYLrEtwhwR0SnEFwBsE1CK5BcMsEt0xwqwS3SnBrBLdGcFWCqxLcNsFtExwjOKZwPF7fcB9S68rjdY386npyuYsHfkH4m7hjE6ImxyrlYo7mKS6yUKSvkD5JhrkFWP8wO7CpdDhLA35Ykdj7hMqS7zxHy6hu2EMpC0rFhTMqLqG1LldymE6sqmL9VFaJZn0kp2HVRpy/jj4LT5YNhVgZ2VEcxysKVSSookI9l6dNBvKSNvB8Ds+9aDUHJ36UR3Qq0Z58GBfvn9zobaN2Kvls7kE2v/kws/Q0vomm4B7Mw32M/wiW4AXOfxlzeAVv4B28n/yVSqdup+5G6PhYrLkFp57U/H+InYO9</latexit>

latexit<

一般分布 ✓ (z = 2)

キーワード集合 T との同時生成モデル*11c 2016 Information Processing Society of Japan⃝
sha1_base64="/WWlK879RLKyY1Nkfy7NcKL735g=">AAAHbHichZXPaxNBFMdfW21q/NFWPQhFaA0t9RImUVAEoVULlpaSJqZN25Sys52NSza7y+4mbRLyD3gWPIiCggfxz/DiP+Chf4IIXip48eDb2Q35Ma91QzIz732+L+/NzM5w1zL9gLGTkdGxCxfHExOXkpevXL02OTV9fct36p4uirpjOV6Ja76wTFsUAzOwRMn1hFbjltjm1aehf7shPN907BdB0xX7Na1im4apawGadhdb5bnH5bns3eTBVIqlmXxm1U4m7qQgfnLO9NgClOEQHNChDjUQYEOAfQs08PGzBxlg4KJtH9po87BnSr+ADiRRW0dKIKGhtYq/FRztxVYbx2FMX6p1/BcLvx4qZ2GefWef2Sn7xr6wH+zvmbHaMkaYSxNbHmmFezD56lbhz39VNWwDeNlTnaPgSJ9fUwAGPJS1mFibKy1hlXoUv9F6c1p4lJ9vL7CP7CfW94GdsK9Yod34rX/aFPm3MvohagxsG9jqkMIZbuOomylHX1taO3E2Pf6YII8JrklwTYJrEVyL4I4I7ojgDIIzCK5KcFWCWya4ZYJbJbhVglsjuDWCKxFcieB2CG6H4BjBMYXj8fqG+5BaVx6va+RX15PLXdz1C8Jfwx3bI8pyrFIu5mgOcJGFIn2F9EkyzC3A+vvZrk2lw1nq8v2Knr1DqCz5znO0DOv6PZQyp1ScO6PiAlorciX76Z5VVawPZNXTrA/l1K/aiPPX0WfhybKhECtDO4rjeEWh8gSVV6hn8rRJQVbSBp7P4bkXrWb3xI/yiE4l2pMN4+L9kxm+bdTOVjaduZfObt5PLT2Jb6IJmIE7sIjxH8ASPMf5L2IONryGd/B+/FfiZmImcTtCR0dizQ0YeBIL/wDMc4Ox</latexit>

sha1_base64="wQxAuOSf1aVXBLkht7VLtL4es+w=">AAAHw3ichZXNbtNAEMenLZBSPprCBamXiiiIQxVtAhKIUwtEatWqShPSpkqiyGs2qRU7tmzn08qBKy/AgRNICCEu8AxceAEOfQTEsUhcODBeO8qHJ8VW4t2Z3388s7ve5ZauOS5jZwuLS5cuX4ktX125dv3GzdX42q0jx2zbqiiqpm7aJa44Qtdaouhqri5Kli0Ug+vimDef+f7jjrAdzWy9cPuWqBpKo6XVNVVx0VSLr1dc0XNlnLLd4FWPbbLN9NCrGO1hLZ5gKSavjWgjHTYSEF45c21pByrwEkxQoQ0GCGiBi20dFHDwLkMaGFhoq4KHNhtbmvQLGMIKattICSQUtDbxv4G9cmhtYd+P6Ui1im/R8WejcgOS7Af7xM7Zd/aZ/WR/58byZAw/lz4+eaAVVm319Z3Cn/+qDHy6cDpWXaDgSF9ckwt1eCxr0bA2S1r8KtUgfmfw5rzwJJ/07rH37BfW946dsW9YYavzW/1wKPJvMXpSjrfASBXo4FOFBI6xh71Rrhx9nrQOw3zG/LTClH0bbw1zPEW1InsmdOdG6BHv6hFcn+D6BDcguAHBdQmuS3B1gqsTXJPgmgS3TXDbBLdLcLsEt0dwewRXIrgSwZ0Q3AnBMYJjEY6H8+uvZWpeeTivgT86n1x+CSO/IPwGrvoxUZH9KGVhjtoUF1go0omQDkn6ufkrfJId2aK0P0ojflIxtg8JlS73DY6WWd2kh1LmIhXn5lRckF+rMVPJ2BpV7E9lNdbsz+Q0qToI81fRp+PudBAhsjMrimM/G6HyBJWPUM/lbpOAjKTruAf5e2cwm6NTI8gj2JVoT8aPi2dYevbEijaOMqn0g1Tm8GFi62l4mi3DOtyF+xj/EWzBDo5/EXN4BR/hC3yNZWPNmB1zA3RxIdTchqkrNvwHN++Z0g==</latexit><latexitµ<latexit

sha1_base64="TqJFzW+O2PYtU/oTKyYrImilLK0=">AAAHQXichZXNbtNAEMenLZhSPtLCBYlLS1TEhWgTkECcWqASVasqTUibqokqr7MOVhzb2E7aJMoL8AI9cKFIHBCP0QsvwKGPUHFBFIkDHBivHTmJp2WjeHdnfv/JjHezyx3T8HzGTiYmpy5dVq5MX525dv3GzdTs3K0tz265mihptmm7Za56wjQsUfIN3xRlxxVqk5timzdeBP7ttnA9w7Ze+x1HVJtq3TJ0Q1N9NFWzlYWHlYWKiYKaujebZhkm23xykI0GaYha3p6bSkEFamCDBi1oggALfByboIKHn13IAgMHbVXooc3FkSH9Avowg9oWUgIJFa0NfNZxthtZLZwHMT2p1vBXTPy6qJyHRfaNfWZn7Cv7wk7Z33Nj9WSMIJcO9jzUCmcv9e5O8fd/VU3sfXgTqy5QcKQvrskHHZ7KWgyszZGWoEotjN/uHp4VnxUWe/fZR/Yd6ztiJ+wYK7Tav7RPm6LwXkavoUbHvo29Bml8wz2cDTLl6OtJaz/KJuYPCPKA4DoE1yG4LsF1CW6f4PYJTic4neAaBNcguGWCWya4VYJbJbg1glsjuDLBlQluh+B2CI4RHEtwPFrfYB9S68qjdQ39yfXkchcP/ILwN3HHxkRFzpOUgzkaI1xooUgvQXokGdQt8KkiNczH9j6hMuW/mKNlXDfsoZT5RA35c2ooorUu12aYjq1JxfpIVrFmfSynYdVGlL+GPhPPio0EsTK2RzjOVxJUgaAKCeqlPD/SkJO0jiducJKF6zM4w8M8wnOG9uSCuHijZMfvj+RgK5fJPsrkNh+nl55Hd8s03IV78ADjP4EleIXvv4Q5vIVD+ABHyrFyqvxQfobo5ESkuQ0jTfnzD6lgf6M=</latexit><latexit

sha1_base64="vPm8+6Dcy/1ALL8t7IRIfPHL3vk=">AAAHO3ichZVLb9NAEMenLZhSHmnhgsSlIiriFG0CEohTC1SialWlCWlSNVXlddbBil+ynbRJlC/AjRMSPYHEAfEZOHHhC3DomROPW0FcODBeO3IST4ujeHdnfv/JjHcz5q5p+AFjx1PTM+fOKxdmL85dunzlamZ+4dq277Q9TVQ0x3S8Gld9YRq2qARGYIqa6wnV4qao8tbj0F/tCM83HPtZ0HXFnqU2bUM3NDVAU7VuItpQ9+ezLMfktZie5ONJFuKr6CzMZKAODXBAgzZYIMCGAOcmqODjZxfywMBF2x700ebhzJB+AQOYQ20bKYGEitYW3pu42o2tNq7DmL5Ua/grJn49VC7CEvvC3rMT9pl9YN/Y31Nj9WWMMJcujjzSCnc/8+JG+c9/VRaOATxPVGcoONJn1xSADg9kLQbW5kpLWKUWxe/0Xp2UH5aW+rfZW/YD63vDjtknrNDu/NLebYnSkYzeQI2OYwdHDbL4hPu4GmbK0deX1kGcTcIfEuQhwXUJrktwPYLrEdwBwR0QnE5wOsG1CK5FcCsEt0JwawS3RnDrBLdOcDWCqxHcDsHtEBwjOJbieLy/4Tmk9pXH+xr50/vJ5Ske+gXht/DEJkRdrtOUizkaY1xkoUg/RfokGdYt8K4iNcon9gGhMuW/mKNlUjfqoZTFVA3FU2ooo7Up92aUTqxpxcZYVolmYyKnUdVmnL+GPhN7xWaKWJ04IxzXqymqRFClFPVE9o8sFCStY8cNO1m0P8MeHuUR9RnaUwjj4hslP/n+SE+2C7n83Vxh6152+VH8bpmFm3AL7mD8+7AMT/H5V2Q3fQmv4Uj5qHxVvis/I3R6KtZch7FL+f0PdYB+Dw==</latexit><latexit

sha1_base64="x12lOXsLn4yQCtcjsNWP9LCiJnU=">AAAHbHichZXPaxNBFMdfW21q/NFWPQhFaA0t9RImUVAEoVULlpaSJqZN25Sys52NSza7y+4mbRLyD3gWPIiCggfxz/DiP+Chf4IIXip48eDb2Q35Ma91QzIz732+L+/NzM5w1zL9gLGTkdGxCxfHExOXkpevXL02OTV9fct36p4uirpjOV6Ja76wTFsUAzOwRMn1hFbjltjm1aehf7shPN907BdB0xX7Na1im4apawGadhdb5bnH5Tl2N3kwlWJpJp9ZtZOJOymIn5wzPbYAZTgEB3SoQw0E2BBg3wINfPzsQQYYuGjbhzbaPOyZ0i+gA0nU1pESSGhoreJvBUd7sdXGcRjTl2od/8XCr4fKWZhn39lndsq+sS/sB/t7Zqy2jBHm0sSWR1rhHky+ulX4819VDdsAXvZU5yg40ufXFIABD2UtJtbmSktYpR7Fb7TenBYe5efbC+wj+4n1fWAn7CtWaDd+6582Rf6tjH6IGgPbBrY6pHCG2zjqZsrR15bWTpxNjz8myGOCaxJck+BaBNciuCOCOyI4g+AMgqsSXJXglglumeBWCW6V4NYIbo3gSgRXIrgdgtshOEZwTOF4vL7hPqTWlcfrGvnV9eRyF3f9gvDXcMf2iLIcq5SLOZoDXGShSF8hfZIMcwuw/n62a1PpcJa6fL+iZ+8QKku+8xwtw7p+D6XMKRXnzqi4gNaKXMl+umdVFesDWfU060M59as24vx19Fl4smwoxMrQjuI4XlGoPEHlFeqZPG1SkJW0gedzeO5Fq9k98aM8olOJ9mTDuHj/ZIZvG7WzlU1n7qWzm/dTS0/im2gCZuAOLGL8B7AEz3H+i5iDDa/hHbwf/5W4mZhJ3I7Q0ZFYcwMGnsTCP75xg68=</latexit><latexit(z = 1)

sha1_base64="Ddps1Jv0Vr3DiG4AxRIvAU4hKjA=">AAAHZ3ichZXPTxNBFMcfoBTrj4ImhsQL2kA8NdNqovEEKokEQkproYQSsrPMlk23u5vdbaFt+g948ajGkyYejH+GF/8BD/wJxCMmXjz4dnabbTsP3Kadmfc+39f3ZmZnuGuZfsDY6cTk1JWr06mZa+nrN27eyszO3d72nZani4ruWI5X5ZovLNMWlcAMLFF1PaE1uSV2eONF6N9pC883Hft10HHFflOr26Zh6lqApkrNPTLTB7NZlmPyWVA7+biThfgpOnNTS1CDQ3BAhxY0QYANAfYt0MDHzx7kgYGLtn3ooc3Dnin9AvqQRm0LKYGEhtYG/tZxtBdbbRyHMX2p1vFfLPx6qFyARfaTfWXn7Af7xs7Y3wtj9WSMMJcOtjzSCvcg82a+/Oe/qia2ARwlqksUHOnLawrAgKeyFhNrc6UlrFKP4re7787Lz0qLvSX2mf3C+j6xU/YdK7Tbv/UvW6L0UUY/RI2BbRtbHbI4wz0cDTLl6OtJaz/OJuFPCPKE4DoE1yG4LsF1Ce6Y4I4JziA4g+AaBNcguBWCWyG4NYJbI7h1glsnuCrBVQlul+B2CY4RHFM4Hq9vuA+pdeXxukZ+dT253MUDvyD8TdyxCVGTY5VyMUdzhIssFOkrpE+SYW4B1j/MDmwqHc7SgB9WJPY+obLkO8/RMq4b9lDKolJx8YKKy2ity5UcphOrqtgYySrRbIzlNKzajPPX0WfhybKpEKtjO4rjeFWhSgRVUqiX8rTJQkHSBp7P4bkXrebgxI/yiE4l2lMI4+L9kx+/bdTOdiGXf5QrbD3OLj+Pb6IZuAcP4CHGfwLL8Arnv4I5mPAW3sOH6bNUJnU3NR+hkxOx5g6MPKn7/wDPjoLo</latexit>

目標分布<latexit(z = 0)sha1_base64="ZXf4ms6HxpSld/anMkVmw6SiEKw=">AAAHbHichZXPaxNBFMdfW21q/NFWPQhFaA0t9RImUVAEoVULlpaSJqZN25Sys52NSza7y+4mbRLyD3gWPIiCggfxz/DiP+Chf4IIXip48eDb2Q35Ma91QzIz732+L+/NzM5w1zL9gLGTkdGxCxfHExOXkpevXL02OTV9fct36p4uirpjOV6Ja76wTFsUAzOwRMn1hFbjltjm1aehf7shPN907BdB0xX7Na1im4apawGadhdb5bnH5bnM3eTBVIqlmXxm1U4m7qQgfnLO9NgClOEQHNChDjUQYEOAfQs08PGzBxlg4KJtH9po87BnSr+ADiRRW0dKIKGhtYq/FRztxVYbx2FMX6p1/BcLvx4qZ2GefWef2Sn7xr6wH+zvmbHaMkaYSxNbHmmFezD56lbhz39VNWwDeNlTnaPgSJ9fUwAGPJS1mFibKy1hlXoUv9F6c1p4lJ9vL7CP7CfW94GdsK9Yod34rX/aFPm3MvohagxsG9jqkMIZbuOomylHX1taO3E2Pf6YII8JrklwTYJrEVyL4I4I7ojgDIIzCK5KcFWCWya4ZYJbJbhVglsjuDWCKxFcieB2CG6H4BjBMYXj8fqG+5BaVx6va+RX15PLXdz1C8Jfwx3bI8pyrFIu5mgOcJGFIn2F9EkyzC3A+vvZrk2lw1nq8v2Knr1DqCz5znO0DOv6PZQyp1ScO6PiAlorciX76Z5VVawPZNXTrA/l1K/aiPPX0WfhybKhECtDO4rjeEWh8gSVV6hn8rRJQVbSBp7P4bkXrWb3xI/yiE4l2pMN4+L9kxm+bdTOVjaduZfObt5PLT2Jb6IJmIE7sIjxH8ASPMf5L2IONryGd/B+/FfiZmImcTtCR0dizQ0YeBIL/wDFcoOw</latexit>

背景分布<latexit

情報処理学会研究報告l Given a set of target words T, assume the following
IPSJ SIG Technical Report
generative model:

PLSS1: statistical model

キストが含まれていても, それを考慮して p0 (·) およびト

ピック分布 β を学習することができる.

この上で, キー

ワード集合 T が与えられたとき, コーパスの各テキストについて図 7 に示したように, 次の仮想的な生成モデルを考える. 以下, 文書インデックスを表す d を省略する.

1: Draw λ ∼ Be (a0 , b0 ); µ ∼ Be (a1 , b1 ); θ ∼ Dir (α).
2: for n = 1 · · · N do
3:
if Bernoulli (λ) then4:
Draw wn ∼ p0 (·).
5:
else
6:
if Bernoulli (µ) then7:
Draw wn ∼ Mixture (β, ϕ).
8:
else
9:
Draw wn ∼ Mixture (β, θ).
10:
end if11:
end if
12: end for

ここで ϕ は T が生成されたトピック分布であり, T は

次のようにして生成されたと仮定する.

1: for v in T do
2:v ∼ Mixture (β, ϕ).
3: end for

この ϕ は, 学習された背景付き LDA について変分ベイ

ズ EM アルゴリズム [7] で高速に計算することができる. すなわち, 背景分布を除いた上で, 各単語は確率 µ で T と同じ分布 Mixture (β, ϕ) から生成され, 確率 1−µ で通常のト

https://www.rondhuit.com/download.html#ldcc*12 θ は未知であるため, Mixture (β, θ) では θ に対する期待値をとる, すなわち θk = 1/K として学習を行う.
1.0

0.8

¹ 0.6
0.4

0.2

図 7 背景トピックモデルを用いたテキストの関連確率の推定– Words in T are generated from target distribution. φテキストの各単語は背景分布, 目標分布, 一般分布のいずれかに属– Each word in document
belongs
to background w.p.
0.0λ~Beta(α0,β0) or generated T
fromφ w.p. μ~Beta(α1,β1) .
し, 目標分布からキーワード集合が生成されたと仮定する
or generated from ordinary LDA(θ)(a) 各テキストで計算された T との関連確率 µ.

ニュースコーパス*11 について学習された背景分布 p0 (·) の例を表 2 に示した. このモデルでは, ステップ 4 からわかるように, テキスト毎に背景語の割合 λ が違っていてよく,たとえば子供の書いた言葉のように背景語の割合が高いテの生成された情報源を表す潜在変数 z ∈ {0, 1, 2} が付与さこれは学習時には図 7 右に示したように, 各単語 w にそれた確率モデルとみなすことができる. z = 0 のときは w

は p0 から, z = 1 のときは Mixture (β, ϕ) から, z = 2 のと
0
2000
4000
6000
8000

britain confederation industry warned growthprospects uk economy cutting forecasts cbi
weaker performance end year coupled less rosy
outlook household spending trade investment growth
downgrade expected economic growth measured grossdomestic product percentage reduction ...
(b) µ = 51.9% となったテキスト中の関連単語 (z = 1).

図 8 Guardian コーパスで T = {“economy”, “money”} とした際の各テキストの関連確率 µ の計算.

事後分布の期待値として計算でき, これを収束するまで反復する.
図 8(a) に, Guardian コーパスで T = {“economy”, “money”}とした場合の, 各テキストの T との関連確率 µ のプロットを示す. 事前に計算する背景付き LDA のトピック数は

く小さな値となるが*13 , 一部のテキストでは 50%を超える

K = 100 とした. 大部分のテキストでは µ は 1%未満のご値となり, T と関連が深いテキストであることがうかがえ

る. こうしたテキストの例を図 8(b) に示した.

ストがキーワード集合に関係するかだけでなく, その中でこの方法は各単語に対する統計モデルであるため, テキ関係している単語, すなわち zdn = 1 となった単語だけを抽出することもできる. 図 9 に, Livedoor コーパスにおいて T = {“美容”, “化粧”} に関係した単語だけを抽出した例を示した.*14 このように, 本手法により教師なしで, 背景語を除いた上でさらに関連する語だけを確率的に抽出することが可能になる.

な文脈で使われているかが重要なことが多く, T に関係し
ただし, 政治学のような場面では, ある言葉がどのようた単語 (z = 1) だけを抽出するより, テキストの内容語全体(z = 1, 2) を抽出した方がよい場合が多いと考えられる.

4.2 ニューラル文書ベクトルに基づく方法

ピック混合分布 Mixture (β, θ) から生成されたとする. こ
上の背景付きトピックモデルによる関連確率の計算は精の µ が T との関連確率を表しており, µ を推論することが密ではあるが, トピックモデルの学習が必要なため, 計算

目的となる.

量が非常に大きいという問題がある. 一般にテキスト抽出

きは Mixture (β, θ) から生成されたことに対応し, それぞ

春 磨く エステ 美人 陽気 春 明るい メイク 服装 冬 ケア 体
フェイス ライン足 カサカサ 乾燥 ！ 対処 たく 顔 ボディ
足 全身 エステ ケア しまい ます そこで 気 箇所 ケア エ
ステ 紹介 簡単 自宅 ケア もらい 口 エステ フェイス ライ
ンスッキリ ！ エッセンス エステ 集め 口 内側 マッサージ口 筋肉 刺激 皮膚 届きにくい マッサージ マッサージ 顔 筋
肉 コリ 顔 や フェイス ライン むくみ 解消 ます · · ·れの分布は既知であるから*12 , これは簡単な EM アルゴリ

図 9 Livedoor コーパスにおいて T = {“美容”, “化粧”} として関連ズムで推定することができる. E ステップで各単語の z の語のみ (z = 1) を抽出したテキスト. このテキストの T との関事後確率がわかれば, M ステップで µ (および λ) はベータ

連確率は µ = 45.83% であった.

*13

LDA では β にディリクレスムージングが使われているため, 全
く関係のないテキストでも, こうしたごく小さな確率が発生する.
*14 EM アルゴリズムで期待値を計算しているため, p (z = 1|w) > 0.5となった単語だけを示した.

8

情報処理学会研究報告
IPSJ SIG Technical Report

前のコーパスは様々な内容を含むため膨大であり, 背景ト
ピックモデルの学習には数万文書程度でも一晩前後の時間が必要になる.

"japan"0.50

そこで, もう一つの方法として, Word2Vec と同等の意味

0.25を持ち, 高速に計算できる文書ベクトル [8] を利用した統計

0.00

モデルを提案する. Levy ら [26] が示したように, Word2Vec0の Skip-gram は, 単語 w とその周辺語 c について, 次のShifted Positive PMIp(w, c)Y (w, c) = max log− log k, 0
p(w)p(c)(36)

を要素とする行列 Y を考え, 特異値分解により Y ≃ WCT

600
400
200
0

2000

4000

6000

8000

10000

−0.1

0.0

0.1

0.2

0.3

0.4

0.5

−0.1

0.0

0.1

0.2

0.3

0.4

0.5

103

と行列分解したときの行列 W の各行を求めることと数学的に等価である. ここで k は Skip-gram での負例数に相当101

するが, 行列分解の場合は [27] により k = 1 とする, すなわ
ちシフトを行わないことが最適であることが示されており,以下では k = 1 を用いた.

Guardian コーパスにおいて, T = {“japan”} と指定したと

図 11

きの各テキストの類似度スコア (上段) とそのヒストグラム

これを文書に拡張すると, 図 10 のように単語 w と文書

d の PPMI を同様に

p(w, d)Y (w, d) = max log− log k, 0
p(w)p(d)p(w|d)− log k, 0
= max logp(w)

(中段：線形スケール, 下段：対数スケール). ヒストグラムの右側に, 線形スケールでは見えない外れ値が薄く分布している. 抽出された外れ値は, 外れ値確率の閾値を 0.5 として(37)

118 個であった.
2

(38)

1

と定義し, Y ≃ WDT と行列分解したときの W および

D の各行として単語ベクトルおよび文書ベクトルが得られる [8]. p(w|d) および p(w) は, 頻度から容易に計算することができる.
このとき, T に含まれる語に 1 が立ち, 他は 0 の検索ベ
クトルを y とすれば, この検索ベクトルに対応する仮想的な文書ベクトル d は図 10 のように, 二乗誤差の意味でy ≃ Wd

(39)

0
−2.0

図 12

−1.5

−1.0

−0.5

0.0

0.5

1.0

1.5

2.0

コーシー分布 Cauchy (0.3, 0.2) の確率密度関数. 裾が非常に広い確率分布となっている.

キーワード集合 T に対応する文書ベクトル d が得られ
れば, これと他の文書ベクトル, すなわち D の各行とのコ
e のように計算することで, T と各
ed
サイン類似度を x = Dの関係がある. よって, これは通常の線形回帰 (OLS) であe
テキストの類似度スコアを求めることができる. ここで, de は d および D の各行のノルムを 1 に正規化したベクとDり, d の最適解はトルおよび行列である. 図 11 に, T = {“japan”} のときに

d = (WT W)−1 WT y

(40)と求められる. 事前に回帰行列 R = (WT W)−1 WT を計算しておけば,d = Ry(41)と一瞬で求めることができる.*15

Guardian コーパスに含まれる 10000 個のテキストについて計算したスコアの例を示した.
正規–コーシー混合モデルによる関連確率の計算

ただし,これだけからは, どのスコアまでのテキストを T に関連するとして抽出すべきかは自明ではない. ここで図 11 上段のスコアをヒストグラムにすると図 11 中段のようになっており, ほとんどのテキストに対するスコアは正規分布をなしているが, 右側に上段にみえる「外れ値」が存在してい
ることがわかる. これは, 図 11 下段のように対数スケール
で表すと特に顕著になる.
そこで, こうした「外れ値」, すなわち類似度が全体と有図 10行列分解による単語ベクトルおよび文書ベクトルの計算. こ
うして得られる単語ベクトルは, Word2Vec によるものと数学的に等価である. このとき, 検索ベクトル y には仮想的な文書ベクトル d が対応し, OLS によって解析的に求めら
れる.

*15

なお, 文書ベクトルとして単純なニューラル手法として知られる

c 2016 Information Processing Society of Japan⃝

意に異なっているテキストを T と関連しているテキストとみなし, 図 11 中段のようなスコアの分布を正規分布および, 外れ値を表すコーシー分布の混合分布としてモデル化
DocVec[28] を使った場合はこうした解析解は存在せず, d を求
めるには数値的最適化が必要になる. また, 学習には特異値分解に比べて 10 倍以上の時間がかかり, 性能も数学的な最適解である式 (40) に比べて落ちることを確かめている [8].

9情報処理学会研究報告
IPSJ SIG Technical Report

する. コーシー分布は自由度 1 の t 分布であり, 外れ値のモ"恋愛 結婚"デルによく使われる確率分布で, 確率密度関数は位置パラ0.50

メータ c と尺度パラメータ γ > 0 を用いて

0.25

1
γ
Cauchy (x|c, γ) =π (x − c)2 + γ 2

0.00

(42)

0

で表される (図 12). これから, 観測スコア x の生成モデル

1000 2000 3000 4000 5000 6000 7000

600

は以下のようになる.

400

1: Draw λ ∼ Be (1, 1).
2: for i = 1 · · · D do
3:
if Bernoulli (λ) then4:xi ∼ Cauchy (c, γ)
5:
else
6:
xi ∼ N (µ, σ 2 )7:
end if
8: end for(a) Livedoor コーパスで T = {“恋愛”, “結婚”} とした場合.

200
0
−0.2

−0.1

0.0

0.1

0.2

0.3

0.4

0.5

−0.2

−0.1

0.0

0.1

0.2

0.3

0.4

0.5

102
101
100

観測スコア集合 x に対するこの混合モデルは, EM アル

関連するテキストは「独女通信」カテゴリ (1〜1000 付近) お

ゴリズムを用いて高速に推定できる. E ステップでは各スコ

よび「Peachy」カテゴリ (4000 付近) に多いが, 「スポーツ」

ア xi がガウス分布 N (µ, σ ) とコーシー分布 Cauchy (c, γ)(6000 付近) および「トピックニュース」(7000 付近) にも存

2のどちらに属するかの期待値 p(zi |xi ) を計算し, M ステッ

在している. 確率 0.5 以上の外れ値は 262 件であった.

"country"

プではその期待値に基づいて, 正規分布およびコーシー分

0.50

布のパラメータを最適化する. コーシー分布のパラメータc, γ には解析的な更新式がないため, BFGS 法により数値的に最適化する. γ は正なので γ = et と置換すれば, 対数
尤度の微分は∂2(x − c)t ∂c log Cauchy (x|c, e ) = (x − c)2 + e2t

∂
2


log Cauchy (x|c, et ) = 1 −∂t
1 + (x − c)2 e−2t(43)となり, これを BFGS 法の勾配として用いる. 図 13 に, 全体の推定アルゴリズムを示した.
特異値分解による文書ベクトルおよび外れ値検出のEM アルゴリズムはいずれも高速であり, トピックモデル
より圧倒的に速く, 多くの場合その場で計算を終えることができる. 図 14 および付録 B に, Guardian コーパスに対して T = {“country”}, Livedoor コーパスに対して2

1: µ = median(x), σ = var(x)2: c = mean(x), γ = 1
3: q0 = 0.5, q1 = 0.5 (* From Be (1, 1) *)4: while not converged do
5:(* E step *)6:
for n = 1 · · · N do
7:
Compute p0 = q0 · Cauchy (xi |c, γ)
8:Compute p1 = q1 · N (xi |µ, σ 2 )9:Z[n] = [p0 /(p0 + p1 ), p1 /(p0 + p1 )]10:
end for11:(* M step *)12:µ = x · Z[:, 1]/sum(Z[:, 1])13:
σ = (x − c) · Z[:, 0]/sum(Z[:, 0])
14:
Optimize c, γ via BFGS
15:(* H step *)16:
q0 , q1 = normalize([1, 1] + sum(Z, 0))
17: end while
図 13

正規–コーシー混合モデルの EM アルゴリズム.

c 2016 Information Processing Society of Japan
⃝

0.25
0.00
0

2000

4000

6000

8000

10000

600
400
200
0
−0.2

−0.1

0.0

0.1

0.2

0.3

−0.1

0.0

0.1

0.2

0.3

102
101
100
−0.2

(b) Guardian コ ー パ ス で T = {“country”} と し た 場 合.
“country” は一般的な語であるため, 類似度が有意に異なる外れ値がほとんど存在せず, 右端の 2 個のみとなった.
図 14キーワード集合 T を与えた際の各テキストの類似度スコアとその分布. 中段は線形スケール, 下段は対数スケールで表している.

T = {“恋愛”,“結婚”} を指定して抽出されたテキストおよびスコア全体 x の分布を示した. “country” は一般的な語であるため, 類似度が有意に異なるテキストはほとんどなく, 閾値を 0.5 として抽出されたのは 2 件のみであった. こ
れに対して, “恋愛”, “結婚” はコーパス中で主要な話題に属するため, 262 件のテキストが抽出されている. この方法
はテキストが T に有意に関係する (=スコアが外れ値である) 確率 p を求めるため, p の閾値を調整することで, T に強く関与するテキストのみを抽出するか, より広く関係するテキストを抽出するかを統一的にユーザーが選択できるのが特徴である.

5. 実験
政治学の分野で公開されているテキストの極性評価デー

10情報処理学会研究報告
IPSJ SIG Technical Reportたい.

5

図 15 に, 標準的な表 1 の極性辞書を用いて推定された θをスケール毎に示した. 提案法は Bag of Words の単純な

scale

4

モデルであり, 教師データを用いた識別モデルでもないた3

め分散は大きいが, LSS では各スケールで θ がほとんど同2

じ分布になっているのに対し, PLSS では明らかにスケー

1

ルと θ に正の相関がみられることがわかる. ピアソンの相
−6

−4

−2

0

2

4

6

µ
(a) LSS によるスコアの分布.
5

scale

4
3
2
1
−6

−4

−2

0

2

4

6

µ
(b) PLSS によるスコアの分布.
5

scale

4

1
−6

−4

−2

0

2

4

6

µ
(c) PLSS に半教師ありデータを加えた場合のスコアの分布.
Young and Soroka (2012) の公開データでの LSS と PLSSの結果の比較. △は各スケールでの平均を表している.

タ, および日本語・中国語の生テキストを使って実験を行った.

5.1 テキスト極性公開データでの評価
Young and Soroka [13] は, 彼らの辞書ベースの手法を評価するためのテキストとその極性評価データを公開している.*16 これは New York Times から採られた 900 個の記事からなり, 半分は 1988–2008 年の経済面から, 残りの半分は2007–2009 年の環境・外交・犯罪に関する一面記事からランダムにサンプリングされたものである. 各記事は専門の評
価者 3 人により, 論調について Positive/Negative/Neutralのタグが付与されている. [13] と同様に, この 3 個のタグを
表 3 のルールで 1–5 の 5 段階に分け, この評定と PLSS お
よび LSS が出力する θ がどの程度相関するかを調べた. 3
人の評価が一致しないことも多いため, この「正解」の 1–5のスケールは本質的にノイズを含んでいることに注意され*16

とんど 0 なのに対し, PLSS の相関係数は 0.240 となった.

LSS においても, 各スケールで平均を取れば△で示した
ように値はスケールと相関しており, 相関係数は 0.901 となった. LSS の論文での評価は, 常にそうして行われたものであることに注意されたい. PLSS の場合は平均はさらに高い相関を持ち, 相関係数は 0.965 となった. これから,PLSS は単純なモデルであるにもかかわらず, LSS より分散が小さく, 人手のスケールと高い相関を見せる手法であるといえる. 半教師ありデータとして, 正例と負例を 15件ずつ加えて β を学習した場合 (図 15(c)) は相関係数は0.985 とさらに相関が高くなり, 文書ごとの θ も分散が小さくなって, 相関係数も 0.348 と上昇することがわかった. 否定や引用など, 極性に関わるテキスト内部の構造は現在は考慮していないため, これらを考慮することで, 精度はさらに高くなると予想される.
5.2 生テキストの分析

3
2

図 15

関係数を計算したところ, LSS では相関係数が 0.065 とほ

こ の デ ー タ は, https://dataverse.harvard.edu/dataset.
xhtml?persistentId=doi:10.7910/DVN/H2FEPO から入手することができる.

c 2016 Information Processing Society of Japan
⃝5.2.1 中国語テキストの分析
御器谷 [29] は, LSS を用いて中国共産党の機関誌である『人民日報』のテキストを 1974 年から 1994 年にかけて分析し, 「伝統 (传统)」をキーワードに抽出した 39,297 件のテキストに LSS を適用することで, 中国共産党において「伝統」概念が当初否定的に評価されていたものの, 党のプロ
パガンダに使われる中で次第に肯定的に使われていく様子を示した. ここでは極性辞書として, 表 4 に示した中国語の標準的な肯定的/否定的単語のリストを用いている.
このデータを同様に PLSS で分析したところ, 図 16 のように大きな傾向は同様であるが, より動きの大きな結果が得られた. このとき, PLSS と LSS でそれぞれ計算された単語の極性を表 5 および表 6 に示した. LSS においては極性の大きい単語は一般的な肯定語・否定語となっているが, PLSS では全体に極性のレンジが広がっており, 最も極性が大きいのは中国共産党という文脈で党のために肯定さ
表 3 3 人分の positive/negative/neutral の評価データから 5 段階のスケールへの変換ルール. ほぼ [13] のものと同様である.

条件#(positive) = 3#(positive) = 2
それ以外#(negative) = 2#(negative) = 3

スケール
5
4
3
2
1

表 4 中国語の正負の標準的な極性語辞書.

+ 良好, 积极, 完美, 善良, 优良, 正确, 理想− 不好, 缺乏, 消极, 贪心, 固执, 反动, 份子

11

情報処理学会研究報告
IPSJ SIG Technical Report
PLSS 、LSSの比較：『人民日報』における「伝統」の極性

v
表 6
优良
完美v
作风
优良
良好
完美
实话
作风
高尚
良好
发扬
实话
大鼓
高尚
不枉
发扬
品质
大鼓
光大
不枉
俗流
品质
光大
俗流

8

図 16

+0.1796ϕv+0.1754+0.1873+0.1669+0.1796+0.1662+0.1754+0.1655+0.1669+0.1619+0.1662+0.1555+0.1655+0.1507+0.1619+0.1502+0.1555+0.1483+0.1507+0.1480+0.1502+0.1483+0.1480

記事の極性の時間的変化. 上下が正負の極性に対応している.
v
ϕv
意味
表 5 PLSSで計算された『人民日報』の単語の極性.
振兴中华+0.5716
中華を振興する优异成绩
+0.5289
優れた成績
v
ϕv
意味
和衷共济 +0.5271 心を合わせて助け合う
振兴中华 +0.5716 中華を振興する
良好+0.5148 良い、素晴らしい优异成绩 +0.5289 優れた成績
大业+0.5058 偉大な事業
和衷共济 +0.5271 心を合わせて助け合う+0.4898 中国と日本(中日関係)
中日良好+0.5148 良い、素晴らしい
祖国统一 +0.4882 祖国の統一
大业+0.5058 偉大な事業
努力+0.4865 努力+0.4898 中国と日本(中日関係)
中日统一祖国 +0.4851 祖国を統一する
祖国统一 +0.4882 祖国の統一+0.4820 体の不自由な方
残疾人
努力+0.4865 努力
典范+0.4817 手本，模範
统一祖国 +0.4851 祖国を統一する远见卓识+0.4814 先見の明がある+0.4820 体の不自由な方
残疾人+0.4817 手本，模範+0.4814 先見の明がある(a) ϕv > 0 の上位語

v
帽子
不敢v
坏人
帽子
泛滥
不敢
不清
坏人
心有余悸
泛滥
散布
不清
帮派
心有余悸
横加
散布
把持
帮派
乘机
横加
打砸抢
把持
乘机
打砸抢

ϕv

意味

−0.6409 レッテル
−0.6402〜する勇気がない
ϕv
意味−0.6361 悪人−0.6409 レッテル
−0.6342 氾濫する、はびこる−0.6402 〜する勇気がない−0.6318 ぼんやりとする−0.6361 悪人−0.6226 思い出しただけでびくびくする−0.6342 氾濫する、はびこる−0.6079 まき散らす，振りまく−0.6318 ぼんやりとする−0.6069 (政治目的で結成された) 派閥−0.6226 思い出しただけでびくびくする−0.6011 横暴に，理不尽に，乱暴に−0.6079 まき散らす，振りまく−0.5956 (権力・組織などを)独り占めにする−0.6069 (政治目的で結成された) 派閥−0.5879 すきをつく−0.6011 横暴に，理不尽に，乱暴に−0.5813 (文革中に)打ち壊しを働く人々−0.5956 (権力・組織などを)独り占めにする−0.5879(b) すきをつく
ϕv < 0 の下位語
−0.5813 (文革中に)打ち壊しを働く人々れる単語, あるいは否定される単語となっていることがわ
かる. LSS の場合のような一般的な極性語も存在するが,
表 5 のように, それらが最も大きな極性を持つわけではな
く, PLSS の方が『人民日報』という文脈での肯定–否定の軸を捉えていることが読み取れる. なお, 図 16 において1980 年代に極性に差があるのは, 舞台や小説など芸能面での記述が, ϕv の違いによって大きな極性を持つことが一因であることがわかった.
5.2.2 日本語テキストの分析
1
ここまでの分析では表 1 や表 4 のような極性辞書を用い1ていたが, たとえ少量でも, こうした辞書が分析のために常に作成可能であるとは限らない. 肯定的–否定的といった単純な軸ではなく, より複雑な意味的な軸を問題にしている
場合は, どの単語が極性を決めるかが事前には明らかではないからである.
しかし, そうした場合でも 3.2 節に述べたように, 分析したい軸を特徴づける代表的なテキストを選ぶことはできる場合が多いと考えられる. そこで, 2021 年に行われた通常

c 2016 Information Processing Society of Japan⃝

完璧な、すばらしい
意味
作風、気風
優良な
良好な
完璧な、すばらしい
本当の話
作風、気風
高尚な
良好な
発揚する
本当の話
三弦の伴奏で語る語り物
高尚な
むだではない発揚する
本質，品性三弦の伴奏で語る語り物
輝かせる，勢いよくする
むだではない習俗
本質，品性
輝かせる，勢いよくする
習俗(a) ϕv > 0 の上位語

LSS (黒) と PLSS (赤) による, 『人民日報』の「伝統」を含む

典范
远见卓识

意味

ϕv

LSS+0.1873.
で計算された『人民日報』の単語の極性
優良な

v
缺乏
不好v
瘦瘦
缺乏
不大
不好
不够
瘦瘦
甚至
不大
信誓旦旦
不够
种种
甚至
不得不
信誓旦旦
个别
种种
告密
不得不
不愿
个别
告密
不愿

ϕv

意味

−0.2060 〜に欠ける−0.1824
悪い
ϕv
意味−0.1766 やせた−0.2060 〜に欠ける−0.1709 小さい−0.1824 悪い−0.1701 足りない
−0.1766 やせた−0.1695 甚だしきにいたっては−0.1709 小さい−0.1686 誠意を持って本心から誓う−0.1701 足りない
−0.1601 様々の−0.1695 甚だしきにいたっては−0.1592 〜せざるを得ない−0.1686 誠意を持って本心から誓う−0.1571 ごく少数の、個々の−0.1601 様々の−0.1553 密告する，告発する−0.1592 〜せざるを得ない−0.1552 嫌う、望まない−0.1571 ごく少数の、個々の−0.1553(b) 密告する，告発する
ϕv < 0 の下位語
−0.1552 嫌う、望まない

国会の議事録を用いて, 議員を特徴づける極性軸と, それに基づく各発言の極性を計算することを試みた. ここでは議員の立場が比較的明らかになると考えられる, 衆議院の農林水産委員会の議事録を使用した.*17 これは 12 回の開催
分, 合計で 1,324 個の発言からなる.
議長および農林水産大臣の属する自民党と他の党との違いは比較的明らかであるため, ここでは発言数の多い国民民主党の玉木雄一郎氏を + 軸, 日本共産党の田村貴昭氏を− 軸として分析を行った. 両氏の発言からランダムに 20 件
1を選択して半教師ありデータ Xℓ とし, 玉木氏の発言の Yℓ
1 節の方法により β を最を 1, 田村氏の発言を 0 として 3.2
適化した. 極性辞書はまったく用いていない. この計算は式 (16) の PLSS の確率モデルに基づいているため, 単語の平均的な確率を考慮しており, また単語は常にベクトルとして意味を考慮するため, ナイーブに単語の頻度を数える方
法とは全く異なることに注意されたい. 単語ベクトルとしては, 毎日新聞の 2011 年の全文 2180 万語から Word2Vecで計算した 100 次元の単語埋め込みを用いた.
表 7 に, 得られた β から式 (12) によって計算した単語の極性の例を示した. これから, 両氏とも野党 (左翼) である
ものの, 共産党の田村氏は訴訟や裁判といった法的手続きにフォーカスしており, 一方で玉木氏は ϕv の上位語にみられるように, 大蔵官僚であった経験をもとに前向きに政策を実行するよう議論していることが読みとれる.
こうして得られた極性軸に沿って, 他の議員の発言の極性 θ を計算することもできる. 付録 A に, 全発言 1,324 件
からランダムに選択した 40 件の発言とその θ を示した. 二*17

国会の議事録は https://kokkai.ndl.go.jp/ の国会会議録検索システムから, 委員会を指定してテキスト形式でダウンロード
できる.

12

情報処理学会研究報告
IPSJ SIG Technical Report
表 7 衆議院農林水産委員会において, 玉木 (国民民主党)–田村 (日本共産党) の発言を軸にして計算された各単語の極性 ϕv .

v
まずは
なので
一つ
ミリ
増やす
整い
もっと
もう少し
植え付ける
切り替える
一番
どうにか
しっかり
同時に
早く
戦える
重点
とにかく
歩
試し

ϕv
0.51670.45600.43640.4246
0.41780.41090.40140.40120.39950.39850.3982
0.39400.39030.38970.38900.3886
0.37880.37690.37620.3681

v
訴訟
傍聴
毀損
原告
敗訴
控訴
係争
裁判所
判決
審
シベリア
退け
高裁
弁護
最高裁
紛争
賠償
在住
証言
棄却

ϕv
−0.5769−0.5646−0.5519−0.5481−0.5147−0.5010−0.4963−0.4962−0.4808−0.4727−0.4599−0.4491−0.4462−0.4431−0.4410−0.4303−0.4229−0.4199−0.4196−0.4105

氏の発言だけでなく, 他の委員の発言もこの軸上に連続的メータに依存しない客観性を保ちつつ, さらに高度な分析を行えるようにしたい.
謝辞
政治学でのテキスト分析の国際会議 POLTEXT 2019 にお呼びいただき, 本研究を行うきっかけとなった渡辺耕平氏(ラザード・アセット・マネジメント), および議論していた
だいた福元健太郎氏 (学習院大学) と東北大学乾研究室の皆様, 実験に協力していただいた御器谷裕樹氏 (慶應義塾大学大学院政治学専攻博士課程) に感謝いたします.
参考文献
[1]

[2]

[3]

に位置づけられており, 各発言の性格が二氏を結ぶ極性軸
上で客観的に明らかになっているといえる.

[4]

6. まとめと展望
本研究では, テキストをある意味的尺度で連続的に測定するために, 項目反応理論に基づいて LSS (潜在意味スケー[5]リング) を確率的に拡張する形で, PLSS (確率的潜在意味
スケーリング) を提案した. PLSS は LSS と比べてヒュー
リスティックな処理やパラメータがなく, 政治学の分野で[6]

公開されている評価データを用いて, LSS より優れた人間の評価との相関を持つことを確かめた. 確率的に定式化することで, 潜在的スケールの分散が考慮できるとともに, 欠[7]損値への対応や時系列拡張といったモデルの高度化が見通しよく可能になる.

[8]

また, 分析に用いるテキストを選ぶ基準として背景付き
潜在トピックモデルによる方法およびニューラル文書ベク[9]

トルによる方法を提案し, キーワードに意味的に関連するテキストを, 確率付きで選択することを可能にした. 特に後者は線形代数によるため高速であり, これまで発見的に行[10]

われてきた分析テキストの選択を, より意味的かつ客観的に行えるようになった. この方法は PLSS だけでなく, テキ
ストを事前に選択することが決定的に重要な Wordﬁsh をはじめ, 広く用いることのできる一般的な統計的方法であ

[11]
[12]

る. 本研究では数値的評価として LSS と同じ評価データを用いたが, クラウドソーシングを用いたより大規模なデー
タ [30] でも検証する予定である. 提案法は基本的に教師な[13]

し学習であるため「正解」は存在しないが, テキスト選択
が本来選ばれるべきテキストを落としていないかなど, その精度を客観的に検証する方法を考えたい.
教師なしのテキスト分析は自然言語処理だけでなく, 社
会科学・人文科学において重要性を増している. 統計的に見通しのよい方法を開発することで, 人手のハイパーパラ

c 2016 Information Processing Society of Japan
⃝

[14]
[15]

Sean Gerrish and David M. Blei. Predicting Legislative
Roll Calls from Text. In ICML 2011, pages 489–496,
2011.
Viet-An Nguyen, Jordan Boyd-Graber, Philip Resnik,
and Kristina Miler. Tea Party in the House: A Hierarchical Ideal Point Topic Model and Its Application to
Republican Legislators in the 112th Congress. In ACL
2015, pages 1438–1448, 2015.
Bianca Zadrozny and Charles Elkan. Transforming Classiﬁer Scores into Accurate Multiclass Probability Estimates. In KDD 2002, pages 694–699, 2002.
Jonathan B. Slapin and Sven-Oliver Proksch. A Scaling Model for Estimating Time-Series Party Positions
from Texts. American Journal of Political Science,52(3):705–722, 2008.
Kohei Watanabe. The Latent Semantic Scaling: Automated dictionary making technique for document scaling. https://blog.koheiw.net/wp-content/uploads/
2015/06/LSS-02.pdf, 2015.
Kohei Watanabe. Latent Semantic Scaling: A Semisupervised Text Analysis Technique for New Domains andLanguages. Communication Methods and Measures,
pages 1–23, 2020.
David M. Blei, Andrew Y. Ng, and Michael I. Jordan.
Latent Dirichlet Allocation. Journal of Machine Learning Research, 3:993–1022, 2003.
持橋大地. Researcher2Vec: ニューラル線形モデルによる
自然言語処理研究者の可視化と推薦. 言語処理学会第 27
回年次大会 B2-2, 2021.
筒井貴士, 我満拓弥, 大城卓, 菅原晃平, 永井隆広, 渋木英
潔, 木村泰知, 森辰則. 地方議会会議録コーパスの構築および政治情報システム構築を目標としたアノテーションの一提案. 自然言語処理, 21(2):125–155, 2014.
Carl Edward Rasmussen and Christopher K. Williams.
Gaussian Processes for Machine Learning. MIT Press,
2006.
J. F. C. Kingman. Poisson Processes. Oxford Studies
in Probability. Oxford University Press, 1992.
S. Deerwester, Susan T. Dumais, and George W. Furnas.
Indexing by Latent Semantic Analysis. Journal of theAmerican Society of Information Science, 41(6):391–
407, 1990.
Lori Young and Stuart Soroka. Aﬀective News: The Automated Coding of Sentiment in Political Texts. PoliticalCommunication, 29(2):205–231, 2012.
豊田秀樹. 項目反応理論・理論編―テストの数理―. 統計
ライブラリー. 朝倉書店, 2005.
Peter D. Turney and Michael L. Littman. Measuring
Praise and Criticism: Inference of Semantic Orientationfrom Association. ACM Transactions on Information
Systems, 21:315–346, 2003.

13

情報処理学会研究報告
IPSJ SIG Technical Report

[16]

[17]

[18]

[19]
[20]
[21]

[22]
[23]

[24]

[25]

[26]

[27]

[28]

[29]
[30]

Sascha Rothe, Sebastian Ebert, and Hinrich Schütze. Ultradense Word Embeddings by Orthogonal Transformation. In NAACL 2016, pages 767–777, 2016.
Philipp Dufter and Hinrich Schütze. Analytical Methods for Interpretable Ultradense Word Embeddings. In
EMNLP-IJCNLP 2019, pages 1185–1191, 2019.
Malay Ghosh. Inconsistent maximum likelihood estimators for the Rasch model. Statistics & Probability Letters, 23(2):165–170, 1995.
Radford M. Neal. MCMC Using Hamiltonian Dynamics. Chapman and Hall/CRC, 2011.
Qing Liu and Donald A. Pierce. A Note on GaussHermite Quadrature. Biometrika, 81(3):624–629, 1994.
Jinhui Yuan et al. LightLDA: Big Topic Models on Modest Computer Clusters. In WWW 2015, pages 1351–
1361, 2015.
Roger D. Peng. Reproducible Research in Computational
Science. Science, 334:1226–1227, 2011.
Margaret E. Roberts, Brandon M. Stewart, Dustin Tingley, Christopher Lucas, Jetson Leder-Luis, Shana Kushner Gadarian, Bethany Albertson, and David G. Rand.
Structural Topic Models for Open-Ended Survey Responses.
American Journal of Political Science,
58(4):1064–1082, 2014.
Chaitanya Chemudugunta, Padhraic Smyth, and Mark
Steyvers. Modeling General and Speciﬁc Aspects of Documents with a Probabilistic Topic Model. In NIPS 2006,
pages 241–248, 2006.
Tomoharu Iwata, Takeshi Yamada, and Naonori Ueda.
Modeling Social Annotation Data with Content Relevance using a Topic Model. In NIPS 2009, pages 835–
843, 2009.
Omer Levy and Yoav Goldberg. Neural Word Embedding as Implicit Matrix Factorization. In Advances in
Neural Information Processing Systems 27, pages 2177–
2185, 2014.
Omer Levy, Yoav Goldberg, and Ido Dagan. Improving Distributional Similarity with Lessons Learned fromWord Embeddings. Transactions of the Association for
Computational Linguistics, 3:211–225, 2015.
Quoc Le and Tomas Mikolov. Distributed Representations of Sentences and Documents. In ICML 2014, pages
1188–1196, 2014.
御器谷裕樹. 1980 年代の中国共産党による宣伝政策における「伝統」の位置. 日本選挙学会, 2021.
Kenneth Benoit, Drew Conway, Benjamin E. Lauderdale, Michael Laver, and Slava Mikhaylov. CrowdSourced Text Analysis: Crowd-Sourced Text Analysis: Reproducible and Agile Production of Political
Data. American Political Science Review, 110(2):278–
295, 2016.

c 2016 Information Processing Society of Japan⃝14

情報処理学会研究報告
IPSJ SIG Technical Report

付録 A
2021 年の第 204 回通常国会・衆議院・農林水産委員会による発言を, 玉木雄一郎 (国民民主党)–田村貴昭 (日本共産党) の発言を θ の極性軸にして計算した各発言の潜在的な θ と発言内容. 1324 件の発言のうち, ランダムに 40 個を選択して表示
している. β の計算には, 玉木・田村の両氏の発言から, ランダムに 20 件を半教師ありデータとして用いた.
θ
1.64101.49881.48381.31391.18951.0874
1.0784
1.07161.03160.83150.76550.73290.61080.49970.47900.33100.09670.07890.0540−0.1532−0.1984−0.2142−0.3023−0.3433−0.3503−0.4448−0.4626−0.5006−0.5094−0.5228−0.7074−0.8432−1.0359−1.5408−1.5771−1.9059−2.2223−2.5166−2.6210−3.5215

発言者
大串（博）委員
矢上委員
重徳委員
大串（博）委員
本郷政府参考人
玉木委員
玉木委員
近藤（和）委員
金子（恵）委員
神谷（裕）委員
光吉政府参考人
野上国務大臣重徳委員
玉木委員
青山（大）委員
葉梨副大臣
水田政府参考人
緑川委員
野上国務大臣水田政府参考人
本郷政府参考人
神谷（裕）委員
野上国務大臣水田政府参考人
八木参考人
野上国務大臣野上国務大臣森政府参考人
伏見政府参考人
野上国務大臣野上国務大臣
葉梨副大臣
水田政府参考人
高鳥委員長
高鳥委員長
大串（博）委員
田村（貴）委員
田村（貴）委員
重徳委員
新井政府参考人

発言内容
立憲民主党・無所属の大串です。 早速質疑に入ります。 貯保法ですけれども、私は、
時間の関係で次の質問に移らせてもらいますけれども、低コスト化対策ですね。二問あっだから、農水省に何の非もないのかと言っているんですよ。 例えば、大臣、富山県の御全くちぐはぐですね。一時的な要因で余っているんだったら、一時的に市場から切り離さ
木材流通に関してでございます。需給のミスマッチを起こさないように、生産、加工の事
国民民主党の玉木雄一郎です。 本法案についてまず質問いたします。 先ほどから、規コロナにはいろいろなことを教えてもらったなと思ったんですが、例えば、マスク一つ国
石川県能登半島の近藤和也でございます。よろしくお願いいたします。 ＣＯＶＩＤ―1
今、イノベーションの話もされたので、済みません、順番を変えて、林業労働力の育成、
そうしますと、遡れる限り遡るということだと思うんですが、そこで、先ほど議論になっお答えいたします。 農協の株式会社化につきましては、株式会社になったときに、例え
新型コロナウイルスの状況に対して、様々なお立場の方が非常に厳しい状況に直面してい野上大臣、よく聞いていてくださいね。あほみたいな話ですわ、これ。八丁組合、元祖が国民民主党の玉木雄一郎です。 ちょっと順番を変えて、まず、備蓄米の子供食堂、子供繰り返しですけれども、日本一のレンコンの産地である霞ケ浦周辺、茨城県において、以令和元年七月でございますけれども、日本国内で、ツマジロクサヨトウという害虫ですね
お答えいたします。 委員御指摘の、まず空舎延長事業でございますけれども、これは、それと同様ということで、何が違うのか、私からお話ししたいと思います。 三年前の豪今御紹介いただきましたみどりの食料システム戦略でありますが、先般、中間取りまとめお答えいたします。 高収益作物次期作支援交付金の件について御質問いただきました。
お答えをいたします。 本法案においては、成長に優れた苗木を積極的に用いた再造林を仮にですけれども、当初、倫理の問題の中で、議員、あるいは元大臣、大臣、そういった今御指摘をいただきました件につきまして、農林漁業やあるいは食品産業の分野におきまお答えいたします。 新制度では、利用に関する基準を遵守することで、構造に関する技
お答えさせていただきます。 基幹的農業従事者数の減少が見込まれる現状におきまして
近年、農林水産、食品産業の分野におきましては、輸出の促進ですとかあるいはスマート
お話がありましたとおり、本年四月に、兵庫県農業会議と兵庫県の農地バンクであります
お答えいたします。 委員御指摘のとおり、協議の詳細につきましてはお答えすることはお答え申し上げます。 まず、私も、公務員として不適切な行為があったことを深く反省
御指摘のございました主要農作物種子法につきましては、昭和二十七年に、戦後の食料増
間伐等特措法によりまして、平成二十年の法律制定後、一定以上の森林面積を有します市
お答えいたします。 佐々木先生の資料の二の品目横断的経営安定対策、これが導入されお答えいたします。 委員御指摘の冊子の二ページのところに「ＥＵやアメリカの現状」
お諮りいたします。 ただいま議決いたしました法律案に関する委員会報告書の作成につ起立少数。よって、本修正案は否決されました。 次に、原案について採決いたします。
今回の農中さんの議論を契機に是非いい議論をしていただきたいと思いますし、間違って
私は、日本共産党を代表して、本法案に反対の立場から討論を行います。 第一に、改正
私は、日本共産党を代表して、畜舎等の建築及び利用の特例に関する法律案に反対の討論
立憲民主党の重徳和彦です。 今日は矢上筆頭、先輩、同僚議員の御了解をいただきましお答えいたします。 ＯＩＥ連絡協議会は、産業界及び学界における技術者又は学識経験

c 2016 Information Processing Society of Japan⃝15

情報処理学会研究報告
IPSJ SIG Technical Report

付録 B
ニューラル文書ベクトルを用いて, Livedoor コーパスから T = {“恋愛”, “結婚”} として抽出されたテキストのスニペッ
ト. 抽出された 262 個のテキストから, ランダムに 40 個を選択して表示している. 数字は文書番号を表す.
文書番号
48
50
86
99
116
156
181
186
239
298
309
314
316
395
448
468
596
618
631
650
798
845
3435
3997
4081
4178
4228
4440
4482
4603
4715
4722
4773
4824
5727
6008
6871
7013
7142
7212

スニペット
既婚女性の話に恋愛を学ぶ独身女性ばかりの職場に勤務するサオリさん（28 歳
独身男性は独女より人妻と遊びたいってホント？「結婚をしたら独身男性からモテる男が選ぶ女子の条件「素敵だと思う人には、もうすでに奥さんがいる」
人に聞いてはいけないことお盆に帰省した沙織さん（30 歳）に「実家は楽しか新しい結婚の形？「事実婚」とは実際どんな制度なのか最近メディア等で「事恋の駆け引きができる女、できない女「追いかけられると逃げたくなり、逃げ2011 年こそ結婚したい！独女・独男の婚活事情「婚活」という言葉が流行語大
仕事、遠距離恋愛……。会えない時間で愛は育つか？俳優の向井理さんとモデル
アラフォーだって結婚式したい！ Presentedby ゆるっと cafe 独女の皆さま、はじ意外に大変?!モテる定説 マメな男 との交際事情メールや電話で連絡を怠らず
独女的映画レビュー vol.7『』 人を好きになる気持ち ってどんな気持ちだっけ
あなたはいくつまで恋ができると思いますか？今年 4 月、2 週に渡って朝日新聞
今さらながら、運命の出会いについて考えてみる「もしあの時……」と選ばなかケンカをしても気持ちが冷めている…。
「長すぎた春」の予感先日、28 歳の誕生
独女通信が見た「独女たちの 5 年の軌跡」Vol.5〜婚活とは、人生最大の営業活
恋愛感情がイマイチでも結婚はできるのか？婚活ブームの影響で、寸前と言わ１回限りの関係で終わってしまう女昨年から婚活に励んでいる恵美さん（36 歳【オトナ女子のリアルな悩み】同時に 2 人好きになってしまいましたたとえ片想
このままじゃ婚期を逃す!?趣味に走るオタク独女ここ数年「価値観が多様化し同世代の長谷川理恵の破局について思うこと恋アラフォー、長谷川理恵（38 歳
結婚は 相手 より タイミング の問題？「」 真面目で清楚なお嬢様タイプ の独女的『「ゆるオタ君」と結婚しよう』婚活に疲れ気味、あるいは「いい男がSDN48 芹那が激白「彼氏を作って独り身を 脱出 したい」彼氏を作りたい！ SDN
運命の人 を一発検索！あなたと相性の良い生年月日はいつ？「自分の運命の内田有紀が就活＆婚活「30 ハケン女が就職する方法」エイベックス通信放送がインタビュー：眞鍋かをり「作戦を立てて一気に」現在、すっかり定着した感
石田純一が恋のお悩みをサポート連載コラム「恋に効く名言」スタート 2009 年
インタビュー：小原さん「自分からプロポーズすることは 100 ％ない」過去に 1「グレアナ」に見る男脳と女脳、違いを理解すれば仕事も恋もうまくいく？何″姉妹″の過去も!?倖田來未さん結婚今年話題の恋愛・スキャンダルニュース＜
恋人には言えない本音／アソコの臭い対策法など−【恋愛】週間ランキング Pea
アレが大きい彼氏とのお悩み対策法／うない元カレへのメール法など−【恋愛】男が好む清純派の演じ方／「結婚はムリ」と男に見切りをつけた瞬間など−【恋″ゴムなし行為″は健康にいい恋人の愛情を確かめるにはなど−【恋愛】週間ラン【SportsWatch】モデル、スピードスケート清水との交際を語る日本テレビ「の【SportsWatch】石井慧が電撃離婚か？「女性自身」が報じる 3 月 29 日発売の「
稲本＆田中美保、交際順調で結婚も視野に昨年 1 月、ホテル従業員のツイッター「蒼井に似てる」大森南朋の結婚相手に突っ込み 14 日、主要メディアは俳優・林家三平の元カノ＝ NHK 荒木アナが人生を嘆くも「別れて正解」15 日、Web 版「元「モーニング娘。
」高橋愛に熱愛スクープ。ファンから悲痛な叫び明日 15 日

c 2016 Information Processing Society of Japan⃝

16