関⻄DBWS 2016

可読性のある分散的意味表現学習に向けて
2016.9.11
奈良先端科学技術⼤学院⼤学情報科学研究科
知能コミュニケーション研究室・NAISTビッグデータプロジェクト
芥⼦ 育雄 鈴⽊ 優 吉野 幸⼀郎 グラム・ニュービッグ 中村 哲
シャープ株式会社 IoT通信事業本部
⼤原 ⼀⼈ 向井 理朗

本発表の背景

関⻄DBWS 2016

• 背景1：単語・⽂書の分散的意味表現をニューラルネットで学習できる
word2vec・doc2vec（パラグラフベクトル）の提案[Mikolov et al, 2013, Le and Mikolov 2014.]– 極性分析ベンチマークを⽤いて最⾼⽔準の分類精度，ニューラル⾔語処理応⽤– 課題：性能改善に必要な分散表現（ベクトル）の可読性• 背景2：単語意味ベクトル辞書とブートストラップ学習法を提案[芥⼦, ⿊武者 他, 1996, 1997, 1999, 2000.]– 意味ベクトルの次元は266種類の特徴単語に対応，
基本単語約2万語については専⾨家が特徴単語を付与– 課題：単語の分散的意味表現としての解像度» テキストにおける単語の出現順を考慮していない» 単語の意味ベクトルはビットベクトル

2

本発表の概要

関⻄DBWS 2016

• 課題：word2vec /doc2vecにおける分散的意味表現の可読性[綺麗] -0.3427 -0.2268 -0.0858 -0.0829 0.5383 -0.2258 0.1503 -0.4006 -0.4261 0.4693 -0.0236 -0.0139 0.1600 -0.3539 -0.1247 -0.2042 0.2117 -0.0368 0.2926
0.3333 -0.3618 0.1185 -0.0132 0.0243 0.4734 0.1668 0.2019 0.2659 0.2067 0.2980…

• 本発表：単語意味ベクトル辞書をword2vec /doc2vecに導⼊266種類の特徴単語との関係（実数値）で単語の意味を学習[綺麗] 映像・画像:0.6538 様⼦・様態:0.4210 勢⼒・程度:0.3995 価値・質:0.3904
⾊彩:0.3469 形状:0.2760 ⾃動⾞:0.2673 優しさ:0.2530 芸術:0.2426 開発:0.2342
娯楽・趣味:0.2255 明るさ:0.2128 施設・設備:0.2050 新しさ:0.1970 関係・関連:0.1885
⽣死:0.1879 安価:0.1727 ⼼理学:0.1676 低速:0.1670 美麗:0.1657 容易:0.1593 ..........

極性分析タスクの性能はdoc2vec（パラグラフベクトル）と⽐較して，
遜⾊ないことを評価

3

関⻄DBWS 2016

従来法­word2vec & doc2vec­• CBOWモデル＆PV-DMモデル：対象語周辺の⽂脈語ベクトルの結合/和/平均ベクトルと対象語ベクトルとの内積が⼤きくなるように対象語ベクトルを予測• Skip-gram＆PV-DBOWモデル：対象語ベクトルと周辺の⽂脈語ベクトルとの内積が⼤きくなるように⽂脈語ベクトルを予測
対象語，⽂脈語ベクトルの初期値はランダム

INPUT
Paragraphidw -3Classiﬁerw
PV-DM

Classiﬁerw -3)

Concatenate/Sum / Average

w -2
w t-1

INPUTw -2)

Paragraph
idw PV-DBOWw4

関⻄DBWS 2016

単語意味ベクトル辞書とその学習法• 意味ベクトル– 階層的に266種類の概念分類を特徴単語として選択– 約2万語の基本単語に対して，各特徴単語との論理的・連想的関連を266次元のベクトルで表現（基本単語が特徴単語と関係ある場合は1,関係ない場合は0）
例

特徴単語｛⼈間，悲しい，芸術，科学，興奮,…｝

基本単語
パイロット：（１,０,０,１,１,…）「パイロット」は，人間，科学，興奮• ブートストラップ学習などの文脈で出現することを表現– 仮説１: ⽂書の意味ベクトル• ⼀定数以上の基本単語が含まれていれば，その基本単語の意味ベクトルの加重和によって，適切な⽂脈情報が表現可能– 仮説2: 単語の意味ベクトル• 単語が含まれている⽂書の意味ベクトルの加重和によって，適切な⽂脈情報を獲得5

関⻄DBWS 2016

特徴単語の分類と基本単語への付与基準
大分類
人間・生命
人間環境
自然科学
抽象概念
物理・物質
文明・知識

上位概念

特徴単語例

論理的関連による特徴単語付与基準

人間

人間，人名，男性，女性，子供，・・・

生物

動物，鳥類，虫，微生物，植物，・・・

論理的関係

基本単語

特徴単語

人造物

道具，機械機器，建造物，・・・

集合包含

秋

季節

交通・通信

通信，交通輸送，自動車，・・・

同義関係

アイデア

思想

地域

地名，国名，日本，都会，地方，・・・

部分全体関係 ⾜

自然

陸地，山岳地，天空，海洋，環境，・・・

精神・心理

感覚，感情，喜楽，悲哀，・・・

抽象概念

様子様態，変化，関係関連，・・・

運動

運動，停止，動的，静的，・・・

物理現象

蒸発気化，凝固凍結，溶解液化，・・・

人文

民族人種，知識，言論発話，・・・

学術

数学，物理学，天文学，地学，・・・

⼈間の⾝体

連想的関連による特徴単語与基準
基本単語

特徴単語

愛

優しさ，倫理アップ

経済，映像⾜⾃動⾞，交通輸送
6関⻄DBWS 2016

提案⼿法

対象語ベクトルの初期値に単語意味ベクトル辞書を導⼊し，ニューラルネットワーク（word2vec / doc2vce）で学習/格安/ の /ブラジル/ /旅行/ の /ツアー/ は /ない/ のか？
(0.1, -0.5, 0.5, 1.5, …)(0.9, 0.5, 0.5, -0.3,…)(0.1, 0.5, 0.2, -0.1,…)(0.1, -0.5, 0.2, 0.5,…)

対象語「旅行」の単語ベクトル初期値は、単語意味ベクトル辞書を元に正の多値化
特徴単語 （旅行, 交通・輸送, 娯楽・趣味, 家族・家庭, サービス業, 航空機,...）
値（0.9705,0.1170,0.1170,0.0978,0.073,0.0551,…）
期待効果：⇒ニューラルネットで学習させた単語ベクトルの次元が266種類の特徴単語の意味を維持
7

提案⼿法­ボキャブラリ構築­
1. コーパスのボキャブラリ構築• 各単語ベクトルの初期値は266次元の0ベクトル• 266種類の特徴単語は，対応する次元を1にした
One-hotベクトルとして，ボキャブラリに追加
⼈間 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000
0.0000 0.0000 0.0000 0.0000 ........
病気 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
0.0000 0.0000 0.0000 0.0000 1.0000 0.0000 0.0000
0.0000 0.0000 ...........
解像度 0.0000 0.0000 0.0000 0.0000 ..........

関⻄DBWS 2016

次元 特徴単語
1,"
⼈間"
2,"
⼈名"
3,"
男性"
4,"
⼥性"
5,"
⼦供"
6,"
⼤⼈"7,"⽼⼈"8,"
家族・家庭"
9,"動物"
10," ⽔棲⽣物"
11," ⿃類"
12," ⾍"13," 微⽣物"
14," 植物"
15," ⽣命"16," ⽣死"17," 誕⽣"18," 病気”
8・・

関⻄DBWS 2016

提案⼿法­単語意味ベクトルの多値化­
2. ボキャブラリの各基本単語に対し、単語意味ベクトル辞書において基本単語に付与された各特徴単語の意味的・連想的関係を反映させる。
– ⾃単語の重みを強く、付与された特徴単語が多い程、特徴単語の重みを⼩さくする（Retrofitting Word Vectors to Semantic Lexicon [M. Faruqui et al, 2015]）
基本単語
病気
⼈間
⽣命
否定的

特徴単語
⼈間 ⽣命 ⽣死 病気 内臓器官 様⼦・様態 劣悪 否定的 暗さ 医学・薬学
⼈間 男性 ⼥性 ⼦供 ⼤⼈ ⽼⼈ ⺠族・⼈種 ⼈類学
⼈間 動物 植物 ⽣命 誕⽣ ⼈間の⾝体 ⽣物の⾝体 活動 動的殺⽣ 犯罪 戦争・紛争 災害 悲哀 恐怖 勢⼒・程度 価値・質 劣悪 否定的 醜悪
困難 脆弱 誤謬 感情的 性質 寒冷 暗さ 短さ 低さ 狭窄 鈍さ 粗雑[病気] 病気:0.9663 暗さ:0.0990 劣悪:0.0990 様子・様態:0.0988 生死:0.0969 医学・薬学:0.0968 内臓器
官:0.0966 人間:0.0567 生命:0.0518 否定的:0.0498 民族・人種:0.0075 人間の身体:0.0059 生物の身体:0.0057 大人:0.0042 男性:0.0040 子供:0.0039 老人:0.0039 誕生:0.0037 女性:0.0037 人類学:0.0037 活
動:0.0035 動物:0.0033 動的:0.0033 植物:0.0031 価値・質:0.0026 勢力・程度:0.0024 戦争・紛争:0.0024 誤9
謬:0.0022 狭窄:0.0022 悲哀:0.0022 短さ:0.0022 低さ:0.0022 醜悪:0.0022 殺生:0.0022 鈍さ:0.0022

関⻄DBWS 2016

提案⼿法­対象語ベクトルの学習­!′ ∈ !!×!""↑対象語

隠れ層から出⼒層への重みWʼ
⽂脈語ベクトルを語彙数縦に並べた⾏列．初期値はランダム

One-hot-vector

Skip-gramの⽬的関数p(z|x) =exp ! ! !
! ! ∈!

exp x ! z !

x1
x2
x3
xV

Z1,1。
・。
・・

Z2,1

h1
h2。
・。
・・h266・・。
・。
・・! ∈ !!""×!

Z2,V
Zc,1

↑

⼊⼒層から隠れ層への重みW
対象語ベクトルを語彙数横に並べた⾏列．
初期値に単語意味ベクトル辞書を導⼊

Z1,V。
・。
・・

Zc,V

関⻄DBWS 2016

実験­コーパス­• スマートフォンの評判情報抽出を⽬的に２種類の製品ブランドを対象にTwitterから収集– クラウドソーシングに掛ける前段階のラベル無しツイート約56万件• ノイズ除去まで⾏ったツイート• クラウドソーシングを利⽤して，ポジティブ，ネガティブ，ニュートラルのラベルを付与したツイートから，製品ブランドBに関する約1万2千件
データセット

ポジティブ

ネガティブ

ニュートラル

合計

訓練セット

3,654

2,375

2,802

8,831

開発セット

608

396

467

1,471

テストセット

609

396

467

1,472

ラベル無し

560,85311

関⻄DBWS 2016

実験­ボキャブラリの初期ベクトル構築­• コーパス（約57万2千ツイート）から抽出された語彙数：122,036語• コーパスに含まれる基本単語数：18,674語• 基本単語ベクトル例：[画⾯] コンピュータ:0.4200 映像・画像:0.4180 通信技術:0.4174 マスメディア:0.4168 電⼦⼯学:0.3983 平⾯:0.2173 ⾊彩:0.2097 通信:0.2084 宣伝広告:0.0363 形状:0.0242 海洋:0.0223 流⾏・
⼈気:0.0210 陸地:0.0210 装飾品:0.0198 機械・機器:0.0198 設計・デザイン:0.0198 単純:0.0198 数
学:0.0198 ⾵俗・習慣:0.0191 社会活動:0.0185 システム:0.0172 航空・宇宙:0.0172 知識:0.0121 環
境:0.0115 芸術:0.0102 季節:0.0102 ⾐類:0.0102 ⾔語:0.0096 活動:0.0089 性質:0.0083 様⼦・様態:0.0076 教育・育児:0.0070 思想・哲学:0.0057 地球:0.0045 実質・本質:0.0038[解像度] 映像・画像:0.4152 価値・質:0.3963 電⼦⼯学:0.3952 コンピュータ:0.3952 勢⼒・程度:0.3952 機械・機器:0.3952 ⾊彩:0.2081 流⾏・⼈気:0.0210 装飾品:0.0194 設計・デザイ
ン:0.0194
宣伝広告:0.0188 ⾵俗・習慣:0.0188 環境:0.0111 ⾐類:0.0105 季節:0.0105 芸術:0.0100 温かさ:0.0033 様⼦・様態:0.0028 時間・年⽉:0.0022 地球:0.0017 熱暑:0.0017 気象・気候:0.0017 空
間:0.0017 寒冷:0.0011 感覚:0.0006 ⽇⽤品:0.0006 ⽂化:0.0006 ⾔語:0.0006 伝統:0.0006 ⾳
12
楽:0.0006 建造物:0.0006 ⽂学:0.0006 柔軟:0.0006 ⾼価:0.0006 ⾳響:0.0006

対象語ベクトルの学習

関⻄DBWS 2016

• Doc2vecの初期ベクトルを変更し，コーパスをバルク学習• Doc2Vecのハイパーパラメータは学習回数，ベクトル⻑を除いてデフォルト値使⽤– PV-DM: 学習回数:100回，ベクトル⻑:266– PV-DBOW: 学習回数:20回, ベクトル⻑:266• PV-DBOWに関して，学習した対象語ベクトルの内容確認（スコア上位35の特徴単語表⽰）[解像度] 勢⼒・程度:0.5992 映像・画像:0.5015 様⼦・様態:0.4582 価値・質:0.4241
熱暑:0.3317 数量:0.3257 機械・機器:0.3122 ⼀般・平凡:0.3104 マスメディア:0.2771
知識:0.2630 書物・書籍:0.2487 コンピュータ:0.2478 理性的:0.2473 政府・省庁:0.2468
球体:0.2452 発熱・発光:0.2393 軽さ:0.2385 天然:0.2348 エネルギー:0.2221 流⾏・⼈
気:0.2189 思想・哲学:0.2146 娯楽・趣味:0.2137 ⾷:0.2117 安価:0.2038 因果:0.1975
⽯油・鉱物:0.1916 ⾳響:0.1895 秩序・順序:0.1882 ⽂化:0.1857 開発:0.1836 感情的:0.1834 性:0.1787 平⾯:0.1774 ⼦供:0.1771 数学:0.1747
13

関⻄DBWS 2016

対象語（新語）ベクトルの学習例[4k解像度] 明るさ:0.8996 植物:0.7773 細密:0.7313 知識:0.7083 ⾐類:0.7029 ⽩:0.6768 ⽂

学:0.6064 映像・画像:0.5784 気象・気候:0.5585 電⼦⼯学:0.5500 政治:0.5421 都会:0.5356 数
量:0.5194 様⼦・様態:0.5141 宗教:0.5116 性質:0.4952 考古学:0.4708 機械・機器:0.4705
細さ:0.4662 ⽣命:0.4641 思想・哲学:0.4560 施設・設備:0.4540 航空機:0.4479 性問題:0.4426
ハード:0.4396 溶解・液化:0.4281 旅⾏:0.4264 平⾯:0.4235 宣伝広告:0.4121 季節:0.4093 ⾼
速:0.3930 福祉・年⾦:0.3898 重さ:0.3870 鈍さ:0.3813 ⽣死:0.3780[ヌルヌルサクサク] 様⼦・様態:0.7983 旅⾏:0.7071 価値・質:0.7011 所有:0.6199 ⼤規模:0.60

44 鉱物:0.5894 ⽼⼈:0.5870 住居:0.5575 顧客・ユーザ:0.5552 数学:0.5522 感情:0.5233 天⽂
学:0.5139 緑:0.4809 複雑:0.4762 強⼒:0.4691 燃焼:0.4685 宗教:0.4659 家族・家庭:0.4617 ⽣
命:0.4518 未来:0.4370 厚さ:0.4364 平和:0.4319 原⼦⼒:0.4279 劣悪:0.4264 時間・年⽉:0.4238
特殊・希有:0.4190 会社・職業:0.4187 動作:0.4169 反応:0.4111 施設・設備:0.3989 政治:0.3986
⼼理学:0.3950 ⼈類学:0.3867 船舶:0.3735 建設業:0.3700[イケメン] スポーツ:0.5997 教育・育児:0.5304 ⾏為:0.5238 会社・職業:0.5059 流⾏・⼈

気:0.5031 ⾊彩:0.4827 明るさ:0.4777 男性:0.4403 ⿊:0.4200 ⼈間の⾝体:0.4113 平⾯:0.4102
⼭岳地:0.3931 温かさ:0.3893 ⼈名:0.3844 薄さ:0.3752 低速:0.3708 ⽼い:0.3692 新しさ:0.3692
美麗:0.3614 共同:0.3502 感覚:0.3492 ⾃動⾞:0.3476 様⼦・様態:0.3436 脆弱:0.3421 マスメ
ディア:0.3374 顧客・ユーザ:0.3217 中南⽶:0.3204 厚さ:0.3140 動作:0.3137 健康・美容:0.3098
14
優しさ:0.3024 ⽼⼈:0.2994 倫理・道徳:0.2873 オセアニア:0.2872 ⾼価:0.2870

極性分析による評価
提案手法の評価手順

従来手法（PVEC）の評価手順

提案手法による
コーパスのバルク学習

doc2vecによるコーパスのバルク学習

doc2vecによる訓練セットと開発セットの特徴抽出
訓練セットを対象にSVMによる分類器構築
開発セットを対象に特徴抽出のパラメータ（学習回数，ベクトル長）調整

テストセットによる評価

関⻄DBWS 2016

従来⼿法（PVEC）と提案⼿法の評価結果
３クラス分類
平均F値(STDEV)

２クラス分類精度(STDEV)

Dataset

開発

開発

PVEC

68.6%
(±0.4%)

68.8%
83.7%
(±0.6%) (±0.2%)

83.4%(±0.5%)

提案⼿法

69.1%
(±0.1%)

69.3%
83.5%
(±0.2%) (±0.2%)

84.2%(±0.1%)

テスト

テスト

３クラス分類の評価尺度は，ポジティブ予測F値Fposとネガティブ予測F値Fnegのマクロ平均F値=(Fpos+Fneg)/2開発セット，テストセットによる評価は，5回試⾏し，その平均を求めた．STDEVは標準偏差．
15

まとめ関⻄DBWS 2016

• word2vec/doc2vecの初期値に単語意味ベクトル辞書を導⼊– 単語ベクトル学習結果は，基本単語，新語共に重み上位は，良好な結果– 従来⼿法と⽐較して，極性分析の精度は遜⾊なく（改善傾向あり），安定性向上• 提案⼿法では，バルク学習後，追加学習時に単語ベクトルは殆ど変化なし• 従来⼿法では，学習の度に単語ベクトルも⼤幅に変わる• 今後の課題– 初期ベクトル構築⽅法ブラッシュアップ• コーパスに存在しない特徴単語（健康・美容，様⼦・様態，家族・家庭など）の⾒直し• Retrofittingアルゴリズムの改善– ⽂脈語初期ベクトルへの単語意味ベクトル辞書導⼊⽅法検討– 単語，パラグラフの分散的意味表現としての評価⽅法検討– 単語意味ベクトル辞書を単語拡張に⽤いる⼿法との統合
16