Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report

分散的意味表現学習のための単語意味ベクトル辞書 Ver.2 と日本語 Twitter 極性分析ベンチマークについて
芥子 育雄1,a)鈴木 優1

吉野 幸一郎1

大原 一人2

向井 理朗2

中村 哲1

概要：自然言語処理の応用システムでは，大規模文書を対象に単語やパラグラフの意味を数 100 次元のベ
クトルに埋め込む分散的意味表現学習により精度向上が図られている．これらの応用システムの課題は，品質保証・改善に必要な分散表現の中身を解釈する手段が無いことである．本研究では，分散表現の可読性を向上させることを目的に人手により構築された単語意味ベクトル辞書 Ver.2 を提案する．単語意味ベクトル辞書とは，約 2 万語の基本単語に対して，関係のある特徴単語を列挙した辞書である．Ver.2 では特徴単語を 264 種類とし，日本語の単語意味ベクトル辞書を元にクラウドソーシングを利用して英語版を作成した．ツイートベクトルの可読性を高めるために，基本単語に付与された特徴単語を再帰的に展開することにより生成した多値ベクトルを分散的意味表現学習のシードベクトルとして用いる．この評価のため，
日本語 Twitter を対象に製品，サービス，組織の全 8 カテゴリ，38,576 ツイートから構成される極性分析
ベンチマークをクラウドソーシングを利用して作成した．本稿では，モニター公開を予定している日英単語意味ベクトル辞書 ver.2 および評判分析のための大規模かつ多様性のある日本語 Twitter 極性分析ベン
チマークについて，ケーススタディと共に報告する．
キーワード：意味ベクトル，分散表現，word2vec，パラグラフベクトル，極性分析，Twitter，ベンチマーク

1. はじめにのスパース性が高いといった Twitter の課題から，評判分
析の精度において利用者のニーズを満たしているとは言

Mikolov らが発表した word2vec は，文脈情報を素性とえない．著者らは，パラグラフベクトルの学習において，してニューラルネットワークにより学習を行うと，語義のTwitter の課題を解消するために著者らが構築した単語意似た単語や語句が似たような重みをもつベクトルを構築す

味ベクトル辞書の導入手法を提案した [7], [8], [9]．約 1 万 2ることができると報告されている [1], [2], [3]．また，Le と千ツイートから構成される特定スマートフォン製品ブラン

Mikolov は，単語の分散的意味表現学習を文書に拡張し，ドの極性分析ベンチマークにおいて，ポジティブ，ニュー

パラグラフベクトルをニューラルネットワークで学習させ

トラル，ネガティブの 3 クラス分類におけるポジティブ予

ることにより，複数の極性分析ベンチマークにおいて最高測とネガティブ予測のマクロ平均 F 値 71.9 を示し，パラグ

水準の分類精度を示した [4]．

ラフベクトルによる評価結果を 3.2 ポイント上回った [9]．

Association for Computer Linguistics は，シェアードタ

Twitter の課題を解消するために文字（Unicode）単位

スクとして 2013 年から継続して英語 Twitter を対象に極の Twitter データをエンコーダ・デコーダモデルで学習さ性分析タスクを SemEval で開催している [5], [6]．2016 年

せる 2 種類の Tweet2Vec が同時期に発表された [10], [11]．

は 43 チームが参加し，SemEval では最も参加チームの多Vosoughi らの Tweet2Vec[11] は，WordNet[12] を用いた同いタスクである．

義語拡張により，ランダムに選択した 300 万ツイートを複日本語 Twitter においても製品，サービス，組織などに製して学習データを増やし，LSTM-CNN モデルを学習さ対する評判分析の必要性は高まっている．評判分析サービ

せた．SemEval2015[5] の極性分析ベンチマーク（訓練セッスも提供されているが，文長が短く，ノイズが多く，単語

ト：9,520 ツイート，テストセット：2,380 ツイート）で評

1

2

a)

奈良先端科学技術大学院大学情報科学研究科
8916-5 Takayama-cho, Ikoma, Nara 630–0192, Japan
シャープ株式会社 IoT 通信事業本部
1-9-2 Nakase, Mihama-ku, Chiba, Chiba 261-8520, Japankeshi.ikuo.ka9@is.naist.jp

c 2017 Information Processing Society of Japan⃝価を行い，パラグラフベクトルのマクロ平均 F 値を 1.9 ポ
イント上回り，他の SemEval 参加チームの F 値も上回り最高水準を示した．分散表現の分類器にはロジスティック回帰を用いている．Dhingra らの Tweet2Vec[10] は，ツイー

1Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report

トからハッシュタグを予測するエンド・ツー・エンドのシ

表 1 特徴単語の分類

ステムである．

2 種類の Tweet2Vec では，ニューラルネットワークへの入力を単語単位ではなく文字単位で行うことにより，

大分類

上位概念

人間・生命

人間

人間，人名，男性，女性，子供，…

生物

動物，鳥類，虫，微生物，植物，…

人造物

道具，機械機器，建造物，…

人間環境

Twitter の課題を解消すると共に言語に依存せず高い性能

交通・通信を示すことが期待される．しかし，品質を確認する手段がタスクの精度であることは変わらず，精度が実用レベルに地域

地名，国名，日本，都会，地方，…

自然

陸地，山岳地，天空，海洋，環境，…

抽象概念

精神・心理

感覚，感情，喜楽，悲哀，…

抽象概念

様子様態，変化，関係関連，…

運動

運動，停止，動的，静的，…

物理・物質

同義語拡張は学習データを追加で準備することと等価と考文明・知識えられる．これに対して，著者らの単語意味ベクトル辞書

通信，交通輸送，自動車，…

自然環境

満たない場合は学習データを追加で準備する必要がある．

Vosoughi らの Tweet2Vec[11] における WordNet を用いた

特徴単語例

物理的特性

温かさ，重さ，軽さ，柔軟…

人文

民族人種，知識，言論発話，…

学術

数学，物理学，天文学，地学，…

を用いた特徴単語の展開は，2.2 節で述べる通り，タスクの精度が向上するだけでなく，エラー解析においても効果

表 2 論理的関連による特徴単語の付与基準がある．また，単語意味ベクトル辞書をニューラルネット

論理的関係

ワークのシードベクトルとして用いる場合は，ニューラル

基本単語

特徴単語

集合包含

秋

季節

ネットで学習した重みの大きな特徴単語を品質の確認に利

同義関係

アイデア

思想

用できる可能性がある．

部分全体関係足

人間の身体本研究では，基本単語に付与された特徴単語を再帰的に展開することにより，単語意味ベクトル辞書をパラグラフ

係がある場合は 1，関係ない場合は 0 となる．例えば，特ベクトルのシードベクトルとする方法を示し，パラグラフ

徴単語として { 人間，悲しい，芸術，科学，興奮，政治 }ベクトルを用いて学習を行なったツイートベクトルの重みを採用した場合には，単語「パイロット」は特徴単語「人の大きな特徴単語がツイートの内容を表す例を示す．そし間，科学，興奮」と関係があるので，単語「パイロット」て，ニューラルネットワークのシードベクトルとしての利の意味ベクトルは (1, 0, 0, 1, 1, 0) となる．このように各用を前提とした単語意味ベクトル辞書 Ver.2 を提案する．

特徴単語を関係あり，なしの 2 値で表現することで，分野

Ver.2 では特徴単語を従来の 266 種類から 4 の倍数となるに依存しない汎用的な単語意味ベクトル辞書を構築できる

264 種類に削減し，新たに英語版の構築を行なった．このと考えた．特徴単語として，表 1 に示す通り，6 種類の大評価のため，日本語 Twitter を対象に製品，サービス，組織

分類，29 種類の上位概念に属する 266 種類の概念分類を選の全 8 カテゴリ，38,576 ツイートから構成される極性分析

択した．基本単語は，百科事典*1 や新聞記事*2 の説明に使

ベンチマークを構築した．本ベンチマークを用いたケース

われる用語，WWW ホームページの分類用語，取扱説明書

スタディについて報告する．なお，単語意味ベクトル辞書などで使われる操作用語，および形容詞などの感性語から

Ver.2 と日本語 Twitter 極性分析ベンチマークはモニター

2 万 336 語を選択した．

公開を予定している．

2. 単語意味ベクトル辞書

これら選択した基本単語に対して，辞書編纂の専門家が，論理的関連性と連想的関連性から，特徴単語を付与した．
論理的関連は，基本単語に対して特徴単語が表 2 に示すよ

本章では，最初に単語意味ベクトル辞書の設計方針を明うな直接的関連性を有するものを指す．連想的関連は，基確にする．次に Twitter の課題を解消するために単語意味

本単語に対して特徴単語が感覚的関連性，連想により想起

ベクトル辞書を用いた特徴単語の展開方法とエラー解析例

される関連性を有するものを指す．例を表 3 に示す．特徴について説明する．最後にツイートベクトルの品質確認を単語の上位概念，大分類は分類上の目安であり，付与判断目的とした単語意味ベクトル辞書に基づくシードベクトルの基準は特徴単語そのものである．例えば，特徴単語「温の作成方法と実例を示す．

かさ」は上位概念「物理的特性」の下に分類されているが，心の温かさ

2.1 単語意味ベクトル辞書の設計方針からの連想によって基本単語「愛」に付与する．

基本単語の意味ベクトル [7], [9] は，単語の意味表現として，特徴単語との論理的，連想的関係をベクトル表現した

2.2 単語意味ベクトル辞書を用いた Twitter の単語拡張ものである．n 個の概念分類を特徴単語とし，各次元が 1

パラグラフベクトルの学習において，Twitter の課題をつの特徴単語に対応した n 次元ベクトル空間上の 1 点で，解消するために著者らが提案した単語意味ベクトル辞書の意味を表現するものである．単語の意味ベクトル X=(x1 ,*1…, xn ) の各要素を 2 値で表す場合は，単語が特徴単語と関*2

c 2017 Information Processing Society of Japan⃝

ブリタニカ小項目事典 CD 版, TBS ブリタニカ, 1992.
CD-毎日新聞’94, ’95 データ集, 毎日新聞社, 1994, 1995.

2Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report
表 3 連想的関連による特徴単語の付与基準
基本単語

特徴単語

愛

優しさ，温かさ

アップ

経済，映像

足

自動車，交通輸送

ツイート（製品A） 真偽 はともかくとして（A社） 製 端末 で4 . 3 インチ FullHD 画面 は 非常 に 魅力 的

基本単語

真偽

製

端末

インチ

画面

非常

魅力

教育・育児

衣類

機械・機器

衣類

通信

様子・様態

感覚

社会問題

日用品

通信

道具

マスメディア

秩序・順序

感情

複雑

装飾品

電気工学

数量

色彩

勢力・程度

喜楽

知識

道具

電子工学

数学

平面

特殊・希有 勢力・程度

展開された
特徴単語

言論・発話 機械・機器
思想・哲学
自動車
数学

導入方法とその効果を示す [8], [9]．ツイート中から，単語

コンピュータ 製造・工作

船舶

映像・画像

困難

価値・質

ハード

電子工学

優良

システム

コンピュータ

肯定的

通信技術

美麗

航空機

OA

会社・職業

音響

性質

製造業

通信技術

明るさ

意味ベクトル辞書に登録されている基本単語を特徴単語に

図 1 特徴単語の展開例

展開することにより，文長が短い Twitter では適切に捉えることが難しい文脈情報の学習が改善する．ツイート中の基本単語を特徴単語に展開した例を図 1 に示す．このツ

INPUTParagraphid

イートでは，「真偽，製，端末，インチ，画面，非常，魅力，w(t-3)Classiﬁerw(t)w(t-2)

的」の 8 個の基本単語が抽出され，単語意味ベクトル辞書

w(t-1)

を用いて単語拡張を行った．パラグラフベクトルには，図2 に示す通り，2 種類のモデルがある．PV-DM は語順の情

INPUT

Classiﬁer
w(t-4)

Concatenate/
Sum / Averagew(t-3)

Paragraph idw(t)w(t-2)
PV-DBOW
Skip-gram

PV-DM

w(t-1)

図 2 パラグラフベクトルの 2 種類のモデル報を保持し，次単語を予測するモデルである．PV-DBOW（単語ベクトル学習時は Skip-gram）はパラグラフ中の文脈

表 4 特徴単語の単語拡張により改善，失敗したツイート群における典型的な特徴単語（対群に対する出現比率）

情報を学習するためのモデルである．特徴単語を単語拡張開発セットしたツイートの学習には PV-DBOW を用いて学習し，従来のパラグラフベクトル（PV-DM, PV-DBOW）と結合し正解 → 不正解

不正解 → 正解

正解 → 不正解

Posi-

感情 (2.0)

勢力・程度 (2.7)

肯定的 (2.2)

機械・機器 (4.4)

tive

肯定的 (2.2)

否定的 (2.4)

数量 (2.1)

日用品 (3.3)

た分散表現と正解ラベル（ポジティブ，ニュートラル，ネ

感情的 (2.6)

経済 (2.3)

道具 (3.1)

道徳・倫理 (3.6)

安価 (2.4)

施設・設備 (5.0)

強力 (2.5)

税制 (2.4)

否定的 (3.2)

流行・人気 (2.1)

流行・人気 (3.9)

複雑 (4.4)ガティブ）を用いて，SVM により分類器を構築した．これにより，1 章で述べた通り，極性分析の F 値がパラグラ
フベクトルに対して 3.2 ポイント改善した．

テストセット

不正解 → 正解Nega-

否定的 (1.6)

数量 (2.9)

否定的 (6.3)

変化 (2.2)

tive

機械・機器 (2.0)

肯定的 (3.7)

性質 (3.1)

新しさ (14)

施設・設備 (2.0)

経済 (3.0)

秩序・順序 (2.6)

肯定的 (1.6)

劣悪 (2.4)

安価 (3.0)

劣悪 (4.8)

特徴単語の単語拡張は，少ない学習データにおいても文脈情報を明確にすることが目的である．表 4 にエラー解析

運動 (2.3)

税制 (3.0)

病気 (2.3)

道徳・倫理 (4.0)の例を示す．特徴単語の単語拡張により，改善（不正解→
正解），失敗（正解→不正解）したツイート群において，対群に対して出現比率の高い特徴単語を頻度順に並べたもの
X1:0
X2:0

である．表の括弧内の数値が対群に対する出現比率を示す．
改善したツイート群では，ポジティブでは「肯定的」など，

・・
・・
・・

ネガティブでは「否定的」などの特徴単語の出現頻度が高

旅行:1 。

ブで「否定的」，ネガティブでは「肯定的」などの逆の意味↑ ・・。
対象語 ・ ・
・・
・・
・・
・・
・・
・・

を持った特徴単語の出現頻度が増えており，これは否定形

xV:0

く，特徴単語の単語拡張により文脈情報が明確になったことが分かる．一方で，失敗したツイート群では，ポジティ

。 格安
↑
・
。
・ 文脈語 1

0.04650.97050.11700.11700.09780.073
0.0551

人間
・
・ 旅行
・ 安価
・ 交通輸送・・ 娯楽・趣味
・ 喜楽
・

家族・家庭

・
・ サービス業・・ 航空機などのツイートであり，PV-DBOW では対応出来ないことが原因と考えられる．

図 3

ブラジル

。
↑
・
。
・ 文脈語 2

。
・
。
・

ツアー
↑
文脈語 3

Skip-gram モデルへのシードベクトルの設定例を示した通り，特徴単語による単語拡張は，機械学習の可読性を高めることにも効果があると考えられる．

書の関連語に合わせて修正する手法も提案されている [14]．
ここでは，特徴単語の初期ベクトルを対応する次元を 1 と2.3 単語意味ベクトル辞書に基づくシードベクトルの作成する One-hot ベクトル，他の基本単語はゼロベクトルと辞書の単語に対する定義文を再帰展開することにより単し，Faruqui らの Retrofitting ツール*3 [14] を用いて，単語

語ベクトルを生成する手法は提案されている [13]．単語意

意味ベクトル辞書を再帰的に展開することにり基本単語の味ベクトル辞書は，266 種類の特徴単語で基本単語を定義

シードベクトルを生成した．基本単語「旅行」のシードベしているとみなすことが出来る．特徴単語も基本単語となクトルを設定した Skip-gram（PV-DBOW）モデルの例をるため再帰展開が必要だが，定義文が 266 語に限定される

図 3 に示す．中間層は特徴単語に対応する 266 種類のノーため，数回展開すれば収束する．また，単語ベクトルを辞*3

c 2017 Information Processing Society of Japan⃝

https://github.com/mfaruqui/retrofitting3Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report
表 6

製品B すげ ぇ
勢⼒・程度, 強⼒, ⼈間, 価値・質, 様⼦・様態, 施設・設備, 教育・育児, 肯定的, 優良,

単語意味ベクトル辞書 Ver.2 の仕様
基本単語数

製品B は 神様⼦・様態, 思想・哲学, ⼈間, 関係・関連, ⽣死, 実存, 勢⼒・程度, ⽔棲⽣物, 国家, 強⼒,
あー やっぱり 製品B ⾳ いい w なんか 深み ？ が ある w

基本単語の平均特徴単語数

日本語版

20,330 語

8.77 語

英語版

21,912 語

11.73 語⾳響, 宣伝広告, 様⼦・様態, 映像・画像, 感情, 価値・質, ⾳楽, 勢⼒・程度, 感覚, 劣悪,

基本単語の英語化は必要である．英語化においては，製品B で ⾳楽 きい たら ⾳質 めちゃくちゃ よく て ビックリ し た w …
様⼦・様態, ⾳楽, 施設・設備, 動作, 倫理・道徳,サービス業, 感情, 数量, 価値・質, ⽂化,

ソーシャルメディアで発信されるような平易な英単製品B って 充電 終わっ て も led 点灯 し た まんま な ん だ …

語・語句を選択すること．

明るさ, 機械・機器, 発熱・発光, 様⼦・様態, コンピュータ, 活動, 実質・本質, 新しさ, 建造物,

図 4以上の要件から，日本語の単語意味ベクトル辞書においツイートと重みが大きな特徴単語（中間層ノード）の例て，基本単語に付与された上位の特徴単語を表 5 に示す．
表 5 基本単語に付与された上位の特徴単語

表 1 の「抽象概念」に属する特徴単語「様子・様態」およ

特徴単語

基本単語数

び「関係・関連」が極端に多くの基本単語に付与されてい

様子・様態

5,188

関係・関連

ることが分かる．特に「様子・様態」は，図 4 に示した全

4,460

勢力・程度

3,217

秩序・順序

2,689

強力

2,645

の特徴単語に関しては，表 4 に示した通り，単語拡張に利

肯定的

2,455

用した場合はポジネガの推定において重要な役割を果たしての例において，ツイートベクトルの重みが大きな特徴単語となっており，影響が強過ぎることが分かる．それ以下ている．従って，「様子・様態」および「関係・関連」を削ドから構成される．

除し，特徴単語数を 264 種類と 4 の倍数とする．

図 4 にスマートフォンの製品ブランドに関する約 56 万
ツイートでパラグラフベクトル（PV-DBOW）を学習させ

3.2 英語版単語意味ベクトル辞書の構築たときの 5 例について，各ツイートと重みの大きな特徴

基本単語の英語化のフローを図 5 に示す．最初に 264 種

単語（中間層のノード）を上位から順に示す．「製品 B す類の特徴単語を英語化し，特徴単語が全く付与されていな

げぇ」「製品 B は神」に対しては共通の特徴単語「勢力・い基本単語を削除した．基本単語 2 万 300 語について，ク程度」「強力」「人間」の重みが大きく，「神」のツイート

ラウドサービスとして提供されているニューラル機械翻訳

に対しては「思想・哲学」や「実存」のように連想的関連の Microsoft Translator API*4 を利用して，基本単語を英のある特徴単語の重みが大きい．次の 2 例のスマートフォ

単語あるいは英語句に機械翻訳を行なった．日英辞書ではンの音質に関するツイートでは，共通の特徴単語「音楽」

なく，ニューラル機械翻訳を利用した理由は，難解な百科「感情」の重みが大きい．最後の充電と led 点灯に関するツ事典や新聞記事の説明用語を日常良く使われる英単語やイートでは，「明るさ」「発熱・発光」の内容に関連した特語句に翻訳することが目的である．結果として，翻訳誤り

徴単語の重みが大きい．

を含めて約 14,000 語のユニークな英単語・語句に翻訳さ

3. 分散的意味表現学習のための単語意味ベク
トル辞書 Ver.2
3.1 単語意味ベクトル辞書 Ver.2 の要件れた．この機械翻訳された英単語・語句を翻訳元の日本語
単語，および列挙された特徴単語との意味的，連想的関連
性から基本単語の校正をクラウドソーシングを利用して依頼した．日本語新聞が読める英語ネイティブ，もしくは単語意味ベクトル辞書 Ver.2 は，ニューラルネットワー

TOEIC900 点以上の日本人を募集し，応募者に基本単語

クの中間層のノードとして特徴単語を与えることにより，100 語の校正を無償のトライアルとして依頼した．100 語

パラグラフベクトルの可読性を高めることを目的とする．

の校正結果，校正に掛った時間，見積もりから 3 名のクラ

本目的における Ver.2 の要件は以下の 3 点である．

ウドワーカーを選択した．特にオンライン辞書を調べなく• 特徴単語がパラグラフベクトルの各次元に対応するため，特徴単語数は計算およびメモリ効率の良い 4 の倍数であること．

• 特徴単語を単語拡張として利用する場合は高頻度語はダウンサンプリングされるが，中間層のノードとする
場合は多くの基本単語に付与されている特徴単語の重みは大きくなるため削除する必要がある．

• 特徴単語は概念分類のため世界共通と考えられるが，
c 2017 Information Processing Society of Japan⃝ても校正が可能な日本語の知識があり，英語のセンスがある方を優先した．例えば，クラウドワーカー A は TOEIC
満点の米国在住経験 10 年以上（日本語・英語ネイティブ）の女性であり，トライアルを 10 分で行なった．ユニークな
英単語・語句は 13,551 語であり，内 7,692 語はニューラル
機械翻訳の結果をそのまま採用したことを示す．3 名の校正結果をマージし，21,912 語の英語版意味ベクトル辞書を作成した．単語意味ベクトル辞書 Ver2. の仕様を表 6 にサ
*4https://www.microsoft.com/en-us/translator/

4Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report

単語意味ベクトル辞書（2万330語）
ニューラル機械翻訳サービス利⽤

クラウドソーシングでTOEIC900点以上⽇本⼈，⽇本の新聞を読むネイティブ募集（65名応募，内45名が無償のトライアルに参加．3名採択）

クラウドワーカーA（個⼈）
13,551英単語・語句(内7,692翻訳）クラウドワーカーB（個⼈）14,119英単語・語句(内11,407翻訳)クラウドワーカーC（チーム）
13,628英単語・語句(内9,144語翻訳)

英語版意味ベクトル辞書（21,912語）

図 5 英語版構築のフロー

演奏会 娯楽・趣味 共同 多数・多量 ⽂化 芸術 ⾳楽 ⾳響
⽣化学 微⽣物 植物 ⼈間の⾝体 内臓器官 ⽣物の⾝体 健康・美容 医学・薬学…
遠⼤ 勢⼒・程度 ⼤規模 広⼤ 未来 思想・哲学 計画
短銃 殺⽣ 機械・機器 軍事・防衛 戦争・紛争 短さ 軍事技術
建つ 住居 建造物 施設・設備 ⽴体 形状 ⾼さ ⼟⽊・建築 建設業
出来 誕⽣ 活動 社会問題 災害 変化 価値・質 因果 肯定的 新しさ 容易 強⼒ 動作 …
建て 住居 建造物 会社・職業 施設・設備 国家 経済 ⾦融 秩序・順序 勢⼒・程度…
雪氷 気象・気候 凝固・凍結 寒冷 ⽩
厳し 活動 財政 エネルギー問題 国際関係 極地 感覚 否定的 複雑 困難
沖積 陸地 環境 変化 地理 地学
平然 感覚 感情 勢⼒・程度 ⼀般・平凡 単純 容易 強⼒ 理性的 個⼈ 静的 軽さ…
auctions economy behavior vast commerce customer
audicious emotion strong property behavior substantial thickness idea
audience hobby sport enjoyment majority general individual art image music customer
audience_seats sport structure facility space art image music customer
audio human language sound hobby machine music electronics
audio_source machine computer software soundaudio_training japan knowledge discussion book literature language
audiovisual human_body visceral_organ health sense medicine
audiovisual_senses human_body visceral_organ health sense medicine

図 6 単語意味ベクトル辞書 Ver.2 のサンプル

年 11 月の 13 ヶ月分，その他のカテゴリーに関しては 2015
年 1 月〜2016 年 2 月の 13 ヶ月分のツイートを製品名などのキーワードで収集を行なったものである。表 7 の総ツイート数は収集したツイートの全数を示す．各カテゴリー
ごとにクラウドソーシングを利用してラベル付けを行なった．各ツイートには 5 名の作業者を割り当て，多数決により，ラベルを付与した．多数決の結果，同点の場合は，1
ツイートに複数のラベルを付与した．ラベルは以下の 5 種類である．

• ポジティブ：対象カテゴリーの具体的な特徴に対して，ポジティブな意見を発信しているツイート．

• ネガティブ：対象カテゴリーの具体的な特徴に対しンプルを図 6 に示す．辞書の各行先頭に基本単語を置き，て，ネガティブな意見を発信しているツイート．

スペースを空けて特徴単語が列挙されている．英語句は，• ニュートラル：対象カテゴリーに対して，個人の意見

アンダーバーで英単語を結合している．

を発信しているが，ポジティブでもネガティブでもな

4. 日本語 Twitter 極性分析ベンチマーク

いツイート．

これまで著者らは，日本語 Twitter を対象に 2 種類のス
マートフォン製品ブランドのベンチマーク（約 1 万 2 千ツイートから構成される製品 B のベンチマーク，および総ツイート数は製品 B と比べて半分以下だが，1 ツイートの平均単語数が約 45%多い製品 A のベンチマーク）を構築し，• ポジ&ネガ：対象カテゴリーの具体的な特徴に対して，ポジティブな意見とネガティブな意見の両方を発信しているツイート．

• 無関係：対象のカテゴリーに対しての個人の意見を発信していないツイート．

提案手法の評価に用いてきた [8], [9]．しかし，製品数が 2

ここで注意が必要な点は，大規模ツイートに対してのク

種類では評価は十分とは言えないため，多様なカテゴリー

ラウドソーシングによる作業を効率的に行うため，ポジ（スマートフォン，ロボット掃除機，コンビニプリントサー

ティブおよびネガティブの判断基準を「具体的な特徴に対ビス，組織）を含む小規模なベンチマークを作成し，提案して」と明確にしたことである．従って，従来はポジティ

手法の評価を行なった [9]．多様性のあるベンチマークでブと判定していた図 6 の最初の 2 例は今回のラベル付与作評価を行うことの有効性を確認できたため，本研究では，業ではニュートラルとなり，具体的な特徴「音」や「充電

クラウドソーシングを利用して，多様性があり，かつ大規機能」について発信している後半 3 例がポジティブ，ネガ

模なベンチマークを構築した．

ティブの対象となる．

各カテゴリーごとに収集したツイート数，クラウドソー

クラウドソーシングによるラベル付与結果を元に作成しシングによりラベル付与を行なったツイート数を表 7 に示た日本語 Twitter 極性ベンチマークを表 8 に示す．クラウ

す．スマートフォン A，B に関しては 2014 年 10 月〜2015

ドソーシングによるラベル付与作業を行なったツイートのc 2017 Information Processing Society of Japan⃝5

Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report
表 7 クラウドソーシングによるツイートへのラベル付与数
カテゴリー

総ツイート数

ポジティブ

ネガティブ

ニュートラル

ポジ&ネガ

無関係

総ラベル付与数

スマートフォン A

130,650

2,906

5,188

16,054594

68,15892,900スマートフォン B

482,036

5,655

9,531

51,900603

18,88486,573

スマートフォン C

1,155,034

3,543

6,176

45,568408

28,84484,539

ロボット掃除機 A

11,664

741

311

6,894

41

4,371

12,358

ロボット掃除機 B

307,156

954

1,089

20,65455

48,092

70,844

コンビニプリントサービス

275,097

3,887

3,484

30,176

241

35,51473,302

メーカー A

187,584

744

4,421

40,95075

26,35872,548

メーカー B

169,532

1,503

937

13,62480

54,891

71,035

総数

2,718,753

19,93331,137

225,820

2,097

285,112564,099

表 8

日本語 Twitter 極性分析ベンチマーク

データセット

ポジティブ

ネガティブ

2 クラス計ニュートラル

無関係

合計

訓練セット

10,10015,61825,718137,089

180,186

342,993
85,747

開発セット

2,525

3,904

6,429

34,27245,046

テストセット

2,525

3,904

6,429

34,27245,04685,747

合計

15,15023,426

38,576205,633

270,278

514,487

ラベル無し

表 9

2,204,266

コーパスの統計情報項目

語数

語彙（出現頻度 5 以上）

126,213 語

コーパス中総出現単語

79,640,916 語

ダウンサンプリング対象高頻度語

2,910 語

基本単語

12,937 語表 10

極性分析による 2 クラス分類精度（標準偏差）

シードベクトル

開発セット

テストセット

単語意味ベクトル辞書

89.2%(0.3%)

88.2% (0.1%)

ランダム設定88.7%(0.4%)

88.6% (0.2%)

うち，ポジ&ネガのラベルや多数決により複数ラベルが付

単語意味ベクトル辞書のシードベクトルを⽤いた
コーパスのバルク学習

ランダム設定の初期ベクトルを⽤いた
コーパスのバルク学習

パラグラフベクトルによる訓練
セットと開発セットの特徴抽出
訓練セットの交差検証による
SVMの分類器構築
開発セットを対象に特徴抽出のパラメータ（学習回数）調整
テストセットによる評価

与されたツイートについては，今回はラベル無しツイートに含めた．ポジティブ，ネガティブの 2 クラス分類では，

図 7 極性分析の手順

38,576 ツイートと SemEval のベンチマークと比較しても大規模なベンチマークである．また，ポジティブ，ネガ
ティブの分類基準が明確なため信頼性が高く，製品，サー5. ケーススタディ

ビスや組織の具体的な特徴が明記されているため，商品企

単語意味ベクトル辞書 Ver.2 を利用して日本語基本単

画や品質サーポトにとって役に立つツイートと考えれる．

語のシードベクトルを作成し，パラグラフベクトル（PV-本ベンチマークはニュートラルを含めた 3 クラス分類

DBOW）を用いて，日本語 Twitter 極性ベンチマークの 2に使うことも可能である．しかし，単に製品やサービスがクラス分類を対象にケーススタディを行なった．表 7 の約

好き，欲しい，嫌い，必要ないのようなツイートは今回は272 万ツイート，2 種類のスマートフォン製品ブランドに

ニュートラルに含めたため，ニュートラルが１桁大きな不関する約 56 万ツイート，日本語単語意味ベクトル辞書 2

均衡データとなった．このため，3 クラウス分類において，

万 330 行を対象に出現頻度 5 回以上の単語をボキャブラリ

ポジティブ予測とネガティブ予測のマクロ平均 F 値を高めとした．その統計情報を表 9 に示す．

ることは非常に難しいタスクである．実応用としては，本日本語 Twitter 極性ベンチマークを用いた極性分析の手

ベンチマークから無関係をフィルタリングし，ニュートラ

順を図 7 に示す．シードベクトルとして単語意味ベクトル

ルをフィルタリングした後，ポジティブやネガティブを高辞書を用いた場合とパラグラフベクトルのデフォルト設定

精度で分類できなければ，商品企画や品質サポートの要望であるランダムの初期ベクトルを用いた場合の 2 クラスに応えることはできない．

分類の精度を比較した．表 10 に示す通り，シードベクト
ルとして単語意味ベクトル辞書を用いた場合，開発セット

c 2017 Information Processing Society of Japan⃝

6

Vol.2017-NL-231 No.8
Vol.2017-SLP-116 No.8
2017/5/15

情報処理学会研究報告
IPSJ SIG Technical Report

89.2%，テストセット 88.2%と高い精度を示し，5 回試行のクトの助成を受けたものである．

標準偏差も低く，パラグラフベクトルに匹敵する．また，
以下に例を示す通り，ロボット掃除機，コンビニプリント

参考文献

サービス，組織の多様なツイートにおいてもツイートに関[1]連した特徴単語が大きな重みを持つことを確認した．
ロボット掃除機 B すげ ー わ 部屋 の 空気 が すごい きれい に なっ た

[2]

[住居, 家族・家庭, 施設・設備, 環境, 建造物, 新しさ, 機械・機器]
A 社 さん の ロボット掃除機 A と 政宗 様 へ の 愛 を ひしひし と...
[顧客・ユーザ, 優しさ, 住居, 芸術, 平和, 音響, 会社・職業, 人間][3]

コンビニ プリント で 小冊子 作れる の ほんと 便利[書物・書籍, 勢力・程度, 価値・質, 新しさ, 製造・工作, 教育・育児][4]

え ！ B 社 社内 同性婚 ok ！ ？ 企業 が すすめる って すごい ！ ！

[会社・職業, 商業・貿易, 価値・質, 公共制度, 経済, 国際関係, 社会活動][5]

6. おわりに
本稿では，分散的意味表現のための単語意味ベクトル辞
書 Ver.2 および評判分析のための大規模かつ多様性のある[6]

日本語 Twitter 極性ベンチマークを提案した．また，単語意味ベクトル辞書 Ver.2 を元にパラグラフベクトルのシー[7]ドベクトルを作成し，日本語 Twitter 極性ベンチマークを用いたケーススタディを示した．ポジティブとネガティ[8]

ブの 2 クラス分類では，88%以上の精度を示しデフォルト（初期ベクトルがランダム）のパラグラフベクトルに匹敵すること，および重みが大きな特徴単語はツイートとの関[9]連性が高いことを確認した．
単語意味ベクトル辞書 Ver.1 は約 20 年前に作成されたため一部の単語は難解であり，Twitter のコーパスに 1 度[10]も出現しない基本単語が 10%程度ある．ニューラル機械翻訳とクラウドソーシングを利用して作成した Ver.2 の英語版に関しては，より現代の感覚に合った基本単語が選択さ[11]れた．その結果として，アンダーバーで複数の単語を接続した語句が多くなった．英語版の利用においては，英文テキストからの語句の適切な抽出が課題となる．

[12]
[13]

日本語 Twitter 極性ベンチマークは，日本のみならず海外においても共通のベンチマークとして活用されることを期待している．1 章で述べた通り，言語に依存しない文字[14]

T. Mikolov, K. Chen, G. Corrado, and J. Dean, ”Eﬃcient estimation of word representations in vector space,”
Proc. of Workshop at ICLR, 2013.
T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J.
Dean, ”Distributed representations of words and phrases
and their compositionality,” Proc. of NIPS, pp.31113119, 2013.
T. Mikolov, W. Yih, and G. Zweig, ”Linguistic regularities in continuous space word representations, ” Proc. of
NAACL HLT, pp.746-751, 2013.
Q. Le, T. Mikolov, ”Distributed representations of sentences and documents, ” Proc. of ICML, pp.1188-1196,
2014.
S. Rosenthal, P. Nakov, S. Kiritchenko, S. M Mohammad, A. Ritter, and V. Stoyanov, ”SemEval-2015 Task
10: Sentiment analysis in Twitter,” Proc. of SemEval2015, pp.451-463, 2015.
P. Nakov, A. Ritter, S. Rosenthal, F. Sebastiani, and V.
Stoyanov, ”SemEval-2016 task 4: Sentiment analysis in
Twitter,” Proc. of SemEval-2016, pp.1-18, 2016.
芥子育雄，池内洋，黒武者健一， 百科事典の知識に基づ
く画像の連想検索， 信学論 （D），vol.J79-D-II，no.4，
pp.484-491，1996.
芥子育雄，鈴木優，吉野幸一郎，大原一人，向井理朗，中村哲， 単語・パラグラフの分散表現を用いた Twitter からの日本語評判情報抽出， 第 8 回 データ工学と情報マ
ネジメントに関するフォーラム論文集 (A1-3)，2016.
芥子育雄，鈴木優，吉野幸一郎，グラムニュービッグ，大原一人，向井理朗，中村哲， 単語意味ベクトル辞書を用いた Twitter からの日本語評判情報抽出， 信学論 （D），
vol.J100-D，no.4，pp.530-543，2017.
B. Dhingra, Z. Zhou, D. Fitzpatrick, M. Muehl, and
W. Cohen, ”Tweet2Vec: Character-Based Distributed
Representations for Social Media,” Proc. of ACL, vol.2,
pp.269-274, 2016.
V. Soroush, V. Prashanth, and R. Deb, ”Tweet2Vec:
Learning Tweet Embeddings Using Character-level
CNN-LSTM Encoder-Decode,” Proc. of SIGIR, pp.10411044, 2016.
C. Fellbaum, ”WordNet,” Wiley Online Library, 1998.
鈴木敏， 辞書に基づく単語の再帰的語義展開， 情報処
理学会論文誌，vol.46, no.2, pp.624-630, 2005.
M. Faruqui, J. Dodge, S. Jauhar, C. Dyer, E. Hovy, and
N. Smith, ”Retrofitting Word Vectors to Semantic Lexicons,” Proc. of NAACL, pp.1606-1615, 2015.

単位のエンコーダ・デコーダモデルによる極性分析システ
ムとの性能比較が可能となる．
今後の課題としては，システム性能比較のためのベンチ
マークではない，実応用を視野に入れた本ベンチマークを用いたシェアードタスクの実現可能性を検討する．また，
単語意味ベクトル辞書 Ver.2 は現代の感覚に合った辞書となるように基本単語・特徴単語の追加・削除や英語句は抽出し易いように改良するなど，継続的な辞書のアップデー
トを実現する仕組みを確立することが重要である．さらには，パラグラフベクトルの可読性による品質確認を超えた
新規のアプリケーション提案を目指す．
謝辞

本研究の一部は，NAIST ビッグデータプロジェ

c 2017 Information Processing Society of Japan⃝

7