DEIM Forum 2019 C7-5

能動学習を利用した未知語アノテーションの検討
黒澤 瞭佑†

酒井 哲也†† 早稲田大学基幹理工学研究科情報理工・情報通信専攻〒 169-8555 東京都新宿区大久保 3-4-1
E-mail: †kuro-one@akane.waseda.jp，†tetsuyasakai@acm.org
あらましTwitter を対象とした感情解析を扱う従来研究の多くでは，ツイートに含まれる未知語が解析精度向上の妨げとなっている．未知語の感情を獲得する方法としては，人力で一つ一つアノテーションを行うという方法が挙げられるが，それには膨大な時間的・人的コストが掛かると同時に，SNS の強みである情報の即時性が失われてしまうという問題がある．本研究は，能動的アノテーション手法によって優先的にアノテーションを行う必要のある未知語を含むツイートを厳選して感情推定を行うことで，情報の即時性を維持したまま，低コストでツイートの感情を推定し，機械学習に利用可能な推定結果を得る手法を提案する．
キーワード 自然言語処理，感情解析，能動学習，テキストマイニング，Twitter

1. は じ め に
自然言語処理をはじめとする機械学習の分野では，ニューラ

キストデータへの感情アノテーションを，能動的ラベリングを用いて行うことでツイート全体の感情を機械学習に利用可能な形で推定する手法を提案する．

ルネットワークの技術を利用した研究が盛んに行われており，

能動学習とは，機械学習の際に大量のラベル付きデータを用

意味解析や構文解析，文書分類問題などの多くの分野で高精度意出来ない場合，選択的に人手によるアノテーションを行うこの結果を残している [1]．その自然言語処理の一分野である意見とで精度向上を図る教師あり学習の方法のひとつで，学習デー

分析や感情分析といった，テキストデータから書き手の意見やタが少ない場合に効果を発揮するものである [13]．この手法で感情を抽出する研究においても，ニューラルネットワークを利は人手によるアノテーションの前にアノテートすべきデータの用した解析が実現している [2] [3] [4]．

選定を行うため，精度向上の結果に寄与するデータを効率良くしかし，いずれの研究に関しても，モデルを学習するために見つけ出すことが可能である．

は膨大なデータとそれに応じた計算時間，それを実現する強力Twitter の未知語を含むテキストデータの感情ラベル付与にな計算機を必要としており，大規模データや計算機が確保でき

これを適用することによって，テキスト全体の感情推定を行う

ない場合には想定した成果を得ることが出来ないという問題がモデルの精度向上を見込むことが出来ると考えられる．よってある．また，学習の質や精度は，多くの場合，使用するデータ

本研究では，未知語を含むテキストデータへのラベリングを，の質や偏り，カテゴリなどに大きく依存するため，全ての文章

能動的アノテーション手法によって高効率・低コストでのポジに対して汎用性のあるモデルの作成は難しい．

ティブ・ネガティブ判定（極性判定）を行うことで，機械学習

特に，Twitter などの SNS サービスにおけるテキストデータを用いた研究には，省略語や短縮語，未知語などの一般的でない言葉の出現や，投稿文字数の制限などによる崩し言葉や文法
構造の乱れ，各語に対するデータ量や文法構造が一定でないな
どのために，汎用性だけでなく，同じようなテキストデータを入力しても芳しい精度が得られないという問題がある [5] [7] [8]．

に利用可能な推定結果を得ることを目標とする．

2. 関 連 研 究
2. 1 ニューラルネットワークを用いた感情解析
ニューラルネットワークを用いた感情解析の研究には以下のようなものがある．

また，学習に必要なラベルが付与されているデータが少なく，

Zhao ら [2] の研究では，Amazon のカスタマーレビューを基

教師あり学習においては十分な性能を持つモデルを作成するこに，カスタマーレビューの評価の星の数で極性ラベルを付与しとが出来ないことも問題となっている．

た弱教師ありの事前学習を行った後，アノテータによって極性

一方で，以前から行われているニューラルネットワークを用

ラベルが付与されたデータを用いて fine tuning した LSTM でいない研究には，テキストデータを単語レベルのベクトルとしのレビュードキュメント単位での極性判定を実現していた．

て教師あり学習を用いた分類を行うもの [5] や，単語に感情やChen ら [3] の研究では，Zhao ら [2] の研究と同様に，商品その度合いを表す数値などのラベルを付与してテキスト全体ののカスタマーレビューを対象にした LSTM を用いたドキュメ

解析を行う研究などが存在する [6] [7] [8] が，新語や未知語の誤

ント単位の極性判定を行った．その際，ユーザの好みや商品の分解や単語情報の不足・欠損などが解析精度向上の妨げとなっ特徴に Attention し，学習することで判定精度の改善に成功していると述べられている．

ている．

そこで，本研究では未知語の感情に着目し，未知語を含むテ

Ye ら [4] の研究は，センテンスを単語レベルに分割して事前学習した SentiNet と CNN を組み合わせることで，あらかじ

テーションを行うことを目的として，以下の 3 つの手順からなめ極性ラベルが付与されている SemEval のデータや映画のレる手法を提案する．図 1 は以下の手順を図式的に示した概要図

ビューの極性判定を行い，ベースラインであるシンプルな CNNである．

の結果を上回った．

1 つ目の手順では，入力されたツイートを形態素に分割し，いずれの研究においても，あらかじめラベルの付与された

ツイート全体の感情を感情極性値として数値化する．この段階

データセットを用いた学習を前提としており，データにラベル

では未知語の感情は考慮せず，次の手順で機械学習を行うための無い状態でこれらの手法を用いることは出来ないと言える．

の前段階として，ツイート全体を通しての感情を機械的に推定する自動アノテーションを行う．

2. 2 感情語辞書や単語ベクトルを用いた感情解析
感情語辞書や単語ベクトルを用いた感情解析の研究には以下のようなものがある．
松林ら [5] の研究では，Word2Vec [18] からツイートの特徴
ベクトルを生成し，喜怒哀楽の感情の推定を行った．また，堀2 つ目の手順では，前の操作で得た結果を基に感情のラベル付けを行い，単語ベクトルを用いた機械学習をもってツイートの感情ラベルを予測するモデルを作成する．モデルは入力されたツイートに対してツイートの感情ラベルを予測し，その予測確率を算出するものである．

宮ら [6] の研究では，ツイートに対する返信（リプライ）に着

3 つ目の手順では，前の操作で得られたモデルを用いて，未目し，人手によってラベル付けされたデータを用いて TF-IDF

知のツイートに対してラベル予測を行う．ここでは予測値が低などを用いて特徴量を算出し，分類器の学習を行うことで 6 種

いものに着目し，そこに未知語が含まれていれば，未知語の存

類の感情の推定を試みた．さらに，村石ら [7] の研究では，感在が正しい予測を妨げたと判断し，2 番目に予測値の高い感情

情語辞書と Yahoo!知恵袋のデータを利用してツイートの感情をツイートの感情とするアノテーションを行う．

値とカテゴリを推定し，それと対になる感情を誘発させる行動を推薦する研究を行った．

以上の手順の詳細を以下の項にて示す．

山本ら [8] の研究では，ツイートの感情解析のために，文書
内の単語間共起関係から感情語辞書を生成し，さらに新たな素性として Twitter 特有の顔文字に対して感情を付与した顔文字辞書を利用して感情推定を行った．
従来研究で得られた成果物を用いたものや，従来手法を用いて新たに生成したなどの違いはあるが，いずれも Twitter やYahoo!知恵袋と言った多くの不定形なデータの感情解析をする
ために，感情語辞書を用いた研究を行っていることが分かる．

2. 3 能動学習を利用した関連研究
能動学習を利用した研究として，Yang と Loog [12] の疑似アノテータを用いたクラス分類に関するものがある．まず少量のラベル付きデータから能動学習の学習器を基にラベル無しデー
タの中からラベル付けすべき候補を抽出し，選ばれた候補とそ

図1 概 要図の他のラベル無しデータの最近傍法の値を最小化する最終候補を１つ選択する．その後，選ばれた最終候補に複数の疑似アノ

3. 1 感情語辞書による自動アノテーション

テータを用いてランダムなラベリングを施したものを再び能動

本項では，感情語辞書を使ったツイートの自動アノテーショ

学習器を用いて候補を選んでいくというサイクルを作ることで，ンについて説明する．

すべてのデータをラベリングするのではなく，ラベルの必要な

ここでは，ツイート全体の感情はそのツイートに含まれる感もののみ選択することが可能となっている．また，選ばれた候

情語の感情ラベルによって決定されていると仮定し，単語レベ

補は，アノテーション可能な分だけ人間のアノテータに渡すこルに分解されたツイートから感情語辞書に含まれる単語を抽出とでラベル付きデータとなり，更なる精度向上に貢献している．

することで，感情を推定するものとする．感情語辞書とは，単以上の研究により，未知語を含むツイートの感情推定におい語に対して感情のラベルや値が与えられているものの集合を指ても，能動学習を用いてラベルの必要なデータのみを抽出する

し，ここでは先行研究で得られた 2 種類の感情語辞書を紹介ことや，疑似アノテーションによってラベリングすることが有する．

効な手段であると考えられる．

3. 提 案 手 法

1 つ目は，高村ら [9] の研究で得られた単語感情極性対応表である．単語感情極性対応表には約 55,000 語の名詞，動詞，副詞，形容詞に対し，語彙ネットワークを用いて算出された −1.0

本研究では未知語を含むツイートに対して適切な感情推定をから 1.0 までの値が感情極性値として付与されている．この場行うために，未知語を含むツイートに対して適切な感情アノ

合，値が −1.0 に近い程ネガティブで 1.0 に近いほどポジティブ図2

単語感情極性対応表の一例

な単語であると判断される．この感情語辞書は語彙数は多いが，

図 3 日本語評価極性辞書（用言編）の一例

一般的な語に関しては高精度で極性判定されているが，極性値が自動算出されたものであるため，あまり一般的でない語などに関しては正常な値でない場合があることが確認されている．

2 つ目は，小林ら [10]，東山ら [11] の研究で得られた日本語
評価極性辞書である．日本語評価極性辞書には約 5,000 語の用言と約 8,500 語の名詞および複合名詞に対しポジティブ，ネガ
ティブのラベルが付与されている．こちらは単語感情極性対応表と比較して一般的な語が多く，付けられた感情ラベルは全て人手でアノテートされたものであるので信頼度の高いデータと言えるが，データ量が少ないため，正しい感情推定が出来ない場合があるという欠点がある．
本研究では，では，1 つ目の感情語辞書である単語感情極性対応表を用いてツイートのアノテーションを行う．まず，ツイー
トを形態素解析ツールである MeCab を用いて単語レベルに分解する．形態素解析に使用した辞書は，新語や未知語に多く対応した mecab-ipadic-NEologd [17] を用いた．続いて，各単語の活用形を一般形に変換し，単語感情極性対応表に記載のある単語の形と揃えることで，より多くの単語に対して正しい感情値が得られるようにした．また，単語に感情値を与える際には
下記の 3 つのルールを適用した．

1. 「かなり」「すごい」「とても」の単語の直後の単語には1.2 倍の感情値を与える．
2. 「ない」は否定の助動詞である場合，直前の単語の感情極
性値に −1.0 倍の感情値を与える．

3. 後に出てくる単語ほど，ツイート全体の感情が表れやすいと仮定し，ツイート内の単語数に応じた重みを付与する．
上記のルールを適用し，ツイート中の各単語について感情極図 4 日本語評価極性辞書（名詞編）の一例

性値を計算した後，その総和を各ツイートの感情値とした．

3. 2 機械学習用ラベルの選定およびテストデータのラベル
推定
本項では 3. 1 項で得られた感情値を基に機械学習用のラベルを決定する．

3. 1 項で得られた感情値は未知語の感情を考慮していないが，「感情値が一定値以上のものは未知語を含んでいたとしてもツイート本来の感情は変化しない」と仮定すると，閾値を設定することでツイートの感情極性がポジティブ，ネガティブ，ニュー
トラルのいずれかに分類することが出来る．分類されたツイー
トは属するクラスの特徴を持つということが出来るため，これらのクラスをラベルとした機械学習を行いモデルを作成することで，未知のツイートの持つ感情を推定することが可能となる．
機械学習用のラベルは， label Positive，

label Neutral，label Negative の 3 種とし，モデルの学習には skip gram のアーキテクチャを利用した fastText [19] を用いた．

fastText とは，対象となる単語の周辺語の共起確率を計算
してベクトル化することで単語分散表現を学習する自然言語処

理アルゴリズムで，単語のベクトル化やテキスト分類を行う際に用いられる機械学習ライブラリのひとつである [14]．前身となったアルゴリズムとして word2Vec が存在するが，fastText
は単語分散表現の学習速度が速く，また，Subword model [15]による活用語や未知語のベクトル化にも対応しているため，未知語に着目した本研究ではこちらを採用した．
学習前のラベル付与の際の閾値は 3. 1 項の結果から決定する．
閾値の変化によるモデルの性能の比較をするために，閾値を変化させて学習したモデルを複数作成する．

3. 3 未知語を含むツイートに対するアノテーション
本項では，未知語を含むツイートに対するアノテーションを行う手法を説明する．3. 1 項で得られた各ツイートの感情値および 3. 2 項で作成した分類モデルは，未知語の感情を考慮していないため，未知のツイートに対して芳しい推定結果を得ることが出来ないと考えられる．しかし，未知語の存在と感情を考慮した場合には，考慮しない場合に比べてより精度の高い推定することが出来るようになると考えられる．
しかし，全ツイートデータ中の全ての未知語を考慮してアノテーションを行うことは時間的なコストやアノテータにアノSV = (SW V • EV ) • GV

(1)

実験環境および入出力を以下に示す．
【実験環境】
・形態素解析ツール：MeCab for Python [16]-カスタム辞書：mecab-ipadic-NEologd [17]・感情語辞書：単語感情極性対応表 [9]・Input: 200,000 Tweets and 450,000 Tweets (collected dur-

ing 01/01/2014 - 12/31/2014)
・Output: {input，parsed, sentiment vector, sentiment po-

larity}
実行例は以下の図 5 に示す．

input は入力したツイート，parsed は 3. 1 項で設定したルールに加えて分割した単語を基本形に戻してリスト化したもの，

sentiment vector は分割した各単語に対する感情極性値のリス
ト，sentiment polarity は sentiment vector の総和を取ったものとなっている．

テーションを依頼するコストが大きくなってしまう．また，全ての未知語にポジティブ，ネガティブ等の感情があるわけではないため，それらに対してもアノテーションを行うことは大きな時間的損失を生んでしまうと考えられる．
そこで，アノテーションを行うツイートを「未知語が含まれていることで全体の感情がポジティブかネガティブかの判定が付かない」不確実なものに限定することで，アノテーションの必要のない未知語を削減することができ，効率良く推定必要のあるツイートを選択出来ると考えられる．ここで，ツイートの感情の不確実さを図る指標として，3. 2 項で得られたモデルで推定された未知のツイートに対する推定ラベルの確率を利用する．入力した未知のツイートに未知語が含まれていた場合に得られるラベルが，一番目に推定されたラベルの確率が一定値を下回った場合に，代わりに二番目に推定されたラベルを選択することで，未知語の感情が付与されていないために起こる感情
ラベルの誤推定を能動的に修正し，ラベル判定をする．

図 5 感情語辞書による自動アノテーションの実行例

4. 2 機械学習用ラベルの選定およびテストデータのラベル
推定実験

4. 1 項で得られた結果を基に，学習用のツイートに機械学習用のラベルを付与する．
機械学習用のラベルは， label Positive， label Neutral，label Negative の 3 種として，fastText [19] による教師あり学習を行った．学習回数（epoch 数）は 1000 とし，入力は 4. 1
項で算出した感情極性値を設定した閾値で 3 種にラベル付けし4. 実験・結果
4. 1 感情語辞書による自動アノテーションの実験
3. 1 項の提案手法に従ってツイートにアノテーションを行う．
ツイート全体の感情値は以下の式を用いて，各単語に重みのついた感情値を付与した後，ツイートに含まれる単語の感情値のたツイートで，Model 0 は 20 万件（0.2M），それ以外は 45 万件（0.45M）とした．
各ラベルを付与するために設定した感情値の閾値と作成したモデルを以下の表 1 に示す．なお，ここでの x は入力したツ
イートの感情極性値とする．

総和を取ることで決定した．
形態素解析後のツイートの形態素数を i として，計算に用いる行列を，各単語に感情値を付与した i × i 行列の SW V ，3. 1
項で設定したルールに従って直後の語に重みを与える i × i 行
列の EV ，後半に現れる単語ほど一定に重みが大きくなる行列の GV とそれぞれ定義した．

表 1 ラベルの閾値とモデル名
Thresholds
Negative
NeutralPositive
Model name< x Model 0 (test 0.2M)x<= −0.18 −0.18 < x < −0.02 −0.02 =x<= −0.10 −0.10 < x < −0.02 −0.02 <= x Model 1 (train result 1 0.45M)x<= −0.08 −0.08 < x < −0.04 −0.04 <= x Model 2 (train result 2 0.45M)x<= −0.07 −0.07 < x < −0.05 −0.05 <= x Model 3 (train result 3 0.45M)

fastText によるモデル作成には，形態素に分割されたツイー

表 3 モデルによるラベル予測結果（System A）

Precision

RecallF-measure

Negative

0.32700.30590.6370

Neutral0.72280.0756

0.4160

Positive

0.45030.12120.5033

トとそれに対応するラベルが入力として必要になるため，3. 1
項で作成したシステムで形態素に分けたツイートと 4. 1 項で作成したラベルのペアを作成した．
モデル学習用に作成した入力データのラベリングの例を以下の図 6 に示す．

表 4 予測確率に基づく機械的ラベル予測結果 (System B)

Precision

RecallF-measure

Negative

0.32450.23420.6477

Neutral0.70730.0756

0.4135

Positive

0.44490.11430.5048

表 5 予測確率に基づく能動的ラベル予測結果 (System C)

図 6 閾値によるツイートのラベリングの実行例

Precision

RecallF-measure

Negative

0.33300.29350.6455

Neutral0.73390.07850.4184

Positive

0.45810.12390.5077

4. 3 未知語を含むツイートに対するアノテーションの実験
4. 2 項で作成したモデルを用いて評価用データのラベルの予測を行う．評価用データは，2 人のアノテータによってラベル付けされた全 2, 269 件のツイートの内，両者のラベルが一致した 1, 622 件のツイートとした．

表 6 ランダムラベルによるラベル予測結果 (System D)

Precision

RecallF-measure

Negative

0.25800.22180.5019Neutral0.32370.34300.3180

Positive

0.28710.26940.3893

各アノテータがラベルを付与した全 2, 269 件のツイートおよび一致した 1, 622 件のツイートに付与されたラベルの内訳を以結果を Tukey HSD 検定を用いて評価する [20] [21]．

TukeyHSD とは 2 つ以上のシステム間の統計的な有意差を下の表 2 に示す．
表 2 アノテータによるラベル付け結果と一致したラベルの数

Negative Neutral Positive

ALL

検定する多重比較法のひとつで，各システムによる評価値が同様のシステムから出力されたと仮定し，各評価値を行列化したもの中で行をランダムに並べ替えた際の各列の平均を求め，そannotator 0

625

556

1, 0882, 269annotator 1

598

645

1, 0262, 269の最大値と最小値との差の分布からシステムの p 値を算出する

Matched

451

344

827

1, 622

検定手法である．これにより，任意のシステム間の統計的有意差を調べることが出来る．

両方のアノテータの意見が一致した 1, 622 件のツイートに対して，3. 1 項で作成したモデルのみを用いて予測した手法（System A）の他に，ラベルの予測確率の低いツイートに対し各システム ABCD は，提案システムおよびベースラインに
以下の表 7 のように対応している．
表7

各システム名と実システムの対応表て機械的に予測ラベルを入れ替えた手法（System B）と未知

System A モデルによる予測語を含むツイートに対して能動的に予測ラベルを入れ替え手法

System B

確率に基づく機械的予測(System C) に対しての実験を行った．今回は，1 番目のラベ

System C

確率に基づく能動的予測

ルの予測確率が 0.6 未満だったものに限り予測ラベルの入れ替

System D ランダムな予測えの対象とした．機械的に予測ラベルを入れ替えたツイートは115 件，能動的に予測ラベルを入れ替えたツイートは 20 件 と各システム間の Tukey HSD 検定の結果を図 7 に示す．

なった．また，利用したモデルは全て Model 3 とした．

5. 結果と考察
5. 1 実験結果と評価
各システムによる評価用データの正解ラベルの予測結果を適合率 (Precision)，再現率 (Recall)，F 値 (F-measure) で評価したものを以下に示した．モデルのみを用いた予測結果を表 3に，機械的に予測ラベルを入れ替えたもののを表 4 に，未知語を含むツイートに対して能動的に予測ラベルを入れ替えたもの
を表 5 にそれぞれ示した．また，ベースラインとしてランダムにラベリングしたラベル予測結果の評価を表 6 に示した．

図 7 TukeyHSD による検定結果

察

出来ていることが分かる．しかし，ニュートラルやポジティブ

5. 2. 1 混合行列による評価と考察に関しては真と判定されたものが他に比べて少ないため，偽の4. 3 項の結果より，提案手法を用いたラベル予測は，ベース判定をしていることが多いことが分かる．特にニュートラルにラインとして設定したランダムに予測した予測結果をいずれも関しては本来はニュートラルであるのにネガティブと判定され上回る結果となった．また，提案手法では作成したモデルのみたものがほとんどを占めていることが分かる．これらの誤推定を利用したものより，予測確率の低いラベルに対して能動的には，感情語辞書による自動アノテーションと閾値を用いた学習

アノテーションを行ったものの方が良い結果を残していること

用ラベルの決定の手順に原因があると考えられるため，以下でが分かる．予測確率の低いツイート全てに対して機械的にラベ考察していく．

5. 2 考ルを入れ替えるものが，モデルのみの予測結果を下回った結果
としては，未知語が含まれていないツイートや未知語が含まれていてもツイート全体の感情には寄与しないものも含めて全てラベルを入れ替えてしまっているからであると推測できる．

5. 2. 2 感情語辞書を用いた自動アノテーションとラベリン
グへの考察
感情語辞書を用いた自動アノテーションの前処理として単語

機械的なラベリング手法と能動的なラベリング手法の結果をに対する感情値付与のために行った形態素解析では，全ての形比較すると，ネガティブなツイートの判定を除き，能動的なラ態素を基本形に直す，助動詞「ない」とその前の動詞を連結す

ベリング手法が F 値において機械的なラベリング手法を上回っ

る，記号や絵文字などの削除などでツイートを整形する処理をていることが分かる．機械的に入れ替えたラベルが 115 件，能行った．多くのツイートはその前処理によって正しく形態素に動的に入れ替えたラベルが 20 件であったことを考慮すると，少分割されていたが，人の名前や呼び名，漢字を用いずにひらがないアノテーション量で精度向上に貢献していると言えるため，なで書かれた単語，基本形が正しく登録されていない未知語な

効率の良いアノテーションが出来たと考えられる．

どに関しては誤分解が確認された．単語の誤分解によっては正

また，正解のデータに対してシステムがどのようなラベルをしい感情語の取得が出来ない場合があるため，今後は単語の連予測しているかを調べるため，各システムにおける正解ラベル

結確率を考慮した形態素解析を行う，基本形を持たない単語はと予測ラベルの混合行列を生成した．生成した各システムの混あらかじめ対象単語を用いるなど，誤分解を防ぐためのルール

合行列を以下の表 8，表 9，表 10，表 11 に示す．

の追加することや，単語ではなく文字レベルの分割から単語の区切れ目を学習して単語を獲得するなどの処理を検討する必要があると言える．

表 8 モデルによるラベル予測の混合行列

P-Negative P-Neutral P-Positive
T-Negative

326

23

T-Neutral

224

26

102
94

T-Positive

447

36

344
図 8 ツイートの誤分解の例

表 9 予測確率に基づく機械的ラベル予測の混合行列

P-Negative P-Neutral P-Positive
T-Negative

319

37

T-Neutral

227

T-Positive437

感情語辞書による自動アノテーションでは，感情語辞書をそ95のまま用いて感情値を算出したものより感情値の散らばりが少2691なくなったことによってそれぞれのツイートの感情の閾値を推

48

342

定しやすくなったという点では効果があると考えられる．しかし，ヒストグラム中の最頻値である −0.06 から −0.07 の付近

表 10 予測確率に基づく能動的ラベル予測の混合行列

P-Negative P-Neutral P-Positive
T-Negative

331

22

98

T-Neutral

225

27

92

T-Positive

438

43

346

にも，それ以外の感情と判定できるツイートが見られたため，
今回設定したルールを用いても感情語辞書内の数値と人間の感覚で知覚する感情との差を大きく埋めるには至らなかったと考えられる．設定するルールを増やすことやツイート内での感情値の重みの付け方を変化させることで改善することも可能であると考えられるが，今回の手法では感情語辞書の内容が結果に

表 11 ランダムラベルによるラベル予測の混合行列

P-Negative P-Neutral P-Positive
T-Negative

146

146

141

T-Neutral

110

113

121

T-Positive

301

247

279

大きく影響するため，より人間の感性に近い感情語辞書を使用すること出来ればより劇的に結果を改善できると言える．
閾値を用いた学習用ラベル決定では，自動アノテーション結果を用いて閾値を設定して付与するラベルを決定し，それを用いた学習を行った．その際に表 1 に示したように閾値を変化さ各混合行列を見ると，提案手法におけるネガティブなツイー
トに関しては真であるツイートが多く，正解に対して良く判定

せて数種類のモデルを作成したが，本実験では F 値を参照した
予測結果が一番良いモデルとして Model 3 を採用してラベル予測をした結果，表 8，表 9，表 10，表 11 のように Neutral と判定されるツイートの割合が低いことが分かった．

表 15 Model X のラベル予測結果

Precision

RecallF-measure

Negative

0.32740.30380.6391

Neutral0.73390.06980.4111

Positive

0.45280.11350.5004

そこで本実験に採用したモデル以外を用いた予測結果から同様に混合行列を求めたところ，以下の表 12，表 13 が得られた．
表 12 モデルによるラベル予測の混合行列（Model 1）

P-Negative P-Neutral P-Positive
T-Negative

239

153

59

T-Neutral

181

113

50

T-Positive

345

220

262

表 13 モデルによるラベル予測の混合行列（Model 2）

P-Negative P-Neutral P-Positive
T-Negative

292

73

86

T-Neutral

217

51

76

T-Positive

411

101

315

表 16 Model Y のラベル予測結果

Precision

RecallF-measure

Negative

0.3202

0.34880.6402

Neutral0.7361

0.0436

0.4196

Positive

0.44620.07750.5069

表 17 Model Z のラベル予測結果

Precision

RecallF-measure

Negative

0.32630.29410.6375

Neutral0.72280.07270.4148

Positive

0.44970.1166

0.5026以上の表 12，表 13 と 5. 1 項の混合行列の表 8 とを比較す
表 18 Model X の混合行列

ると，ニュートラルと判定できるツイートが増加することが分

P-Negative P-Neutral P-Positive

かった．また，Model 1 に関しては，真のニュートラルが他のラベルと判定される割合が，他の 2 つのモデルと比べて高いことも分かった．ニュートラルと判断される閾値の範囲を広げる

T-Negative

331

22

T-Neutral

226

24

98
94

T-Positive

454

33

340

ことでこの結果が得られたため，これにより，感情語辞書による自動アノテーションによる結果は，ニュートラルな感情を持

表 19 Model Y の混合行列つツイートを収集する際にはある程度有効であるということが示された．
しかし，いずれの結果においてもポジティブ・ネガティブであるツイートの真の推定割合は低いため，それらの感情を持つ

P-Negative P-Neutral P-Positive
T-Negative

332

14

T-Neutral

239

15

90

T-Positive

466

14

347

ツイートをより多く検出するための手法が必要となり，それを表 20 Model Z の混合行列実現するためには，人間の知識を利用した能動的なアノテー
ションをより効果的な形で行うことが重要であると言える．

5. 2. 3 fastText の学習パラメータ設定と結果への考察
本実験でモデル生成の際に使用した学習設定パラメータは，
学習回数である epoch を 1000 回と設定し，あとはデフォルト設定のままであった．そこで，設定したモデルの学習の際に設定した学習オプションを変化させた場合，結果にどのように影響するか調査した．

105

P-Negative P-Neutral P-Positive
T-Negative

326

24

T-Neutral

225

25

101
94

T-Positive

448

36

343

く変化することはないことが分かる．これは元々の学習データ自体が推定結果に大きく影響していることを表している．ただし，設定回数未満出現する単語を切り捨てる minCount のパラ
メータは，感情を推定するのに必要な単語を切り捨ててしまっているため，他に比べて推定精度が下がっていることが確認で学習時にどのパラメータを設定して学習したかを以下の表 14にまとめた．設定した閾値は全て本実験で利用した Model 3 と同様のものとし，epoch 数を変更する Model X 以外は epoch

きる．また，このパラメータ設定では本研究で着目している未知語の出現をなかったことにしてしまうため，今後の研究の際にも用いる必要がないと言える．

数 1000 回の設定をそのまま用いるとする．
表 14 パラメータのデフォルト値と各モデルの設定値

defaultset

5. 2. 4 Tukey HSD 検定に対する考察

Model X

Model Y

Model Z

表 7 に示した Tukey HSD による検定では，提案モデルに-epoch 5-minCount 1-dim 100

よるラベル予測 System A，確率に基づく機械的ラベル予測-epoch 100 -minCount 10 -dim 300

System B，確率に基づく能動的ラベル予測 System C のいず

以下に各モデルの適合率 (precision)，再現率 (Recall)，F 値(F-measure) をまとめた表 15，表 16，表 17 を示す．
以下には予測結果と正解ラベルの内訳である混合行列の表

18，表 19，表 20 を示す．
以上の結果より，学習パラメータの設定では推定結果が大きれもランダムなラベル予測 System D において 5%水準で統計的に有意であるという結果が得られた．しかし，提案手法である System A，System B，System C 間ではいずれにおいても統計的有意差を得ることが出来なかった．
この理由としては，Tukey HSD 検定自身がシステム間において統計的有意差を持つと結論付けることに対してかなり保守的な検定手法であるということに加え，ラベル推定の対象となった 1, 622 件のツイートの内，System B では 115 件，System C[8]では 20 件と入れ替えたラベルがごく少数に限られていたため，推定結果に対しての寄与率が低く，結果として有意差が得られ[9]なかったものと考えられる．
[10]

6. 結論と今後の課題
本研究ではツイートを対象とした感情推定を行うために，感[11]情が付与されていない故に推定の妨げとなる未知語に着目し，未知語を含むツイートに能動的なアノテーションを行う手法を[12]提案した．ツイート全体の感情を推定する上で用いた感情語辞書と設定したルールによる感情値推定手法および閾値を用いた
学習ラベル作成は，ニュートラルなツイートを判定するのには[13]

一定の効果があったが，ポジティブ・ネガティブなツイートを判定するには，更なるルール設定の必要性や，より人間の感性[14]に近い感情語辞書を学習に用いる必要があると言える．未知語を含むツイートの能動的ラベリング手法に関しては，予測確率[15]の低いものに限定して行ったため予測結果に大きく貢献することは無かったが，少ないアノテーションであっても予測結果を[16]向上させることが出来た．今回は能動的アノテーションがどの程度予測結果に影響するかの知見を得ることが出来たため，今[17]

後はこれらのアノテーション結果を再度機械学習の学習データ
内に取り入れて学習することで，人間の感性を学習したより良いモデルを作り出すことが出来るかどうか検証する必要があると考えられる．また，今回の研究のように感情語辞書を用いた
感情推定研究の他に，深層学習を利用した感情推定手法などに能動学習を取り入れ，推定精度向上に寄与するか検証することで更なる展望を期待できると考えられる．

文

献[1] Vaswani, A., Shazeer, N., Parmar, N. Uszkoreit, L., Jones,
L., Gomez, A. N., Kaiser, L., Polosukhin, I., “Attention is
All You Need, ” arXiv, https://arxiv.org/abs/1706.03762v5, 6 December, 2017.
[2] Zhao, W., Guan, Z., Chen, L., He, X., Cai, D., Wang, B.,
Wang, Q., “Weakly-Supervised Deep Embedding for Product Review Sentiment Analysis, ” IEEE Transactions on
Knowledge and Data Engineering, Vol.30, No.1, pp.185-197,
January 2018.
[3] Chen, H., Sun, M., Tu, C., Lin, Y., Liu, Z., “Natural Sentiment Classification with User and Product Attention, ”
Conference on Empirical Methods in Natural Language Processing, pp.1650-1659, November 2016.
[4] Ye, Z., Li, F., Baldwin, T., “Encoding Sentiment Information into Word Vectors for Sentiment Analysis, ” Proceedings of the 27th International Conference on Computational
Linguistics, pp.997-1007, August 2018.
[5]
松林圭， 五味京祐， 古川和折， 松尾祐佳， 松原良和， 日諸
マルセロ優次， 中村拓哉， 山下晃弘， 松林勝志，“Twitter 上に投稿された文章に基づく感情推定手法とその応用に関する検討,” 情報処理学会第 78 回全国大会， 2016．
[6] 堀宮ありさ， 板野遼平， 佐藤晴彦， 小山聡， 栗原正仁， 沼澤
政信，“Twitter における発話者へのリプライを用いたユーザ感情推定手法,” DEIM Forum 2012 F2-1， 2012．
[7] 村石将嗣， 北山大輔，“ツイートの感情推定に基づく対になる

[18]
[19]
[20]
[21]

感情を誘発する行動の推薦手法,” DEIM Forum 2016， P2-2，
2016．
山本湧輝， 熊本忠彦， 灘本明代，“Twitter 特有表現を考慮したツイートの多次元感情抽出手法の提案,” 情報処理学会関西支部 支部大会， 2014．
高村大也， 乾考司， 奥村学，“スピンモデルによる単語の感情
極性抽出,” 情報処理学会論文誌 Vol．47 No．2， pp.627-637，
2006．
小林のぞみ，乾健太郎，松本裕治，立石健二，福島俊一, “意見抽出のための評価表現の収集,” 自然言語処理，Vol．12, No．3,
pp.203-222, 2005．
東山昌彦, 乾健太郎, 松本裕治, “述語の選択選好性に着目した
名詞評価極性の獲得,” 言語処理学会第 14 回年次大会論文集,
pp.584-587, 2008．
Yang, Y., Loog, M., “Single Shot Active Learning using
Pseudo Annotators, ” arXiv,
https://arxiv.org/abs/1805.06660v1 ,17 May, 2018.
Settles, B., “Active Learning Literature Survey, ” Computer
Science Technical Report 1648, University of WisconsinMadison, Updated on 26 January, 2010.
Joulin, A., Grave, E., Bojanowski, P., Mikolov, T.,“Bag of Tricks for Eﬃcient Text Classification, ” arXiv,
https://arxiv.org/pdf/1607.01759v2.pdf, 7 July, 2016.
Bojanowski, P., Grave, E., Joulin, A., Mikolov, T., “Enriching Word Vectors with Subword Information, ” arXiv,
https://arxiv.org/pdf/1607.04606v1.pdf, 15 July, 2016.
“MeCab: Yet Another Part-of-Speech and Morphological
Analyzer,”
http://taku910.github.io/mecab/．
“mecab-ipadic-NEologd : Neologism dictionary for MeCab,”https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md.
“Word2Vec,” https://deeplearning4j.org/ja/ja-word2vec.
“fastText,“ https://fasttext.cc/
酒井哲也，“情報アクセス評価方法論 検索エンジン評価のために，” コロナ社，pp.158-166，2015．
Sakai, T., “Laboratory Experiments in Information Retrieval: Sample Sizes, Eﬀect Sizes, and Statistical Power,”
Springer, 2018.