日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

精度良く推測できなかったり，推測不可とエラーを返したりする

複数の感情分析ツールを統合したこともある．

メタ感情分析手法の提案

そこで本論文では，140 文字以内の短い文章（ツイート）を対象に，複数の感情分析ツールを統合することで，ツイート投稿者

熊本 忠彦 1の様々な感情をツイートからより頑健に，より高精度に推測でき

蒋 承志 2

るようになるメタ感情分析手法を提案し，メタ感情分析という考え方の可能性を検証する．

現在，Web 上には様々な感情分析ツールが公開されており，文なお，本論文で対象とする感情は，国語学者の中村明が提唱章からその書き手の感情を推測することも可能となっている．しした 10 種類の感情分類「哀，厭，安，怖，昂，好，喜，驚，怒，かしながら，単一の感情分析ツールには得意不得意があり，推測

恥」[10] をベースにした「悲しい，嫌い，安心，怖れ，高揚，好可能な感情の種類が限られていたり，精度良く推測できなかった

き，喜び，驚き，怒り，恥ずかしい」の 10 種類であり，ツイートり，推測不可とエラーを返したりすることもある．そこで本論文

投稿者の感情の強さを「感情が強く込められている（4 点），割とでは，140 文字以内の短い文章（ツイート）を対象に，複数の感込められている（3 点），やや込められている（2 点），あまり込

情分析ツールを統合することで，ツイート投稿者の様々な感情をツイートからより頑健に，より高精度に推測できるようになるメ

められていない（1 点），全然込められていない（0 点）」という
5 段階尺度に準じた実数値（0〜4）として定量化する．また，感タ感情分析手法を提案し，メタ感情分析という考え方の可能性を情分析ツールには，感情ラベルを付与するタイプのものと感情の検証する．なお，本論文で対象とする感情は「悲しい，嫌い，安強さを定量的に算出するタイプのものがあるが，本論文では，後心，怖れ，高揚，好き，喜び，驚き，怒り，恥ずかしい」の 10 種者の中から，複数の感情を対象とするツールを 3 種類，感情極性類であり，感情分析ツールには複数の感情を対象とするツールをを対象とするツールを 2 種類の計 5 種類を採用する．
ここで，本論文の以下の構成を示す．まず，2 章で関連研究に

3 種類，感情極性（ポジティブ/ネガティブ）を対象とするツールついて述べ，本研究の新規な点を示す．次に，3 章でツイートをを 2 種類の計 5 種類を採用する．

読んだときに感じるツイート投稿者の感情をアンケート調査に基1づいて定量化する．4 章でツイート投稿者の感情（アンケート調

はじめに

査結果の平均値）を目的変数，5 種類の感情分析ツールによって近年，ソーシャル・ネットワーキング・サービス（SNS）は，情算出された各ツイートの感情（感情値/感情極性値）を説明変数と報発信・収集手段の一つとして日常生活に欠かせないものとなっする重回帰分析を行い，各感情分析ツールの出力値を統合したメている．特に，Twitter [1] は，代表的なマイクロブログの一つで

タ感情分析手法を提案する．5 章で提案手法の精度を評価し，メあり，いつでもどこからでも 140 文字以内の短い文章を気軽にタ感情分析という考え方の可能性を検証する．最後に，6 章で本投稿・閲覧できるという利点があるため，年齢や性別に関係なく論文のまとめと今後の課題について述べる．

様々な人々に幅広く支持されている [2]．

2Twitter には，ジャンルを問わず様々な話題に関する個人の意
見や感情が発信されており，様々な問題や行為に対する世論を知関連研究
本章では，文章から感情あるいは感情極性を推測するための手

るための有益な情報源になっている．と同時に，友人や知人との法をいくつか取り上げる．以下に示すように，様々な感情分析手

コミュニケーション手段としても用いられており，プライベート法が提案されているが，感情あるいは感情極性を定量的に扱えるな情報が流通する場にもなっている．そして，こういった多種多手法であれば，たとえ出力として感情ラベルや感情極性ラベルを様な話題に対する様々な情報から抽出される感情あるいは感情極付与する手法であっても，メタ感情分析手法に統合することは可性（ポジティブ/ネガティブ）を利用して，別のサービスにつな能と考えられる．本論文では，いくつかの既存の感情分析ツール

げようという研究も少なくなく，多岐にわたっている．例えば，の出力値を統合することで，様々な感情をより頑健に，より高精炎上（投稿者が意図しない投稿の広がり）の検知 [3] やニュース

度に推測できるようになることを示し，メタ感情分析という考え

記事閲覧者のアクセス解析 [4]，相談窓口における苦情処理の支方の可能性を検証している点が新規な点と言える．

援 [5]，特定銘柄の株価予測 [6]，災害時における被害情報の抽

複数の感情ラベルを対象に，感情ラベルの付与判定を行うため

出 [7]，フォロイーの推薦 [8]，サッカー選手の自動採点 [9] などの手法がある．例えば，松林らは，「喜」，「怒」，「哀」，「楽」にが挙げられる．

「無感情」を加えた 5 種類の感情を対象に，Word2Vec [11] を用

文章からその書き手の感情を推測するためのツールとして様々

いてツイートをベクトル化し，ランダムフォレストにより構築しな感情分析ツールが公開されているが，単一の感情分析ツールにた分類器を用いることで，ツイートに感情ラベルを付与する手は得意不得意があり，推測可能な感情の種類が限られていたり，

法 [3] を提案している．一方，本間らは，著者らの研究と同様，
中村明の 10 感情 [10] を採用しており，この 10 感情に「無感情」

1 正会員

を加えた 11 種類の感情ラベルの中から一つを付与する手法 [4]千葉工業大学 情報科学部 情報ネットワーク学科を提案している．具体的には，一般回帰ニューラルネットワーク

kumamoto@net.it-chiba.ac.jp
2 非会員

フリー

（GRNN: Generalized Regression Neural Network）[12] を用いて

jmq327279161@gmail.com

1

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

ツイートに対する各感情のスコアを求め，最大値をとる感情のラ

表1

予備調査 2 における設問内容

ベルを付与するが，その最大値が閾値以下の場合は感情ラベルとして「無感情」を付与する．ただし，GRNN を用いてツイートの

設問番号

設問内容

感情極性値も算出し，その結果，ポジティブと判定されたにもか

Q1, Q3, Q5

あなたは普段どのようなツイートを投稿していかわらず，ネガティブな感情ラベル「怒，哀，怖，厭，恥」が付ますか？あなたが普段しているようなツイート

与されている場合や，ネガティブと判定されたにもかかわらず，を、今ツイートをするようなイメージで入力してください。

ポジティブな感情ラベル「喜，好，安」が付与されている場合は，

Q2, Q4, Q6

感情ラベルを「無感情」に変更する．

今、入力したツイートにはどのような感情が込められていますか？以下の選択肢の中からお答

感情極性（ポジティブ/ニュートラル/ネガティブ）を判定する

えください。

ための手法がある．例えば，秋山らは，節単位で各単語の原形や品詞名，極性値 [13]，および極性反転語（逆接の接続詞や接続助詞など）の出現数を抽出し，条件付き確率場（CRF: Conditional

Random Field）を用いて感情極性を判定する手法 [5] を提案してツイート感情データの取得

3いる．
感情極性の強さを判定するための手法がある．例えば，三和ら

本章では， 3.1 節で Twitter を一定以上の頻度で利用しているは，単語の感情極性を「ポジティブ」（1.0），「少しポジティブ」

ヘビー投稿ユーザとヘビー閲覧ユーザを抽出し， 3.2 節でヘビー（0.4），
「どちらでもない」（0.0），
「少しネガティブ」（−0.4），「ネ

投稿ユーザが普段使用しているツイートを収集する． 3.3 節で収ガティブ」（−1.0）の 5 段階に分けるとともに，単語の感情極性集したツイートの中から選出したツイート（200 個）をヘビー閲への影響を「強調」（1.5），「補足」（1.1），「弱化」（0.2），「否定覧ユーザに読んでもらい，各ツイートに込められているツイート（打消）」（−0.8）の 4 段階に分け，独自に構築した極性値辞書（単

投稿者の感情を評価してもらうことで，ツイート感情データを取

語の極性値を表す辞書）と影響値辞書（感情極性への影響度を数得する．

値化した辞書）を用いてツイートの感情極性値を算出し，その感

3.1

情極性を判定する手法 [14] を提案している．

ヘビーユーザの抽出（予備調査 1）

本節では，アンケート調査（予備調査 1）を行い，一定以上の頻本間らの手法 [4] や秋山らの手法 [5]，三和らの手法 [14] では，度で Twitter 上でつぶやいているヘビー投稿ユーザと一定以上の出力として感情ラベルあるいは感情極性ラベルを付与している

頻度で Twitter を閲覧しているヘビー閲覧ユーザを抽出する．なが，その計算過程で，感情や感情極性を数値化しているため，メお，本論文ではすべてのアンケート調査をインターネット調査会

タ感情分析手法に統合することが可能と考えられる．

社 [25] を介して Web 上で実施している．

一方，複数の学習器を用意し，それぞれの学習器に学習データ

まず，20 代〜50 代のインターネットユーザを対象に予備調査を与え学習させた上で融合することで，精度の向上を目指すアン

1 を実施し，男性 10,808 人，女性 11,002 人からなる 21,810 人分

サンブル学習 [15] [16] と呼ばれる学習方法がある．Akhtar らのの回答データを収集した．具体的には，設問 Q1 で Twitter アカ

研究 [15] では，3 つの深層学習手法（CNN: Convolution Neural

ウントの有無を尋ね，「はい」，「いいえ」，「ツイッターが何かわ

Network [17]，LSTM: Long Short Term Memory Network [18]，からない」の三択に対し「はい」と回答した人には，設問 Q2 とGRU: Gated Recurrent Unit [19]）と 1 つの機械学習手法（SVR:

Q3 において Twitter の閲覧頻度と投稿頻度を尋ねた．閲覧頻度

Support Vector Regression [20]）を用い，経済に関するニュース

に関しては，「ほぼ毎日（1 日に 4 回以上）」，「ほぼ毎日（1 日にやマイクロブログ上のテキスト情報から株式市場のセンチメン

2 回〜3 回）」，「ほぼ毎日（1 日に 1 回）」，「週 4〜5 日」，「週 2〜

トを −1（弱気）〜 + 1（強気）の範囲で推定する手法を提案して3 日」，「週 1 日」，「たまに閲覧している」，「ほとんど閲覧していいる．また，Han らの研究 [16] では，4 つの回帰モデル（Linearない」の 8 つの中から，投稿頻度に関しては，「ほぼ毎日（1 日にRegression [21]，Huber Regression [22]，GBDT: Gradient Boost

4 回以上）」，「ほぼ毎日（1 日に 2 回〜3 回）」，「ほぼ毎日（1 日に1 回）」，「週 4〜5 日」，「週 2〜3 日」，「週 1 日」，「たまにつぶや

Decision Trees [23]，XGBoost [24]）を組み合わせ，ツイート投稿者の 4 種類の感情（anger，sadness，joy，fear）の強度を 0〜1

いている」，「ほとんどつぶやいていない」の 8 つの中から最も近の範囲で推定する手法を提案している．このアンサンブル学習といものをそれぞれ 1 つずつ選んでもらった．

いう考え方と本研究のアプローチは似ているが，本研究で用いた最終的には，Twitter アカウントを持っていると答えた 10,672

感情分析ツールはいずれも個別に設計・開発された既存品である

人のうち，「ほとんど閲覧していない」と回答した 1,750 人を除く

ため，提案手法が対象とするツイートを用いて学習させることが8,922 人（83.6%）をヘビー閲覧ユーザとして抽出し，「ほとんどできない点や提案手法が対象とする感情と完全には一致しない感

つぶやいていない」と回答した 5,062 人を除く 5,610 人（52.6%）

情（あるいは感情極性）を対象に設計されている点が異なっていをヘビー投稿ユーザとして抽出した．

る．加えて，本研究では，対象とする感情に合わせて設計された

3.2

ツイートの収集（予備調査 2）

わけではない既存の感情分析ツールの出力値を統合することで，本節では，アンケート調査（予備調査 2）を行い，ツイートを様々な感情をより頑健に，より高精度に推測できるようになりう

収集するとともに，それぞれのツイートにツイート投稿者が込めることを示している点が新規な点と言える．

た感情をデータとして取得する．なお，ツイート投稿者の感情に2

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

施し，20 代〜50 代の男性 1,131 人，女性 1,129 人からなる 2,260

表 2 本調査における設問例

人分の回答データを収集した．具体的には，それぞれのデータ
設問内容

セット内の 20 ツイートを 224〜228 人の回答者に読んでもらい，

あなたがフォローしている人が以下のようなツイートをした

ツイート投稿者の感情を評価してもらった．このとき，一人の回とします。そのツイートを読んで、ツイートを投稿した人の答者が複数のデータセットを評価しないよう調整した．

どのような感情がそのツイートに込められているとあなたは回答者に提示した設問の例を表 2 に示す．感情評価の方法は投感じますか？

稿者感情データ取得時とほぼ同じであり，各回答者には，提示された 10 個の評価項目の各々に対し，「感情が強く込められてい健康診断受診しました。健康でした。

る（4 点），割と込められている（3 点），やや込められている（2点），あまり込められていない（1 点），全然込められていない（0点）」の中から最も近いものを 1 つ選んでもらった．なお，20 ツ関するデータは，本調査（ 3.3 節）で用いるツイートを取捨選択

イート ×10 感情のデータに対する 5 段階評価において一度も評する際に用いられる．

価されなかった点数が 3 つ以上ある回答者のデータを評価結果

まず，前節で抽出したヘビー投稿ユーザを対象に予備調査 2 をに偏りのあるノイズデータと見做し，削除した．そのため，1 ツ実施し，20 代〜50 代の男性 554 人，女性 554 人からなる 1,108

イート当たりの回答者数は 208〜219 人になった．

人分の回答データを収集した．具体的には，表 1 に示したよう

以上の結果，200 ツイートに対するツイート感情データ（200に，設問 Q1，Q3，Q5 でツイートを入力してもらい，続く設問

ツイート × 10 感情 × 5 段階評価の平均値）が得られた．ツイー

Q2，Q4，Q6 で前問で入力したツイートに込めた感情を回答してト感情データの例を表 3 に示す．

もらった．このとき，Q1 と Q2 への回答は必須としたが，Q3 以

メタ感情分析手法の提案

4

降は任意とし，回答できる人のみが回答した．また，感情評価のために回答者に提示した評価項目は，
「悲しい」
，
「嫌い」
，
「安心」
，

本章では， 4.1 節でメタ感情分析手法のベースとなる各感情

「怖れ」，
「高揚」，
「好き」，「喜び」，「驚き」，「怒り」，「恥ずかし分析ツールの概要を示す． 4.2 節でツイート感情データ（200 ツい」の 10 個であり，それぞれの評価項目に対し，「感情を強く込

イートに対する 5 段階評価の平均値）を目的変数，それぞれの感めた」（4 点），
「割と込めた」（3 点），「やや込めた」（2 点），「あ情分析ツールによって 200 ツイートから算出された出力値を説

まり込めていない」（1 点），「全然込めていない」（0 点）の中か

明変数とする重回帰分析を感情毎に行い，各感情分析ツールの出ら最も近いものを 1 つ選んでもらった．

力値を統合する重回帰式を作成する．本論文で提案するメタ感情

以上の結果，2,786 件分のツイートと投稿者の感情に関する分析手法は，感情毎に用意された重回帰式に各感情分析ツールのデータが得られた．ただし，このデータの中にはノイズと思わ

出力値を代入することで，その感情の感情値を算出するというもれるデータも含まれていたため，（1）「なし」や「日頃の生活」，のである．

「サッカーについて」といったツイートではないと思われるデー

4.1

採用した感情分析ツールの概要

タやハッシュタグ付きのデータ，伏せ字，絵文字，顔文字等を含

本節では，メタ感情分析手法のベースとなる各感情分析ツール

むデータを削除する，（2）10 個の評価項目のうち 7 個以上におの概要を示すとともに，各感情分析ツールの出力に欠損値が生じいて「感情を強く込めた」もしくは「割と込めた」が選ばれていた場合の処理についても述べる．なお，本研究では，複数の感情るような感情評価の結果に偏りがあるデータを削除する，（3）重を推測するためのツールとして，著者らが提案した印象マイニン

複したツイートを削除する，（4）差別的な発言や侮蔑的な発言，

グシステム [26] と User Local 社のテキスト感情認識 AI [27]，お性的な発言など不適切な内容を含むデータを削除する，という手

よび Metadata 社の感情解析 API [28] を採用し，感情極性を求め順で著者らの判断によりデータクリーニングを行った．

るためのツールとして，Google Cloud の Natural Language (NL)

このデータクリーニングの結果，838 件分のツイートと投稿者
感情データ（10 感情 × 5 段階評価値）が得られた．最終的には，API [29] と Metadata 社の高精度ネガポジ API [30] を採用する．
ここで，参考のために，表 3 に示した 6 つのツイートを入力とこの 838 件分のデータから，それぞれの感情において強い感情した場合の各感情分析ツールによる出力値を表 4 にまとめる．なを持つ 20 個のツイートを選出し，全部で 200 ツイート分のデー

お，表 4 において記号「—」は欠損値であることを示している．

タからなる 10 個のデータセットを作成した．すなわち，各デー

4.1.1

印象マイニングシステム

タセットには，それぞれの感情において強い感情を持つツイート

著者らが提案した印象マイニングシステム [26] は，新聞記事

2 個（全部で 20 ツイート）とその投稿者感情データが含まれてデータベースを解析することで，それぞれの記事に現れた各単語

いる．

がその記事の印象に及ぼす影響を数値化し，印象辞書を構築する

3.3

ツイート感情データの取得（本調査）ことができる．具体的には，「ある印象を有する単語はその印象を表現する印象語群と共起 *1 しやすく，逆の印象を表現する印象

本節では，アンケート調査（本調査）を行い，ツイートを読んで感じるツイート投稿者の感情を評価してもらうことで，ツイー
ト感情データを取得する．

*1 文献 [26] では，2 つの語が同じ記事内で用いられていることを共起と定義

まず， 3.1 節で抽出したヘビー閲覧ユーザを対象に本調査を実

している．

3

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

表3

ツイート感情データの例

ツイート

悲しい

嫌い

安心

怖れ

高揚

好き

喜び

驚き

怒り

恥ずかしい

娘が歩いた！

0.18

0.18

2.10

0.27

3.20

2.75

3.57

3.01

0.18

0.25

息子が大学に合格しました〜！！

0.21

0.21

2.70

0.22

3.27

2.29

3.58

1.96

0.14

0.30

電車が満員 くさい

2.22

3.37

0.20

1.55

0.80

0.17

0.14

1.46

3.30

0.51

今目の前で、火災が起きました。

1.59

0.92

0.28

2.30

1.71

0.38

0.39

2.68

0.95

0.33

お店に行ってみたけど売り切れだったー。

2.98

1.20

0.33

0.71

0.86

0.37

0.33

1.29

1.66

0.51

今日の歌番組、好きな歌手出てる〜！

0.22

0.25

1.63

0.23

3.08

3.25

3.37

2.12

0.18

0.36

最悪

表4

各感情分析ツールの出力値（表 3 で示したツイートを対象に）

印象マイニングシステム

No.

ツイート

嬉しい

好き

安心

笑い

誉れ

高揚

驚く

⇔ 悲しい

⇔ 嫌い

⇔ 不安

⇔ 怒り

⇔恥

⇔ 冷静

⇔ 平気

1

娘が歩いた！

0.40

0.60

0.46

0.55

0.30

0.51

0.46

2

息子が大学に合格しました〜！！

0.47

0.58

0.41

0.54

0.33

0.46

0.54

3

電車が満員 くさい

0.44

0.63

0.42

0.52

0.36

0.57

0.49

4

今目の前で、火災が起きました。

0.30

0.74

0.58

0.61

0.28

0.33

0.45

5

お店に行ってみたけど売り切れだったー。

0.50

0.70

0.39

0.55

0.50

0.43

0.56

6

今日の歌番組、好きな歌手出てる〜！

0.52

0.68

0.48

0.65

0.37

0.59

0.45

最悪

User Local

Metadata

Google Cloud

Metadata

テキスト感情認識 AI

感情解析 API

Natural Language API

高精度ネガポジ API

ポジティブ

ポジティブ

好ましい

嬉しい

怒り

No.

喜び

好き

恐れ

悲しみ

怒り

⇔ 嫌い

⇔ 悲しい

⇔怖れ

⇔ ネガティブ

⇔ ネガティブ

1

—

—

—

—

—

0

0

0

0.2

0

2

0.85

0.32

0.60

0.16

0.49

0

0

0

0.8

0

3

0.01

0.02

0.65

0.15

0.43

0

−3

0

−0.9

−1

4

0.40

0.43

0.67

0.12

0.45

0

0

0

0.3

0

5
6

0.15
0.65

0.15
0.88

0.51
0.05

0.49
0.12

0.11
0.38

0
1

0
0

0
0

−0.1
0.6

0
2

語群とは共起しにくい」という仮定のもと，新聞記事データベーければ 1 に近づき，右側の感情が強ければ 0 に近づく．

スに現れる任意の単語と印象軸を構成する対比的な印象を有する

4.1.2 User Local テキスト感情認識 AI

2 つの印象語群との共起の仕方を調べ，どちらの印象語群とよりUser Local 社のテキスト感情認識 AI [27] は，深層学習ベース

共起しやすいかを数値化することにより，印象辞書（単語が記事のツールであり，文章を入力すると，「喜び」，「好き」，「恐れ」，の印象に及ぼす影響を数値化したもの）を構築している．このと「悲しみ」，「怒り」の各感情に対し，0〜1 の実数値を出力する．

き，文献 [26] では，「楽しい ⇔ 悲しい」，
「嬉しい ⇔ 怒り」，「の

このとき，数値が 1 に近づくほどその感情が強いことを表し，0

どか ⇔ 緊迫」という 3 種類の印象軸を定義し，それぞれの印象に近づくほどその感情が弱いことを表している．なお，入力する軸に対し対比的な印象を有する 2 つの印象語群を用意している．

文章の文字数は 20〜300 文字が推奨されており，10 文字未満がそこで本論文では，本研究で対象とする 10 種類の感情を念頭に，入力された場合はエラーとなる．そのため，表 4 に示したよう「嬉しい ⇔ 悲しい」，「好き ⇔ 嫌い」，「安心 ⇔ 不安」，「笑い ⇔に，6 文字からなるツイート「娘が歩いた！」に対しては欠損値

怒り」，「誉れ ⇔ 恥」，「高揚 ⇔ 冷静」，「驚く ⇔ 平気」という 7が生じている．

種類の感情軸を定義し，それぞれの感情軸に対比的な感情を有す

4.1.3 Metadata 感情解析 API

る 2 つの感情語群を用意した上で，印象マイニングシステムを用

Metadata 社の感情解析 API [28] は，文章を「好ましい ⇔ 嫌

いて感情辞書を構築した．ここで，それぞれの感情軸に用意したい」，「嬉しい ⇔ 悲しい」，「怒り ⇔ 怖れ」という 3 種類の感情

感情語群を表 5 に示す．なお，この感情辞書を用いた場合，出力軸で評価し，それぞれの感情軸に対し +3〜−3 の整数値（7 段階となる感情値は，0〜1 の実数値であり，感情軸の左側の感情が強尺度値）を出力する．それぞれの感情軸の左側の感情が強ければ4

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

4.2

表 5 各感情軸を構成する感情語群

感情軸
嬉しい

⇔ 悲しい
好き

本節では，各感情分析ツールの出力値を統合するために，重回

感情語

帰分析を行い，提案するメタ感情分析手法の核となる重回帰式をうれしい，嬉しい，喜ぶ，歓喜する

作成する．

悲しい，哀しい，悲しむ，哀しむ，嘆く

まず， 3.3 節で取得したツイート感情データ（200 ツイート ×

好きだ，大好きだ，愛好する

⇔ 嫌い
安心

対象とする感情 × 5 段階評価の平均値）を目的変数，それぞれの嫌いだ，大嫌いだ，嫌悪する

感情分析ツールによって算出された出力値（200 ツイート × (15

安心だ，安心する，平気だ，安堵する⇔ 不安

感情値 + 2 感情極性値)）を説明変数とする重回帰分析を感情毎に不安だ，心配だ，心配する，恐れる，怖い，恐行った．その結果得られた重回帰式を表 6 にまとめるとともに，怖する，危惧する，憂慮する笑い

このときの自由度修正済み決定係数を表 7 に示す．なお，重回帰

笑う，大笑いする，喜ぶ

⇔ 怒り
誉れ

分析にはエスミ社のソフトウェア「EXCEL 多変量解析 Ver.7.0」

怒る，憤る，激怒するを用い，変数選択には変数増減法を採用している．

誉れだ，名誉だ，栄誉だ，誇る⇔恥

表 7 によれば，自由度修正済み決定係数は概ね 0.5 以上となっ恥ずかしい，恥だ，気恥ずかしい，不名誉だ，ており，得られた重回帰式の元のデータに対する当てはまり具合

恥じる
高揚が良いことを示している．しかしながら，「驚き」と「恥ずかし高揚する，高ぶる，熱烈だ，興奮する

⇔ 冷静
驚く

い」に対しては，それぞれ 0.05，0.21 という小さい値となってお冷静だ，落ち着く

り，採用した説明変数がそれらの感情を表現するのに向かなかっ

驚異的だ，驚く，驚愕する，驚嘆する，びっくたことを示している．

りする

⇔ 平気

重回帰分析による統合

なお，本研究では，提案手法の出力として，「感情が強く込め平気だ，平然とする，平然たるられている（4 点），割と込められている（3 点），やや込められている（2 点），あまり込められていない（1 点），全然込められていない（0 点）」という 5 段階尺度に準じた 0〜4 の間の実数値+3，右側の感情が強ければ −3 となり，中立な感情の場合は 0 とを想定しているが，重回帰式を用いる性質上，0 より小さい数値

なる．

や 4 より大きい数値が算出されてしまう場合がある．そこで，提4.1.4 Google Cloud Natural Language API

案手法では，0 より小さい数値が算出された場合は 0 に，4 よりGoogle Cloud の Natural Language (NL) API [29] は，入力さ大きい数値が算出された場合は 4 に丸めることにする．

れた文章の感情極性を数値化し，+1〜−1 の実数値を出力する．

5

すなわち，この感情分析ツールの出力値は，入力された文章の精度評価によるメタ感情分析の可能性検証

背景にある感情が全体的にポジティブであれば +1 に近づき，逆本章では，複数の感情分析ツールを統合するというアプローチにネガティブであれば −1 に近づく．出力値が 0 に近いときは，（メタ感情分析という考え方）の可能性を検証する．具体的には，

ニュートラルと捉えることができる．

まず， 5.1 節でそれぞれの感情分析ツールをベースにベースライ

4.1.5

Metadata 高精度ネガポジ API

ン手法（計 5 種類）を作成する．そして， 5.2 節で重回帰分析用

Metadata 社の高精度ネガポジ API [30] は，文章を解析し，その学習データ（200 ツイート分のツイート感情データ）を用いて，の内容がどの程度肯定的かあるいは否定的かに応じて +3〜−3 の5 種類のベースライン手法と提案手法であるメタ感情分析手法の整数値（7 段階尺度値）を出力する．すなわち，とても肯定的と精度を評価し，比較するとともに， 5.3 節で学習データを用いて判断すれば +3 を出力し，逆にとても否定的と判断すれば −3 を

5 分割交差検定を行い，未知データに対する提案手法の精度を評出力する．なお，この高精度ネガポジ API は，辞書ベースのツー価することで，メタ感情分析という考え方の可能性を検証する．

ルであり，数万以上の形容表現・価値判断表現類に対しあらかじ

5.1 ベースライン手法の作成め付与された 7 段階のネガポジ属性「exellent，very good，good，

本論文で用いる各感情分析ツールは，本論文で対象としていneutral，no good，bad，very bad」を用いて肯定的・否定的の度る 10 種類の感情に合わせて設計されているわけではない．その合いを算出している．

ため，感情分析ツールをそのままの形でベースライン手法として

各感情分析ツールの出力に欠損値が生じ場合の処理用いても十分な精度が見込めない．そこで本節では，以下の手順

メタ感情分析手法は，各感情分析ツールの出力に欠損値が生で１つの感情分析ツールからベースライン手法を１つ作成し，計

4.1.6

じた場合，中間的な値で代替する．すなわち，著者らの印象マイ

5 種類のベースライン手法を用意する．

ニングシステムと User Local 社のテキスト感情認識 AI では，0

まず，それぞれの感情分析ツールを用いて，学習データとなる〜1 の範囲で実数値が出力されるので，0.5 という値で代替し，ツイート感情データ（200 ツイート × 対象とする感情 × 5 段階

Metadata 社の感情分析 API と高精度ネガポジ API および Google

評価の平均値）を目的変数，当該感情分析ツールによって 200 ツCloud の NL API では，+𝑥 〜−𝑥 （𝑥 = 1 or 3）の範囲で値が出力

イートから算出された出力値を説明変数とする重回帰分析（変数されるので，0 という値で代替する．なお，後述のベースライン

増減法）を感情毎に行い，ベースライン手法を作成した．なお，複手法でも同じ処理が行われる．

数の感情を対象とする印象マイニングシステムや User Local テ

5日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

表 6 提案手法であるメタ感情分析手法の核となる重回帰式（各説明変数に対する偏回帰係数と定数項）

目的変数
恥ずか
説明変数

悲しい

嫌い

嬉しい ⇔ 悲しい安心

−1.253

マイニング 笑い ⇔ 怒り

−0.887−1.372−0.660−0.616

誉れ ⇔ 恥

0.918−0.878−0.768User Local 好き−0.520−0.369

感情認識

悲しみ

驚き

−1.011

怒りしい−0.984

0.921
0.744

−2.1941.167−0.638−0.545

0.964

0.972

0.828

−0.753

1.111

0.751

−0.4130.787−0.414−0.752−0.950

喜び
恐れ

喜び

0.706

0.755

高揚 ⇔ 冷静驚く ⇔ 平気テキスト

好き−0.716安心 ⇔ 不安

システム

高揚

0.910

好き ⇔ 嫌い
印象

怖れ

0.737

AI

怒り

Metadata

好ましい ⇔ 嫌い

感情解析

嬉しい ⇔ 悲しいAPI

怒り ⇔ 怖 れ−0.729−0.3881.616−0.718−0.3620.438−0.732−0.4800.688−0.5360.243−0.445−0.494−0.550

1.131

0.192
0.153

Google Cloud NL API
ポジティブ ⇔ ネガティブ−0.442−0.8040.374−0.237

0.499

0.653

0.726

0.120

0.124

3.114

0.095

2.076

0.392

−0.098

0.521

0.215

−0.825−0.119

1.402

3.040

1.012

Metadata 高精度ネガポジ API
ポジティブ ⇔ ネガティブ
定数項

表7−0.0753.043

べてみると，すべての感情において提案手法作成時の自由度修正

提案手法の自由度修正済み決定係数

悲しい

0.61

好き

0.70

嫌い

0.67

喜び

0.67

安心

0.49

驚き

0.05

怖れ

0.53

怒り

0.69

高揚

0.56

恥ずかしい

0.21

済み決定係数の方が良いことがわかる．
5.2

学習データに対する精度評価

本節では，学習データに対する提案手法とベースライン手法の精度を評価し，比較する．
まず，重回帰分析に用いた学習データ（200 ツイート分のツ
イート感情データ）を用いて，提案手法であるメタ感情分析手法と 5.1 節で作成した 5 種類のベースライン手法の精度を評価した．結果を表 9 にまとめる．なお，精度を評価するための指標とキスト感情認識 AI，Metadata 感情解析 API を用いたときは，そしては RMSE（Root-Mean-Square Error）を採用し，次の式によれぞれ複数個の説明変数が用いられたため，提案手法と同様，感り求めた．

情毎に重回帰式が作成されたが，感情極性を対象とする Google

Cloud NL API と Metadata 高精度ネガポジ API を用いたときは，
𝑅𝑀𝑆𝐸 =

いずれも説明変数が 1 つしかなかったため，各感情に合わせて

v
u
t𝑁
Õ


(𝑥𝑖 − 𝑦 𝑖 ) 2 𝑁

𝑖=1

その説明変数の値を補正するための回帰式（1 次関数）が作成さ

ただし，𝑥 𝑖 は学習データにおける 𝑖 番目のツイートの感情値であれた．
ここで，それぞれの重回帰分析における自由度修正済み決定

り，𝑦 𝑖 は当該手法によってそのツイートから算出された感情値を係数を表 8 に示す．表 8 によれば，自由度修正済み決定係数が表している． 𝑁 は全ツイート数であり，ここでは 𝑁 = 200 とな

0.5 以上であったのは，User Local テキスト感情認識 AI ベース

る．一方，表 9 に示した改善率は，提案手法に対する各ベースラのベースライン手法を用いた際の「悲しい」，「嫌い」，「好き」，

イン手法からの RMSE の改善率であり，次の式により求めた．

「喜び」，「怒り」と Google Cloud NL API ベースのベースライン
手法を用いた際の「嫌い」，「好き」，「怒り」のみであり，多くの改善率 =場合において重回帰分析があまりうまくいっていないことがわかる．表 7 に示した提案手法作成時の自由度修正済み決定係数と比𝑅𝑀𝑆𝐸 ベースライン手法 − 𝑅𝑀𝑆𝐸 提案手法
× 100
𝑅𝑀𝑆𝐸 ベースライン手法

表 9 によれば，すべての感情において提案手法の精度が最も良6日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

表 8 ベースライン手法の自由度修正済み決定係数

ベースライン手法
印象マイニング

User Local

Metadata

Google Cloud

Metadata

感情システム

テキスト感情認識 AI

感情解析 APINL API

高精度ネガポジ API

悲しい

0.34

0.52

0.18

0.42

0.24

嫌い

0.39

0.50

0.15

0.55

0.19

安心

0.31

0.41

0.11

0.36

0.18

怖れ

0.26

0.48

0.13

0.31

0.18

高揚

0.30

0.44

0.22

0.41

0.26

好き

0.37

0.57

0.23

0.53

0.30

喜び

0.36

0.57

0.20

0.49

0.27

驚き
怒り

0.02
0.41

0.01
0.52

0.03
0.13

0.03
0.54

0.02
0.18

恥ずかしい

0.14

0.16

0.04

0.11

0.03

平均

0.29

0.42

0.14

0.37

0.19

表9

学習データに対する各手法の精度（RMSE）と改善率

提案手法

ベースライン手法

メタ感情

印象マイニング

User Local

Metadata

Google Cloud

Metadata

感情

分析手法

システム

テキスト感情認識 AI

感情解析 APINL API

高精度ネガポジ API

悲しい

0.556

0.734

(24.3%)

0.624(10.9%)

0.827(32.8%)

0.694(20.0%)

0.796(30.2%)

嫌い

0.531

0.736

(27.8%)

0.672(20.9%)

0.876(39.4%)

0.639(16.9%)

0.855(37.9%)

安心

0.519

0.609

(14.8%)

0.563(7.8%)

0.696(25.4%)

0.589(11.9%)

0.669(22.5%)

怖れ

0.409

0.511

(20.0%)

0.432(5.3%)

0.559(26.8%)

0.501(18.3%)

0.544(24.9%)

高揚

0.556

0.705

(21.1%)

0.632(12.0%)

0.748(25.7%)

0.654(15.0%)

0.732(24.0%)

好き

0.547

0.809

(32.4%)

0.669(18.2%)

0.900(39.2%)

0.708(22.8%)

0.860(36.4%)

喜び

0.676

0.949

(28.8%)

0.778(13.1%)

1.066(36.6%)

0.853(20.8%)

1.020(33.7%)

驚き

0.613

0.627

(2.2%)

0.629(2.5%)

0.622(1.4%)

0.625(1.8%)

0.626(2.0%)

怒り

0.566

0.795

(28.8%)

0.722(21.6%)

0.974(41.9%)

0.706(19.8%)

0.946(40.2%)

恥ずかしい

0.338

0.354

(4.7%)

0.351(3.9%)

0.378(10.6%)

0.364(7.1%)

0.379(10.9%)

平均 RMSE

0.531

0.683

(20.5%)

0.607(11.6%)

0.765(28.0%)

0.633(15.4%)

0.743(26.3%)

括弧内のパーセンテージは提案手法に対する各ベースライン手法からの RMSE の改善率を示す．

く，0.34〜0.68 の範囲であった．精度が最も良かったのは，「恥なお，今回用いた 200 ツイートに対し，推測不可とエラーをずかしい」の 0.34 であり，ベースライン手法から 3.9%〜10.9%

返したツイートの数は，印象マイニングシステムで 1 件，Userの改善であった．しかしながら，「恥ずかしい」に対する自由度修

Local テキスト感情認識 AI で 15 件，Metadata 高精度ネガポジ

正済み決定係数は，表 7 に示したように，0.21 と小さい値であっAPI で 2 件あったが，提案手法では 0 件であった．したがって，た．にもかかわらず，精度が良かったのは，ツイート感情データ

複数の感情分析ツールを統合することで，より頑健な感情分析をにおける標準偏差が「恥ずかしい」以外の感情では 0.61（「怖い」）

実現できると言える．

〜1.20（「喜び」）の範囲であったのに対し，「恥ずかしい」では

5.3

未知データに対する精度評価（5 分割交差検定）

0.39 と小さく，元々の感情値の振れ幅が小さかったためと考えら

本節では，重回帰分析に用いた学習データ（200 ツイート分のれる．逆に，精度が最も悪かったのは，「喜び」の 0.68 であった

ツイート感情データ）を用いて 5 分割交差検定を行い，未知デーが，標準偏差が 1.20 と最も大きかったためであり，ベースライ

タに対する提案手法の精度を評価する．

ン手法の精度（0.85〜1.07）と比べると，13.1%〜36.6% の改善

まず，学習データを均等に分割することで 40 ツイート分のツとなっている．なお，自由度修正済み決定係数が最も小さい 0.05

イート感情データからなるデータセットを 5 つ作成した．次に，であった「驚き」の精度は 0.61 と良くなかったが，ベースライ

任意の 4 つのデータセットを用いて 4.2 節に示した方法で重回帰ン手法の精度（0.62〜0.63）よりは良く，1.4%〜2.5% の改善で分析を行い，メタ感情分析手法を作成した．このメタ感情分析手あった．

法を用いて残りのデータセット（40 ツイート）から感情値を算出

7

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

表 10

未知データに対する提案手法の精度（RMSE）

未知データセット

悲しい

嫌い

安心

怖れ

高揚

好き

喜び

驚き

怒り

恥ずかしい

CV1

0.57

0.57

0.58

0.38

0.59

0.56

0.67

0.62

0.66

0.35

CV2

0.61

0.61

0.62

0.50

0.59

0.63

0.83

0.75

0.67

0.36

CV3

0.46

0.52

0.46

0.37

0.64

0.49

0.57

0.61

0.55

0.24

CV4

0.69

0.54

0.54

0.54

0.62

0.66

0.74

0.61

0.60

0.44

CV5

0.68

0.74

0.66

0.43

0.63

0.72

0.84

0.70

0.68

0.50

平均 RMSE

0.60

0.60

0.57

0.44

0.61

0.61

0.73

0.66

0.63

0.38

表 11

未知データに対する提案手法の精度と学習データに対するベースライン手法の精度を比較した場合の改善率

ベースライン手法

悲しい嫌い

印象マイニングシステム

17.8%

19.0%

UserLocal テキスト感情認識 AI

3.3%

11.3%

Metadata 感情分析 API

27.1%

32.0%

Google Cloud NL API

13.1%

Metada 高精度ネガポジ API

24.2%

安心

怖れ

高揚

好き

喜び

驚き

怒り

恥ずかしい

6.2%

13.3%

13.0%

24.3%

23.1%

−4.8%

20.6%

−6.8%

−1.5%

−2.7%

2.9%

8.3%

6.2%

−4.5%

12.5%

−7.7%

17.9%

20.6%

18.0%

31.9%

31.6%

−5.7%

35.1%

−0.2%

6.8%

3.0%

11.5%

6.2%

13.4%

14.5%

−5.2%

10.5%

−4.1%

30.3%

14.7%

18.6%

16.2%

28.8%

28.4%

−5.0%

33.2%

0.2%

し，そのデータセットの感情値との間で精度（RMSE）を求めた

いて評価した結果，「悲しい，嫌い，安心，怖れ，高揚，好き，喜（ 𝑁 = 40）．その結果を表 10 にまとめる．

び，驚き，怒り，恥ずかしい」という 10 種類の感情のうち「驚表 10 によれば，各感情に対する平均 RMSE は「恥ずかしい」

き」と「恥ずかしい」を除く 8 種類の感情に対し，既存の感情分の 0.38〜「喜び」の 0.73 の範囲であり，表 9 に示した学習データ

析ツールをベースにして作成されたベースライン手法より高い精に対する提案手法の精度と比べてみると，7.1%〜12.2% ほど悪度で感情の強さを推測できるようになったことから，メタ感情分

くなっているのがわかる．しかしながら，ここで，未知データに析という考え方の可能性が示されたと言える．

対する提案手法の精度（表 10 における平均 RMSE）と学習デー

今後の課題として，各感情に対する精度の改善が挙げられる．

タに対する各ベースライン手法の精度（表 9 における RMSE）を

メタ感情分析というアプローチにより，既存の感情分析ツールよ

比較し，改善率を求めてみたところ，表 11 に示すような結果とり精度は向上したが，個々の感情に対する精度としては十分とはなった．

言えない．表 6 に示した提案手法の重回帰式を見てみると，感表 11 において，マイナスの数値は未知データに対する提案手

情分析に貢献している説明変数と貢献していない説明変数があ法の精度が学習データに対する当該ベースライン手法の精度よりることがわかる．さらに様々な感情分析ツールを加えてみるとと悪いことを意味しているが，マイナスの数値となったのはほとん

もに，よりよい組み合わせ方を探求することで，より高精度なメどが「驚き」と「恥ずかしい」に関してであり，他の感情に対し

タ感情分析手法を作成可能と考えられる．一方，今回の統合でてはプラスの数値となっている．すなわち，未知データに対するは，重回帰分析を用いたが，深層学習手法を導入することで，非提案手法の精度が学習データに対する当該ベースライン手法の精

線形な統合も可能になると考えられ，精度の向上が見込まれる．

度より良かったことを示している．したがって，複数の感情分析

また，同じツイートを読んでも感じる感情は人によって異なるとツールを統合するというアプローチにより，様々な感情を対象にいう個人差の問題がある．今回取得したツイート感情データを用できるようになるだけでなく，個々の感情をより高精度に推測でいてどのような個人差が生じうるのかをパターン化するとともきるようになると言える．

に，各パターンに適した感情分析手法を用意することで，より実6

用的な感情分析を実現できるものと考えられる．今後の課題とし

まとめ

たい．

本論文では，複数の感情分析ツールの出力値を重回帰分析によ謝辞

り統合することで，ツイート投稿者の様々な感情をツイートからより頑健に，より高精度に推測できるようになるメタ感情分析手本 研 究 の 一 部 は ，JSPS 科 研 費 17K00430，19H04221，法を提案し，メタ感情分析という考え方の可能性を検証した．具

20K12085，ならびに福田将治奨学寄付金による研究助成の成体的には，感情分析ツールとして，複数の感情の強さを定量的に果であり，ここに記して感謝の意を表す．

算出することができるツール 3 種類と感情極性の度合いを定量的参考文献に算出することができるツール 2 種類の計 5 種類を採用し，重回[1] https://twitter.com/[2] 熊本忠彦：Twitter の利用状況とツイートの印象に関する分析，情処帰式を用いて各感情分析ツールの出力値を統合するメタ感情分析
手法を提案した．提案手法の精度を学習データと未知データを用

8

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 1, 2022 年 3 月

研報（自然言語処理），Vol. 2016-NL-227，No. 16，pp. 1–13，2016．
[3] 松林圭，五味京祐，古川和祈，松尾祐佳，松原良和，日諸マルセロ
優次，中村拓哉，山下晃弘，松林勝志，Twitter 上に投稿された文章に基づく感情推定法とその応用に関する検討，第 78 回情報処理学会全国大会講演論文集，Vol. 2016，No. 1，pp. 79–80，2016．
[4] 本間幸徳，萩原将文，Twitter を用いたニュース記事における読み

Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot,
and Edouard Duchesnay, “Scikit-learn: Machine Learning in Python,”
Journal of Machine Learning Research, Vol. 12, pp. 2825–2830, 2011.
[22] Jyh-Horng Jeng, Chun-Chieh Tseng, and Jer-Guang Hsieh, “Studyon Huber Fractal Image Compression,” IEEE Transactions on Image
Processing, Vol. 18, No. 5, pp. 995–1003, 2009.
[23] Harris Drucker and Corinna Cortes, “Boosting Decision Trees,” In
Advances in Neural Information Processing Systems, pp. 479–485,
1995.
[24] Tianqi Chen and Carlos Guestrin, “XGBoost: A Scalable Tree Boosting System,” Proc. of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 785–794, San
Francisco, USA, 2016[25] https://monitor.fast-ask.com/[26] 熊本忠彦，河合由起子，田中克己，新聞記事を対象とするテキス
ト印象マイニング手法の設計と評価，電子情報通信学会論文誌 D，Vol. J94-D, No. 3, pp. 540–548, 2011．
[27] https://emotion-ai.userlocal.jp/[28] https://metadata.co.jp/apis/emotion-analyzer.html[29] https://cloud.google.com/natural-language?hl=ja[30] https://metadata.co.jp/apis/negaposi-analyzer.html

手の感情推定手法の提案とアクセス解析への応用，日本感性工学会論文誌，Vol. 12，No. 1，pp.167–174，2013．
[5] 秋山和寛，三澤賢祐，成田和弥，熊本忠彦，灘本明代，CRF を用いたレビューにおける節単位毎の感情推定，第 10 回データ工学と情報マネジメントに関するフォーラム（DEIM2018），No. J2-4，7
pages，2018．
[6] 増井佑亮，藤野巖，Twitter の多軸的感情情報を利用した株価の予測，言語処理学会第 24 回年次大会発表論文集，pp. 69–72，2018．
[7] 横田尚己，山田圭二郎，阿部倫之，つぶやきと感情極性の関係に着目した災害時の被害情報発見手法の検討 –平成 28 年熊本地震を対象に，第 56 回土木計画学研究発表会・講演集，No. P8，6 pages，
2017．
[8] 熊本忠彦，灘本明代，共通話題に対する感情的態度の類似度に基づくフォロイー推薦，電子情報通信学会論文誌，Vol. J100-D，No. 4，
pp. 500–509，2017．
[9] 若狭孟，横山昌平，Twitter を用いたサッカー選手採点のための感情値辞書構築に向けて，第 14 回 ARG Web インテリジェンスとイ
ンタラクション研究会資料，WI2-2019-06，4 pages，2019．
[10] 中村明，感情表現辞典，東京堂出版，東京，1993．
[11] Word2Vec, https://deeplearning4j.org/ja/ja-word2vec[12] Donald F. Specht, “A General Regression Neural Network,” IEEE
Transactions on Neural Networks, Vol. 2, No. 6, pp. 568–576, 1991
[13] 高村大也，乾孝司，奥村学，スピンモデルによる単語の感情極性抽出，情報処理学会論文誌，Vol. 47，No. 2，pp. 627–637，2006．
[14] 三和未佐希，立間淳司，青野雅樹，単語位置と強弱表現に着目したツイートの感情分析，第 13 回情報科学技術フォーラム（FIT2014）
講演論文集，第 2 分冊，No. E-011，pp. 227–228，2014．
[15] Md Shad Akhtar, Abhishek Kumar, Deepanway Ghosal, Asif Ekbal, and Pushpak Bhattacharyya, “A Multilayer Perceptron based Ensemble Technique for Fine-grained Financial Sentiment Analysis,”
Proc. of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 540–546, Copenhagen, Denmark, 2017.
[16] Xiaotian Han and Song Jiang, “DMGroup at EmoInt-2017: Emotion Intensity Using Ensemble Method,” Proc. of the 8th Workshop
on Computational Approaches to Subjectivity, Sentiment and Social
Media Analysis, pp. 243–248, Copenhagen, Denmark, 2017.
[17] Yoon Kim, “Convolutional Neural Networks for Sentence Classiﬁcation,” Proc. of the 2014 Conference on Empirical Methods in Natural
Language Processing, pp. 1746–1751, Doha, Qatar, 2014.
[18] Sepp Hochreiter and Jurgen Schmidhuber, “Long Short-Term Memory,” Neural computation, Vol. 9, No. 8, pp. 1735–1780, 1997.
[19] Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, Yoshua
Bengio, “On the Properties of Neural Machine Translation: EncoderDecoder Approaches,” Proc. of the Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pp. 103–111, Doha,
Qatar, 2014.
[20] Alex J. Smola and Bernhard Scholkopf, “A Tutorial on Support Vector
Regression,” Statistics and Computing, Vol. 14, No. 3, pp. 199–222,
2004.
[21] Fabian Pedregosa, Gael Varoquaux, Alexandre Gramfort, Vincent
Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter

9