言語処理学会 第21回年次大会 発表論文集 (2015年3月)

顔文字のパーツの種類と表情の強弱に着目した顔文字表情推定
吉田 圭佑
松本 和幸
吉田 稔
北 研二
徳島大学工学部知能情報工学科

3.2 顔文字の特徴

1. はじめに顔文字の特徴の一つとして表情が挙げられる．表情と近年，Twitter や Facebook をはじめとする SNS の普及は一般的に，感情や情緒を外見や身振りなどに出し表すに伴い，ユーザが今起こったことや感じたことを気軽に行為とされており，谷ら [4]は，正準相関分析と注視特性投稿できる機会が多くなった．これらの投稿文には顔文を用いて，顔表情画像から感情を測定する手法を提案し字が多く利用されている．しかしながら，顔文字は単体ている．このように，顔表情から感情推定を行う研究はで複数の感情を持つものが多く存在し，付与される発話多く存在しており，表情と感情は密接に関係していると文によってその感情は変化する．また，顔文字の種類はいえる．

日々増え続けており，そのすべてに対し，感情推定を行本研究では，顔文字の表情を「泣く」「驚く」「困る」うのは困難である．本論文では，顔文字と発話文の役割「笑う」「恥じる」「怒る」「不満」「無表情」の 8 つに分との関係性を調べることで，発話文との組み合わせによ類する．表 2 に，各表情とそれに対応する顔文字の例をって変化する感情を調査するとともに，未知の顔文字に示す．

対して，感情の推定を行うための手法を提案する．
表 2: 各表情の顔文字の例

2. 関連研究表情

顔文字の感情に関する研究は盛んに行われている．川顔文字

泣く（ノД｀｡)( ´ｐωｑ)（：ｏ；）

ることにより顔文字のデータベースを作成している．山

驚く(ll ﾟдﾟ；)（◎△◎）（°д°⊂）

本ら [2]の研究では，顔文字と文との関係を分類し，それ困る（一一：）（´д｀Щ）（(・ω・;A)を考慮した感情値抽出手法を提案している．奥村ら [3]笑う（＾－＾）(о・ｖ・о)(≧ω≦＊）

恥じる（*／ω＼）(。>д<。〔)(屮*´▽｀*)

では，顔文字辞書に含まれない未知の顔文字への対応が怒る（＃ﾟД゜)（｀。´ ）（；`曲´）不十分である．

不満（・Д・ ）(；￢Δ￢）（♯´３`）

3. 提案手法

無表情(・ x ・)（・ω・O）(´σ¨_、｀)上ら [1]の研究では，顔文字自体が表す感情，強調を調べの研究では，顔文字に含まれる感情成分の分析を行い，感情極性辞書の構築を行っている．しかしこれらの研究

3.1 発話役割発話文がもつ特徴として発話役割がある．本研究で用いる発話役割の種類は「依頼」「確認」「教える」「事実」「心情」「提案」の 6 つとした．表 1 に，発話文と，その発話役割の例を示す．

本研究では，ポール・エクマン(Paul Ekman) [5]の提唱
する 6 つの基本感情，
「怒り」
「嫌悪」
「恐れ」
「喜び」
「悲しみ」
「驚き」を使用する．Ekman は，これらの感情が全人類に普遍的であり，生物学的基盤を持つと結論付けて

表 1: 発話文と発話役割の例
発話文

3.3 感情軸

役割いる．また，全ての表情はこれら 6 つの基本感情が組み合わさってできていると主張しており，顔文字の感情推よろしくお願いします！

依頼

クリスマス楽しんでますか？

確認

そいや最近カラオケ行ってねぇｗ

教える

今日は学園祭！！！

事実発話文の役割と顔文字の表情との組み合わせによって４時間連続で超きつかったｗｗ！！！

心情

顔文字の感情がどのように変化するかをアンケートによ軽いストレッチとかイイと思います

提案り調査する．また，機械学習を用いることで，顔文字の定に表情を用いる本研究では，Ekman の提唱した基本感情が最も適していると考えられる．
3.4 提案手法― 449 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

パーツ種別の判定および表情決定を行うことにより，未「事実」と「怒る」知の顔文字に対し感情推定を行う手法を提案する．図 1

驚きに提案手法による未知の顔文字に対する感情推定の手順を示す．

喜び

嫌悪

怒り

図 1: 提案手法の概念図
図 2: 強い表情の結果の例

4. 発話文と顔文字「提案」と「不満」

本節では，発話文と顔文字の組み合わせによる感情の変化を調査するための予備実験を行う．

表せない

4.1 予備実験

怒り

発話文と顔文字を組み合わせた文を見てもらい，その嫌悪驚き

顔文字に当てはまる感情を選んでもらう形式のアンケー
トを，被験者 9 名に対し行った．発話文は各役割で 4 文ずつの計 24 文，顔文字は各表情で 3 個（無表情は 4 個）の計 25 個を使用し，これらを組み合わせた全 600 文を収録した．表 3 に収録文の例を示す．

悲しみ

恐れ

表 3: 予備実験アンケートの収録文の例
発話文

顔文字

役割

表情

私は勉強嫌いです。

(＃ﾟДﾟ)

事実

怒るなんか話さない？

(；￢.￢)提案

不満

滅茶苦茶しんどかった。

(≧∇≦)b心情

笑う喜び
図 3: 弱い表情の結果の例

5. 顔文字のパーツ種別の判定
表情推定の第一段階として，CRF(Conditional Random

4.2 実験結果
結果を大きく分けると，最も強い感情が 5 割以上を占Fields，条件付確率場)を用いた顔文字のパーツ種別の判めるパターンと，感情にばらつきがあり，最も強い感情定を行う．以下，実験方法と結果について述べる．

が特定できないパターンの 2 つに分けられた．それぞれ

5.1 実験方法の例を図 2，図 3 に示す．主に「泣く」「驚く」「笑う」

CRF を学習するツールとして形態素解析器 MeCab を「怒る」の表情は前者に該当しており，「困る」「恥じる」用いる．学習データには 1892 個の顔文字を，テストデー「不満」「無表情」は後者に該当した．特に，後者のパタ

タには 1190 個の顔文字を使用する．未知の顔文字に対すーンでは，「感情を表せない」の比率が高いものもあった．

る表情の推定が目的であるため，学習データとテストデ以降，「泣く」「驚く」「笑う」「怒る」の 4 表情を「強ータに同一の顔文字は含めない．また，素性には顔文字

い表情」，
「困る」
「恥じる」
「不満」
「無表情」を「弱い表の目や口といったパーツの種類と，パーツに使われる文情」とする．

字や記号を使用する．
5.2 実験結果
表 4 に，パーツ種別の判定の評価結果を示す．パーツ― 450 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

に使われる文字や記号も素性に加えた場合，パーツの種6.2 実験結果

類のみを素性とした場合に比べて，全体的に精度が向上

表 7 に，表情判別の実験結果を示す．4 節の予備実験している．これは，顔文字がパーツの種類の並びだけでにて「強い表情」に分類された 4 表情は F 値が 80%以上なく，「′`」や「＾＾」といった左右の目や眉でセットにとかなり良い結果となっている．逆に「弱い表情」に分なりやすい文字や記号の並びも学習するためである．表

類された 4 表情は比較的精度が低かった．

5 に，パーツ種別の判定の失敗例を示す．

また，「強い表情」の中でも，「怒る」の表情は再現率が高く，「怒る」の表情は正しく推定されやすいことがわ

表 4: パーツ種別の判定の再現率，適合率，F 値

かる．一方で，「泣く」は適合率が高く，他の表情が「泣素性再現率

適合率

F値

く」の表情に誤推定されることが少ないことがわかる．

パーツの種類のみ使用

91.04%

90.80%

90.92%「弱い表情」の中でも特に「恥じる」「不満」の再現率はパーツの文字も使用

96.17%

95.31%

95.74%

低く，「恥じる」の表情は「笑う」に，「不満」の表情は「困る」に誤推定されることが多かった．表 8 に，表情の誤推定例を示す．

表 5: パーツ種別の判定の失敗例
顔文字パーツ正解

出力

表 7: 表情推定の再現率，適合率，F 値( *^)/

*

頬

左目

表情

再現率

適合率F値！？

Д口

右手

泣く

78.38%

89.23%

83.45%ｏ（Ｔ皿Ｔ）ｏｏ

右手

頬

驚く

90.32%

91.50%

90.91%

困る

75.14%

65.38%

69.92%(Д)

笑う

88.81%

87.06%

87.93%

恥じる

61.19%

60.29%

60.74%

怒る95.16%

84.29%

89.39%

学習アルゴリズムとして最大エントロピー法を用いて不満

50.00%

67.35%

57.39%

顔文字の表情分類を行う．本実験では，分類ツールとし無表情

65.63%

75.00%

70.00%

6. 顔文字の表情推定
6.1 実験方法て Classias [6]という多クラス分類に対応したツールを使用した．顔文字には「目」や「口」など表情に大きく関

表 8: 表情推定の失敗例

係するパーツもあれば，「輪郭」のようにどの表情にも等しく存在する表情とはまったく関係ないパーツもある．
このことから，パーツの種類ごとに素性の値を変える．
素性の値は，輪郭などの表情推定に関係ないものは 0.01とし，目や口はもっとも重要なので高い値とする．ただし，目は左右で 2 つ出現するのに対し，口は 1 つしか出

顔文字

正解

出力(T∇T)泣く笑うヽ(´･д･｀)ﾉ不満

困る（´、ゝ`）無表情

困る

7. 評価実験

現しないので，目の値は口の値より少し小さくする．同

本節では，6 章で推定された表情を用いて感情を推定様に，左右で 2 つ出現しやすい眉や手の値も小さくする．

する提案手法の評価を行う．

表 6 にパーツの種類ごとの素性の値を示す．

7.1 実験方法
予備実験と同形式のアンケートを行うことで評価する．

表 6: パーツの種類ごとの素性の値

ただし，予備実験で 1 つの感情が結果の大部分を占めた

種類値

種類値

種類値

組み合わせについては，評価実験でも同等の結果になる

左輪郭

0.01

左目

2.00

左眉

1.50と容易に推測されるので，評価実験の対象外とする．表

右輪郭

0.01

右目

2.00

右眉

1.50

9 に収録文の例を示す．

頬

2.00

口3.00

左手

1.50

表 9: 評価実験アンケートの収録文の例

感情

3.00

鼻

1.20

右手

1.50

発話文

行動

2.00

言葉

1.00

両手

2.50

小道具

0.50

ｷﾗｷﾗ

1.00

食べ物

0.01

顔文字

役割

表情

すごいなぁ(>д<｡｀ヾ)

確認

恥じる

喧嘩すんなよ(∩´ﾟдﾟ)提案不満

皆元気にしてる？

（m・Д・）

確認

無表情― 451 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

8. まとめと今後の課題

7.2 実験結果
予備実験の結果と比較して，最も強かった感情がより強くなったパターンと，予備実験では弱かった感情が強くなり，強かった感情が弱くなるパターンの 2 つのパターンに分けられる結果となった．「困る」「恥じる」の表情と組み合わされた文はほぼ全てが前者のパターンに該当していた．すなわち，「困る」「恥じる」の表情は，「弱い表情」の中でも「強い感情」寄りであると考えられる．
「依頼」「事実」「提案」の発話役割と「不満」と組み合わせた場合，予備実験ではあまり出なかった「怒り」

本論文では，アンケートによって，発話文の役割と顔文字の表情との組み合わせによって変化する顔文字の感情の調査を行った．また，顔文字のパーツ種別ごとの重み付けに基づく機械学習による顔文字の表情推定によって，未知の顔文字に対する感情推定の精度を高める手法を提案した．その結果，「泣く」「驚く」「笑う」「怒る」の表情に対しては高い精度を得られた．しかし，「不満」「無表情」は表情推定の精度が低いため，これを改善することを今後の課題とする．の感情が強く見られた．つまり，「不満」の表情は発話文によって「怒る」の表情に判断されやすいと考えられる．

参考文献

図 4 に，比較の一例を示す．
「確認」「教える」の発話役割と「無表情」の組み合わせの場合，感情を表せないが半数以上，他の役割との組[1] 川上 正浩, “顔文字が表す感情と強調に関するデー

み合わせでも，ネガティブな感情が多かった．つまり，

タベース,” 大阪樟蔭女子大学人間科学研究紀要 7,

無表情は比較的ネガティブな印象を与えることがわかる．

67-82, 2008-01-31.

図 5 に，「無表情」についての結果の一例を示す．

[2] 山本 湧輝，若井 祐樹，熊本 忠彦，灘本 明代, “顔文字の役割に着目したツイートの感情値抽出手法の提案,” 第 6 回データ工学と情報マネジメントに関するフォーラム(DEIM 2014)，E6-2, 2014-03-04.
[3] 奥村 紀之，大西 智佳, “顔文字に含まれる感情成分の分析と感情極性辞書の構築,” 言語処理学会 第 20回年次大会 発表論文集

872-875, 2014-03.

[4] 谷 卓哉，長谷川 浩司，坂本 博康，坂田 年男，廉田 浩，福島 重廣, “正準相関分析と注視特性による顔表情画像からの感情の測定法,” 知能と情報：日本
知能情報ファジィ学会誌，52-64, 2010-02-15.

図 4: 「提案」と「不満」(左上:予備，右下:評価)[5] P.エクマン，W.V.フリーセン，工藤 力, 表情分析入門-表情に隠された意味をさぐる, 1987 年.

「確認」と「無表情」[6] 岡崎 直観, “Classias - A collection of machine-learningalgorithms for classification,” [オンライン]. Available:恐れ

http://www.chokkan.org/software/classias/index.html.ja.
[アクセス日: 13 1 2015].

表せない喜び図 5: 無表情の結果― 452 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.