情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B192016/3/4

おかおチャット: 表情認識を利用したスタンプ推薦システム
西村 優里†	  	  小林 稔†
	  	 
概要：即時性の高いチャットを可能にするサービスの普及に伴い，スタンプを利用したコミュニケーションが広がっている．本研究では，従来の方法よりも直感的なスタンプ選択を可能にすることを目的とし，ユーザのスタンプ選択を補助するシステム「おかおチャット」を提案する．「おかおチャット」では，表情認識技術を用いてユーザの表情にあったスタンプを推薦する．本稿では，このシステムの提案と実装について述べ，今後の展望を示す．

Okao Chat: Sticker Suggestion System by Using Facial Expression
Recognition
YURI NISHIMURA†	  MINORU KOBAYASHI†	  	 	  	 Abstract: Recently, communication using stickers has become popular, following the spread of chat services. In this research, wepropose the system, "Okao Chat" which helps the users to select and send stickers easily. Okao Chat suggests stickers that aresuitable for the users’ emotion using facial expression recognition. In this paper, we introduce the system and explain the future
directions of this research.

1. は じ め に	  しかし，即時性の高さが期待されている近年のチャット	  	 ツールにおいて，これらの選択方法よるスタンプ選択には	  近年，LINE[1]をはじめとした即時性の高いコミュニケー課題がある．(1)では，持っているスタンプの数が多い場合ションを可能にするチャットサービスが多く利用されるよや使用することができるスタンプの種類を把握しきれていうになった．LINE の特徴の一つとして，文章の代わりにない場合に，使用したいスタンプ探すのに時間がかかってスタンプと呼ばれる従来の絵文字よりも大きなイラストをしまう． (2)では，上位に表示されるスタンプが頻繁に使送信する機能が挙げられる．スタンプは，言葉で表現する用するもの限られてしまい，他に表現したい感情に適したことが難しいニュアンスを伝えるための手段として人気がスタンプがあったとしても見つけることができない．(3)あり，LINE が流行したきっかけにもなった．現在では，では，伝えたい感情に適したスタンプをまとめて表示する

Skype[2]や Facebook Messenger[3]，Twitter[4]のダイレクトことはできるが，文字入力を行わねばならず，言葉を送信メッセージ，Google Hangouts[5]などのチャットサービスも，するのと同様の手間がかかる．

LINE と同様，大きなサイズの絵文字やイラストを送信す	  本研究では，このような問題を解決するために，表情認る機能を持っている．スタンプは，選択するだけで即座に識を利用してユーザの表情にあったスタンプを推薦するシ送信することができるため，即時性が高いというチャットステム「おかおチャット」を提案する（図 1）．

サービスの利点を生かしている．	  送信するスタンプを選ぶための方法には，主に以下の 3つの方法がある．
(1) 種類ごとに一覧で表示された中から選ぶ方法(2) 最近使用した履歴の一覧から選ぶ方法(3) 入力した文字によるサジェスト機能で表示される中から選ぶ方法
これらは，メールなどの文章に付け加えるための絵文字や顔文字を選ぶために用いられてきた方法と同じで，絵文字や顔文字を使用することに慣れているユーザにとっては馴染みのあるものである．

† 明治大学総合数理学部先端メディアサイエンス学科
Department of Frontier Media Science, Faculty of Interdisciplinary
Mathematic Science at Meiji University© 2016 Information Processing Society of Japan

図 1	  おかおチャット
Figure 1	  Okao Chat841

情報処理学会 インタラクション 2016
IPSJ Interaction 2016	  「おかおチャット」は，LINE 風のチャットアプリケーションに，表情を利用してスタンプを検索する機能を付け加えたものである．文字によるメッセージとスタンプの送受信が可能である．	  我々は，チャットシステムのスタンプ選択において表情を利用することにより，以下の効果があると考えている．
・	  操作時間の短縮
・	  操作性の向上
・	  会話内容の変化
・	  表情形成によるユーザの感情の変化	  本稿では，これらの仮説を検証するための基盤として実装した「おかおチャット」のシステム概要について述べる．

163B192016/3/4

3. 提 案 シ ス テ ム
3.1 シ ス テ ム 要 件	  本研究では，表情認識を利用してより直感的なスタンプ選択を可能にすることを目的としており，提案手法の効果を検証するための基盤として，「おかおチャット」を実装した．
「おかおチャット」は，PC のブラウザ上で動作する LINE風のチャットツールであり，メッセージやスタンプを使用した一対一のコミュニケーションが可能である．表情の検出をするため，PC 内蔵の Web カメラを使用してユーザの顔を撮影し，トラッキングを行っている．
3.2 シ ス テ ム の 設 計(1) 表 情 認 識	  カメラで撮影したユーザの顔の動画像から，顔パーツの2. 関 連 研 究	  本研究で円滑なスタンプの選択を目的としているのと同様に，直感的な顔文字の予測・選択を目的とした研究は，複数行われている．表情を利用した顔文字選択の研究に，
井川・笹岡による Kinect を用いた表情による入力インターフェースの提案[6]がある．提案手法では，Kinect の Face
Tracking SDK を用いて顔パーツの位置データや変化量を取得し，ユーザの表情とその大きさから顔文字を推定している．表情以外を用いた絵文字・顔文字選択の研究も行われており，伊藤・藤本の平面感情分布モデルを用いた直観的な顔文字選択支援システム[7]や吉田らによる圧力センサを補助的入力に用いた選択入力インタフェースに関する検討[8]などがある．	  また，顔文字やスタンプを利用せず，顔画像を送信することでチャットにおけるコミュニケーションを支援する研

位置に基づくパラメータを取得し，表情を推測する．パラメータの検出には，動画像中の人物の顔や顔パーツを検出することができる clmtrackr[11]を使用している．clmtrackr
は，The MUCT Face Database[12]を利用し，Saragih らにより提案された手法[13]に基づいて実装された JavaScript ライブラリである．
(2) ス タ ン プ の 推 薦	  本研究では，「おかおチャット」のスタンプとして利用するため，さまざまな表情を持ったイラストの画像を作成した．これらの画像を，エクマンらが唱えた６つの人間の基
本の感情[14]「驚き」「恐怖」「嫌悪」「怒り」「幸福」「悲しみ」に「無表情」を加えた計 7 種類に分類し，パラメータを割り当てた．顔画像から取得したパラメータと画像に割り当てられたパラメータを比較して，ユーザの表情と似ている順に左上から並べて表示する（図 2）．

究もある．井田らによる顔チャット TM システム[9]では，顔画像を撮影したままの矩形型で表示するのではなく，輪郭に沿って切り出しイラストと合成することによって，チャット参加者が一体感や親近感を得ることができる．	  表情形成についての研究には，Tsujita・Rekimoto によるHappinessCounter[10]がある．日常生活の中で笑顔になることを促進するため，笑顔形成を促進する鏡や笑うと開けることができるようになる冷蔵庫を実装し，実際の生活においての評価実験により，これらのシステムが笑顔促進に効果的に働くことを実証した．	  以上を踏まえ，本研究では，感情を表現するための手段として広まっているスタンプに着目した．
「おかおチャット」
は，表情を使うことによって，対面でのコミュニケーショ
ン時に感情を表現するのに近い感覚でスタンプを選ぶことを可能にする．従来のチャットサービスに近い形で実装するため，周辺機器を使用せず，PC 内蔵の Web カメラで表情認識を行うこととする．また，表情形成を行うことが，チャットツールにおけるコミュニケーションにどのような効果をもたらすのかを調査する．

© 2016 Information Processing Society of Japan

図 2	  表情と推薦されるスタンプの例
Figure 2	  Examples of facial expression and stickers

842情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B192016/3/4(3) メ ッ セ ー ジ 及 び ス タ ン プ の 送 受 信	  メッセージやスタンプ情報の送受信には，PeerJS をベースとした WebRTC プラットホームである SkyWay[15]のAPI を利用した．通信したい相手と ID を交換することにより，送受信が可能になる．スタンプを送信する場合は，スタンプの番号のみ送信し，その情報をもとに受信者側で画像を表示している．
3.3 3 種 類 の イ ン タ フ ェ ー ス モ ー ド	  本システムでは，さまざまなスタンプの選択方法の比較を通じて，スタンプ選択に表情認識を利用することの効果を調査するため，3 種類のインタフェースモードを作成した．
A モード	  もともと決められている順序で表示されたスタンプの中からユーザが選択し，送信する．このモードは，従来のチ図 4	  B モードャットサービスで採用されているスタンプ選択画面を模倣

Figure 4	  Mode Bしたものである（図 3）．
B モード	  ユーザの表情を認識した情報をもとに，その表情に近いと予測された順序で表示し，最終的にはユーザが送りたいスタンプを選択して送信する．従来のチャットサービスより安易かつ素早くスタンプを選択できるようにすることを目的としている（図 4）．
C モード	  ユーザの表情を認識し，その表情に最も近いと予測されたスタンプを自動的に送信する．スタンプを選択するという過程がないので，B モードよりも少ないクリック数で送信することができるが，ユーザは送るスタンプを指定することができない．ユーザは自分の表情を反映したスタンプが送られると期待して送信ボタンを押す（図 5）．
図 5	  C モード
Figure 5	  Mode C
3.4 実 装 し た 結 果	  性能や精度の詳細な評価は今後の課題とするが，実装した「おかおチャット」を試用した際の所感を報告する．	  簡単な操作で入力ができ，おおよその表情の認識は可能であった（図 6）．しかし，正しく表情を認識するためには，ユーザの顔が正面を向いていることや，目や眉などの顔のパーツが前髪やメガネなど隠されていないことなどの条件が満たされていなければならず，スタンプを簡便に選択する方法としては改善が必要であると感じた．また，表情に対して選択されたスタンプの妥当性については，示されたものを受け入れてしまう傾向も見受けられたが，表情の伝
図 3	  A モード

達手段として正しい対応付けを確立する必要を感じた．

Figure 3	  Mode A© 2016 Information Processing Society of Japan843

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B192016/3/4

5. ま と め	  本稿では，表情認識技術を利用してユーザの表情にあったスタンプを推薦するシステム「おかおチャット」を提案した．
「おかおチャット」はチャットツールを利用したコミュニケーションにおいて，より直感的なスタンプの選択を可能にすることを目的としている．具体的には，LINE 風のチャットツールにユーザの表情からスタンプを推薦するシステムを実装した．	  今後は，実際にスタンプ選択までにかかる時間や使用されるスタンプの種類数について評価実験を行い，本システムの効果を検証する．また，本システムを利用する際，意図的に表情を作ることで会話の内容やユーザの感情に変化があるか，受け取る側に与える印象に変化があるかについ
図 6	  実際に使用している様子
Figure 6	  The system in use.ても調査をする計画である．さらに，表情以外のスタンプとユーザの表情の関連について調査し，さまざまな種類のスタンプに対応する手法について検討する．

4. 今 後 の 課 題	  作成した 3 種類のインタフェースモードを比較し，次の参考文献

ような視点で提案手法の効果を確認することが，次の課題

1) LINE, http://line.me/2) Skype, http://www.skype.com/
3) Messenger, https://www.messenger.com/
4) Twitter, https://twitter.com/
5) Google Hangouts, https://hangouts.google.com/
6) 井川大輔, 笹岡久行: Kinect を用いた表情による入力インターフェースの提案, 情報処理学会第 76 回全国大会講演論文集, Vol.4,pp.109-110 (2014).
7) 伊藤永悟, 藤本貴之: 平面感情分布モデルを用いた直観的な顔文字選択支援システム, 情報処理学会インタラクション 2013 論文集, pp.243-248 (2013).
8) 吉田壱, 橋崎裕人, 伊藤淳子, 宗森純: 圧力センサを補助的入力に用いた選択入力インタフェースに関する検討,
Vol.2010-HCI-140, No.14, pp.1-8 (2010).
9) 井田孝, 竹島秀則, 堀修: 顔チャット TM システム, 東芝レビ
ュー, Vol.57, No6, pp.26-29 (2002).
10)
Tsujita, H., and Rekimoto,J.: HappinessCounter: Smile-Encouraging Appliance to Increase
Positive Mood, ACM CHI 2011, pp.117-126 (2011).
11)
clmtrackr, http://auduno.github.io/clmtrackr/docs/reference.html
12)
The MUCT Face Database, http://www.milbo.org/muct/
13)
Saragih, J., M., Lucey, S., and Cohn, J., F.: Face Alignment
through Subspace Constrained Mean-Shifts, IEEE International
Conference on Computer Vision (ICCV), (2009).
14)
エクマン, P., フリーセン, W., V., 工藤力 訳: 表情分析入門—表情に隠された意味をさぐる, 誠信書房, (1987).
15)
SkyWay, https://nttcom.github.io/skyway/index.html

である．
・	  操作時間の短縮
A モードと，B および C モードの比較を通じて，表情認識により半自動的にスタンプを選択可能とすること
で，スタンプ送信にかかる操作時間が短縮されるかを確認する．
・	  操作性の向上
同様に，操作が容易になったかを確認する．
・	  会話内容の変化
半自動的なスタンプ送信によって，スタンプの使われ方に変化が生じないか，また，送信されたスタンプの意味の解釈が，3 つのモードの間で異なるか，等のスタンプを使った会話の内容の変化を調べる．
・	  表情形成によるユーザの感情の変化
スタンプ入力のために，意図的に表情をつくることで，ユーザの感情に変化をもたらす可能性について検討する．	  また，今回実装した「おかおチャット」では，表情を持ったイラストのみをスタンプとして使用しており，表情ではなくポーズが意味を表しているものや文字のみのものなどには対応していない．現在広く親しまれているスタンプの中には，表情ではないスタンプも多く存在し，これらの中にも表情と関連付けることが可能なものが多く存在するため，対応させる方法について検討する必要がある．表情を持たないスタンプの推薦は，直接ユーザの表情と似ているかどうかでは判断できないが，それらのスタンプを送りたいときにあらわれる表情を調査しその情報を付与することによって可能になるのではないかと考えている．

© 2016 Information Processing Society of Japan844