情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

EMO 味：心を味わうインタフェース開発佐藤祉大1,a)

上岡玲子2,b)

概要：本研究では，感情を味覚として提示することに着目し，感情を味で伝える味覚コミュニケーションインタフェース「EMO 味」の製作を目的とする．視覚や触覚を用いた感情の伝達システムは研究・開発されている．しかし，味覚に関しては味覚の提示のためのシステム開発は行われているものの，感情を味覚で提示するためのシステムや，味覚によるコミュニケーションツールの開発は少ない．本論では，表情による感情推定結果から感情にあった粉末調味料を出力し，ユーザーがそれを味わうことで感情の味覚化を実現する EMO 味のプロトタイプを製作し，設計指針および味による感情共有の有効性を評価するためにパイロット実験を行なった．また，パイロット実験から得られた結果をもとに，調味料を出力するための味覚提示装置の改良を行なった．

1. はじめにに着目した．例えば，苦汁をなめるという慣用句が日本語にはある．これは辛い，苦しい経験をするという意味であ

現在，人間の心拍や体温といった生体情報や表情といっる．他にも辛酸を舐める，人の不幸は蜜の味など，自身のたものから感情を推定する技術が存在し，それらの技術を経験，感情を味と結びつけた言葉が存在する．このことか用いて人間の感情を様々な形で可視化する研究や開発が行

ら人は感情と味覚に対してなんらかの関係性を持つ傾向がわれている．櫻井らの研究では [1]，感情の追体験を目的とあるように考えられる．また，味覚刺激を与えた際の脳波し，感情の記録とその視覚化をが行われている．櫻井らのを測定したところ，甘味，酸味，辛味，苦味ごとにある特研究において，感情推定は対象者の音声を音声の強さ，高定の感情に影響を与えているという報告がされている [4]．

さ，強さの時間差分，高さの時間差分の４つの指標で行い，このような関係性を利用し，感情を味で提示し感情共有

感情をポジティブとネガティブに２極化し, その起伏をグを行うことで味覚をコミュニケーションに用いるだけでな

ラフと実際の周囲の状況の画像を組み合わせることで可視く，感情を味で楽しむことができると考えた．本研究では，化するというものだ．また，池田らの研究では [2]，心拍と感情を味覚として提示することに着目し，感情を味で伝え脳波を Russell の円環モデル [3] 上にプロットし，自身の感る味覚コミュニケーションインタフェース「EMO 味」の情の自己評価と，生体情報による評価の差分を用いること製作を目的とする．

で，ユーザーが自身の感情に気づくための支援ツールを提本論文では，表情解析から感情を喜怒哀楽の４つに分類案した．このように，感情の可視化は，自身の感情をよりし，それぞれの感情に対して単一の調味料を提示する EMO

客観的に捉え，理解することや，他者に自身の感情を共有味のプロトタイプを製作する．EMO 味の設計指針の評価させることに利用することができる．とりわけ感情共有へと感情共有の有効性を評価するため，友人らとカードゲーの利用は，コミュニケーションにおいて重要な他者の感情ムで遊んでいる時に感情を味で共有するという設定で実験を認知することに対して有効である．しかし，感情を可視環境を作り評価した．

化する手法は多いが，視覚以外の感覚を用いた提示に関する研究事例は少ない．そのため，視覚以外の感覚による感情提示の効果については未解明の部分が多く，検討の余地があると言える．
そこで，本研究では感情の新たな表現方法として，味覚2. 関連研究中山は笑顔を可聴化するシステムを開発し，弱視者に対しての表情認識支援の効果を検証した [5]．また西村らは，胸部にスピーカを装着させ振動刺激を与えることで，触覚を用いた擬似的な心拍提示を行い，人に対する好意の増幅

12a)b)

九州大学大学院芸術工学府
九州大学大学院芸術工学院
sato.chihiro.247@s.kyushu-u.ac.jp
r-ueoka@s.kyushu-u.ac.jp© 2020 Information Processing Society of Japanを操作するシステムを提案した [6]．これらの研究では聴覚，触覚を通じて笑顔や好意といった単一感情の提示を行321情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

なっているが，本研究では複数の感情を味覚化することを目的としている．また，感情の推定方法としてユーザーに装置の装着などの身体的負担を必要としない非接触の手法を用いる．中村らは電気味覚を活用しての身体接触などを用いた飲食コミュニケーションへの利用を提案してい図 2 システムフロー

る [7]．本研究では味覚提示としては市販されている調味料を出力することでより日常生活での飲食行動に則した味覚コミュニケーションを提案する．

3. EMO 味プロトタイプ製作
3.1 システム設計
EMO 味は日常生活で生じる感情を推定し，その結果を普段の飲食行動に則した味覚提示を用いての感情の味覚化，および味覚によるコミュニケーションを想定している．そこで，感情推定の手法としては比較的手軽かつ非接触で測定できるものが適していると考えた．また，味の提示においては，料理の味付けに用いられる調味料に着目し，感情
図 3 EMO 味プロトタイプに合わせて複数の調味料を感情に合わせて比率を変え調合して出力し，それを料理に使用することで感情を味わうという体験を提案した．
本論で製作する EMO 味のプロトタイプにおいては，感情推定はカメラを用いた表情解析による感情推定を用い，味覚提示では各調味料を定量で出力し，その出力回数で調味料の量を調整できる機構を持つデバイスを試作する．感
情と味覚の対応については，杉本らの研究 [4] をもとに，今させることで一定量の調味料を出力し，ユーザーへ感情に対応した調味料を提示する．出力制御部では，インペラーを回転させるためのステッピングモーター（28BYJ-48）
を，Wi-Fi モジュールである esp-wroom-02 を搭載した開発ボード ESPr Developer(以下 wroom) を用いて制御し，調味料の出力を調整する．製作した EMO 味を図 3 に示す

回は感情を喜（笑い）
，怒（ストレス），哀（気落ち感），楽（リラックス）の 4 つに分類することとし，味覚刺激として酸味，辛味，苦味，甘味を用いた．本論では複合的な感情と味の対応は考えず，一つの感情につき一つの味を提示するものとする．感情と味の対応関係図 1 はのように定めた．

3.3 調味料提示装置
定量の調味料を出力するためにすりきりを利用したマス式計量方式を用いた．マス式計量方式とは調味料を出力する際に余分な調味料をすりきることで，一定体積で調味料を出力するものである．プロトタイプではインペラーを回転させることで，すりきりと出力を行う機構を用いた．構

3.2 システム構成
EMO 味は感情推定部，調味料提示装置，出力制御部の３つで構成される．システムのフローチャートを図 2 に示
す．感情推定部では，web カメラで対象者の表情の画像を取得し microsoft が提供する Face API を用いて表情解析による感情推定を行う．調味料提示装置はインペラーを回転造を図 4 に示す．４枚羽根のインペラーの側面をスペーサーで囲み，その上下を調味料の供給口と出力口をもつ仕切り板で覆うことで図 5 のように羽根で仕切りられた空間を作る．この空間に調味料が供給され，インペラーの回転をステッピングモーターで制御することで，インペラーと上部の仕切り版ですりきりが行われ，一定量の調味料がインペラーにより押し出され出力される．

図 1

感情と味の対応関係© 2020 Information Processing Society of Japan

図 4

出力機構の構造

図 5

すりきりの機構322

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

表 1

喜怒哀楽のパラメータ設定

喜happiness

怒anger+disgust+surprise哀

contempt+sadness

楽neutralの４つに分類して感情推定をを行うために，特定の表情表出を促す課題を喜怒哀楽それぞれ設定し，課題中の表情を撮影した．撮影した表情を Face API で解析を行い，その結果をもとに各パラメータに対する重みづけや閾値を設定
図 6 出力制御の概略図

し，喜怒哀楽のパラメーラは表 1 のように設定した．

4. プロトタイプ評価のためのパイロット実験
3.4 出力制御部

4.1 実験目的

今回試作した EMO 味で調味料出力装置一つに対して出製作した EMO 味プロトタイプを用いて，EMO 味の設力できる調味料は一種類である．したがって，調味料出力計指針と感情共有の有効性を評価するために，友人らと遊装置は４つとなる．複数のモーターを一つのマイコンでんでいる状況で感情を味で共有するという設定で実験環境制御してしまうと装置の機構部が大きく，使用する際にを作り，被験者８名（男性８名，平均年齢 22.1) に対して不都合が生じる可能性が高い．したがって，ワイヤレスで実験を行った．

モーターを制御し，出力装置一つ一つを独立させることで，利便性の良さを向上させた．ワイヤレスでのモーター制

4.2 実験方法

御は，Wi-Fi モジュールである esp-wroom-02 を搭載した

EMO 味の機能を考慮するとコミュニケーションをとる，ESPr Developer(以下 wroom) を用いて行なった．wroom

他者の考えや心情を読みとる，様々な表情が表出するといは，PC からシリアル通信で受信した情報を送信するためう３つの条件が必要だと考えた．そこで本実験ではワンナの client wroom と，client wroom からのデータを受信し，イト人狼というコミュニケーションゲームを用いた．ワン

ステッピングモーターを動かす server wroom の２種類を

ナイト人狼は村人側と人狼側という２チームに別れ，プレ用意した．出力制御の概略図を図 6 に示す．

イヤーの中にいる人狼を，全員で相談・討論しながら村人

PC から送信されるデータは 2 バイトで構成され，先頭に紛れたい人狼を見つけ出すゲームである．実験環境をの１バイト目が出力する味の種類，2 バイト目がモーター

図 7 に示す．実験では 4 人 1 組でテーブルに着席してもらのステップ数を示している．PC から出力情報を受信した

い，ゲームをプレイしてもらった．プレイ中は 4 人のうちclient wroom は，先頭の文字からどの味に対応した server

1 人の被験者（以降「対象者」とする）に対して，Web カwroom に接続しデータを送信するかを判定する．接続先がメラ（ロジクール，c920r）を使用し，実験者の任意のタイ決まったら，server wroom に割り当てられた IP アドレス

ミングで表情を撮影し，感情推定の結果からスパイスを提にアクセスし，モーターのステップ数を送信する．server示した．事前の説明において，EMO 味における感情と味

wroom は１ステップで 90°回転し，受信したステップ数の対応関係については説明せず，対象者の感情にあった調に応じてステッピングモーターを回転させることで調味料味料を提示するものであることのみを説明した．ルールをの出力制御を行った．

説明後，テストプレイとして 2 回プレイし，そのあと本プ

3.5 感情推定部
感情推定手法として，FaceAPI を用いた表情による感情認識を行う [8]．FaceAPI の感情分類数は，anger，contempt，disgust，fear，happiness，neutral，sadness，surprise の合計 8 つであり，表情から得られる各感情の信頼度を 0.000〜1.000 の数字で表し，全ての感情の信頼度の合計値が１になるように出力される．本研究では，表情は故意による表情でなく，自然と表出する表情による感情推定を想定している．しかし，感情ごとに表情への表出度合いはことなるため，感情によって出力される信頼度にばらつきがあることが予想される．そこで，自然な表情から感情を喜怒哀楽© 2020 Information Processing Society of Japan

図 7 実験環境323

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

レイとして 8 回プレイを行った．また，対象者は２プレイごとに交代し，プレイ中に対象者の表情を解析し調味料提示を行い，提示されたスパイスを 4 人全員で味わった直後にアンケートに回答してもらった．また，全てのプレイが終了後，実験後のアンケートに回答してもらった．調味料の提示は 1 プレイ中 1 回，1 種類の調味料のみとし，閾値

図 8 味に対しての印象を超えた感情が複数ある場合は，場の状況や得た数値から最も適切と思われる感情を実験者が選択した．

しての印象はリラックス状態のような快感情の印象，酸味味の提示タイミングに関して，味覚と情報の関係に着目に関しては「苦しい」，「哀しい」などの不快感情印象が共した．味覚以外の情報が味に対する美味しさに影響すると通して見られる．この結果から，味による印象を利用した言われている [9]．また，苦味を提示する際に，事前に提示感情共有に関して少なくとも快不快の２値分類であれば認する味について，苦いという情報与えた被験者と，苦くな知可能ではないかと考える．しかし，「味からではわからないという情報を与えた被験者に苦味を提示すると，後者のい」や「話し合いでの情報が少ないためわからない」とい方が苦味に対する嫌悪感が低下したという報告がある [10]．

う回答も見られ，味覚提示のタイミングや提示する場の状

このことから，味覚刺激を受ける以前に提示された情報に況で，味による感情共有の効果は左右されると考えられる．

より，味の印象が変化することがあると言える．したがっ表情解析の対象者に対する「自分の状態が味に反映されて，味にゲーム内でのコミュニケーションで得た情報を付ていると感じますか」という設問項目について，味と対象加させ，感情共有に対する効果を高めるために，より多く者の状態の一致度は，対象者がゲーム内で有利不利がどちの情報があるゲームの後半で調味料の提示を行った．

らの状態であるのかが影響すると思われる．そこで，味の各味覚に対して出力する調味料は事前にプロトタイプの印象についてある程度共通の回答が得られた酸味と甘味に機構で安定して出力可能であるか検証を行なった．その結着目して，ゲームの流れやアンケートの自由記述から，対果，今回用いた調味料は酸味，辛味，苦味，甘味，に対して象者の状態反映に関するアンケートを，対象者が有利な状

順に粉末状の乾燥梅，一味唐辛子，インスタントコーヒー，況か不利な状況かに分けた．アンケート結果を図 9 に示シュガーパウダーである．

す．有利状態で甘味を提示した場合は「やや感じた」 「非常に感じた」という回答のみであり，甘味の「穏やか」や4.3 評価方法「落ち着いている」などの快感情の印象と一致している．そ味が相手の状態を理解することにどのように影響するののため，不利な状況では提示では回答結果が「あまり感じかを検証するため，実験中と実験後にアンケートを行った．

なかった」となったと推測できる．このことから，今回の実験中のアンケートは感情推定の対象者と，それ以外の 3

甘味と「楽」 の感情の対応はある程度一致していると考え名で設問内容が異なる．対象者以外の被験者には，対象者られる．酸味回答では，対象が不利な状況では「少し感じがゲームにおいて人狼側か村人側のどちらに属するかを，た」，「非常に感じた」と回答しており，一方で有利な状況調味料を味わった上で選択し，その理由を自由記述で回答

では「どちらでもない」，「あまり感じなかった」という回してもらった．対象者に関しては味に自分の状態がどれほ答でが見られたことから，状況によって二分していることど味に反映されていると感じたかを 7 段階尺度で回答してがわかる．不利な状況において対象者はマイナスな感情をもらった．二つのアンケートの共通項目として味わった調抱いていると考えられるため，この回答結果は酸味のマイ味料の味を選択形式で回答する項目を用意した．また，実ナスな印象と一致していると言える．しかし，本論で酸味験後のアンケートは，プレイ中の思考に対して調味料が影に対応づけた表情解析の結果による「喜」の感情とは一致響したかを 7 段階尺度で回答してもらい，最後に自由記述していない．これは不利な状況に対して「楽」 と推定し甘欄を設けた．

味を提示したことに関しても同様のことが言え，表情解析

4.4 実験結果
4.4.1 アンケート結果
実験で提示した各味の回数は 2 つのグループを通して，酸味 5 回，辛味 6 回，苦味 1 回，甘味 4 回だった．苦味は提示回数が 1 回のため，アンケートの結果に関して今回は考慮しないものとする．対象者が人狼側か村人側か回答するアンケートにおける理由の自由記述欄において，各味の印象について書かれたものを抜粋し図 8 に示す．甘味に関© 2020 Information Processing Society of Japan

図 9 対象者の有利不利による状態反映のアンケート結果

324

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

による感情推定と実際に抱いている感情が異なっていると考えられる．

4.4.2 EMO 味の動作
実験において調味料の出力できなかった回数は 2 回あり，そのうちタンク詰まりが一回，インペラーが回転しなかったことが一回であった．タンク詰まりに関しては，調味料が湿気を吸うなどして固まってしまうことが原因であり，プロトタイプの機構で完全に防ぐことは難しい．イ
ンペラーの回転不良に関しては，インペラーの傾きや調味料がインペラーとスペーサーの間に詰まることで回転が止まってしまったことが考えられる．また，表情解析に関しては，話し合いにおいて対象が横を向くなどにより，表情が認識できないことがあり，何度も表情を撮り直すこと

図 10

改良後の味覚提示装置の外観があった．また，表情解析開始から調味料の提示まで時間がかかり，調味料提示時の感情と表情解析時の感情が異なることで，正確な主観評価結果が得られなかった可能性もある．

5. EMO 味の味覚提示装置の改良
5.1 プロトタイプにおける味覚提示装置の問題点
プロトタイプではマス式計量システムで調味料の提示を行なったが，この機構に関して，２つの問題点が見られた．

図 11

調味料の提示部の構造

一つは出力可能は調味料の制限である．プロトタイプの機構では出力する調味料を事前に出力が可能か出力テストを行い選定している．この条件としては粒の大きさや調味料の固まりやすさがあり，安定して出力可能な調味料は限

6. おわりに
6.1 まとめられる．これは味による感情表現の幅を狭めてしまうこと

本論では表情による感情推定結果から感情に適した調味に繋がる．もう一つは量の調節である．プロトタイプの機料を出力する「EMO 味」のプロトタイプを製作し，パイ構では，細かな出力量の調整は不可能である．またインペ

ロット実験から設計指針および味による感情共有の有効性

ラーの回転が途中で止まってしまうことで，出力量がまばを検証した．実験結果より甘味よる快感情と酸味よる不快らになり，安定して定量出力できないこともあった．これ感情伝達の可能性示すことができた．しかし，感情と味覚は今後感情を味の濃さや，複数の味を調合するで表現するの対応関係に対して味から受ける印象が一致していないこ

際に支障を来すと考えられる．とや，ある瞬間の表情による感情推定では表情認識の安定性や感情推定の精度に問題が見られた．

5.2 改良版味覚提示装置
問題点を踏まえて装置の改良を行なった．味覚提示装

6.2 今後の展望置の外観を図 10 に示す．プロトタイプでは味ごとに装置

感情と味覚のマッピングに関して味から受ける印象が多が独立していたが改良版では一つの装置に集約している．

種多様であるため，感情分類数を細分化し，その感情ごと

図 11 は調味料の提示部である．改良版装置では調味料のに味覚を対応づけを厳密に行うことは難しい．したがって，提示を振動方式に変更している．振動方式では傾斜のある

今後は感情の分類を快不快の２種類に大きくわけ，それぞレーン上に調味料をセットし，レーンを振動モータで振動れ甘味と苦味を対応させて味覚提示を行っていく．また，させることで，調味料が下っていき出力される．また，出味覚刺激においては知覚する味の強度を変化させることで力された調味料の量は受け皿の下に設置しているロード味から受ける印象を変化させることができる [11]．よってセルによって重量が計測される．したがって，重量計測に味の強度を変化させるために，粉末飲料の出力を検討してよって振動のオンオフを制御することで出力量を自由に調いる．調味料で味を調整する場合は使用する料理自体の味整可能となる．また，複数の調味料出力も重量計測を利用や量を考慮する必要がある．一方粉末飲料であれば投入すすることで細かな調節が可能となる．

る水の量を固定すると，粉末の出力量を調整することで味の濃さを変化させることが可能である．

© 2020 Information Processing Society of Japan325

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-36
2020/3/9

感情推定に関してプロトタイプでは web カメラを用いて一人の表情から感情推定を行なった．今後は一個人の感情だけでなく，複数人の感情を推定し，グループ全体の感情を味で伝えることを検討する．多人数コミュニケーションの場において，一般的なカメラ一つでは複数に表情を認識するために対象者が横並びである必要がある．この制限を解消するために複数台のカメラの使用や全天周カメラを用いた表情認識を検討していく．
今後は上記のような機能の搭載，拡張を行なっていくとともに，コミュニケーションツールとしての味覚インタ
フェースの有効性を遠隔地でのコミュニケーションや今回のパイロット実験環境のような同じ空間を共有している状
態でのコミュニケーションに焦点をあてて検証していく．
参考文献
櫻井翔，鳴海拓志，佐々木正人：音声解析に基づいた感情を可視化する手法，情報処理学会研究報告ヒューマンコ
ンピュータインタラクション (HCI)，2008-HCI-130(9)，pp．29-32，2008．
[2]
池田悠平ほか：生体情報を用いた感情の可視化による気づきの支援，インタラクション 2017 論文集，pp.634-637，
2017．
[3]
James A. Russell：A Circumplex Model of Aﬀect，Journal of Personality and Social Psychology，vol．39(6),pp.1161-1178，1980．
[4]
杉本久美子，土橋なつみ，泰羅雅登，臼井信男：味覚刺激と自律神経・脳活動の関連，日本味と匂学会誌，Vol.20（2）pp.151-160，2013．
[5]中山雄貴：笑顔可聴化システムを用いた弱視者による他者の表情認識支援，筑波大学，修士論文，2017．
[6]
N．Nishimura，A．Ishi，M．Sato，S．Fukushima，H．
Kajimoto：FacilitationofAﬀection
byTactile Feedback of False，Proc，CHI 2012，pp．
2321-2326，ACM(2012)[7]
中村裕美，宮下芳明：電気味覚を利用した飲食コミュニ
ケーションの可能性，研究報告ヒューマンコンピュータ
インタラクション（HCI），Vol.2011-HCI-142，Issue.11，
pp.1-7，2011．
[8]
MicrosoftAzure :Face API
https://azure.microsoft.com/ja-jp/services/cognitiveservices/face/(2019.12.18).
[9]
伏木亨：味覚と嗜好のサイエンス，丸善出版，2008．
[10] Jack B Nitschke，Gregory E Dixon，Issidoros Sarinopoulos，Sarah J Short，Jonathan D Cohen，Edward E Smith，Stephen M Kosslyn，Robert M Rose，Richard J Davidson：Altering expectancy dampens neural response toaversive taste in primary taste cortex，Nat Neurosci，9(3)，pp.435-442，2006．
[11] Tom Gayler，Corina Sas，Vaiva Kalnikaite：Taste Your
Emotions:An Exploration of the Relationship between
Taste and Emotional Experience for HCI，Proceedings ofthe 2019 on Designing Interactive Systems Conference，
pp.1279-1291，2019．

[1]© 2020 Information Processing Society of Japan326