情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-602023/3/1

感情認識を用いた表情解析による
水面上のインタラクティブな波紋生成
岡戸 雄一郎†

韓 旭†

阪口 紗季†

串山 久美子†概要：人の表情は他者とコミュニケーションを図るうえで重要な社会的信号である．しかし，日常生活において自分の表情を見る機会は少なく，普段自分がどのように笑い，怒り，驚き，泣くのかを認知している人は少ない．本研究では，自分自身の表情を認知する機会を作ることを目的とし，表情に現れる情動情報を水面の波紋で可視化するイン
タラクティブアートを構築する．体験者が水面を覗き込むと，自身の顔が反射して映り，喜び・悲しみの表情を作るとそれに応じて異なるパターンの波紋が生成される．波紋と自分の顔を一緒に見ることによって，体験者は自身の表情と向き合い，波紋の違いによって自身の表情を認知することができる体験の創出を目指す．

やアニメといった創作物で感情の比喩表現にも用いられる

1. はじめに水を用いた.本研究では表情を元に感情認識を使用し体験

人間は笑う,怒る,驚く,泣くのように日常生活の中で様々者の感情値を読み取り,水面に感情を反映させた波紋を生な表情をつくっている.哺乳類にはある程度,表情筋の動き成する.これにより体験者が感情に応じた自己の表情を表はあるが,その中でも霊長類は,人間に近いほど豊かな表情現し認知する機会を演出できると考える.

を出すと言われている［1］. 人の表情は他者とコミュニケーションを図るうえで重要な社会的信号である.また人の2. 関連研究

感情において,内的部分が表出しやすい.アメリカの心理学本研究で用いる,人の表情からの感情認識には株式会社エ者ポール・エクマンは表情が文化依存的ではなくて人類にモスタの Emoreader を使用している[5].先行研究として実普遍的な特徴であり生得的基盤を持つことを明らかにした際に,この感情認識システムを導入しているロールプレイ［2］.つまり,人間は楽しい時に口角が上がり,目が細くなング支援 AI の mimic が挙げられる[6].スキルトレーニング

り目尻にしわが寄るように特定の感情では,特定の表情がとして活用されるロールプレイングに感情認識の技術を取出るのである.しかし表情と感情は双方向性があり,表情をり入れて表情をスコア化して,より効率的なフィードバッつくるだけでも自律神経や免疫系といった身体の反応が起クを寄与している.

こる.アメリカの心理学者ウィリアム・ジェームズの原説に波紋を用いた研究として中西らの On The Waves [7]が挙げは‘‘楽しいから笑うのではない,笑うから楽しいのだ’’といられる.波紋と水滴を用いたインタラクティブ楽器で,波紋う考えがある［3］.これを証明する実験としてクラインクを解析し,複数の体験者が水滴を落とす行為によって, 即ら[4]は被験者に様々な表情の人物写真を見せ，その写真と興的なアンサンブル演奏体験を可能としている.波紋を演同じ表情をするようにと指示した被験者グループと,ただ奏体験の入力としており,波紋自体の生成や,その鑑賞を目写真を見ていた被験者グループ間で,感情状態に差が出る的とはしていない.本研究では,感情をトリガーとして波紋ことを報告している．すなわち，笑顔を作る行為が，それ生成をし,体験者の表情と波紋を鑑賞してもらうことが目が意図的に模倣した笑顔であっても，被験者の感情を明る的である.

くすることに寄与しているのである.それゆえに自己の表さらに波紋を用いた事例として,小宮伸二の水の庭[8]が挙情を適切につくることで,自分の精神衛生を良好に保つこげられる.この作品では,天井からランダムに水滴を落とし,とに繋がると言える.日常生活を振り返ると自分の表情を鏡が敷き詰められた水槽内に水の波紋を広げている.中央見る機会は少なく.洗面台で鏡を見る時,自分の表情は真顔に吊るされた電球の光が鏡に反射し,水面の波紋の様子がであり,普段自分がどのように笑い,怒り,驚き,泣くのか,天井や壁の空間に投影されるインスタレーションである.

完全に理解して適切に表現できる人は少ないと言える.さ

彼は波紋を振幅と繰リ返される衰退と捉えており,波紋同らに昨今では感染症対策のために,マスク着用を余儀なく士は無数の模様を生み出すと考えている.本研究でも, 波され, 人に表情を見せづらい状況となり，表情を通じたコ紋の生成の仕方において異なるパターンを作ることによっミュニケーションの機会も減少した.筆者らは，体験者の表て,複数の感情の違いを波紋のパターンとして可視化でき情の情動情報を可視化して，自己の表情と向き合う状況をると考える.

作れないかと考えた. 可視化方法としては,実際にドラマ†東京都立大学大学院

システムデザイン専攻システムデザイン研究科© 2023 Information Processing Society of Japan1019

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3. 作品制作

3P-60
2023/3/1

なってしまう懸念点があげられた.これらより上記の観点を満たす 3 案目のソレノイドでの実装を行った.

3.1 感情と水の考察
実際に小説や映画,ドラマ,アニメといった作品の中では登場人物の, 驚きや動揺を表現する際に,水面の揺らぎや波紋を用いることがある.他にも悲しみや寂しさを表現する際に雨を降らせるなど水を用いた感情の比喩表現が多く

1 辺 30cm の正方形水槽の各辺にソレノイド 3 個の計 12個設置する（図 2）.これらは Arduino によって一括管理されており,API が解析した感情値によってこれらを様々なパターンで動かし水面に波紋を生成する.個々のソレノイドは 0 か 1 のデジタルな動きをして水面を叩く.感情の表現と存在する.
またサイーダ・メドヴェデヴァが中心となり,世界中の水に関する研究を追ったドキュメンタリー映画 WATER[9]では,水の神秘を理解する科学者,宗教者が, ‘‘人の理念や感情によって水が変化する’’と述べている.これらより, 本研究では,感情の可視化方法として,水面の波紋を用いている.

して体験者の認識性を考慮し Emoreader で解析できる値の「喜び」と「悲しみ」の 2 つの感情に絞り,波紋を生成する.
この 2 つの感情は,プルチックの感情の輪[10]において対の関係をなし,複合的に感情値を解析できるシステムにおいても差異を検出しやすいため上記を選定した.「喜び」という感情の中でも感情の強弱があるため,それらは動作する

3.2 システム概要

ソレノイドの数の増減で表現した.

本研究では,体験者の表情から感情値を解析するのに株

波紋は感情を正の感情と負の感情で二極化して表現する.

式会社エモスタの Emoreader の API を使用した. Emoreader「喜び」は正の感情値として扱う.正の感情は波紋で表現とはポール・エクマンの定義した FACS（Facial Action

する場合,ポジティブなイメージを持たせるため,端正,リズ

Coding System）理論に基づき,人の表情から「怒り」「軽蔑」

ミカル,心地よいといった印象になるように,ソレノイドを「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」「無表情」を検規則的に動かしつつ,波紋同士の干渉が端正に発生するよ出し,表出可能性を％で評価する AI である.体験としては,うにする.波紋のパターンとして,時計回りに等間隔でテン

人が水面を覗き込んだ際に,水槽上部に設置した USB カメ

ポ良く回転する波紋がある（図 3）.対して「悲しみ」はラより顔を認識して API を起動し感情値を解析する.その負の感情として扱う.負の感情は,ネガティブなイメージを解析した値を,Arduino にシリアル通信で送ることで水面持たせるために不規則且つ,水面にできる波紋が乱雑な状横に設置したソレノイドで波紋を生成するシステムであ態にする.波紋のパターンとして,ランダムに同じ箇所からる.これらの動作を一連で行うため,プログラムは Python

波紋を生成する.間隔は一定ではなく徐々に広がっていく上で構築し,Arduino と通信の相互関係を持たせている（図（図 4）.

1）.また水槽の底面には体験者の表情が水面に映るような体験を演出するため鏡を設置している.

図1

システム図

3.3 ソレノイドでの波紋生成
水面での波紋生成に関しては検討段階では３つのプロトタイプで実装した.1 案目は水中ポンプによる下からの水面

図 2

ソレノイドの設置箇所の写真の押し上げによる波紋生成,2 案目はスピーカーによって水面へと振動を与えての波紋生成,3 案目がソレノイドの先端

3.4 ユーザシナリオ

で水面を叩いての波紋生成である.検討の観点として,体験体験人数は現段階では 1 人であり,体験者が水面を覗き込者が自分の表情と向き合う水面を作れるかが重要であり,むことで水槽の上部に設置した USB カメラが表情を認識細分すると,波紋生成の質や自由度,また体験空間の演出のする（図 5）.その表情によって波紋が生成され体験者はしやすさである.１案目の生成方法では,水面に大きな乱れが生まれてしまい,波紋生成の自由度が低かった.２案目では, 音で生成するという関係上，鑑賞体験に不必要な音が発生してしまい向き合うという体験にそぐ合わない環境に自分の表情と波紋に向き合いそれらを認知する.一度の体験の間隔は設けておらず,異なる自分の表情と波紋を見る場合は,再度水面を覗き込む流れである.本研究の目的は,体験者が感情に応じた自己の表情を表現し認知する機会の演出ではあるが,人間にとって自分の感情とはセンシティブ© 2023 Information Processing Society of Japan1020情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3P-60
2023/3/1

なものであるため,実際にインタラクティブアートとしてある．これらを今後,体験者に認識させない設計にすること作品に触れて何を感じるかの体験の強制はしない.むしろ,でより自然な表情の誘発と体験への没入が実現できると考体験者それぞれの感じ方が生まれる体験の余白ある作品のえる.

想定である.

参考文献
Sato, W., Minemoto, K., Ikegami, A., Nakauma, M., Funami, T.
and Fushiki, T.: Facial EMG Correlates of Subjective Hedonic
Responses During Food Consumption, Nutrients, 12(4):1174(2020).
2) Ekman, P., & Rosenberg, E. L.: What the face reveals: Basic andapplied studies of spontaneous expression using the Facial Action
Coding System (FACS), Oxford University Press (1997).
3) James, W.: The Principles of Psychology (Vol. 2), DoverPublications (1950).
4) Kleinke, C. L., Peterson, T. R. and Rutledge, T. R.: Effects of selfgenerated facial expressions on mood, Journal of Personality andSocial Psychology, Vol. 74, No. 1, pp. 272–279 (1998).
5) EMOSTA エモスタ
https://emosta.com/(参照 2022-12-1).
6) mimic「伝わる」ロープレトレーニング AI
https://mimik.jp/(参照 2022-12-12).
7) 中西 宣人, 鈴木 太朗, 有賀 清一, 飯田 誠, 荒川 忠一: On
The Waves: 波紋・水滴を用いたインタラクティブ楽器, イン
タラクション 2011 予稿集, 4INH-9 (2011).
8) 小宮伸二｜はこだてトリエンナーレ 2019https://shinhakodate.com/2019/artist/shinji-komiya/ (参照 202212-21).
9) Water
https://www.imdb.com/title/tt1663702/ (参照 2022-12-20).
10) Plutchik, R.: The Nature of Emotions: Human Emotions Have
Deep Evolutionary Roots, a Fact That May Explain Their
Complexity and Provide Tools for Clinical Practice, American
Scientist, Vol. 89, No. 4, pp. 344–350 (2001).
1)

図 3 正の感情の波紋

図 4 負の感情の波紋

図 5 体験の様子

4. おわりに本研究では,体験者への表現の分かりやすさを考慮し,感情を絞り,正か負かの二極化した実装であったが,今後の展開として波紋の表現の幅を広げるため水槽の面積の増加をすることで,より多くの感情を表現できると考える.その場
合には,体験人数を 1 人ではなく,同時に複数人の体験を実現し,互いの感情から生成される波紋の干渉が起きることで体験の幅が広がると考える.
また，現状のシステムではカメラやソレノイドなどの装置の存在が体験者から視認できてしまう状態であるため，水面を覗き込むという鑑賞体験を阻害してしまう可能性が© 2023 Information Processing Society of Japan1021