視覚刺激と触覚刺激による感情のリアルタイム制御と社会展開に関する研究
調査
代表研究者
共同研究者
共同研究者
共同研究者

新菅
小増

竹哲
泉
山純朗
直 也
浩 人

電気通信大学
電気通信大学
電気通信大学
電気通信大学

情報理工学研究科
情報理工学研究科
情報理工学研究科
情報理工学研究科

准教授
教授
准教授
准教授

1 緒言
近年，感情コンピューティング（Affective Computing, AfC）と呼ばれる新興の分野において，人の感情を認識し情報として扱う技術の開発が盛んに行われている．AfC は教育，医療，およびエンターテインメン
トといった幅広い用途への応用が見込まれており，それによって社会に大きく貢献することが期待されている．
AfC における重要な研究領域の一つは，感情の意図的な誘発とその定量化である．感情の誘発には主に視覚と触覚に刺激を与えて働きかける方法がある．視覚刺激にはヘッドマウントディスプレイ（Head-MountedDisplay, HMD）が頻繁に用いられ，例えば暖かみのある色や恐怖感を覚える写真といったものを提示する．
HMD によって実現される没入型の仮想環境は，AfC において強力な手段である．一方，触覚刺激にはハプティクスデバイスが用いられ，振動や圧迫，熱といった感触を提示する．ハプティクスデバイスは，身体における任意の箇所を物理的に刺激できる有用な手段である．これらの方法によって誘発された感情は，心拍や体温といった生体信号として取得される．感情はラッセルの感情円環モデルによって，快－不快を意味する感情価と，覚醒度という 2 つの尺度によって，図 1 に示すように 2 次元的に表せることが知られている[1]．
AfC では，快－不快と覚醒度それぞれに対する生体信号との関連を研究することで，どのような刺激が，どのような感情を生じさせるのかを明らかにしてきた[2]．
従来の AfC では，刺激と感情が 1 対 1 の関係にある．これは言い換えれば，単一の入力に対する応答の把握に焦点が当てられてきた．そのため，ある感情に対して，それとは別な感情を誘発する刺激がどう作用するかは明らかにされていない面がある．例えば，人が恐怖を感じている時に，満足感を誘発する刺激を与えると，恐怖は増減するのか，あるいは別な感情が惹起されるのか，といったことには解明の余地が残されている．こうした，ある感情に対する刺激の動的なメカニズムが分かれば，AfC の用途をより拡大することができる．
本研究調査では，基準となる感情を HMD を通した視覚刺激によって誘発し，その状態での触覚刺激に対する情動をリアルタイムに取得する手法によって，基準となる感情がどのように変化するのか明らかにし，それに基づいた制御の可能性を研究調査することを目的とする．

図 1. 感情円環モデル．

1

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

2 実験システム
2-1 システムの概要
先にも述べた通り，本研究では基準となる感情を視覚刺激によって誘発し，その状態での触覚刺激に対する情動をリアルタイムに取得する．この目的のために構築した実験システムを図 2a に示す．視覚刺激を与える HMD，触覚刺激を与えるソフトアクチュエータ，および情動を心拍と体温として計測するセンサは独立しており，それぞれを個別に製作した後に統合して構築されたものである．これらのデバイスの制御とセンサ情報の取得は PC によって行った．
2-2 視覚刺激
視覚刺激デバイスである HMD で誘発する基準となる感情は，恐怖に設定した．その理由は，この感情は円環モデルの中では覚醒度に強い相関があるため，表出した際の判断がし易くなると考えたためである． HMDは Facebook Technologies 社製 Meta Quest 2 を採用した．これによって提示する恐怖映像として，ジェットコースターの 360°動画を 2 種類用いた．これらの動画を本研究では movie1 および movie2 として区別する．movie1 は B4T GAMES 社が提供するジェットコースターの仮想空間, movie2 は実在するジェットコース
ターに取り付けられたカメラの録画映像である．実験中に被験者が HMD を通して見る，これらの映像を図2b,c に示す．
2-3 触覚刺激
本研究では，被験者に与える触覚刺激を圧迫とした．この種の刺激は，その度合いに応じて快・不快を与えることができることが知られており，感情円環モデルでは覚醒度と直角を成す感情価として定量化することができることが，採用の理由である．触覚刺激を提示する場合，刺激を与える身体上の部位や技術的な手法には制限があり，とりわけ服の上からの胸部の軽微な圧迫による触覚刺激は，情動誘発の効果が高いと考えられる一方で，有効な手段が見当たらなかった．そこで本研究では，ソフトマテリアルによる新規の触覚図 2. (a)本研究で構築した実験システム．(b)HMD で表示される恐怖映像 movie1. (c)HMD で表示される恐怖映像 movie2．

2

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

提示手法を考案し，試作を通して適切な製作方法や材料の特定を行い，最終的に触覚刺激デバイスとして実験システムに統合した．このデバイスの根幹を成しているのは，図 2a にも示されている，空気の入出力によって膨張するソフトアクチュエータである．膨張の量，すなわちアクチュエータが胸部を圧迫する度合いは，入力された空気圧によって決まる．本研究ではポンプと電磁バルブ，マイクロコントローラによる圧力フィードバック系を作製し，それによって任意の空気圧をアクチュエータに与えられるようにした．アクチュエータのサイズは直径 100 mm であり，シリコーンゴムである Smooth-On 社製 Ecoflex 00-30 をモールディング（型取り）する手法によって成形して製作した．そして，アクチュエータを既製のスポーツウェアに縫い付けることで，着脱が容易なウェアラブル触覚刺激デバイスとした．
実験中のアクチュエータの動作条件（圧迫の仕方）は，人間がリラックスした状態での心拍数の平均が約60bpm であることから，動作周期を 1 Hz に設定した．これによって，感情円環モデルにおいて恐怖と真逆の関係にある落ち着きを触覚刺激によって提示でき，誘発された恐怖に介入し感情を動かすことができると考えた．
2-4 生体センサ
視覚刺激や触覚刺激による感情の変化を取得する定量的な尺度として，本研究では心拍と体温を採用した．
これらを計測するためのセンサとその配置の検討と，それに付随した予備実験を行い，最終的に使用する生体センサとデータ取得方法を決定した．生体センサは TDK 社製 Silmee Bar type Lite とし，これをゲルパッドでアクチュエータに干渉しない胸部箇所に貼りつけることで，心電位・皮膚温度などの生体情報を同時に連続計測できるようにした．そして，取得した心電位から心拍数を算出し，皮膚温度を体温としてアクチュエータの動作入力と紐づけてリアルタイムで記録できるようにした．その際のサンプリング周波数は 1 Hzである．

3 実験方法3-1 被験者
本研究では，21 歳から 25 歳の男性 10 人を被験者として選択した．センサ取り付け位置の観点から，今回は男性に限定した．実験は 1 人当たり 2 回実施し，1 回目の実験が 2 回目の実験に影響を及ぼさないように24 時間以上の間隔を開けて実施した．被験者は乱数により 2 グループに分けられ，一方のグループには，1回目では movie1 の視覚刺激のみを与え，2 回目では movie2 の触覚刺激とアクチュエータによる触覚刺激を与える実験を行った．もう一方のグループには，1 回目では movie1 の触覚刺激とアクチュエータによる触覚刺激を与え，2 回目では movie2 の視覚刺激のみを与える実験を行った．触覚刺激は，映像ごとにあらかじめ決められたタイミングと区間で与えることとした，本実験の実施にあたっては，事前に学内の人を対象とする研究に関する倫理委員会での審査を経て承認を得た（管理番号：22086 号，実験課題名：VR 環境下における触覚刺激による感情制御）．また，実験方法だけでなく，初期の構想から最終的に構築された実験システムの設計と製作において，VR 倫理学の知見に基づいた倫理的妥当性の検証も行った．
3-2 実験環境
姿勢は心拍や体温に影響を与える因子と捉え，被験者が椅子に座った状態で実験を行うこととした．使用
した椅子と人間の大小関係を図 3a に示す．なお，この図に写っているのは研究分担者である．また，被験者が座る場合には，リラックスした姿勢でいられるように，実験中両腕はひじ掛けの上に置かれる．触覚刺激デバイスであるソフトアクチュエータへの空気の入出力を行うための，ポンプや電磁バルブといった機器は動作時に音を発する．こうした環境音の影響を低減する目的で，被験者はノイズキャンセリング機能付きのヘッドホンを装着することとした．このヘッドホンは，図 3b に示すように，視覚刺激を行う HMD との干渉はない．また，ポンプや電磁バルブの周囲に吸音材を配置することで，さらなる環境音の低減を図った．環境因子として温度にも着目し，実験を実施した部屋は室温を 24℃に保持した．
3-3 実験手順
各被験者に対して，以下の 4 つの手順に従って実験を行った．
1.実験の説明：本実験では HMD を介して擬似的な視覚を被験者に与えるため，有害な事象が発生する可能性がある．そのため，被験者にあらかじめ実験の調査の目的，内容，および危険性について説明し，同意を得た．
2.平常時の心拍数と皮膚温度の測定：視覚刺激や触覚刺激を与える前に，心拍数と皮膚温度を測定した．こ3

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 3. (a) 使用した椅子と人間の大小関係（写っているのは研究分担者）．実験中に被験者が座る場合には，リラックスした姿勢でいられるように，両腕はひじ掛けの上に置かれる．(b)環境音の影響を低減するための，ノイズキャンセリング機能付きのヘッドホンを装着した状態（写っているのは研究分担者）．

図 4. 実験を通して得られた ATHQ の結果．
こでは，200 秒間測定を行い，その間の平均を平常時の心拍・体温データとした．
3.視覚刺激と触覚刺激を用いた測定：グループ分けに応じて，個々の被験者に対して実験を行った．その際，被験者に異常が見られた場合には即座に実験の中止ができるよう，被験者の顔色や呼吸，発汗などを注意深く観察しながら実験を行った．
4.Attitude Toward Heights Questionnaire(ATHQ)への回答：ATHQ[3]は高所に対する態度を測定する質問票である．Semantic differential 法に基づく，良い－悪い，楽しい－恐ろしい，心地よい－不快な，安全な－危険な，脅威的でない－脅威的な，無害な－有害な，の 6 項目で構成される．それぞれについて，0（肯定的な態度）〜10（否定的な態度）の範囲で回答を求めた．6 項目の値の総和が小さければ，相対的に心地よく安心で，恐怖感が小さいと見なすことができる．大きい場合はその逆である．これによって，心拍数や体温といった生体データに加えた被験者の主観的な尺度によっても，触覚刺激による情動の有無とその多寡を測ることができるようにした．

4

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 5. (a) 仮想空間映像の視覚刺激 movie1 のみを与えた際の心拍と体温．(b) 仮想空間映像の視覚刺激
movie1 と触覚刺激を与えた際の心拍と体温．

4 結果と考察4-1 ATHQ
実験後に行った ATHQ の結果を図 4 に示す．movie1（仮想空間映像）を用いると，視覚刺激のみの場合より視覚刺激と触覚刺激の両方を用いた方が ATHQ の値が全体として小さいことが分かった．一方，movie2（現実空間映像）を用いると，視覚刺激のみの場合より，視覚刺激と触覚刺激の両方を用いた方が ATHQ の値が全体として大きいことが分かった．また movie2 の視覚刺激のみ用いた場合の結果は，おおよそ視覚刺激と触覚刺激の両方を用いた場合の中央値から最小値の間に分布していることが分かった．
以上の結果から，仮想空間の映像である movie1 では，触覚刺激により高所に対する恐怖が縮小し，別の感情に変化したことが推察される．その一方で，現実空間の映像である movie2 では，触覚刺激による高所への恐怖がむしろ微増する結果となった．これは，movie2 においては，触覚刺激がない状態の恐怖が movie1 と比べて弱いことに起因していると考えられる．言い換えれば，仮想空間の映像である movie1 では，その非現実性から基準となる恐怖の感情が増大した状態となり，その状態での落ち着きを目的とした触覚刺激の介入が明瞭になったことが示唆される．
4-2 心拍と体温無作為に抽出した，実験中の被験者の心拍と体温を図 5-6 に示す．図 5a は，視覚刺激を仮想空間映像である movie1 として，それのみを与えた際のデータを示している．図 5b は，その条件に触覚刺激を追加した際のデータである．両者を触覚刺激を与える区間の前後で比較した場合，心拍の振れ幅が触覚刺激を与えた際には小さくなっていることが分かった．これは，ATHQ の結果と一致する．触覚刺激を与えた場合，その区間での心拍は上昇を見せるが，これは触覚刺激を与えるアクチュエーションの駆動条件が 1 Hz (60 bpm)であることに起因していると考えられる．体温については，触覚刺激の前後で顕著な変化は見られなかった．
図 6a は，視覚刺激を現実空間映像である movie2 として，それのみを与えた際の心拍と体温を示している．
図 6b は，その条件に触覚刺激を追加した際のデータである．触覚刺激を与えた終えた直後の区間に着目すると，心拍の振れ幅は触覚刺激がない場合と比較して，狭い範囲に収束していた．この点において，触覚刺激が被験者の情動を落ち着きや心地よさに変化させた可能性を示唆する．しかし，触覚刺激中の区間に着目す
ると，心拍の振れ幅は増加していることがデータでは示されている．この原因として，振れ幅があまりに大きいことから，電磁バルブなどの外部機器のノイズが測定データに乗ってしまったことが考えられる．体温5

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

図 6. (a) 現実空間映像の視覚刺激 movie2 のみを与えた際の心拍と体温．(b) 現実空間映像の視覚刺激
movie2 と触覚刺激を与えた際の心拍と体温．
について図 6a,b のデータを比較すると，視覚刺激のみの場合では映像が進むにつれて明確に上昇していくのに対して，触覚刺激を与えた場合ではほぼ一定であった．これは，視覚刺激によって恐怖や興奮が誘発される（覚醒）ことに対して，触覚刺激の介入がそれを抑制（非覚醒）する方向に感情を動かした可能性を示
唆する．

5 結言
本研究では，基準となる感情を HMD を通した視覚刺激によって誘発し，その状態での触覚刺激に対する情動をリアルタイムに取得する手法によって，基準となる感情がどのように変化するのか明らかにし，それに基づいた制御の可能性を研究調査した．具体的には，基準となる感情を恐怖に設定し，それを誘発する視覚刺激としてジェットコースターの仮想空間映像と現実空間映像を採用した．また，触覚刺激の種類として，その度合いに応じて快・不快を与えることができる圧迫を用いることとし，その実行手段として空圧式のソフトアクチュエータからなるウェアラブルデバイスを発案し製作した．これらの外的刺激に対する被験者の感情の変化を定量化する尺度として，心拍と体温に着目し，これらの測定手段である生体センサを検討と予備実験を通して決定した．以上の視覚刺激，触覚刺激，およびセンシングを担う要素を PC を介して統合し，リアルタイムに情報を取得できる実験環境を構築した．また，心拍や体温といった定量的な尺度に加えて，高所に対する態度を測定する質問票である ATHQ を導入し，被験者の主観的な尺度によっても触覚刺激の介入による感情の変化を評価できるようにした．
実験の結果，仮想空間映像において触覚刺激によって恐怖の感情が弱まったことが ATHQ によって確認された．また，同条件において，心拍の振れ幅が触覚刺激を与えた際には小さくなっていることが分かり，ATHQの結果と一致を見せた．加えて，現実空間映像における触覚刺激の存在が，体温を一定に保つことがデータ上示唆され，それによっても触覚刺激の介入が恐怖や興奮といった覚醒を，落ち着きや心地よさといった非覚醒に動かせる余地が見出された．以上の結果から，視覚刺激と触覚刺激によって，感情を制御できる可能性があることを確認した．
当初の目的である感情制御の可能性の存在を調査によって明らかにできたことは，本研究の今後の取り組みの礎となるものである．また，比較的に短い研究期間の中で，実機の構築で調査を行えた事実は，表面化していない実用化の課題があるとしても，感情制御システムの実装が技術的には高い実現性を持っていることを示唆しており，社会展開もまた同様である．

6

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

研究成果の展開においては，まず得られたデータの精査が挙げられる．本研究で取得したデータは膨大であり，感情の変化や可制御性をより詳細に把握するために，全てのデータを統計的に処理して情動を解釈する上での有意差をこれまでよりも明確にする必要がある．その次の段階として，構築した実験環境を構成する各要素の高精度・高性能化が挙げられる．本研究では触覚刺激として空圧ソフトアクチュエータを採用したが，それによってなされる圧迫の度合いは主観的に決定された面が強い．したがって，入力圧力に対する圧迫力とその応答速度といった，詳細な特性解析を行うことによって，より感情に作用できる触覚刺激を高精度に再現できると見込まれる．このことはアクチュエータの出力特性に限ったことではなく，形状や材質においてもより適したものを見出すことができ，同様の効果が得られると期待できる．空圧式のアクチュエータはポンプや電磁バルブが環境音とデータへのノイズを生み出すことが実験中に示唆された．そのため，これら駆動系についても消音下といった向上が高精度な実験結果を得るために必要である．ただし，これはアクチュエータの動作原理が空気の入出力によって起きていることであり，他の動作原理では根本から排除できるであろうということにも触れておきたい．ソフトアクチュエータの動作原理には様々なものがあり，例えば電気で動作する静電アクチュエータやイオンアクチュエータ，相転移アクチュエータは音を発しないため，これらを触覚刺激の仕様を満足する形で導入することができれば，先述した環境音やノイズの影響を極端に低減できることが予想される．触覚刺激においては，今回採用した圧迫だけでなく，振動や引張，温度といった，多くの物理的刺激が存在する．アクチュエータの高度化と並行して，こうした他種の触覚刺激を実験に導入していくことで，より効果的な刺激を見出すことができると考えられる．以上で述べた，触覚刺激の取り組みは，視覚刺激やセンシングにも基本的には当てはまる．視覚刺激においては，提示する映像の種類によって今回採用した恐怖以外の感情を誘発することも可能であるし，センシングについてはその高度化に加えて発汗といった，感情の定量化に貢献する他の反応を知覚し，さらにデータの解釈の深度化と多面的な手法を取り入れることも有効な手段として挙げられる．これら各要素の開発に本研究で得られた成果を展開していくことで，感情制御手法のさらなる発展に資することができることが見込まれる．

【参考文献】[1] J. A. Russell, L. F. Barrett, J. Pers. Soc. Psychol. 1999, 76, 805.
[2] E. Cambria, D. Das, S. Bandyopadhyay, A. Feraco, Springer, Cham, 2017.
[3] J. L. Abelson, G. C. Curtis, Behaviour Research and Therapy 1989, 27, 561.

〈発題

名

視覚刺激と触覚刺激による感情制御の実現可能性の研究
The Ethics of Virtual and Augumented
Reality: Building Worlds

表資料〉

掲載誌・学会名等

発表年月

ロボティクス・メカトロニクス 講
演会 2023 in Nagoya
日 本バ ーチ ャル リアリ ティ学会
誌，書評，

7

2023 年 6 月 30 日
2022 年 6 月 30 日

公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度