情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D142022/2/21

HeartBeater: 他者の存在感や精神状態を示唆する
マルチモーダル心音提示デバイス中島 武三志1,a)

概要：本研究では，心音および鼓動を他者とのコミュニケーションにおける非言語情報と位置づけ，アンビエントに自己の存在感や精神状態を相手に示唆する身体表現の拡張として心臓の鼓動を提示するデバイ
ス「HeartBeater」を提案する．特に，心臓の鼓動情報を簡便に記録し，マルチモーダルな情報として提示することによって存在感や生命感，または感情や情動，気分といった内部状態など，より豊かな感性情報をアンビエントに示唆することを目指す．本稿では提案するデバイスの詳細について報告し，具体的な使用例について考察する．

1. はじめにきず，心音の元となる鼓動そのものは提示できない．単なる心音のみならずその元となる心臓の鼓動を簡便に記録・心臓の鼓動は生命活動を表すサインであり，人間の精神提示できれば，他者の存在や生命感，または感情や情動，状態を反映する指標でもある．心拍変動が緊張やリラク

気分といった内部状態など，より豊かな感性情報をアンビゼーションといった精神状態の推定に用いられているほエントに示唆することが可能になると考えられる．

か，心音を聴取することによる心理的効果も示唆されていこのような背景を踏まえ，本稿では他者の心音を視覚，る．河合らは心臓音と笑い声という 2 つの音刺激を被験者

聴覚，触覚でマルチモーダルに体感できるデバイス「Heart-に呈示することにより音刺激聴取時における心身の変化をBeater」を提案する．また，比較的簡便かつ負担の小さい観察した結果，心臓音は心身の安定を促し，気持ち落ち着形で鼓動情報を記録する方法として，指先に装着した脈拍かせる効果があると推察している [1]．また，Weiland は幼センサの値をもとにあらかじめ用意した音源を用いて擬似児にとって母親の心音は精神を安定させる効果があると報的な心音と鼓動を生成する手法を提案する．

告している [2]．このように心音には一定の心理的効果が以降，本研究と関連する研究や作品について整理し，本示唆されている上，他者の心音を聴取することで，その人研究の位置づけを示す．さらに，提案システムの詳細につの精神状態をうかがい知る指標ともなりうる．

いて述べ，想定される使用例について考察する．

本研究では，表情や身振りなどと同様に心音および鼓動を他者とのコミュニケーションにおける非言語情報と位置

2. 関連研究

づけ，言語情報などと干渉しない形でアンビエントに自己心臓の鼓動や心音は生命感や心情を反映する象徴としての存在感や精神状態を相手に示唆する身体表現の拡張を試

多くの研究対象や作品モチーフになっている．飯沢は心みる．身体によって表現される非言語情報はコミュニケー

臓を象った造形物から繋がっている心拍センサーに指をションを行う上で重要な意味を持っており，存在感や精神当てると，その人の心拍の早さで造形物が移動する作品

状態を非言語的に提示することでより円滑なコミュニケー「external heart」を発表している [3]．また，吉田らは体験ションに寄与することが期待される．

者の心拍と呼吸動作に依存して動作する心臓と肺の模型にしかし，心音の記録と提示には簡便性とリアリティに課加えて，酸素濃度によって血液の色が変化する様子を血管題がある．心音を正確に集音するには安静状態でおこなうを模したチューブ内の液体で表現したデバイスアート作必要があり，胸部に聴診器を当てての集音は負担が大きい．

品「Ikitomical Model2」を制作している [4]．これらの事

また，心音を聴取する手段であるスピーカやヘッドホンと例は，心臓のリアルな質感や造形で生命感を表現しようといった音響機器は，音の発生した原理や背景までは提示でする点が共通している．一方，本研究は心音を提示するこ

1a)

東京工芸大学
m.nakajima@int.t-kougei.ac.jp© 2022 Information Processing Society of Japanとで他者の精神状態や存在感を示唆することに主眼を置いているのが特徴である．

316

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D14
2022/2/21

心音に着目した研究として，安藤らは鑑賞者が聴診器を自分の胸に当てると緊張状態にある人々が映った映像が再生され，自分の鼓動音が次第に映像に登場する人物のものであるかのように感じられる作品「心音移入」を発表している [5]．この作品は心音と精神状態の関係性に着目している点で共通しており，本研究では実際に他者の脈拍から簡便に鼓動情報を取得し，提示しようとする点で異なる．

3. 「HeartBeater」の制作
本章では他者の分身として視覚・聴覚・触覚で観察できるアンビエントでマルチモーダルな心音提示デバイス「HeartBeater」（図 1）の制作過程について述べる．本装置は脈拍情報を記録・再生する機能をもち，分身としての実体を持つ点と鼓動をマルチモーダルに体感できる点を特図 2徴とする．以降，システム全体の構成，鼓動の動きを再現する機構と心音を再生するスピーカからなる内部機構，内部機構を覆う外装部の詳細，鼓動提示デバイスの電子回路について述べる．

システム構成図

3.2 内部機構の制作
内部機構は心音を再生するスピーカと，心臓の膨張・収縮を再現する機構からなる．心音を再生するスピーカは小型の振動スピーカ（直径: 50mm, 高さ: 22mm）を用いた．
振動スピーカを用いることによって触覚でも鼓動を体感できることを意図している．鼓動を再現する機構はサーボモータで駆動するが，内部機構の小型化と静音化のためにサーボモータは外部に設置し，ワイヤで動作する仕組みとした．機構部分はワイヤを引くことで周辺部が拡大し，ワイヤを戻すと収縮する（図 3）．機構の制作には 3D プリン
タを使用した．

図 1 「HeartBeater」の外観

3.1 システム構成
本システムは脈拍センサ，鼓動提示デバイス，心音と鼓動情報を送受信するコンピュータで構成される（図 2）．心音と鼓動情報はコンピュータ上の DAW（PreSonus, Studio

図 3

鼓動を再現する機構

One 4）で管理される．記録には，脈拍センサ（MaximIntegrated Products, MAX30102 互換品）で取得した脈拍数を元に一定の周期で MIDI データを送信し，DAW 側でレ3.3 外装部の制作コーディングする形で心拍データを記録する．再生時には本装置の外装部は実際の心臓の形状や質感を再現する

この MIDI データにあらかじめ用意した心音の音源 [6] をため，軟質ウレタン樹脂（日新レジン，グミーキャストゼ割り当てて再生する．再生されたオーディオデータはオーロ）を用いて制作した．制作はまず心臓の模型を元に心臓ディオインタフェース（Native Instruments, KOMPLETEの表側と裏側のシリコン型を作成し，赤色に着色した軟質AUDIO 6），アンプ（FOSTEX, AP15d）を経由してデバウレタン樹脂をそれぞれのシリコン型に流入して成形したイス内部に埋め込まれた振動スピーカから再生される．

（図 4）．成形後，表面のべたつきと劣化防止のために表面© 2022 Information Processing Society of Japan317

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D142022/2/21

コート剤を塗布し，体験者が外装部に触れて鼓動を体感しやすいようにしている．

図 6

脈拍から疑似的に生成された心音オンセット時刻データ

4. 想定される使用例
図 4

外装部と使用したシリコン型

本稿で提案するシステムは他者の分身として存在感や精神状態を視覚・聴覚・触覚で観察できる点が特徴であり，そうした情報が重要な意味を持つコンテンツとしての応用

3.4 デバイスの電子回路
本デバイスは脈拍センサによって脈拍データを取得する機能，そのデータに基づいて疑似的に心音オンセット時刻を生成し，コンピュータへ MIDI データとして送信する機
能，コンピュータから送信された MIDI データを受信してサーボモータを駆動する機能からなる（図 5）．脈拍セン
サを人差し指に装着すると脈拍計測が始まり，脈拍数に基づいて心音オンセット時刻を表す MIDI データを生成しDAW へ送信する．1 心周期に 2 回の心音（心室収縮期の初めに生じるⅠ音と，心室収縮期の終わりに生じるⅡ音）があるため，一回の脈につき 2 回の MIDI データを疑似的に生成しており，DAW 側のレコーディングを開始することで MIDI データを記録している（図 6）．脈拍センサの制御と MIDI データの送受信には Arduino を使用した．

が考えられる．

4.1 プロスポーツ選手の鼓動を提示するコンテンツ
プロのアスリートの競技中の脈拍データを記録し，観戦者に鼓動をリアルタイム提示することによって，観戦者はアスリートの緊張状態や集中している状況の迫真性を体感することができると考えられる．

4.2 芝居における俳優の鼓動を提示するコンテンツ
映画やテレビドラマ，演劇に登場する俳優が演技する際の脈拍データを記録しておき，作品鑑賞時にその俳優の鼓動を提示することで，登場人物の心情がより豊かに伝わり，新たな観点から芝居を楽しむ手段となることが予想される．

4.3 実現に向けての課題
本システムで用いている脈拍センサは有線型であるため，プロスポーツ選手や俳優の活動に支障が生じる．近年
では，生体情報を計測するセンサの入手が容易になっており，スマートウォッチをはじめとするフィットネス目的の生体情報記録・管理デバイスが定着しつつある．スマートウォッチのように小型かつ無線でのデータ計測が可能なセンサを用いることで上記の課題が解決できる可能性が高い．また，本システムでは遠隔でリアルタイムに脈拍データを記録・再生する機能が実装できていない．今後はこうした課題を解決するためのシステム改良が必要である．

5. おわりに
図 5 MIDI 送受信とモータ駆動を行う回路と脈拍センサ

本稿では心音および鼓動を他者とのコミュニケーションにおける非言語情報と位置づけ，他者の分身として視覚・聴覚・触覚で観察できるアンビエントでマルチモーダルな© 2022 Information Processing Society of Japan318

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D14
2022/2/21

心音提示デバイス「HeartBeater」を提案した．また，提案するシステムの詳細と応用例について検討した．現時点ではシステムの実装のみにとどまっているため，今後は検討した応用例の実践や，提案システムが他者の心理状態を示唆する効果について検証することが課題である．
参考文献
[1]

[2]

[3]
[4]

[5]

[6]

河合淳子, 松井琴世, 小原依子, 松本和雄：聴覚刺激による生体反応のポリグラフの研究, 臨床教育心理学研究,
vol.30, pp.53-64 (2004).
Weiland, IH.: Heartbeat rhythm and maternal behavior, J. Am. Acad. Child. Psychiatry, vol.3, pp.161-164(1964).
飯沢未央：external heart (2006).
吉田侑矢, 吉田直人, 松田智嗣, 荻野正樹, 米澤朋子：Ikitomical Model2: 酸素を運ぶ呼吸と心拍の内臓表現による生きているリアリティ, エンタテインメントコンピュー
ティングシンポジウム 2013 論文集, vol.2013, pp.85-90(2013).
Hideyuki Ando, Junji Watanabe, Masahiko Sato.: empathetic heartbeat, Prix Ars Electronica 2012 InteractiveArt division (2012).
パ ナ ソ ニ ッ ク 健 康 保 険 組 合：ポ ケ ッ ト 心 音, 入 手 先⟨ https://phio.panasonic.co.jp/kinen/phs/dictionary/1.html ⟩ (2021.12.20).

© 2022 Information Processing Society of Japan

319