HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

G-25

リズムの予測逸脱による励起感情表出エージェントとの共聴におけるユーザの共感
Emotional Expressions of Co-listening Agent by Deviations from
Expectations of Rhythm
石田 真子 1∗ 西野 歩真 1
Mako Ishida1
Ayuma Nishino1

米澤 朋子 1
Tomoko Yonezawa1

関西大学大学院総合情報学研究科
Graduate School of Informatics, Kansai University
1

1

Abstract: 本研究では，エージェントとの音楽共聴体験によって他者間同士の音楽コミュニケー
ションに生まれる共感や高揚感などをもたらすことを目指す．これまで，(1) 音楽コミュニケーショ
ンを探る最初の段階として音楽要素の中でもリズムに着目し，即時に理解可能なレベルの単調なリズム進行における予測逸脱により，人間の音楽知覚と同様に興奮やリズムパターンの繰り返しに快感を得るエージェントと，(2) 複雑度（4 拍子を基準に設定）の高いリズムへの突然変化に対して，弱い困惑（人間が違和感を覚えた際に表出する程度）を表現するエージェントを実装した．これらの表
現は共にユーザに共感し合う感覚を与えることが確認された．本稿ではこれらのエージェントの表現を統合し，単調なリズムの予測逸脱量に応じた快感や興奮，複雑なリズムの予測逸脱量に応じた困惑を表現するエージェントを実装した．そして，統合手法がユーザに共感し合う感覚やエージェントの人間らしさを感じさせる効果を高めるか検証を行った．その結果，エージェントの快感・興奮の表情
遷移はユーザにエージェントの表情の豊かさを感じさせ，困惑表情遷移はユーザにエージェントと共感し合う感覚やリズムに聴き入る感覚を与えたり，リズムに対する心地よさ，共聴体験の楽しみを向上させることが確認された．また，全体として，過去に確認された快感や興奮表情遷移の有効性以上に困惑表情遷移の効果量が高かったことから，影響の強度を鑑みて使用シーンや強度を選択していく必要がある．

1

はじめに

人間は音楽を聴取する際，メロディやリズム，ハーモニーの周期パターンから後続する音楽進行を予測して期待を膨らませ，その後実際の音を聴いた時に発生する予測からの逸脱によって感情を動かすことで感動する [67, 22, 56]．このような音楽による情動は鳥肌な
どの身体的な反応を伴う強烈な印象をもたらすこともある [20]．
さらに，音楽聴取に伴う感動は音楽の影響を受けるだけでなく共に音楽を楽しむ他者の存在も影響し，複数人での音楽の楽しみには他者との暗黙的な音楽コミュ
ニケーションを通じた空間的快適性や感じ方の共感性が含まれる．音楽コミュニケーションを通じた共感は
内的時間（各個人が持つ主観レベルの意識的な時間の流れ）を自分と他者とで共有することによって喚起され [27, 64, 48]，音楽聴取や演奏シーンでの内的時間は∗ 連絡先：関西大学〒 569-1095 大阪府高槻市霊仙寺町 2-1-1
E-mail: k753488@kansai-u.ac.jp

徐々に楽曲のリズムや拍に同調していく [14, 19]．さらに，楽曲の拍に徐々に同調した内的時間は身体リズムや呼吸リズムを引き込むため [34]，音楽聴取時の内的時間が拍やリズムのビートに合わせた身体同調動作や息遣いなどのマルチモーダルな動きをもたらしていると思われる．このような音楽要素の周期性が人間の身体リズムへの同調を誘発しやすいことを確認した研究は数多く存在する [62, 61, 41, 42]．
このように，音楽リズムに内的時間が同調し，リズムに合った身体動作をもたらす一連のメカニズムを他者と共有することが音楽コミュニケーションの成立を支えていると考えられる [31]．また，リズムに基づく
他者との同調関係は，音楽進行の予測に注意を向ける
ことで促進される [40]．このように音楽コミュニケー
ションには，予測する音楽の流れからの逸脱の楽しみを共有したり，共に内的時間や身体リズムを音楽に同調させる他者の存在が重要である．そして，他者の存在を感じることが人間の感情を豊かにし，感じ方や行動を変容させ [28]，その効果は人間の存在に限らずエージェントの存在によっても見られる [10]．
一方，他者との音楽コミュニケーションを楽しむには
時間の制約や場所の制約が伴い，他者と聴取タイミン
グを合わせることによるマルチモーダルな音楽コミュ
ニケーションを成立させることは難しい．これに対し，本研究では音楽を共聴する他者を擬人化エージェント
で表現することで，時間的・場所的制約なしに音楽コ
ミュニケーションを楽しめる体験を提案する．ユーザにエージェントが音楽を楽しむ心を持つ存在であると感じさせるため，エージェントの心のモデルに音楽進行の予測逸脱に感動をもたらす人間の音楽知覚メカニ
ズムを適用した．また，ユーザに内的時間を共有する感覚を与えるため，エージェントはリズム同調動作を行う．これらにより，音楽進行の予測逸脱に対する感情を共有する他者の存在や，他者との音楽コミュニケー
ションの効果を実現することを狙う．
本研究ではこれまで，内的時間の共有と関連性の高いリズムにおける周期性予測とそこからの逸脱による興奮やリズムパターンの繰り返しによる快感を表現するエージェントを試作し，検証によりユーザと音楽感情を共有することによる共感性の効果を確認した [53]．
本稿ではこれまでのエージェントの感情機能に加えて音楽に励起される感情のバリエーションを追加することでエージェントの人間らしさや共聴体験に対する共感性をより高めることを狙う．そこで新たに，音楽の複雑性が感情に与える影響に着目する．音楽の複雑さは即時に理解可能なレベルの中程度な複雑さに快感を高め，複雑すぎる場合には快感を低下させる [1] ように快感の変化に影響を与えることに加え，困惑感情にも影響する [52]．これらの知覚メカニズムを応用し，エー
ジェントにリズムの複雑性により変化する快感と困惑を持たせ，音楽に対するエージェントの感情表現としてポジティブ感情表現だけでなくネガティブ感情の両方を提示する．これにより，エージェントの感情の豊かさをユーザに感じさせ，エージェントの人間らしさ
やエージェントに対する共感性，共聴体験の印象を高めるかを検討する．
提案するエージェントの内部には，これまでのエー
ジェントの機能であるリズムの予測逸脱に対する興奮と繰り返し聴取に対する快感モデルに加え，リズムの複雑さに応じて変化する快感と困惑を喚起するモデルを統合させた．またこれまでと同様に，ユーザがリズ
ム感を共有する感覚をシミュレーションするため，エージェントはリズムの拍に同調する内的時間を持ち，それを表出する．つまり，エージェントの内部状態に，1)予測される拍の強さと実際のリズムとのギャップの大きさに対する興奮，2–1) リズムの複雑さに応じて変化する快感，2–2) リズムの繰り返しに対する快感，3) 複
雑なリズムに対する困惑，4) リズムの拍に基づくエー
ジェントの内的時間，をそれぞれ持たせ，1) –3) に応じた顔表情と 4) に基づく手拍子や頷きを表出する．また，3) では，顔表情だけでなく，リズムのノリに乗れない表現として，手拍子や頷きを一時停止するような
困惑身体動作も表現した．そのためまず，16 ビートのリズムマシンインタフェースをリズム刺激を生成する
目的で実装するとともに，1) – 4) のエージェントの内部状態とその視覚表現システムを実装した．そして，
エージェントの音楽励起感情の表情表出と身体動作がユーザにエージェントの感情の豊かさや人間らしさを感じさせたり，共感し合う感覚を与えられるかという仮説を検証した．仮説が支持されればネガティブ感情
を含むエージェントの音楽励起感情表現がユーザに対して感情的寄り添いを与える共聴者としての有効性が確認できる．また将来的に，メタバース内のライブイ
ベントにおける観客や演奏者の内部状態に本エージェ
ントの音楽励起感情モデルを適用することで，イベントに参加する全ての人の音楽に聴き入り感情を動かされる体験を促進できたり，音楽療法における音楽への共感による効果に，本システムが狙う他者との共感性の効果が合わさることで，さらにストレスが緩和されるなどの可能性もあると考えた．

2

関連研究

2.1

予測からの逸脱と情動

人間の脳は感覚器官から入力される刺激に対して受動的に反応するのではなく，次に入力される刺激を予測する内的モデルを構成し，それによる予測と入力された感覚信号のずれ（予測逸脱）の計算に基づいて，知覚を能動的に創発していると考えられている（以下，予測的符号化）[7, 6, 23]．この予測的符号化は音楽聴取においても同様に働き，音楽を単に受動的に聴くわけではなく，現在の音の進行から将来の音の進行を無意識に予測し，将来の進行を期待しながら聴取する [22]．
期待通りの場合は安定感や終始感を得るが，期待から大きく逸れる場合には覚醒度を高めて緊張状態となり，聞き手に不安定感や緊張，持続感などの情動が生じる．
そして，人間の快楽原理に基づき適度に快く感じる状
態に落ち着かせるように働くことで，結果として音楽の予測からの逸脱が音楽に対する心地よさの感覚に影響を与える [46, 36]．これらの研究から，予測的符号化における予測からの逸脱や予測できない音楽展開が音楽の情動反応に影響を及ぼすと言える．

2.2

リズムの予測逸脱がもたらす覚醒

音楽の予測的符号化は，リズムやメロディ，ハーモニーなどの音楽要素ごとの周期性に基づいて行われ，予測通りの音楽展開や予測を適度にもしくは遥かに超えた音楽展開にそれぞれ感情を動かす．
特にリズムの予測的符号化による情動は，同じ楽曲
でもリズムが異なることで心が掻き乱されることもあるほど強く変化する [18, 49] ことから，リズムの種類
は感情に大きな影響を与える要素であると考えられる．
リズムの予測では，まずリズムの拍タイミング（1 拍
目の最初のビートから 2 拍目の最初のビートまでの間隔）が予測され，音楽を聴いた時に拍節アクセントを手がかりにリズムを認知して拍を感じる [25]．その拍に合わせて心の中で感じる時間の流れ（内的時間）の中でも拍を刻む（内的クロック）ことにより拍タイミ
ングが予測される [9, 33]．音楽の拍節アクセントがテンポの変動でずれた場合も，内的クロックはリズムの周期性を予測することで徐々に同調させる [14]．この予測は，拍タイミングだけでなく拍強度（リズム 1 ビー
トごとの強度）にも適用されるため，拍タイミングや
拍強度予測からの逸脱が情動に影響し，聴く人の楽し
みや音楽体験の没入感を増幅する [37, 66]
これらのことから，エージェントの内部にリズムの予測とそこからの逸脱により変化する覚醒感情（興奮）を持たせることで，リズムを共聴する他者の存在を模すことができ，その存在に対して共感することができると考えた．

2.3

リズムの複雑性と繰り返しによる快感

リズムやメロディ，ハーモニーの主要音楽要素に限らず，フレーズなど様々な要素には周期性（繰り返し）を伴う性質があり，これは人間の音楽展開の予測を促す要因の一つである．ある刺激に対する予測からの逸脱は繰り返し同じ刺激を体験することで予測逸脱を徐々に縮小させ快感情へと収束させる．そのため，要素ごとに繰り返す習性を持つ音楽による情動は，予測逸脱がもたらす覚醒度のみならず，繰り返しがもたらす快感度によっても影響を受けることが考えられる．
実際，音楽心理学においても音楽に伴う快感情は繰
り返し聴取による影響を強く受けると考えられており[2, 11, 17, 21, 35]，これは，一度聴取したことのある
音楽刺激を脳がより高く評価し，その刺激の認知感覚
を快感情へと転化するためである [56]．一方で，音楽が励起する快感には，音楽要素の繰り返しだけでなく音楽の複雑さも影響し，快感度は音楽の複雑度合いに対して逆 U 字を描くとされる（複雑度が中程度のとき
最も快感度が高くなり，過度に単純・複雑なとき快感
度が低くなる）[1]．音楽の複雑さを生む要素の中でも特にリズムの複雑さによる快感が音楽の情動性に影響を与えるとして注目されている [57]．これらを統合して考えると，音楽が励起する快感はリズムの複雑さの影響を受けて聴き始めの印象として固定され，繰り返し聴取することによりさらに快感が高まったり飽きにより馴化したりするなど，音楽を聴取する長さによっても快感度は変化すると考えられる．
これらのことから，本提案システムにおけるエージェ
ントの内部にリズムの予測逸脱による興奮に加えリズ
ムの複雑度に応じた快感を設定し，繰り返しによってさらに快感を得る機能を実装した．

2.4

リズムの複雑性が励起する困惑と身体反応

エージェントの表出感情が豊かであることは体験の楽しみを増幅させることに繋がる [38, 60]．その表現
手法は表情やふるまいに限らず，コミュニケーション
エージェントの対話に BGM を付与する感情表現手法
によりエージェントの豊かな感情を演出し，人間らしさを高める効果が示唆された [63, 45, 29]．本研究では，
エージェントの音楽励起感情バリエーションを豊かにすることで，エージェントの人間らしさや感じ方の共感性を向上させ，音楽体験の楽しみを高めるエージェ
ントの開発を目指す．
そこで，人間の音楽励起感情が快感や興奮のようなポジティブ感情だけではなく，複雑なリズムを聴く人の心に一時的なネガティブな感情も生まれることを想定し，エージェントの音楽励起感情として再現することにした．特定の感情価を持つ刺激を特定の気分の時に受ける時，刺激の認知処理時間は，刺激の持つ感情
価と刺激前の気分が一致するほど短く，乖離するほど長い [59]．そのため，予測から大きく乖離した刺激を受け入れ理解するには処理時間が長くかかり，刺激の難解さに対して感情に弱い不安や困惑が生まれると考えた．このことはリズム知覚の場合，予測から大きく乖離した複雑なリズムに対して，リズムにノれるポイ
ントを見失い，次のリズムに期待して想像する間に脳の処理が停止することによって，困惑が生まれるとも考えられる．この仮説において，複雑なリズムに生じる感情が困惑であることを確認するため，4 拍子の基
本リズムからの逸脱量をリズム複雑度として，リズム複雑度に応じた困惑傾向を調査した結果，基本リズム
からの逸脱量が広がるほどリズムを複雑に感じる傾向を確認し，リズム複雑度が高まることによる困惑傾向を確認し，仮説が支持された [52]．
これらのことから，本エージェントシステムの音楽
励起感情に，複雑なリズムに励起する困惑を追加し，表情表出により表現した．また，複雑なリズムに認知処
理時間がかかることでリズムにノるポイントを見失った様子を表現するため，複雑なリズムに変化した聴き始めの数秒間，リズム同調動作を一時停止（困惑身体動作）させた．これにより，人間の音楽励起感情の再現精度の高いエージェントの実装を目指す．

2.5

内的時間共有に基づく身体同調効果

音楽が励起する感情の中に予測逸脱による感情や音楽の周期性がもたらす感情，複雑さがもたらす感情の他にも，他者との音楽コミュニケーションによって生まれる情動があると考えられる．本研究では，音楽コ
ミュニケーションの成立を支える役割を担う「内的時間共有」に着眼する．
音楽を聴くときの身体同調動作は楽曲のリズムと内的時間の双方によって生じる [48]．そのため，一定のリズムの周期が内的時間に近いほどにリズム同調動作を取りやすくなる．さらには，リズムとの同調動作はリズ
ムの予測を強く働かせ，リズム認知能力を向上させる[50] ため，身体動作は合わせるべきリズムよりも早く反応する [65]．さらに，二者間の音楽コミュニケーショ
ンでは互いの相手が示す身体同調動作に対しミラーシ
ステムが働き，音楽情動のやりとりが生まれる [31]．このことは複数人の同時タッピング時のタイミングが繰り返しのタッピングによりずれを生じにくくさせ，さらには人間の快–不快情動に影響する脳の α 波周波数[44] が変動したことからもわかる [43]．これらのこと
から，音楽聴取における身体同調動作は内的時間により支えられ，音楽展開の予測やリズム知覚を容易にするだけでなく，音楽コミュニケーションによる情動を強めることがわかる．
本研究では，内的時間の表現としてリズム同調動作をとるエージェントと共にユーザにリズム同調動作をとらせることで，相互に波長を合わせる関係を成立させ，共感の伴う音楽コミュニケーションを生み出すことを目指す．また，ユーザにエージェントを音楽を共に楽しむ他者であると錯覚させ，それに伴う音楽の楽
しみを増強することを目指す．そのため，人間の音楽知覚を模した反応を示す擬人化エージェントシステムを実装し，検証することとした．

2.6

メディアが励起するエージェントの感情
表出効果

ユーザ–エージェント間でのコミュニケーション体験
においては，ユーザとエージェントが同じメディアを共に体験することが，エージェントの示す感情表現に対するユーザ感情を動かす [39, 32]．このような人工的な存在に心を想定する人間の機能と，メディアの体験を共有する効果が注目されている [47, 16]．
エージェントとユーザとのメディア共有の中でも特に音楽の共有の場合では，ロボットが音楽同調動作を取ることでユーザにロボットの楽しみを感じさせ音楽の印象を強めたり [13]，ロボットがジェスチャで観客の感情を演奏者に伝えて音楽が変化することで，観客の感情が変化する [8] ことが分かっている．また，本研究の過去の検証においても，ユーザとエージェントとの音楽共聴体験において，エージェントが音楽励起感情を表出することによる音楽の感じ方の変化や共感の効果が見られた [53]．このように，ロボットや仮想エー
ジェントの心の表出が音楽の楽しみを向上させる可能性が示されつつある．一方で，音楽が励起するエージェ
ントの感情のモデル化やそれによる表現の実装，および評価については研究例が少ない．本研究では，上述する音楽知覚の理論をベースに，リズム聴取における情動および内的時間への影響をエージェントの内部として実装する．これにより，エージェントに対する共感性や人間らしさを向上させる効果を実験により検証することとした．

3

共聴エージェントシステム

3.1

システム概要本研究では，人間と仮想エージェント間の音楽共聴におけるエージェントのふるまいが人間らしさや感情的寄り添いを感じさせ，共聴体験に楽しみや高揚感をもたらすことを狙う．そのため，リズムの拍に同調したの内的時間と，リズムの変化や繰り返しによって変化する内部状態を算出すると同時にそれに応じた顔や身体の動きによる表出機構を実装した前回のエージェ
ントシステム [53] に加え，今回はリズムの複雑さに応じて変化する内部状態を統合し実装した．具体的には，エージェントの快感は繰り返しにより変化するだけでなく，リズム複雑度によっても変化し，表情に表出する．さらに，リズム複雑度が高すぎる，かつリズムの予測逸脱量が大きい場合に困惑する内部状態とその表現としての表情とふるまいを追加した．内部状態の表現
はラッセルの感情円環モデル [26] と ActionUnit[4] に基づき設定し，快感，困惑と興奮を表す感情に 2 軸と顔の動作に関する知見を活かした．まず，a) エージェ
ントの快感表現では，頬を持ち上げ，唇両端を上げ，b)
エージェントの興奮表現では，眉の内側・外側と，上瞼を上げ，瞳孔を小さくしたり，鼻が膨らむようにした．そして，c) エージェントの困惑表現では眉を下げ，瞼を緊張させ，唇両端を下げるように設計した．
提案システムは，16 ビートの音楽刺激を生成するリ
ズムマシン操作部とエージェントの内部計算部，および外観表現部で構成した．リズムマシン操作部で出力するリズムに基づき，エージェントの内部計算部で内的時間のリズムとの同期を更新したり，リズムの変化

図 1: 提案システムの処理フローに伴う興奮や快感，困惑の度合いを計算し，外観表現
部では内部計算部から得られた状態に応じエージェン
トの顔や身体動作を出力する．提案システムの処理フ
ローを図 1 に示す．

3.2

リズムマシン操作部の実装と設定

リズムマシン操作部では，ユーザがプリセットした
GUI 入力によるリズム（図 2）を元にリズムの音声出力を行い，入力リズムの拍強度やビートを打つタイミン
グの情報を含むリズムデータをエージェントの内部計算部へ送信する．エージェントの音楽的感情生成の元となるリズム刺激を生成するリズムマシンは PureData
Vanilla1 を用いて実装した．
まず，リズムマシンで生成するリズムは，ドラムの基本的なビートの 1 つである 16 ビートを採用した．16
ビートは 4 拍子のリズムパターン2 の 1 種で 16 分音符3を基本単位とし，1 拍あたりに最大 4 音のビート，1 小
節に最大 16 音のビートを刻むことができるリズムである．また，リズムパターンとは拍強度やビートを打つ
タイミングの組み合わせパターンのことを示す．このリズムマシンの音声出力として強拍（3）にはバスドラ
ム，中強拍（2）にはシンバルハイハット，弱拍（1）にはスネアドラムを音源に設定し，それぞれ velocity4 を
強拍は 127，中強拍は 100，弱拍は 80 に設定した．こ1 https://puredatajapan.info
2 1 小節に 4 拍入るリズム
3 4 分音符の 1/4 の長さ．例えば，60Beats Per Minutes でビー
トを刻む場合，4 分音符では 1 ビート 1 秒に対し，16 分音符で刻む
1 ビートは 0.125 秒
4 midi における 0–127 までの拍強度を表す単位の拍強度設定により，強拍と中強拍間，中強拍と弱拍間の違いを明確にした．
そして，リズムマシンのテンポ（ビートを刻む速度）の設定に関し，知覚されるテンポは 1 拍に含まれる 4
ビートに含まれる表拍（1 ビート目）と裏拍（3 ビート目）の打拍間隔に基づくとすると，表拍および裏拍の打拍間隔が 500ms になるように設定した．これはまず，音楽テンポの知覚には，380ms–880ms の範囲の自発テンポ [5] と 500ms–700ms 程度の範囲の嗜好テンポ[51, 3, 30] が関与するとされ，システム利用の嗜好を高めることを目的とし，嗜好テンポに焦点を当てたためである．自発テンポとは，人間に机上を指先でタッピングする動作を行わせた時，特にテンポを指定せずとも個人ごとにほぼ一定の速さとなるテンポのことである．また，嗜好テンポは，人間がちょうど良い速さと感じられるテンポのことであり，心拍数や呼吸数が影響すると仮定されている [51]．そして次に，音楽要素のうち，テンポと調性が最も音楽の印象に影響を与えるとされており [12]，BGM 自動作曲システムにおいてもテンポは情動を動かす要因にもなり得ること [54] から，現段階ではテンポが変動することで複合的な情動変化要因となることを避けるためにテンポを固定することとした．
これらの知見に基づき，本実装におけるリズムマシンは多くの人が好みやすいテンポとして嗜好テンポの範囲を考慮した 500ms の間隔で表拍裏拍を含むよう 8
ビートを刻むことで，結果的に安静時心拍数を考慮した 60BPM: Beats Per Minute にもなる．本研究で扱う
16 ビートリズムの構成とその関係を図 3 に示す．

3.3

エージェントの内部計算部

エージェント内部計算部では，エージェントの内部状態として内的時間とそれに応じたリズムの予測，およびリズム予測に応じた感情状態がある．
まず，内的時間に関しては，リズムデータに基づく拍タイミングを得るごとに前回の拍から経過時間を取得することで，次の拍タイミングを予測し，内的時間の進行をそれに合わせて更新する．ただし，本稿で扱うリズ
ムは前節で述べる通り，テンポの変動がないためこの更新による影響はなく，内的時間は結果的にリズムの拍タイミングと同期する．つまり，16 ビート（4 拍子）のリズムの拍タイミング（1 小節 4 回）が，エージェン
トの内的時間の更新に用いられるように設計した．
次に，エージェントの内部におけるリズムの予測では，事前に得られたリズムパターンから次回パターンにおける各拍の強弱（拍強度）の予測が行われる．具体的には次のように生成される．内部での拍強度は 0–3の 4 段階とし，それぞれ，強拍 (3)，中強拍 (2)，弱拍図 2: リズムマシンにおけるリズム入力 GUI 部分
異なる 8 種のリズムに対する感情傾向を調査したとこ
ろ，[E1] との積算ギャップ値が広がるほど，リズムに感じる心地よさが減少し，混乱や違和感，リズムに乗ることに対する不快感が高まることが確認された [52]．
そのため，ii) の設計においても，リズムの聴き始めに感じる快感度は，リズム複雑度の高い場合に高く，低い
場合に低く設定した．そして，リズムの快感は繰り返しの聴取により高まることから，1 小節のリズムパター
図 3: リズム構造図
ンの類似性が一定以上である時の繰り返し回数（リズムカウント数）を求め，快感度パラメータが回数に応(1)，休拍 (0) を設定した．まず，1 拍目の最初のビー
じて上昇したり，リズムへの慣れ（馴化）により低下
トを強拍，3 拍目の最初のビートを中強拍，2 拍目と 4するよう計算する．具体的には，1 小節のリズムが 4 回
拍目の最初のビートを弱拍とする拍強度予測の初期値
繰り返された時，1 回目から 3 回目までは快感の上昇を[E1] が，エージェントの内部にある．次に，新規のリ発生させ，その後馴化して現在の快感度が徐々に低下
ズムパターン [R1] が 1 小節流れてきた時に，その次のする（図 5）．ただし，この数値は当該繰り返しパター
1 小節に対するリズムの拍強度予測 [E2] を [R1] に基づンに対して算出し，繰り返しが止まった時点で全体のき更新する．[E1] から [E4] の生成手法について図 4 に
現時点快感度 [Pn] に足し合わせて固定する．また，そ示す．
の繰り返しパターン中は繰り返し開始前の快感度との合算値を用いる．例として，繰り返し 3 回目に快感度[E1]: 拍強度予測の初期値は強 (3)，休ビート 3 回，弱が上がり 0.1 で固定され，次の繰り返しパターンが 2 回(1)，休ビート 3 回，中 (2)，休ビート 3 回，弱 (1)，休目の時の快感度は 0.1 + 0.05 = 0.15 になる．
ビート 3 回そして iii) においても，ii) と同様にリズムの聴き始[E2]: 2 回分の初期リズムと新規リズム [R1] の各ビート
めに感じる困惑度を設定した．2.4 節で述べる，リズムにおける拍強度を足し合わせ，3 で割った値 [E1]× 2+[R1]/3 複雑度の困惑傾向調査で扱った困惑測定指標 [52] に基[E3]: 前小節の予測値（E2）と過去 2 小節にリズムマ
づきリズム複雑度 X に対して困惑度 y を算出する係数
シンから流れたリズム（R1,R2）の各ビートにおけるを決定し，y = 1.8853X + 10.078 としてエージェント
拍強度を足し合わせ，3 で割った値 [E2]+[R1]+[R2]/3の困惑度を設定した．また，困惑すると快感や興奮は[E4] 以降: 4 小節目以降は，直前の 3 小節の各ビート抑制されると考え，困惑上昇時には（リズム複雑度がにおける拍強度の平均値とする．
（例えば，4 小節目は高い），快感度や興奮度を下げることとした．
[R1]+[R2]+[R3]/3 となる．
）
上記の設計により，1 小節の積算ギャップ値に応じてエージェントの興奮が高まるよう反応を生成すると同
そして，リズムの予測に応じたエージェントの音楽
時に，リズム複雑度に応じて決定された快感度が繰り的感情として i) 興奮，ii) 快感，iii) 困惑，を内部に持返しのリズムにノっていくことで，さらに高まったりつ．i) では，予測リズムパターンと新規に聴くリズムと馴化により低下する．またリズム複雑度の高まりに合の間のギャップの絶対値を 1 ビートごとに算出し，1 小
わせて困惑度が高まる．エージェントの感情パラメー
節内の 16 ビート分積算した値を興奮度とする．例えば
タは初期値をニュートラル（興奮度，快感度，困惑度
本システムのリズムの聴きはじめでは，1 小節目のリズの値がそれぞれ 0）とし，リズムに応じて更新されてムパターン [R1] と [E1] との間の積算ギャップ値（11）いく．
が [R1] を聴いた時のエージェントの興奮度となる．
次に ii) と iii) には，[E1]（基本リズム拍強度）との1 ビートごとの積算ギャップ値から求めるリズム複雑度が影響する．本研究ではこれまでに，リズム複雑度が図 4: 予測リズム生成手法
まず 1) では，頷きと手拍子の動作を用いた（図 6）．
身体テンポは，内的時間 4 拍に対し 2 拍ごとに 1 回（1小節中に 2 回）のペースとした．手が開いた状態時に頭部位置が最も高く，手拍子時には頭部が低くなることで身体テンポのタイミングで身体が音楽に同調する様子を表現した．
次に，2) では，Facial Action Coding System における Action Unit[4] での顔パーツの操作がエージェン
トの表情表出における自然さをもたらすとされる [55]ことから，エージェントの興奮と快感，困惑がユーザに正しく自然に伝達するように，感情パラメータと操図 5: 快感度の上昇と馴化作される顔パーツを Action Unit と対応させて表示した．興奮と快感，困惑に応じて操作した Action Unit
3.4 エージェントの外観表現部
を表 1 に示し，その表情を図 7 に示す．また，これらの表情は各感情パラメータに応じて連続的に変化する．
エージェントの外観表現部では，エージェントの感
情パラメータや内的時間に応じ，エージェントの表情， 各感情パラメータの算出は 1 小節単位で行っているた
め，表情変化は 1 小節ごとに起こる．また，一般に，人
首振りや手の動きを 2 次元的に表示する．
間が他者の表情を認知する際，表情表出の変化速度に
5
エージェントの外観は Processing で実装し，Open
よって認知される感情の種類や強度が異なり，覚醒度
Sound Control 通信6 を用いてリズムマシンからのリズの高い表情は 87–175ms 程度の時間を持って提示する
ムデータと連携させた．また，エージェント内部計算
ことが自然である [15, 58, 24] ことから，興奮と困惑は部からの内的時間と感情状態（興奮度，快感度，困惑
リズム刺激後 1 拍以内に提示した．
度）を取得する．エージェントの外観は 2 次元のシン
そして 3) では，複雑なリズムに対してリズムにノれ
プルな表示とし，顔パーツと身体パーツから構成されるポイントを見失ったことにより困惑する様子を表現
る．エージェントの外観を単純な見た目にすることでするため，複雑度の高いリズムが流れた際の身体動作
不気味の谷に陥ることを防ぎ，リズムの心地よさや体を困惑していない場合の動作の大きさと比べて 2 拍分
験の楽しみを阻害しないようにした．この外観を動か（複雑なリズムに変化後の 2 拍目と 3 拍目）約 95% カッ
すアニメーション表現には，1) 内的時間が発生させる
トした微弱な動きとなるようにした．困惑身体動作の身体テンポの表現（図 6），2) 快感や興奮，困惑に対表出タイミングは困惑表情表出タイミングと同じであ応した表情（図 7），3) 困惑に対応した身体表現を実る．そして，困惑身体動作は，[52] の 4 章でのリズム装した．
複雑度における感情傾向の調査において，複雑度が 17
5 https://processing.org
以上の時にリズムに対する混乱や違和感，複雑さの感
6 https://opensoundcontrol.stanford.edu/

向上させる．

4.3

実験条件

実験は快感・興奮表情遷移（要因 A，A1：リズムの予測逸脱に応じた変化，A2：A1 の逆変化，A3：A1 の微変化）および困惑表情遷移と困惑身体動作（要因 B，
B1：リズムの複雑度に応じた変化，B2：B1 の逆変化，
B3：B1 の微変化）の 2 要因 9 条件の被験者内実験計画とした．
図 6: リズム同調動作
覚，不快感が大きく上昇したことから，リズム複雑度
が 17 以上の時に提示することとした．
表 1: 興奮と快感および困惑に対応する顔パラメータ
感情パラメータ
興奮

快感

困惑

Action Unit(AU) 番号
AU1(眉外)AU2(眉内)AU5(上瞼)AU6(頬)
AU12(口角)AU4(眉を下げる)
AU7(瞼を緊張させる)
AU15(口端)

4

実験

4.1

実験目的

AU 以外の表現
鼻の膨らみ
瞳孔
頬の血色
瞳孔

本実験では，内的時間による身体テンポを表現する
エージェントがリズムに応じて変化させる，1) 興奮と快感に応じた表情遷移，および 2) 困惑に応じた表情遷
移と身体動作が，ユーザのリズムや共聴体験への感じ方，エージェントに対する共感に影響するかを比較検
証した．

4.2

実験仮説

検証にあたり，次のように仮説を設定した．
仮説 1) リズムの予測逸脱やリズム複雑度により興奮・快感，困惑を変化させるエージェントはユーザに対し，
i) 感情的寄り添い（共感），ii) 感情の豊かさ，iii) 人間
らしさ，を感じさせる．
仮説 2) リズムの予測逸脱やリズム複雑度により興奮・快感，困惑を変化させるエージェントとのリズム共聴
はユーザの，a) リズムの印象，b）共聴体験の印象，を

4.4

実験参加者

実験には 20 歳–26 歳（平均年齢 22.5 歳，標準偏差1.8）の日本語を母国語とする基本的な PC 操作が可能な大学生 26 名（男性 13 名，女性 13 名）が参加した．

4.5

実験刺激と共聴手法

実験システムではリズムパターンをランダムで生成するのではなく，あらかじめリズムマシンで生成した
リズム複雑度の異なる 8 種のリズムを各 4 小節ずつ用
い，画面上に表示されるエージェントと共聴することとした．また，ここで扱うリズムは，[52] の 4 章において扱ったリズムと同様のリズムであり，リズムパター
ン 0（4 拍子の一般的拍強度）からリズムパターン 7 にかけて，順にリズム複雑度が線形的に高まるように設定した．リズムパターン 0–リズムパターン 7 のリズム
譜を図 8 に示す．実験参加者が実験に対して飽きや疲れを感じる可能性を鑑み，連続した 32 小節（4 小節
×8 つのリズムパターン，約 60 秒）の短いリズム音楽を扱う．リズムパターンの提示順はエージェントの表
情変化による印象が実験参加者ごとに異なることを避けるため，参加者全員同じ変化順序で連続して聴いた（リズムパターン 0，1，7，2，6，3，5，4 の順）．また，リズムに聴き入りやすい状況を作るため，実験参加者はエージェントと共に手拍子または頷きながらリズムを聴取するよう指示された．

4.6

実験手順

本実験は対面で教示し，その後 GoogleForms の Web
サイトを用いて音楽とエージェントによる実験刺激映
像とそれに対する評価フォームを提示した．映像表示サ
イズは 1000×1000 で統一した．実験参加者は全員同じ
ノート PC（MacBook Air，OS：BigSur，size：14inch，
メモリ：8GB）とヘッドフォン（audio-techinica， ATHAD5）を使用した．ただし音量調整は各自が聞きやす図 7: 表情表出例
対応する Q6 の評価項目を設けた．これら全ての項目
は Visual Analogue Scale（VAS）法を用い，0–99 点（0: 全くそう思わない，99: とてもそう思うで評価を求めた．回答の際には p5.js7 を用いて作成したスライ
ダーシステムを用いた．操作中には点数を表示せず操作後に点数を表示する仕様にすることで，直感的評価を狙った．
表 2: 評価項目
項目
番号

Q1
Q2
Q3
Q4
Q5
Q6

評価項目
画面のキャラクタと共感しあったように感じた
画面のキャラクタの表情は豊かと感じた
画面のキャラクタの表情やふるまいに人間らしさを感じた
興味を持ってリズムを聴き続けられた
リズムの心地よさを感じた
画面のキャラクタとリズムを聴くことが
楽しかった

対応する
仮説
仮説 1)–i
仮説 1)–ii
仮説 1)–iii
仮説 2)–a
仮説 2)–a
仮説 2)–b

図 8: 各リズムパターンの譜面

4.8
い音に設定させた．実験参加者は実験前に実験内容に同意した者のみであった．
実験参加者は 9 試行に取り組み，各実験条件提示順
はラテン方格法に基づいてカウンタバランスを考慮して決定した．実験参加者が各条件を体験した後に，エージェントとの共聴体験を評価する下記の項目に回答を
求めた．

4.7

評価方法

表 2 に示すように，仮説 1) – i) に対応する Q1， 仮説 1) – ii) に対応する Q2，仮説 1) – iii) に対応する
Q3，仮説 2) – a) に対応する Q4，Q5，仮説 2) – b) に

実験結果

実験により得られた各評価結果に対して繰り返しのある分散分析を有意水準 α = 0.05 で実施した．図 9 に
各評価項目の平均値およびその標準偏差を，表 3 に分散分析の結果を示す．
まず，仮説 1) – i) に対応する Q1 について，要因 Bの有意差が確認され，リズムの複雑度に応じた困惑表
情遷移・身体動作により，エージェントと共感し合う感覚が得られることが示された．
そして，仮説 1) – ii) に対応する Q2 について，Q2では要因 A の有意差が確認され，リズムの予測逸脱に応じた快感と興奮の表現が，エージェントの表情の豊かさを与えることが示された．
7 https://p5js.org

図 9: 実験における VAS の平均値と標準偏差
仮説 1) – iii) に対応する Q3 では，要因 B の有意傾向のみ示され，リズム複雑度に応じた困惑表情遷移・身体動作により，エージェントの表情やふるまいに人間らしさを与える可能性も示された．
次に，仮説 2) – a) に対応する Q4，Q5 の双方において要因 B の有意差が確認され，リズムの複雑度に応じた困惑表情遷移・身体動作により，リズム共聴への興味が維持され，リズムの心地よさを高めることが示された一方で，リズムの予測逸脱に応じた会館と興奮の表現は心地よさに影響を与えなかった．
最後に，仮説 2) – b) に対応する Q6 において，要因
B の有意差が確認され，リズムの複雑度に応じた困惑
表情遷移・身体動作により，エージェントとの共聴体
験の楽しみを高めることが示された．
また，Q1，Q2，Q6 の交互作用は有意傾向のみにとどまった．
Q1–Q6 全ての評価項目に対し，効果量検定を行った
ところ，有意差の認められた Q2 の要因 A の効果量偏η 2 は 0.2 未満，Q1，Q4–Q6 の要因 B の全ての効果量
偏 η 2 は 0.2 以上 0.4 未満に止まり，効果は大きくはないと言える．また全体として，快感や興奮が与える効
果に比べ困惑が与える効果が強くみられる評価項目が多いため，エージェントの快感や興奮の表出よりも困惑の表出にユーザの印象が引っ張られたことが考えら
れる．

5

考察

本研究では，ユーザと提案エージェントとのリズム
共聴体験により他者間同士の音楽コミュニケーションに生まれる共感や高揚感などをもたらすことを目指し，
音楽聴取における内部状態に興奮や快感，困惑の感情を持ちそれを表出するエージェントがユーザに与える効果を検証した．エージェントの興奮は，リズムとその予測からの逸脱量に応じて変化する．また，リズム
聴き始めの快感と困惑にはリズム複雑度が影響し，低いリズム複雑度に高い快感度と低い困惑度，高いリズ
ム複雑度に低い快感度と高い困惑度を顔表情に表出した．特に困惑度が高い場合は，困惑身体動作として手拍子や頷きが一時停止する表現を行う．また，類似リ
ズムパターンの継続により快感が高まるように設計した．これらの表現を行うエージェントとのリズム共聴体験に対してユーザが共感を覚えたり，リズム聴取感
覚が変化するかに対象を絞って実施した．
検証の結果，エージェントのリズムの予測逸脱に応じた快感・興奮表情遷移はエージェントの表情の豊かさを高める傾向が示された（Q2）．そして，エージェ
ントのリズム複雑度に応じた困惑表情遷移・身体動作
は，エージェントと共感し合う感覚（Q1），リズムへの興味の維持（Q4），リズムへの心地よさ（Q5），エー
ジェントとの共聴体験の楽しさ（Q6）を高めた．このように困惑表情遷移・身体動作要因においてのみ，Q1に対する仮説 1) – i) ，Q4，Q5 に対する仮説 2) – a) ，Q6 に対する仮説 2) – b) が支持された．また，快感・
興奮表情遷移要因においてのみ Q2 に対する仮説 1) –ii) が支持された．このように，エージェントの内部状
態に合わせて機能する快感・興奮と困惑を共に表現することで仮説 1) – iii) 以外の全ての仮説で狙った効果が得られた．
特に，困惑感情がリズム複雑度に合わせて正しく表現されることでエージェントと共感し合う感覚やリズ
ムに対する印象，共聴体験への楽しみを高めるなど，得られる効果が複数見られることから，共聴エージェン
トの感情表現としての困惑がユーザとの音楽コミュニ
ケーション効果を総合的に高める可能性がある．一方
で，快感や興奮表情遷移の有効性を確認する検証 [53]では，快感や興奮表情遷移はエージェント自身のリズ
ム励起感情をユーザに感じさせたり，エージェントに対する共感を高める結果が得られていた．これらのことから，エージェントの快感・興奮に困惑を統合することで，快感や興奮よりも困惑がユーザに与える影響が強く，快感や興奮の効果が現れにくいと考えられる．
そのため，快感と興奮，困惑から得られる効果を相乗的に活かすには，困惑感情の影響の強さを鑑みて使用
シーンや表出強度を選択していく必要がある．
また，快感や興奮と困惑がリズム刺激に合わせて正しく変化することでエージェントの感情の豊かさが得られるとして仮説 1) – ii) をたてたが，快感・興奮表情
遷移にのみ表情の豊かさを与える効果が確認され，困惑表情遷移・身体動作の効果は確認されなかった．これは，音楽聴取体験における励起感情が全体的にポジ
ティブ感情を励起する割合の方が高く，エージェントの感情表現においてもポジティブ感情表出時間が長い．
そのため，エージェントの表情の豊かさを感じるには
表出時間の短い困惑が刺激に合わせて正しく変化する
こと以上に，快感・興奮が正しく表出されることの方が表情の豊かさを感じさせやすいことが考えられる．
さらに，繰り返し聴取における快感の増幅と馴化に

表 3: 実験の ANOVA の結果
A
Q1
Q2
Q3
Q4
Q5
Q6

F
1.599
4.439
.971
1.025
1.599
.798

p
.212
.017*
.386
.366
.212
.456

偏 η2
.060
.151
.037
.039
.060
.031

F
13.133
1.891
3.019
8.672
7.174
9.064

B
p
<.001*
.162
.058+
.001*
.002*
<.001*

よる減衰は人によりタイミングが異なる可能性があり[1]，同様にリズムの予測逸脱に興奮したり複雑なリズ
ムに困惑を感じるタイミングも異なる可能性がある．これについて，繰り返し聴取による快感の高まりの持続と馴化による減衰モデルがユーザの個人性やリズムの複雑性に応じてどのような違いをもたらすか検証する必要がある．また，興奮や困惑を感じるタイミングを検証することでエージェントの適正な感情表出タイミ
ングを探る必要もある．これにより，今回効果が確認されなかった仮説 1) – iii) に関するエージェントの人間らしさを高める可能性があると考える．
そして，今回の実験では 16 ビートのみ扱ったため，
内的時間とその表現に関する共感の傾向は限定的な結果であると考える．また，本検証では 4 小節 ×8 パターン（約 60 秒間）の短いリズム音楽を取り扱ったため，一般的な楽曲の長さのリズムをエージェントと共聴することにより受ける印象は検証していない．そのため，他のリズムパターンの共聴による印象の違いや，長期的な共聴とリズム複雑度の変化幅によるエージェントの印象も検証する余地がある．さらに，テンポ（速度）の違いや変化は現段階では取り扱っていないため，これらの音楽要素が本エージェントの効果に与える影響も検討が必要である．

6

おわりに

本稿では，エージェントとのリズム共聴体験が暗黙的音楽コミュニケーションの効果をもたらすよう，人間のリズムに対する反応を模したエージェントを実装した．
エージェントは，リズムの拍のある程度の予測逸脱に対する興奮やリズム複雑度に応じた困惑や快感，リズムパターンの繰り返しに対する快感を遷移させ，これらを顔表情で表現させた．また，リズムに同期したエージェントの内的時間を手拍子や頷きにより表し，特に困惑時において，リズムのノリにブレーキをかけるような身体動作表現として手拍子や頷きを一時停止さ
せた．

AB
偏 η2
.344
.070
.108
.258
.223
.266

F
2.133
2.029
.877
1.828
1.471
2.086

p
.082+
.096+
.481
.129
.217
.088+
* : <.05

偏 η2
.079
.075
.034
.068
.056
.077
+ : <.10

これらのエージェントの感情表現がユーザに与える効果を検証した結果，リズムの予測逸脱に応じて変化するエージェントの快感・興奮の感情表現はエージェ
ント自身の表情の豊かさの印象を高めた．そして，リズムの複雑度に応じた困惑の感情表現はユーザのエー
ジェントと共感し合う感覚やリズムの印象，共聴体験の楽しみを高めた．このことから，エージェントの快感・興奮と困惑の表現がユーザの共聴感覚を高めたり，
音楽コミュニケーションの楽しみを高めることが考えられる．
今後は本研究の限界を取り除くよう，他の拍子のリ
ズムパターンやその複雑度についての知覚，テンポと拍子の変化の知覚を検証していくとともに，快感・興奮と困惑を感じるタイミングの検証とそれに基づくエー
ジェントの表出方法が音楽を共聴する他者としての人間らしさを高めるかを検証する必要がある．将来的には複数人での音楽コミュニケーションの楽しみを再現するため，リズムだけでなく他の音楽要素の知覚モデ
ルも併せて実装し，1 対多人数エージェントとの共聴システムの作成を目指す．

謝辞
本研究は，一部 JSPS 科研費 23K11278，21K11968，
19K12090，22K19792，23K11202，および，2022 年度
関西大学若手研究者育成経費の研究課題「エージェントを用いた共感的音楽体験共有の価値創造に関する研究」の助成を受け実施しその成果を公表するものである．

参考文献[1] D.E. Berlyne.
Aesthetics and Psychology.
Appeleton-Century-Crofts, 1971.
[2] Ian L Bradley. Repetition as a factor in the development of musical preferences. Journal of Research in Music Education, Vol. 19, No. 3, pp.
295–298, 1971.

[3] Janice Chapin Buchanan. An exploratory studyof preschool children’s synchronization of a selected rhythmic activity with music set at theirheart rates. PhD thesis, University of South
Florida, 1998.

[13] Guy Hoﬀman, Shira Bauman, and Keinan Vanunu. Robotic experience companionship in music listening and video watching. Personal andUbiquitous Computing, Vol. 20, No. 1, pp. 51–63,
2016.

[4] Paul Ekman and Wallace V Friesen. Facial action
coding system. Consulting Psychologists Press,
1978.

[14] Mari Riess Jones and Marilyn Boltz. Dynamic
attending and responses to time. Psychologicalreview, Vol. 96, No. 3, p. 459, 1989.

[5] Paul Fraisse. Rhythm and tempo. The psychologyof music, Vol. 1, pp. 149–180, 1982.

[15] Miyuki Kamachi, Vicki Bruce, Shigeru Mukaida,
Jiro Gyoba, Sakiko Yoshikawa, and Shigeru Akamatsu. Dynamic properties inﬂuence the perception of facial expressions. Perception, Vol. 42,
No. 11, pp. 1266–1278, 2013.

[6] Karl Friston. The free-energy principle: a uniﬁed brain theory? Nature reviews neuroscience,Vol. 11, No. 2, pp. 127–138, 2010.
[7] Karl Friston, James Kilner, and Lee Harrison. A
free energy principle for the brain. Journal ofphysiology-Paris, Vol. 100, No. 1-3, pp. 70–87,
2006.
[8] Marcello Giardina, Salvatore Tramonte, Vito
Gentile, Samuele Vinanzi, Antonio Chella, Salvatore Sorce, and Rosario Sorbello. Conveying
audience emotions through humanoid robot gestures to an orchestra during a live musical exhibition. In Complex, Intelligent, and Software
Intensive Systems: Proceedings of the 11th International Conference on Complex, Intelligent,and Software Intensive Systems (CISIS-2017),
pp. 249–261. Springer, 2018.
[9] John Gibbon and Lorraine Allan. Timing andtime perception. New York, NY: New York
Academy of Sciences, 1984, 1984.
[10] Yugo Hayashi. On pedagogical eﬀects of learnersupport agents in collaborative interaction. InIntelligent Tutoring Systems: 11th International
Conference, ITS 2012, Chania, Crete, Greece,
June 14-18, 2012. Proceedings 11, pp. 22–32.
Springer, 2012.
[11] Alex Heingartner and Joan V Hall. Aﬀective consequences in adults and children of repeated exposure to auditory stimuli. Journal of Personality and Social Psychology, Vol. 29, No. 6, p. 719,
1974.
[12] Kate Hevner. The aﬀective character of the major and minor modes in music. The American
Journal of Psychology, Vol. 47, No. 1, pp. 103–
118, 1935.

[16] Kazuki Kobayashi and Seiji Yamada. Informing a user of robot s mind by motion. In
The Third International Conference on Computational Intelligence, Robotics and Autonomous
Systems (CIRAS 2005), SS4B-3, 2005.
[17] Herbert E Krugman. Aﬀective response to musicas a function of familiarity. The Journal of Abnormal and Social Psychology, Vol. 38, No. 3, p.
388, 1943.
[18] Yuta Kurotaki and Hisao Shiizuka. Evaluationof feelings received from the rhythms of percussive timbre and relationships between aﬀective values. In Advances in Intelligent Decision
Technologies: Proceedings of the Second KES International Symposium IDT 2010, pp. 631–639.
Springer, 2010.
[19] Edward W Large and Mari Riess Jones. The
dynamics of attending: How people track timevarying events. Psychological review, Vol. 106,
No. 1, p. 119, 1999.
[20] Kazuma Mori and Makoto Iwanaga. Resting
physiological arousal is associated with the experience of music-induced chills. International
journal of psychophysiology, Vol. 93, No. 2, pp.
220–226, 2014.
[21] Helen K Mull. The eﬀect of repetition upon theenjoyment of modern music. The Journal of Psychology, Vol. 43, No. 1, pp. 155–162, 1957.
[22] Eugene Narmour. Beyond schenkerism: The
need for alternatives in music analysis. Journalof Aesthetics and Art Criticism, Vol. 36, No. 4,1978.

[23] Hideki Ohira. Predictive processing of interoception, decision-making, and allostasis: A computational framework and implications for emotional intelligence. Psihologijske teme, Vol. 29,
No. 1, pp. 1–16, 2020.

[33] Michel Treisman. Temporal discrimination andthe indiﬀerence interval: Implications for a modelof the “internal clock”. Psychological Monographs: General and Applied, Vol. 77, No. 13,
p. 1, 1963.

[24] Asami Orita, Shigeru Mukaida, and Takashi
Kato. Perceiving a momentary change in facial
expression. The Japanese Journal of Cognitive
Psychology, 2005.

[34] Tomio Watanabe and Masashi Okubo. Evaluation of the entrainment between a speaker’s
burst-pause of speech and respiration and a listener’s respiration in face-to-face communication. In Proceedings 6th IEEE International
Workshop on Robot and Human Communication.
RO-MAN’97 SENDAI, pp. 392–397. IEEE, 1997.

[25] Dirk-Jan Povel and Peter Essens. Perceptionof temporal patterns. Music perception, Vol. 2,
No. 4, pp. 411–440, 1985.
[26] James A Russell. A circumplex model of affect. Journal of personality and social psychology,
Vol. 39, No. 6, pp. 1161–1178, 1980.
[27] Alfred Schütz. Making music together:a study
in social relationship. Social reserch, pp. 76–97,
1951.
[28] Takanori Shibata and Kazuyoshi Wada. Robot
therapy: a new approach for mental healthcare of
the elderly–a mini-review. Gerontology, Vol. 57,
No. 4, pp. 378–386, 2011.
[29] Tomomi Takahashi, Kazuaki Tanaka, Kenichiro
Kobayashi, and Natsuki Oka. Melodic emotional
expression increases ease of talking to spoken dialog agents. In Proceedings of the 9th International Conference on Human-Agent Interaction,
pp. 84–92, 2021.
[30] N.M. Temperley. Personal tempo and subjective accentuation. Journal of General Psychology, Vol. 78, pp. 267–287, 1963.
[31] Hiroko Terasawa, Reiko Hoshi-Shiba, andKiyoshi Furukawa. Embodiment and interaction
as common ground for emotional experience inmusic. In Proceedings of the 14th International
Symposium on CMMR, eds Aramaki M., DerrienO., Kornland-Martinet R., Ystad S.(Marseille:),pp. 777–788, 2019.
[32] Hiroko Tochigi, Kazuhiko Shinozawa, and Norihiro Hagita. User impressions of a stuﬀed dollrobot’s facing direction in animation systems. In
Proceedings of the 9th international conference
on Multimodal interfaces, pp. 279–284, 2007.

[35] Robert B Zajonc. Attitudinal eﬀects of mere exposure. Journal of personality and social psychology, Vol. 9, No. 2p2, p. 1, 1968.
[36] Dolf Zillmann. Mood management: Entertainment to full advantage. In Communication, Social Cognition, and Aﬀect, pp. 147–171. Psychology Press, 1988.
[37] 奥平啓太, 片寄晴弘, 橋田光代ほか. 音楽演奏インタ
フェース ifp-演奏表情のリアルタイム操作とビジュ
アライゼーション. 情報処理学会研究報告音楽情報
科学 (MUS), Vol. 2003, No. 82 (2003-MUS-051),
pp. 13–18, 2003.
[38] 河野泉, 池邉亮志, 和氣早苗, 上窪真一, 岩沢透, 西村健士ほか. 感情表現を用いた対話システム edsの開発 (1)˜ システム概要と感情モデル˜. 情報処
理学会研究報告ヒューマンコンピュータインタラ
クション (HCI), Vol. 2000, No. 61 (2000-HI-089),
pp. 43–48, 2000.
[39] 吉田直人, 米澤朋子. コンテンツ鑑賞時ユーザに対するロボットの生理的働きかけによる感情増幅と親近感への影響. HAI シンポジウム, 2017.
[40] 吉田友敬, 山本佐代子, 武田昌一ほか. 生体情報等
への音楽リズムモデルの適用可能性. 情報処理学
会研究報告音楽情報科学 (MUS), Vol. 2003, No.
127 (2003-MUS-053), pp. 25–30, 2003.
[41] 吉田友敬, 中西智子. リズムのゆらぎと情報. 情報
文化学会全国大会講演予稿集, Vol. 3, pp. 42–49,
1995.
[42] 吉田友敬, 中西智子. 音楽におけるリズムのゆらぎ. 情報文化学会誌= Journal of the Japan
Information-culture Society, Vol. 3, No. 1, pp.
43–50, 1996.

[43] 吉田友敬, 中西智子, 山本佐代子, 武田昌一. 複数
演奏者による音楽リズムタイミングの一致度の測定と脳波への影響の考察. 感性工学研究論文集,
Vol. 7, No. 2, pp. 337–344, 2007.
[44] 吉田倫幸. 脳波の周波数ゆらぎ計測と感情評価.
日本機械学会誌, Vol. 98, No. 918, pp. 403–406,
1995.
[45] 高橋英之, 伴碧, 近江奈帆子, 上田隆太, 香川早苗,
石原尚, 中村泰, 吉川雄一郎, 石黒浩ほか. 五感を用いた心に寄り添う 空気感エージェント の創成. 研究報告ヒューマンコンピュータインタラク
ション (HCI), Vol. 2019, No. 13, pp. 1–7, 2019.
[46] 榊原彩子. 音楽において期待からの逸脱が情緒的反応に及ぼす影響. 教育心理学研究, Vol. 41, No. 3,
pp. 254–263, 1993.
[47] 山田誠二. 人とロボットの 間
東京電機大学出版局, 2007.

をデザインする.

[48] 寺前典子. 音楽のコミュニケーションにおける内的時間とリズムをめぐる考察 シュッツ音楽論およびフッサール現象学からのアプローチ. 現代社会学理論研究, Vol. 3, pp. 59–71, 2009.
[49] 小川祐理子, 青砥哲朗, 大倉典子. 生体信号を利用した, 音楽の要素が感性に与える影響の検討. 自動制御連合講演会講演論文集 第 51 回自動制御連合
講演会, pp. 278–278. 自動制御連合講演会, 2008.
[50] 松原正樹, 狩野直哉, 寺澤洋子, 平賀瑠美. 聴覚障害者向けタッピングゲームにおける視覚手がかりによるリズム認知の短期的学習効果. 情報処理学
会論文誌, Vol. 57, No. 5, pp. 1331–1340, 2016.
[51] 松田憲, 一川誠, 矢倉由果里. BGM の音楽的特徴
が聴覚的時間評価に及ぼす影響. 日本感性工学会
論文誌, Vol. 12, No. 4, pp. 493–498, 2013.
[52] 石田真子, 竹村響, 西野歩真, 米澤朋子. リズム複雑度に応じ困惑するエージェントの表情とリズム同調動作停止の影響. hai シンポジウム 2023, 2023.
[53] 石田真子, 竹村響, 米澤朋子. リズム聴取で興奮・快感・内的時間を表すエージェントのもたらす共感性の検討. ヒューマンインタフェース学会論文
誌, Vol. 25, No. 4, pp. 283–298, 2023.
[54] 前田陽一郎, 冨士田響, 亀井且有, クーパーエリック. 顔画像による情動認識に基づく BGM 自動
作曲システム. 知能と情報, Vol. 32, No. 6, pp.
975–986, 2020.

[55] 増田隆, 高橋時市郎. Facial action coding systemに基づく表情アニメーションの制作. 画像電子学会研究会講演予稿 画像電子学会第 232 回研究会
講演予稿, pp. 31–34. 一般社団法人 画像電子学会,
2007.
[56] 大串健吾, 桑野園子, 難波精一郎. 音楽知覚認知ハ
ンドブック-音楽の不思議の解明に挑む科学-. 北大
路書房, 2020.
[57] 大村英史, 柴山拓郎, 高橋達二, 澁谷智志, 岡ノ谷一夫, 古川聖. 複雑性の変化による期待的情動のモデリングに基づいた音楽的雰囲気の生成. 人
工知能学会全国大会論文集 第 27 回 (2013), pp.
1J5OS22c2–1J5OS22c2. 一般社団法人 人工知能学会, 2013.
[58] 大島康, 森大毅, 中村真. 表情の変化速度がアバ
ターの感情表出の自然性に与える影響. HAI シン
ポジウム, 2008.
[59] 谷口高士. 音楽と感情: 音楽の感情価と聴取者の感情的反応に関する認知心理学的研究. 北大路書房, 1998.
[60] 池邉亮志, 河野泉, 和氣早苗, 上窪真一, 岩沢透, 西村健士ほか. 感情表現を用いた対話システム edsの開発 (2) 感情表現とシステム評価. 情報処理学会
研究報告ヒューマンコンピュータインタラクショ
ン (HCI), Vol. 2000, No. 61 (2000-HI-089), pp.
49–56, 2000.
[61] 長嶋洋一. 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果. 芸術科学会論文誌, Vol. 3,
No. 1, pp. 108–148, 2004.
[62] 長嶋洋一ほか. 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果 (2)-心理学実験システムの開発とレイテンシの計測. 情報処理学会研究報
告音楽情報科学 (MUS), Vol. 2003, No. 82 (2003MUS-051), pp. 83–90, 2003.
[63] 田中一晶, 小林賢一郎, 岡夏樹ほか. 対話エージェ
ントの合成音声への視覚的/音楽的感情表現付与による人間らしさの強化. ヒューマンインタフェー
ス学会論文誌, Vol. 22, No. 3, pp. 305–316, 2020.
[64] 渡部光, 那須壽, 西原和久訳. アルフレッド・シュッ
ツ著作集第 3 巻社会理論の研究. マルジュ社, 1991.
[65] 渡辺富夫. リズムと動作の同期に関する研究. 日本機械学会論文集 C 編, Vol. 50, No. 460, pp.
2435–2442, 1984.

[66] 片寄晴弘, 奥平啓太, 橋田光代. 音楽における没入感に関する検討-技能の拡張と身体性の視点から. エンタテインメントコンピューティング, Vol.
2004, pp. 39–44, 2004.
[67] 林原理恵, 尾田政臣. 和音進行の複雑さが快感情に及ぼす影響 (視聴覚技術, ヒューマンインターフェース). 映像情報メディア学会技術報告 33.17, pp. 5–8.
一般社団法人 映像情報メディア学会, 2009.