HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-10

歌声を発するエージェント表現によるユーザ感情誘導の試み
岩元 心紀 1∗

石田 真子 1

米澤 朋子 1

1 関西大学1 Kansai University

Abstract: 本研究では，歌声と表情による感情表現を伴って歌唱するエージェントにより，ユーザ感情を誘導することを目指す．エージェントの歌声感情は，あらかじめ作成した喜びを感じさせる声と悲しみを感じさせる声の間で音声モーフィングを行い，その比率を変化させることで連続的な歌声感情を実現した．顔表情は ActionUnit を用いて狙った感情表現を生成した．検証の結果，喜びの歌声
や，歌声と顔表情の一致による，ポジティブな感情への誘導効果が見られた．一方で，歌声や顔表情が変化する度合いの大きさによる感情誘導の影響は見られなかった．

1 はじめに音楽が感情と深い関わりがあることは古くから知られている．喜怒哀楽といった感情の表現だけでなく，聴き手の感情を増強させるなど様々な力を持つ．このような特徴のある音楽は音楽療法として心身の障害の機能回復や生活の質の向上などを目的に利用されている [1]．
音楽療法とは，「音楽のもつ生理的，心理的，社会的働
きを用いて，心身の障害の回復，機能の維持改善，生活の質の向上，行動の変容などに向けて，音楽を意図的，計画的に使用すること」と定義されている [2]．音楽療法は不安の軽減，精神的な安定，表情や感情の表
出，リラクゼーションなどの効果があり [1]，実際にうつ改善などにも有効な手段として提案されている [3]．
音楽療法は消極的音楽療法（受動的音楽療法）と積極的音楽療法（能動的音楽療法）の 2 つに分けられ，消極的音楽療法が提供される音楽を受け止める方法であるのに対し，積極的音楽療法は患者自身が歌唱するなど音楽活動に何らかの形で参加する方法である．
ここで，歌唱行動は，特別な楽器も必要なく個人でも集団でも簡単に参加することができるメリットがある [4]．また，協調を大切にし謙譲を美徳としてきた日
本人は他人の表現を借りて自己を表現する方が体質にあっているため，歌を借りて自分を出す自己表現が日本人にとって最も適している．加えて，歌は発散や自己回復など様々な治療性を内包している [5]．しかし，ユーザが自発的な歌唱をする状況は一般的に発生させにくい．そこで，本研究では歌唱によりユーザの感情を狙った感情へと誘導することを狙いとし，歌声と表情による感情表現を伴って歌唱するエージェントシス
テムを提案する（図 1）．現在の感情から目的の感情へ∗ 連絡先：関西大学総合情報部総合情報学科〒 569-1095 大阪府 高槻市霊仙寺町 2-1-1
E-mail: k269708@kansai-u.ac.jpと誘導を行う際は，声の個性と自然性の両者を保ちつつ音声を合成できる技法として，音声モーフィング [6]を利用する．そして，目的の感情まで徐々に音声を変化させながら誘導し，聴取者がストレスを感じず自然に聴取できるシステムとした．また，歌声に連動した表情を表示することで聴覚だけでなく視覚的にも感情表現を与え，さらなる感情の誘導効果促進を狙った．

2 関連研究2.1 音楽療法
音楽療法には心身障害の機能回復を行う効果が確認されている．心身の発達が遅れている子供に対して音楽療法を行ったところ，楽器の演奏や歌唱行動を通して自由な表現や自発的な行動を促し，心身障害の機能回復に成功した [7]．また，重度の精神障害を持つ人々
に対する音楽療法の効果を検証したところ，音楽療法
が標準治療に加えて行われると一般的な症状だけでなく，陰性症状，抑うつ，不安，機能，音楽的関与に対して強く有意な効果があることが示され，音楽療法が広範囲の心身障害に対して効果的な治療法であることが示唆された [8]．
このような心身の症状に対して効果を与える音楽療法では，「同質の原理 [9]」と「異質への転導 [5]」の 2
つの理論に基づいた音楽提示が多く行われる．同質の原理は，最初に音楽聴取者の気分と同等の音楽を与えるべきという理論であり，異質への転導は音楽聴取者の感情状態を変化させるために元ある感情とは逆の感情を表現する音楽を提示する理論である．同質の音楽で音楽聴取者の感情に共鳴した後に目的感情にあった音楽を聴取させることで，音楽聴取者からの共感を得られやすくしスムーズに目的感情まで誘導が行うこと

図 1: 提案システムが期待される．実際に音楽を用いた気分誘導について，
抑うつ状態の学生を対象に実験を行ったところ悲しい曲調から漸進的に高揚していく曲を聴取した群は明るい曲のみ聴取した群よりも気分誘導に成功したことが明らかにされている [10]．
そこで本研究では，感情を誘導する際は音楽聴取者の気分と同等の感情を付与した音楽を与え，その後目的の感情まで徐々に与える音楽を変化させることでより効果的な感情誘導を行うことを目指す．

2.2 音楽の要素
音楽の感情に影響を与える要素として，音楽の三大要
素や音の三要素がある．音楽の三大要素とはメロディー，
リズム，ハーモニーであり，音の三要素とは高さ，音量，音色である．これらの要素が組み合わさって音楽が感情に影響を与えると考えられる．例えば，楽しさや高揚といった感情は長調に関連が強く，悲しい感情
は短調に関連が強いこと [11]，曲のテンポについては，
喜びは比較的速いテンポになる傾向があり，悲しみは最も遅いテンポになる傾向があること，音量については，大きい音が怒りの感情を喚起させ，小さい音が悲しみの感情を喚起させる傾向があること [12] などが明らかにされている．一方歌声には音楽要素に加え様々な声
色の表現がある．同じ曲でも歌唱方法や声色が異なる
歌声には異なる感情励起が起きると考えられる．よって本研究では，歌声そのものに含まれる声色の表情や歌っている人自体の表現方法に焦点を当て，より効果的で音楽聴取者に寄り添うような感情誘導を検討する．

2.3 感情遷移
ある感情状態の際に外部刺激や内部思考の推移により感情エネルギーが一定の値を超えた場合に他の感情状態へ遷移するという「心的状態遷移ネットワーク」モデルが考案されている．このモデルでは，元々の感情や与える外部刺激の違いによって遷移される感情が異なるとされている．例えば，弱い喜びの刺激を与えた
場合，平常の気分からは喜びに遷移されやすいが怒りなどネガティブな気分からは同じ刺激を与えたとしても平常気分に遷移される程度だとしている [13]．そこ
で本研究ではより効果的な感情誘導を行うために，平常の気分に一度感情を遷移させてから目的の感情へ誘導する感情誘導方法を考える．

2.4 視覚と聴覚
感情認知において，視覚情報と聴覚情報は関係性が深く，互いに影響を及ぼし合っている．視聴覚における感情認知について，驚きと喜びの感情認知では表情優位であるが音声情報も完全に除外されるのではなく，並行して処理され感情認知に影響を及ぼすことが明らかにされている [14]．また，視覚が加わることで音の表現意図の伝達度が高まる一方で，音で表現できていても動きがマッチしていなければ意図が伝わりづらい
ことが明らかにされている [15]．

3 システム構成
3.1 システム概要
歌声と表情における感情表現を伴って歌唱するエー
ジェントにより，ユーザの感情を狙った感情へと誘導

することを目指す．本研究では，事前検証として，ネガ
ティブな感情（哀しみ）をポジティブな感情（喜び）に誘導することを目的として，予め作成された感情を付与した歌声や顔表情，歌声のモーフィング音声を用いて徐々に感情を誘導する歌唱エージェント鑑賞体験シ
ステムを提案する（図 2）．本システムは歌声生成部と顔表情生成部から構成される．歌声生成部では，予め作成した喜びを感じさせる声と哀しみを感じさせる声の間で音声モーフィングを行い，その比率を変え連続的に歌声感情を変化させることで，ストレスを感じさせること無く自然に感情を誘導することを目指す．顔表情生成部では予め作成した喜びと哀しみを表現する
顔表情を用いる．歌声に連動した表情を表示すること
で聴覚だけでなく視覚にも刺激を与え，さらなる感情の誘導効果促進を目指す．

図 2: 実験システム例

3.2 歌声生成部
歌声には音声創作ソフトウェア VoiSona1 の歌声合成
ボイス「知声 Chis-A」を用いた．エージェントの歌声
感情生成では，Russell の感情円環モデル [16] に基づく
2 軸を用いて感情パラメータ図 3 を準備し，哀しみから喜びへと感情誘導する様子をシミュレーションした．
VoiSona のパラメータを操作しないで発声させたもの
を通常音声とし，この通常音声を元に他の感情音声を作成した．喜びの感情を表現するために，VoiSona 内の発声タイミングのパラメータを操作し，子音の位置を
通常音声より前にずらして子音を強調し，ハキハキと聞こえるように設定した．一方，哀しみの感情を表現するために歌詞を後舌母音（う，お）で発音させること
や VoiSona 内のハスキーのパラメータ数値を増加させ
音量を小さくし，ささやき声に聞こえるように設定した．そして，この作成した喜びを感じさせる声と哀しみを感じさせる声の間で音声モーフィングを行い，その比率を変えることで連続的に歌声感情を変化させた．
モーフィング音声の作成は MATLAB R2023 上で world
および worldGUItools，音声の音量調節には Audacity，
モーフィングした音声の接続に GarageBand を用いて音源作成を行った．
1https://voisona.com/

図 3: 歌声パラメーター

3.3 顔表情生成部
エージェントの表情生成には Facial Action Coding System（FACS）[17] で定義された Action Unit（AU）の動きを用いる．AU とは表情動作の最小単位であり，その特定の組み合わせによって様々な感情表情が生成される．本実験で扱う AU 番号及び動作を表 1 に示す．本
実験では，表情表示に Processing を使用し，無の表情を基準として他の表情を表 1 で示した ActionUnit を参考に感情表現を行った（図 4）．
表 1: 表情と AU の組み合わせ
感情
AU 番号
動作の説明
6
頬を引き上げる喜び
12
唇両端を上げる1
眉の内側を上げる
悲しみ
4
眉を下げる
15
唇両端を下げる
4
眉を下げる
5
上瞼を上げる怒り7
瞼を緊張させる
23
唇を突き出す図 4: 顔表情（喜怒哀無）

4 予備実験
4.1 実験目的
本実験は，作成したエージェントの歌声や表情がユー
ザの感情を狙った感情へ誘導できるか確認することを目的とした．実験では，本章 4.5 節で取り上げる歌声や表情に対してユーザが感じる快感度と覚醒度を調査することにより，感情誘導が正しく行われているかを検証した．

4.2 実験の仮説
エージェントの歌声や表情に感情を付与するためのパラメータが正しければユーザを狙った感情へ誘導することが可能であると考え，下記のように仮説を設定した．
仮説
H1: 喜びの感情を付与した歌声や表情を提示した場合
は快感度や覚醒度が向上する
H2: 哀しみの感情を付与した歌声や表情を提示した場
合は快感度や覚醒度が低下する
H3: 怒りの感情を付与した表情は快感が低下し，覚醒度が向上する

テンツを視聴するため，前に視聴したコンテンツによりその後の実験結果に影響することが考えられる．そのため，まず灰色の背景の画面で「気分をリセットしてください」という音声（テキスト読み上げソフトウェ
ア「VOICEVOX」の「雨晴はう」2 の音声を使用）とホ
ワイトノイズの音声を提示した後，それぞれの視聴覚
刺激を提示した．

4.6 実験手順
本実験は Zoom を用いてオンラインで教示し，その後感情音声や表情の視聴を行わせ，視聴覚刺激に対する評価項目を提示した．実験参加者はそれぞれ PC とイ
ヤホンを使用した．実験参加者は聴覚刺激 5 試行，視覚刺激 4 試行をそれぞれ順に取り組んだ．実験条件の提示順はラテン方格法に基づいてカウンタバランスを考慮して決定した．実験参加者が視聴覚刺激を評価するために各条件の体験後，評価項目に対して回答を求めた．

4.3 実験条件

4.7 評価方法

歌声に関する実験では，感情を付与した異なる歌声（要因 A）に対して 5 つの水準を設け（A1：哀しみ大，A2：哀しみ小，A3：ニュートラル，A4：喜び小，A5：喜び大），1 要因 5 条件の被験者内実験計画とした．また，表情に関する実験では，感情を付与した異なる表情（要因 A）に対して 4 つの水準を設け（A1：ニュー
トラル，A2：喜び，A3：哀しみ，A4：怒り），1 要因
4 条件の被験者内実験計画とした．

以下に実験における評価項目を示す．今の気分に当てはまる度合いを答えるという項目に対して覚醒度（Q1）と快感度（Q2）の項目を設け，実験参加者の感覚的な印象を調査するために Visual Analogue Scale（VAS）法
に従い，0–99 点（0：不覚醒，不快，99：覚醒，快）で回答させた．
評価項目
Q1 覚醒度（0 が不覚醒，100 が覚醒とする）
Q2 快，不快（0 が不快，100 が快とする）

4.4 実験参加者
実験には 17 歳–22 歳（平均年齢 19.5，標準偏差 2.26）の日本語を母国語として基本的な PC 操作が可能な 8 名（男性 3 名，女性 5 名）が参加した．

4.5 実験刺激と体験
刺激には，聴覚刺激として 3.2 節で述べた方法で生成した喜びと哀しみ間のモーフィング比率を変更した 5
種類の音声（モーフィング率 0,25, 50, 62.5, 100 ％）を用いた．音声は，童謡「ふるさと」の 1 フレーズ「小鮒釣りしかの川」の歌声音声を使用した．また視覚刺激
として，3.3 節で述べた方法で生成した喜びと哀しみ，
怒りの感情を付与した表情に加え，感情を持たない表情の計 4 つの表情を用いて検証を行った．実験参加者
は聴覚刺激 5 条件，視覚刺激 4 条件の計 9 条件のコン

4.8 実験結果
実験により得られた各評価項目に対して分散分析を有意水準 𝛼 = 0.05 で実施した．各評価項目の平均値および標準偏差を図 5，図 6 に，分散分析の結果を表 2，
表 3 に示す．歌声や表情に対する印象では，快感度において有意差が示された．さらに表情では多重比較に
より A2>{A3,A4} が確認され，喜びが哀しみや怒りに対して快の感情度合いが高いことがわかった．

4.9 予備実験に対する考察
本実験では，作成したエージェントの歌声や表情により，ユーザの感情を狙った感情へ誘導することがで2https://voicevox.hiroshiba.jp/

表 3: 表情分散分析結果

QuestionQ1. 覚醒度
Q2. 快不快𝑁𝑜𝑡𝑒.∗ 𝑝<.05.

図 5: 歌声における各条件の平均値と標準偏差

A
𝐹
1.581
8.954

𝑝

多重比較

.224
<.001*

A2>{A3,A4}

れる．また，感情円環モデルにならって参加者に直接，覚醒度と快不快を尋ねたが，覚醒度という単語のニュア
ンスが理解しづらいという声も実験後に聞かれた．よって，正しく測定が行えず有意差が確認されなかった可能性がある．さらに，実験後の感想として，合成音声の不自然さが多く指摘され，現在の合成音声では感情の表現に限界があることも示唆された．

5 実験
5.1 実験概要

図 6: 表情における各条件の平均値と標準偏差きるかを検証した．検証の結果，作成した喜びの表情が哀しみや怒りに対して快感を感じやすいことがわかった．したがって仮説 1，2，3 の表情における快感度の項目のみが支持され覚醒度の項目は支持されなかった．
しかし，快不快について喜びとその他の感情との有意差が確認されたため，実験刺激として喜びの感情と円環上では対極に位置する悲しみの感情を用いることとした．また，歌声に関しては快感度において有意差は見られたが多重比較において有意差が見られなかったため，歌声において喜びの快感度が高く悲しみの快感度が低いという仮説 1，2 は支持されなかった．
歌声と表情共に覚醒度に有意差が示されなかったことから特に覚醒度について感じ方に個人差が大きいことや設定したパラメータが適切ではなかったと考えら

表 2: 歌声分散分析結果

QuestionQ1. 覚醒度
Q2. 快不快𝑁𝑜𝑡𝑒.∗ 𝑝<.05.

A
𝐹
1.181
4.697

𝑝
.341
.036*

本実験では，感情表現を伴って歌唱するエージェン
トがユーザをネガティブな感情（哀しみ）からポジティ
ブな感情（喜び）に誘導することができるかを検証す
る．歌声の自然な移行ができるように音声モーフィン
グを用い，感情を付与した歌声や表情を表出するエー
ジェントの実装を行った．本実験では 2 種類の実験を実施し，実験 1 では歌声の感情や感情遷移の有無による比較を，実験 2 では歌声と表情の感情一致度や表情の変化度による比較を行った．

5.2 実験仮説
仮説
H1: 音楽視聴前の感情に最も近い感情を付与した歌声を提示することで，その後の変化に誘導されやすく感情移入しやすいH2: 目的の感情まで徐々に歌声感情が変化するとより自然に感情誘導が行われる
H3: 表情と歌声感情がマッチするとより自然で感情移入しやすい
H4: 表情の変化度が大きいほうが曲に感情移入しやすい

5.3 実験条件
実験 1 では，要因 A：感情状態（喜，哀），B：感情
遷移（遷移あり，遷移なし）の 2 要因 4 条件の被験者

内実験計画を実施した．実験 2 は要因 A：表情と歌声
感情の一致度（一致，不一致），要因 B：表示する顔表
情の変化度（高，低）の 2 要因 4 条件の被験者内実験
計画を実施した．

が変化したと回答した場合には Q3-1 へ，変化しないと回答した場合は Q3-2 を回答させた．これらの質問
で遷移を知覚できるのか，正しく遷移方向を知覚できたのかを確かめた．実験 2 では，視聴覚刺激での感情誘導に対する印象（Q1），エージェントに対する印象（Q2），歌声に対する印象（Q3，Q4），音楽没入感に
5.4 実験参加者
対する印象（Q5）の評価項目を設けた．この評価項目に対して実験参加者の感覚的な印象を調査するために実験には 16 歳–25 歳（平均年齢 21.25，標準偏差 1.98）
Visual Analogue Scale（VAS）法に従い，0-99 点（0：の日本語を母国語として基本的な PC 操作が可能な 24
不快，全く当てはまらない，99：快，完全に当てはま名（男性 9 名，女性 15 名）が参加した．
る）で回答させた．なお，実験 1 の Q2，Q3 は 2 択で回答させたため，Q2，Q3 を除いた設問に対して同様の形式で回答させた．
5.5 実験刺激と体験
評価項目
予備実験の結果を踏まえ，表現に限界がある VoiSona
実験 1の合成歌声ではなく，20 代の女性歌唱者の感情歌声をQ1. 今の気分 (0 が不快,100 が快とする)
収録し実験に使用した．歌声への感情付与として，収録
Q2. 音声の感情が変化した（はい，いいえ）の際に覚醒度が低くネガティブな声，覚醒度が高いポQ3-1. 音声の感情の変化はどちらが近いですか（喜び→ジティブな声と指示し表情付けを行った．実験システム
悲しみ，悲しみ→喜び）
では，この 2 つの音声のモーフィング比率を変更した 5
Q3-2. 音声の感情はどちらに近いですか（喜び，悲し
種類の音声（モーフィング率 0,25, 50, 75, 100 ％）と予み）
備実験で有意差が確認された喜びと哀しみの顔表情をQ4. 一緒に歌いたくなった組み合わせ，感情表現を伴って歌唱するエージェント
Q5. 歌声は自然に感じたを視聴することとした．それぞれのコンテンツは，実Q6. 歌声は聴きやすかった験参加者ごとにランダムで入れ替えて提示することで， Q7. 音楽に感情移入した
音声や表情の視聴順序が結果に影響を与えないようにした．また，実験を行う際は音楽聴取前の実験参加者
実験 2の感情を擬似的に哀しみに近づける刺激として，IAPS
Q1. 今の気分 (0 が不快,100 が快とする)（国際情動写真集）の写真（ﬁle number：9001，positive：
Q2. 一緒に歌いたくなった
3.10，arousal：3.67，dominance：3.47）を使用した [18]． Q3. 歌声は自然に感じた

5.6 実験手順
実験環境は 4.6 節と同様である．実験参加者は実験 1で 4 試行，実験 2 で 4 試行の計 8 試行を順に取り組んだ．実験条件の提示順はラテン方格法に基づいてカウンタバランスを考慮して決定した．実験参加者がエー
ジェントの歌唱を視聴し狙った感情へ誘導されているかを評価するために実験参加者に各条件の体験後，評価項目に対して回答を求めた．

5.7 評価方法
以下に実験 1，2 に共通する評価項目を示す．まず，
実験 1 では，聴覚刺激での感情誘導に対する印象（Q1），
感情音声に対する印象（Q2，Q3），エージェントに対する印象（Q4），歌声に対する印象（Q5，Q6），音楽
没入感に対する印象（Q7）の評価項目を設けた．Q3
は Q2 の結果によって質問が変化するようにし，感情Q4. 歌声は聴きやすかった
Q5. 音楽に感情移入した

5.8 実験 1

結果

実験により得られた各評価項目に対して分散分析を有意水準 𝛼 = 0.05 で実施した．各評価項目の平均値および標準偏差を図 7 に，分散分析の結果を表 4 に示す．
まず，感情誘導に対する印象（Q1）では，要因 A において有意差が示された．このことから，喜びの感情音
声が感情誘導効果を高めることが示された．次に，感情音声に対する印象（Q2，Q3）で音声感情の変化の有無を確認した結果，音声感情を変化無しと正しく回答
した人の中で喜びの表現固定音声では平均 75 ％，哀し
みの表現固定音声では 79.10 ％の正答率となった．また，音声感情を変化有りと正しく回答した人の中で喜びから哀しみの変化音声では 62.45 ％，哀しみから喜びの変化音声では 45.80 ％の正答率となった．つまり，

遷移無し音声は感情が正しく認知される傾向があるが，
特に哀しみから喜びへの遷移有り音声では感情が正しく認知されない傾向が示された．
そして，感情遷移方向を確認した結果，遷移の有無を正しく知覚できた人の中で歌声の感情を正しく知覚できた人は喜びの固定音声では 61.10 ％，哀しみの固定音声では 94.73 ％，喜びから哀しみの遷移音声では62.45 ％，哀しみから喜びの遷移音声では 45.80 ％であった．また，遷移の有無を正しく知覚できていない人を含め全体を被験者の 24 人とすると，遷移の有無・感情を両方正しく知覚できた人は喜びから哀しみの遷移音
声では 50 ％，哀しみから喜びの遷移音声では 33.33 ％，喜びの固定音声では 45.83 ％，哀しみの固定音声では
75 ％の正答率となった．つまり，哀しみの固定音声は正しく認知される一方，喜びの固定音声や哀しみから喜びへの遷移は知覚されづらい可能性が示唆された．
次に，エージェントに対する印象（Q4）では，要因A に有意差が示された．このことから，喜びの感情音声
がエージェントの印象を良くすることが示された．次に，歌声に対する印象（Q5，Q6）では，要因 A に有意差が示された．このことから，喜びの感情音声が歌声の印象を良くすることが示された．また，交互作用が認められ，A1>A2 の差は B1 の時のみ有意であることが示された．一方で，B2>B1 の差は A2 の時のみ有意であることが示された．つまり，歌声の遷移がある
時に喜びの歌声を最初に聴取することや，哀しみの歌
声の時に歌声を遷移させないことで歌声に対する印象が良くなる傾向が示された．最後に，音楽没入感に対する印象（Q7）では交互作用が認められ，A1>A2 の差は B1 の時のみ有意であることが示された．一方で，
B2>B1 の差は A2 の時のみ有意であることが示された．
つまり，歌声の遷移がある時に喜びの歌声を最初に聴取することや哀しみの歌声の時に歌声を遷移させない
ことで音楽への没入感が向上する傾向が示された．

5.9 実験 2

結果

実験により得られた各評価項目に対して分散分析を有意水準 𝛼 = 0.05 で実施した．各評価項目の平均値および標準偏差を図 8 に，分散分析の結果を表 5 に示す．
まず，感情誘導に対する印象（Q1）では，要因 A において有意差が示された．このことから，歌声と表情の感情一致が感情誘導効果を高めることが示された．次に，エージェントに対する印象（Q2）では，要因 A において有意差が示された．このことから，歌声と表情の一致がエージェントの印象を良くすることが示された．次に，歌声に対する印象（Q3，Q4）では，要因 A
において有意差が示された．このことから，歌声と表情の一致が歌声の印象を良くすることが示された．最後に，音楽没入感に対する印象（Q5）では，両要因に有意差は示されなかった．このことから，歌声と表情の感情一致の有無や表情変化度が音楽の没入感には重要ではないことが示唆された．

図 8: 実験 2 における各条件の平均値と標準偏差6 考察

図 7: 実験 1 における各条件の平均値と標準偏差

本実験では，徐々に感情を誘導する歌唱エージェン
ト鑑賞体験システムを提案し，エージェントがユーザをネガティブな感情（哀しみ）からポジティブな感情（喜び）に誘導することができるかを検証した．実験の結果，喜びの感情音声や歌声と表情の一致が感情誘導効果を高め，エージェントの印象や歌声の印象を良くすることが示された．一方で歌声の感情遷移有無や表情の変化度による感情誘導効果，エージェントの印象や歌声の印象を変化させる効果は確認されなかった．
実験 1 の結果，感情誘導に対する印象（Q1），エー
ジェントに対する印象（Q4），歌声に対する印象（Q5，Q6）において喜びの感情音声が感情誘導効果を高め，
エージェントの印象や歌声の印象を良くすることが示されたが，歌声感情の遷移有無による感情誘導効果，

表 4: 実験 1 分散分析表
A
B
Question𝐹𝑝
𝐹
Q1. 今の気分 (0 が不快,100 が快とする)
7.033.014* 0.315
Q4. 一緒に歌いたくなった33.212 <.001* 0.438
Q5. 歌声は自然に感じた
10.590 <.001* 3.894
Q6. 歌声は聴きやすかった
25.479 <.001*
1.46
Q7. 音楽に感情移入した
3.419.077 0.773

𝑝
.580
.515
.061
.239
.388

AB
𝐹
0.117
0.023
9.552
8.023
6.864

𝑝

単純主効果

.736
.880
<.001*<.001*.015*

A(b1),B(a2)
A(b1),B(a2)
A(b1),B(a2)

B
𝐹
0.000
0.022
2.291
0.719
0.879

𝑝
1.000
.884
.144
.405
.358

AB
𝐹
0.015
2.287
0.007
0.066
0.024

𝑝
.905
.144
.932
.799
.879

𝑁𝑜𝑡𝑒.∗ 𝑝<.05.
表 5: 実験 2 分散分析表
A
𝐹𝑝
QuestionQ1. 今の気分 (0 が不快,100 が快とする) 21.083 <.001*
Q2. 一緒に歌いたくなった33.672 <.001*
Q3. 歌声は自然に感じた
8.679 <.001*
Q4. 歌声は聴きやすかった
16.177 <.001*
Q5. 音楽に感情移入した
2.151
.156

𝑁𝑜𝑡𝑒.∗ 𝑝<.05.
エージェントの印象や歌声の印象を変化させる効果は見られなかった．このことから，仮説 1，仮説 2 は支持されなかった．また交互作用の結果より，歌声の遷移がある時に喜びの歌声を最初に聴取することや哀しみの歌声の時に歌声を遷移させないことで歌声に対する印象が良くなることや音楽への没入感が向上することが示された．予備実験の結果を踏まえ本実験では新たに音源を作成したが，感情音声に対する印象（Q2，Q3）
において感情遷移や喜びの感情音声が伝わりづらい可能性が見られたため，喜びと哀しみの音声の差が小さいことや喜びの音声設定が適切ではなかったと考えられる．
実験 2 の結果，感情誘導に対する印象（Q1），エー
ジェントに対する印象（Q2），歌声に対する印象（Q3，Q4）において歌声と表情の一致が感情誘導効果を高め，
エージェントや歌声の印象を良くすることが示された
が，表情の変化度による感情誘導効果，エージェントの印象や歌声の印象を変化させる効果は確認されなかった．このことから，表情と歌声の一致度が自然な感情
誘導に繋がるという仮説 3 は感情移入に関するところ以外は支持された．また，表情の変化度が感情移入へ影響を及ぼしていないことから仮説 4 は支持されなかった．提案するエージェントは，本検証設定においては，
歌声の遷移有無や表情の変化度において感情誘導効果，
エージェントの印象や歌声の印象を変化させる効果を示さなかった．その原因として，喜びの音声設定が適切ではなく，喜びと哀しみの音声の違いが認知されづらかった可能性が考えられる．また表情においては，表

情の変化度合いの設定が小さく違いが分かりづらかった可能性が考えられる．また，悲しみが強い時に悲しい音楽を聴くと悲しみを和らげる効果があるが，弱い
悲しみの時には効果を及ぼさない [19]，悲しみが浅い
時には楽しい音楽がより効果的であること [20] が明らかにされていることから，本検証においてあらかじめ近づけた感情の哀しみ度合いが弱かった可能性も考えられる．音声の自然さや，表現幅を調整して再実験を行い，効果を検証する必要がある．

7 おわりに
本研究では，歌声と表情により感情表現を伴って歌唱するエージェントにより，ユーザ感情を誘導することを目指した．そして，その事前検証としてネガティブな感情からポジティブな感情までユーザの感情を誘導することを目的とし，歌声モーフィングと顔表情を通じた感情的歌唱表現によりユーザをポジティブな気分に誘導するシステムを提案した．検証の結果，歌声感情
や歌声と表情の一致による感情誘導効果，エージェン
トの印象や歌声の印象を向上させる効果が確認された．
また，歌声の遷移がある時に喜びの歌声を最初に聴取することや悲しみの歌声の時に歌声を遷移させないほうが歌声に対する印象が良くなり，音楽への没入感が向上することが示された．一方で，歌声遷移の有無や表情の変化度による感情誘導効果やエージェントの印
象，歌声の印象を変化させる効果は確認されなかった．

今後は，各感情を正確に表現できる歌声のパラメー
タの追加検討が必要である．そして，最終的には歌声
合成や声色モーフィングだけでなく，表情認知や音声認知を用いて自動的な感情認知，感情誘導を行うこと
やエージェントが一緒に歌うことを可能にし，各感情へユーザの感情を誘導するシステムを目指す．

[10] 竹内貞一. 抑うつ感低減に音楽提示系列が与える
影響–音楽気分誘導法による実験的研究. 日本音楽療法学会誌, Vol. 4, No. 1, pp. 76–86, 2004.
[11] 林原理恵, 尾田攻臣. 和音進行の複雑さが快感情に及ぼす影響. 映像情報メディア学会技術報告,
Vol. 33, No. 17, pp. 5–8, 2009.

謝辞[12] 森下修次, 笹川知美. 歌唱における喜び, 悲しみ, お
それ, 怒りの表現. 2002.

本研究は，一部科研費 23K11278，22K19792，および 2022 年度関西大学若手研究者育成経費の研究課題「エージェントを用いた共感的音楽体験共有の価値創造に関する研究」の助成を受け実施しその成果を公表す
るものである．実験参加者の皆様に感謝する．

[13] 任福継ほか. 言語・表情など外観情報と心的状態遷移に基づく人間感情の認知について. 情報処理学会研究報告音声言語情報処理 (SLP), Vol. 2006,
No. 73 (2006-SLP-062), pp. 43–48, 2006.

参考文献[14] 中野良樹, 伊藤由美. 感動詞「エー」を表出した表情と音声に対するマルチモーダルな感情認知. 感
情心理学研究, Vol. 16, No. 3, pp. 195–208, 2009.

[1] 公益財団法人長寿科学振興財団. 健康長寿ネット.
https://www.tyojyu.or.jp/net/byouki/ninchishou/music.html, 参照 2024/02/17.

[15] 佐久間真理, 大串健吾. 打楽器演奏における演奏者の意図の伝達ー視覚と聴覚の相互作用ー. 日本音響学会誌, Vol. 50, No. 8, pp. 613–622, 1994.

[2] 日本音楽医療法学会. 一般社団法人音楽療法学会.
https://www.jmta.jp/, 参照 2024/02/17.

[16] J. A. Russell. A circumplex model of aﬀect. Journalof personality and social psychology, Vol. 39, No. 6,
p. 1161, 1980.

[3] 久村正也. 音楽療法を知るー音楽を心身医療の現場へー. 心身医学, Vol. 52, No. 12, pp. 1146–1151,
2012.
[4] 川口豊. 音楽療法の基礎概念. 東海女子大学紀要,
Vol. 20, pp. 159–166, 2000.
[5] 村井靖児. 音楽療法の基礎, 1995.
[6] H. Kawahara and H. Matsui. Auditory morphingbased on an elastic perceptual distance metric in aninterference-free time-frequency representation. In
Proc. ICASSP’2003, Vol. I, pp. 256–259, 2003.
[7] J. Alvin and J. Andrews. Music therapy. Hutchinson,
1975.
[8] Christian Gold, Hans Petter Solli, Viggo Krüger, andStein Atle Lie. Dose–response relationship in music therapy for people with serious mental disorders:
Systematic review and meta-analysis. Clinical psychology review, Vol. 29, No. 3, pp. 193–207, 2009.
[9] I. M. Altshuler. The past, present and future of musical therapy. In Music Therapy, pp. 24–35. Philosophical Library, 1954.

[17] P. Ekman and W. V. Friesen. Facial action coding
system (facs). https://doi.org/10.1037/t277
34-000.
[18] International aﬀective picture system. https://www.affective-science.org/researchmaterial.
[19] 松本じゅん子. 音楽の気分誘導効果に関する実証的研究—人はなぜ悲しい音楽を聴くのかー. 教育
心理学研究, Vol. 50, pp. 23–32, 2002.
[20] 平井正三郎, 山本彩加. 大学生の悲しい気分における音楽聴取がもたらす影響. 第一工業大学研究報
告, Vol. 31, pp. 57–65, 2019.