社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

韻律と発話内容に基づく
非言語的な共感応答を用いた傾聴システムの実現
徳田

裕紀†

佐伯

幸郎††

中村

匡秀†,†††† 神戸大学 〒657–8501 神戸市灘区六甲台町 1–1†† 高知工科大学 〒782-8502 高知県香美市土佐山田町宮ノ口 185††† 理化学研究所・革新知能統合研究センター〒103-0027 東京都中央区日本橋 1-4-1
E-mail: †{tokup,masa-n}@cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp
あらましバーチャルエージェントを活用した傾聴カウンセリングシステムでは, 発話者へ共感的応答をすることが重要である. これまでに言語的な共感表出に関しては検討されているが, 非言語的な共感は考慮できていない. 本稿では発話者の韻律に同調した相槌カウンセリングシステムとの対話の中で, 共感的な応答が発話者に対して与える印象について被験者実験を通じ確認している.
キーワード 在宅介護, バーチャルエージェント, 積極的傾聴, 共感応答

Realization of the attentive listening agent utilizing nonverbal empathic
response based on prosody and utterance content.
Yuki TOKUDA† , Sachio SAIKI†† , and Masahide NAKAMURA†,†††† Kobe University Rokkodai-cho 1–1，Nada-ku，Kobe，Hyogo，657–8501 Japan†† Kochi Institute of Technology Miyanokuchi 185, Tosayamada-cho, Kami-shi,Kochi, 782-8502 Japan††† Riken AIP, 1-4-1 Nihon-bashi, Chuo-ku, Tokyo 103-0027
E-mail: †{tokup,masa-n}@cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp
Abstract In active listening counseling system that utilizes a virtual agent, it is important to respond sympathetically to the speaker. So far, verval empathy has been examined, but nonverbal empathy has not been considered.
In this paper, we conﬁrm the impression that the nonverbal empathic response gives to the speaker through the subject experiment in the dialogue with the active listening counseling system that is synchronized with the speaker’s
prosody.
Key words Home care, Virtual Agent, Active listening, empathic response

1. は じ め にの人を理解し, その人に寄り添った支援を行うパーソンセンター
ドケア [2] がある. パーソンセンタードケアの一つとして, 積極

現在, 日本は超高齢化社会に直面している. 厚生労働省の調的傾聴が知られている. 積極的傾聴は, 「話を聞いていること」

査によると, 総人口は減少し続けるにもかかわらず, 65 歳以上（一致）「共感していること」(共感)「相手を受け入れているこの高齢者数は上昇し続け, 2036 年には高齢者の割合が 33.3% にと」（受容）を相手に示しながら話を聴くことで, 受容の対応をなると予測されている [1]. 高齢者の増加に伴い認知症を持つ人

示し, 自分を受け入れてくれているという安心感・自己肯定感の数も増加し, 2025 年には 700 万人, すなわち高齢者 5 人に 1によって話者（クライアント）の心理的安定を図る手法である.

人が認知症となると推計されている. また同時に, 自宅での介積極的傾聴はパーソンセンタードケアの中でも, 自分を見失い護を望む人が増加しており, 平成 25 年には厚生労働省によって不安に陥る認知症当事者には効果的であるとされている.

在宅介護推進チームが設置された. こうした背景のもと, 高齢

積極的傾聴を用いたケアでは日常的に対話して支援していく

者や認知症当事者のための有効かつ持続的な在宅での支援が必ことが重要となる. しかし, 専門医が日常的にカウンセリング

要とされている.

を行うのは経済的・時間的に困難である. また, 今日では在宅介認知症のケアの手法として, 患者一人一人の立場に立ってそ護への移行が進んでおり, 家族の介護負担も増えている. よっ—1—

て会話やカウンセリングに十分な時間を費やせない状況があり,
人手に頼らずに行えるような環境の構築が課題の一つである.
そこで我々の研究グループでは, 音声対話が可能なロボット
プログラムであるバーチャルエージェント (Virtual Agent,

VA) を活用して, 在宅でクライアントがいつでも傾聴対話のコミュニケーションを行えるケアシステムを開発している [3].
この傾聴ケアシステムでは, 人感センサーがクライアントを感知し定期的に, ないしはクライアント側から呼びかけることによって, クライアントが話を行い VA が相槌を返すという傾聴対話を行い, これによって継続的な傾聴ケアを実現している.
しかしながら, 現段階のシステムでは相手の応答に関わらず

図1

傾聴対話の様子汎用的な相槌・動作をランダムに返しており, 積極的傾聴に重要となる共感性が不足している. 「なるほど」「そうなんです

自由に発言し, 発話が一定時間以上止まるごとにそこまでの音ね」などの汎用的な相槌は相手の発話内容に関わらず一定の受声を一つの発話として区切る. そしてその発話に対し VA が汎容を示すことが可能であり, 現状のシステムにおいても傾聴に用的な相槌・動作をランダムに返す. その後, 引き続きクライア

重要な「一致」「受容」をある程度満たすことは可能である. しントが自由に発言する. これを傾聴を終了する旨の発言をする

かし「共感」に関しては満たしておらず, 共感性の不足はクラまで繰り返す.

イアントが自分の感じていることに自信を持てなくなり, 自分

これにより時間によらない認知症当事者のケアを実現でき,への否定の恐怖に繋がる [4]. そのため何度もクライアントが積

人間の介護者の負担を軽減することが期待できる. またこれら

極的に話をする必要のある傾聴ケアシステムにおいては, 共感の傾聴対話中のクライアントの音声および傾聴中のクライアン

応答は必要な機能である.

トの動画を継続的にデータベースに保存することで, クライア

本研究では, より高齢者の感情に寄り添った傾聴の実現を目的とし, 共感応答機能を有する傾聴ケアシステムを提案する. 共ントの日々の精神状態をモニタリングし, それらのデータを人間の手によるケアへの補助として用いることも期待できる.

感を示す方法としては, 言語的に返答の内容によってクライア

2. 2 共 感 応 答

ントの立場・感情の状況への理解を示す方法と, クライアント

共感とは 2 人の人物間で一方が他方の感情と同一の感情を体が発露した感情と同一のそれを表情や, 声の韻律特徴などを通験することであり, 共感応答とはそのように共感したことを言して発露させることで示す方法の二種類が存在する [5]. ケア提葉, 表情, 動作などによって相手に示すことである.

供者とクライアント間の感情的な繋がりや, クライアント側の共感には二種類存在し, 相手の置かれた状況・立場を認識し情報開示への精神的敷居の引き下げには後者のほうが重要であ

その状況から何を感じているのかを推測する認知的共感と, 相り [6], また前者おいては言語の幅広さから返答の一般化・シス

手の感情発露に対して反射的にそれ同じ感情が発露する情動的テム化が困難であるため, 今回は後者の非言語的な共感応答を共感がある. 前者を共感応答する場合, 主に返答の内容によっ

生成する手法を提案する.

て, 後者を共感応答する場合, 表情・音声・動作によって感情をより具体的な方法として, まず相手と同じような表出をして表現する [6].

有効とされる一部の韻律特徴を取得する. またこれに加え, 韻

ケア提供者とクライアント間の感情的な繋がりや, 情報開示

律特徴とテキスト情報を組み合わせた感情解析によって発話にへの精神的敷居の引き下げには後者のほうが重要であり, 本研

おいて表出した感情の大きさとその方向性（ポジティブな感情

究の共感応答では後者を主眼に置いている.

であるかネガティブな感情であるか）を取得する. 取得したこ

2. 3 同調行為による共感応答

れらの特徴を用い, 発話者と同じ韻律・感情発露した相槌を生話す速度や声の高さなどの話し方を相手のそれに合わせたり,成する. また提案手法に基づく共感応答機能を実装し, システ

相手が行った身体動作や癖と同じ動作をする同調行為は, 日常

ムが傾聴ケアとして有効であるか確認するため, 被験者実験にのコミュニケーションの場面においても度々見受けられる. 同

よってシステムの印象評価を行う.

調行為がコミュニケーションにおいて円滑な相互理解や聞き手

2. 準

備

の印象傾向に一定の役割を果たすことは多くの研究によって示されてきた [7] [8]. . 同調行為は話し手の感情から発露した韻律

2. 1 在宅認知症のための傾聴ケアシステム

特徴・動作などを模倣することであり, これは 2. 2 で説明した

我々の研究グループでは, 在宅の高齢者や認知症当事者に対情動的共感の表明を疑似的に行っているため, 傾聴における共して, 音声対話が可能なロボットプログラムである VA を用い

感応答の手段として有効である. 特に発話時の特徴の中でも,た傾聴ケアシステムを開発している. 図 1 に傾聴ケアシステム

身体動作 ,

で実際に対話している様子を示す.

速度 ,VA 傾聴システムではその日の食事, 出来事, 気分など日常の話題を問いかけ, これに対しクライアントがその話題に関して

癖 ,

表情 ,

アクセント ,

めるまでの時間） ,

発話長 ,

発言数 ,

発話

反応潜時（考え始めてから発話を始

発話内潜時（ひとつの発話中に考えたり言葉がつまることで発生したポーズの数・時間） ,

声の大き

—2—

さ

,

基本周波数

,

感情表出した音声などが, 同調する

傾聴対話

共感応答
「それはうれしいですね」

ことで共感を示す有効な要素とされている [6].

2. 4 回 想 法
認知症の症状に対する非薬物療法の一つとして, 回想法 [9] が相槌応答「なるほど」

対話データ

知られている. 回想法では, 対話を通じて認知症当事者に過去

韻律分析

テキスト解析

傾聴サービス

韻律解析 myprosody

相槌応答生成の体験を振り返ってもらい, その過程に対して共感的, 受容的感情解析
Azure TextAnalytics

音声-テキスト変換に対応することで患者の心理的安定を図る. このケア手法ではケア提供者が患者（クライアント）の過去に繋がるような画像

音声処理

音声データ

音声データ

や音楽や話題を提示することで患者に過去の体験を話してもら

音声データベース NextCloudい, ケア提供者はそれを傾聴するという会話形式が取られる事
が多い.

図2

提案システムの概要図

2. 5 関 連 研 究傾聴システムの応答生成に関連する研究として, 下岡らは回またそれと同時に, 特に感情表出した音声に対して同じ感情

想法に基づいた傾聴を行う音声対話システムの開発を行い, 共で相槌を返すために発話の感情を取得する. これは既存の韻律

感応答以外にも繰り返し応答や問い返し応答など, 相手の発話解析による感情解析とテキスト解析による感情解析を組み合わ

内容や音声認識の信頼度に合わせた様々な相槌を生成する手法

せ, ポジティブであるかネガティブであるか平常であるかといを提案している [10]. また韻律による感情推定に関連する研究うとして, 河原らは傾聴システムにおいて多用な相槌の生成や, 音
声韻律から取得した感情に応じた相槌の生成などを行い, また感情の方向性の判定をそれぞれのスコアで行う.

3. 2 共感応答の生成
3. 1 で得られた特徴である 発話長 ,発話速度 ,

発話内

それが発話者に与える印象を自立型アンドロイド ERICA を用

潜時 と, これに加え感情解析の結果である 感情の方向性 にいて検証している [11] [12].

同調するような相槌と動作を生成し, VA に応答させる. 具体的しかしいずれの研究も相槌の内容や回数を調整することでに, それぞれの特徴に対し長い/短い, ポジティブ/ネガティブ/

共感を表現しているものの, 応答音声の韻律やロボットの表情

平常, 多い/少ないというパターンに対応し, これにより 2 × 3による感情表出を通じて, 共感を表現するということを行って× 2 種類の性質をもった相槌をあらかじめ複数個用意し, それいない. 共感を伝えるという行動において表情や声調による感ぞれに応じた相槌を返す. 例えば発話長が長く

情表現は重要な要素の一つであり, この点は VA による表情表

数が多く（発話内潜時が長く） ,感情はポジティブである

現と OpenJTalk を用いた韻律表現によって改善できる余地がという発話に対しては「なるほどなるほど、それは良かったである.

すね」といった相槌を,発話長が短く ,（発話内潜時が短く） ,感情は平常である

3. 提案システム,

ポーズ

ポーズ数が少なくという発話に対しては「そうなんですね」といった相槌を複数個用意し, 各特本研究では 2. 1 で述べたシステムを拡張し, 共感応答機能に
よってより高齢者の感情に寄り添った傾聴を実現するシステム

徴に対応する相槌の中からランダムに選択し返す.
そしてこれに加え,発話速度 と 感情の方向性 の特徴そを提案する. 主に 2. 1 で説明した傾聴システムに, 発話の韻律

れぞれに対応するような特性の音声を, 音声生成プログラムで解析および, 韻律とテキストを組み合わせた感情解析を行うこある OJT(OpenJTalk) のパラメータを調整することによってとで, 同調に必要な発話の要素を取得する. さらに, これによっ生成する.

て得られた特徴を模倣するような相槌・動作を生成する機能を

感情の方向性追加し, それらを適宜応答することで非言語的な共感応答を実ブ」の 3 種類, 計 9 種類の区別を行う. OJT のパラメータには発話速度 は「速い」「普通」「遅い」の 3 種類で,は「ポジティブ」「ニュートラル」「ネガティ

現する. 提案システムの概要図を図 2 に示す. 提案システムの波長・F0 のモデルと, 音節と音節の間隔の長さのモデルが存在

各機能について、具体的に説明していく.

し, 各区別ごとに適切なモデルを選択するほか, 発話速度, 声の3. 1 韻律特徴と感情の抽出

高さ, 語気の強さのパラメータをそれぞれ設定した. また 感情

VA がクライアントとの傾聴対話を通して取得したクライアの方向性においてポジティブないしはネガティブの特徴が判

ントの音声を, 発話ごとに韻律解析を行い, 韻律特徴を取り出定がされている場合, それに同調するような VA の表情・動作

す. 2. 3 で説明した同調して有効な特徴の内,発を行いながら応答する. 例えばポジティブな発話に対しては手発話内潜時 をそれぞれ 音節（ひとまとまりの音を口に当て笑顔を浮かべる, ネガティブのな発話には首を少し

話速度 ,の区切り）数 ,1 秒あたりの音節数 ,発話長,

一つの発話中にある一定時間以上のポーズの数 として抽出する. 例えば, 「今日は、えー散歩をしました。
」という言葉を 2.5 秒で発話したで考傾げ悲しい表情をするなどの動作を行う.

4. 実

装

えると, 音節は「きょー/は、/えー/さん/ぽ/を/し/ま/し/た」

本章では 3. にて述べた提案手法を基に実装を行った. 発で区切られるため, 発話長は 10, 発話速度は約 4 音節/sec, ポー

話の音声認識には Google Speech API [13] を, 韻律解析にズ数は「今日は」と「えー」の間にある 1 つのみとなる.

は myprosody(python) [14] を, テキスト内容の感情解析には—3—

AzureTextAnalycsAPI [15] を用いた. 韻律の解析では感情のの感想を自由記述によって質問する. 用いた質問の一覧を下に方向性が「Passionately」「Reading」「Normal」の 3 値で返さ示す.

れ, それぞれを「ポジティブ」「中立」「ネガティブ」な感情の結果として扱った. テキストの解析では感情の大きさが 0（ネガティブ）〜1（ポジティブ）の値で返される. また傾聴の対話
実行及び音声データの保存に関するサービスには以下の技術を用いた.

質問 1 : VA の応答は自然でしたか.
質問 2 : VA は真面目に話を聴いていると感じましたか.
質問 3 : VA は積極的に話を聴いていると感じましたか.
質問 4 : VA はあなたの感情や状況を否定せず受け入れ•

開発言語: HTML, JavaScriptていると感じましたか.

•

データベース: NextCloud

質問 5 : VA に感情は感じましたか.

•

Web サーバ:Apach Tomcat 9.0.37

質問 6 : VA はあなたの感情に寄り添った応答をしていると感じましたか.

5. 評 価 実 験

質問 7 : VA は親しみやすいと感じましたか.
質問 8 : VA との話を通じて安心感を得ましたか.

提案システムの実現性を確認する被験者実験を行った. 発話

質問 9 : VA はタイミングよく反応していましたか.

の中から韻律特徴と感情特徴を抽出し発話者の動作や感情に同調する傾聴ケアシステムを実装し, 被験者実験を通して共感応答機能が傾聴システムとして有効かどうか確認した.

5. 1 実験の目的
提案システムが傾聴ケアシステムとして有効であるためには,それぞれのアンケートの質問の意図を説明する. 質問 1 では
傾聴対話が成立しているかどうか, 傾聴ケアとして成り立たないほど対話に違和感が生じていないかどうかを確認する. 質問

実際の傾聴対話の中で傾聴に必要な要素である「話を聞いても2, 3 では傾聴に必要な要素 3 つのうちの 1 つである「一致」のらえていること」と「受け入れられていること」を正しく感じ

印象を, 質問 4 では「受容」の印象を答えてもらい, RQ1 の検ている点, 発話者が傾聴システムに対して感情を感じ正しく共感されていると感じている点, そして傾聴対話を通して自分への肯定感を感じ安心感を得ている点が満たされている必要があ
る. そこで以下の RQ1〜RQ3 の 3 つを本研究のリサーチクエ
スチョンと設定し, これらのリサーチクエスチョンについてを
被験者実験を通して確認する.

RQ1: 実対話において「一致」と「受容」を満たしているか
傾聴システムとの傾聴対話を行ってもらい, アンケートによる印象評価を通して「話を聞いているか」と「受け入れているか」を感じたかどうかを検証する.

RQ2: 発話者が正しく「共感」を感じたか
共感応答を行わない既存システムと共感応答を行う提案システ
ムそれぞれに傾聴対話を行ってもらい, アンケートによる印象
評価を通してより提案システムに感情を感じたかどうかを検証する. また各発話に対する感情を答えてもらい正しく共感的な応答を出来ていたかどうかを検証する.

RQ3: 傾聴対話を通じて安心感を得たか
共感応答を行わない既存システムと共感応答を行う提案システ
ムそれぞれに傾聴対話を行ってもらい, アンケートによる印象
評価を通して提案システムとの対話によって安心感を得られたかどうかを検証する.

5. 2 実験の内容
傾聴対話は 2. 4 で述べた回想法に基づいた雑談形式を想定し,特定の話題に関して被験者が自由に発話し, それに対して VA
が発話ごとに相槌を応答するという形式をとる. 被験者にベー
スラインと提案手法の 2 種の傾聴システムと一定以上の対話を行ってもらい, 各対話終了時にその対話に対する印象を 1(そう感じなかった)〜7（そう感じた）の 7 段階尺度の SD 法を用いたアンケートで答えてもらう. また付随してそれぞれの対話へ証を行う. 質問 5, 6 では VA が正しく感情の表出が出来ている
か, 及び「共感」の印象を答えてもらい, RQ2 の検証を行う. 質
問 7, 8 では, 傾聴対話によって得られるとされる安心感や話したくなる親しみやすさが得られたかを答えてもらい, RQ3 の検証を行う. 質問 9 では, 提案システムが既存システムより感情解析の処理によって相槌の反応が遅くなっているという事実が,問題として表出しているかどうかを確認する.
また, テキストと韻律を組み合せた感情解析が正しく発話者と同じ感情を取得できたかを確認するため, 提案システムとの対話において話した各発話の感情がどうだったのかを, 「ポジティブ」「ニュートラル」「ネガティブ」の選択肢で被験者に答えてもらう. 被験者には対話の中で発した自分の発話の録音を聴いてもらいながら答えてもらう. この結果と, テキストのみによる感情解析結果, 韻律特徴のみによる感情解析結果, 及び二つを組み合わせた感情解析結果を比較し, RQ2 の検証を行う.

5. 3 実 験 条 件
実験は 20 代〜70 代まで幅広い年齢を対象にし, PC の画面を通じてシステムとの対話を行ってもらった. 被験者の内訳は 20
代男性 8 名女性 1 名, 30 代男性 1 名女性 1 名, 40 代女性 1 名,

50 代男性 2 名女性 1 名, 70 代女性 1 名であり, 男性 11 名, 女
性 5 名の計 16 名となっている. 被験者には比較対象となるベー
スラインの既存システムと提案システム両方を順番に話してもらった. どちらのシステムを先に話すかに関しては, 割り当て数が均等になるように被験者ごとに割り当てた. 実験環境はデスクトップ PC で行う実験環境と, ノートパソコンで行う実験
環境の 2 種類のどちらかで行った. またスムーズなアンケート
回答のため, ディスプレイは 2 つ用意し片方で VA との対話を,もう片方でアンケートへの回答を行ってもらった. 実際の実験
環境の写真を図 3 に示す. 音声認識の際のノイズの軽減と会話

—4—

7

＊＊

＊

＊＊

＊＊

質問5

質問6

＊＊ p<0.01＊ p<0.05

6
5
4
3
2
1
0
質問1

質問2

質問3

質問4

共感VA

図3

実際の実験での対話の様子

質問7

質問8

質問9

通常VA

図4

各傾聴システムの印象評価の比較 (n = 16)

表1

各感情解析ごとの感情予測正解数 (割合)

発話感情

話題数

ポジティブ

78

26(33.3 ％) 10(12.8 ％)

テキスト

韻律

28(35.9 ％)の遮音性を高めるためにワイヤレス・ヘッドセット (Logicool

ニュートラル83

63(79.5 ％) 40(48.2 ％)66(79.5 ％)G533) を用いており, 雑音が極力入らない環境で実験を行った.

ネガティブ

18

7(38.9 ％)

11(61.1 ％)被験者には VA が映っているディスプレイと正対するように

合計数

179

96(53.6 ％) 62(34.6 ％) 105(58.6 ％)12(66.7 ％)組み合わせ

座ってもらい, 対話をしてもらった. 話題は 4 種類用意し, 既存
システムと提案システムそれぞれで 2 種類づつ, 異なる話題に性と, テキスト内容と韻律の組み合わせによる感情解析の有効関して対話してもらった. 用意した話題は以下のとおりである.

性を考察した.

•話題 1: 学生時代の話•

話題 2: 昔住んでいた場所の話•

話題 3: 最近旅行などで行った場所の話•

話題 4: 最近食べた物や買った物の話

6. 1 提案システムの有効性について
各システムにおいての質問ごとの印象評定について述べる.
表 4 より, 全体的に評価値は 5〜6 になっており, 全ての質問において「感じた」寄りの結果になっていた. 質問 1, 5, 6 においては対応ありの t 検定の結果から, 「ベースラインシステム

話題の内容は回想法に基づき昔の出来事について話してもらうと提案システムの印象評価には差がない」という帰無仮説が有ため, 比較的遠い昔の出来事である話題 1, 2 を, 比較的最近の意水準 1 ％で棄却され, 対立仮説が採択され有意差が見られた.

過去の出来事である話題 2, 3 を用意し, 話題 1, 3 と話題 2, 4 をまた質問 3 においては有意水準 5 ％で帰無仮説が棄却され, 有それぞれセットとして各システムで話題を 1 セットつづ話して意傾向が見られた.

もらった.

質問 2 と質問 4 については有意差は見られず, また質問 2 に対話において一定以上の発話数を確保するため, 被験者には関しては両システム 5 以上, 質問 4 に関しては 6 以上の評価値

一つの話題に対して最低 5 回以上の発話をするよう事前にお願を示していることから, 既存システムでも提案システムでも「一いした. これに伴い, 対話の際に話すことが思いつかなかった

致」と「受容」は満たせていると言える.

時のために, それぞれの話題ごとに関連するキーワードを 10 個
程書いた紙を用意し, 対話をする前に提示した.

質問 5 と質問 6 においては有意水準 1 ％で有意差が見られている. 全ての被験者においてスコアの差分は-1 以上となって

5. 4 実 験 結 果

おり, かつ被験者 16 名中 12 名以上がスコアの差分が 1 以上と本節ではそれぞれのアンケートから得られた結果について述なっていることから提案システムの共感応答が明確に発話者にべる.

伝わっており, 同調によって共感を表現する手法が有効である

5. 4. 1 システムの印象評価アンケート結果

ことが示された.

16 名の被験者からアンケートで得られた, ベースラインであしかし質問 7 と質問 8 においては, 有意差が見られず, 傾聴る既存システムと提案システムとのアンケートスコアの差分による効果が明確には見られなかった. これは発話回数 10 回（[提案システムのスコア]-[既存システムのスコア]）の平均を求程度の短い対話では効果が感じずらいことや, 安心感という感

め, 一対の対応のある t 検定（n=16）を実施した. その結果を

覚が実感しづらくはっきりとした回答が得られたなかったなど

図 4 に示す. また提案システムにおける被験者の発話の感情にの原因が考えられ, 長期的なシステム利用による実験や, 安心感

対する, テキスト・韻律・組み合わせ解析それぞれの正解数とを得たかどうかを測る他の手法が必要であると思われる.

正解率を表 1 に示す.

6. 考

察

質問 9 においては, 今回の実験では応答速度遅延による印象評価の有意差は見られず, 韻律解析及び感情解析による処理時間は許容範囲内であると考えられる.

5. 4 から得られた結果から, 提案システムの共感応答の有効—5—6. 2 感情解析手法の有効性について

実際の傾聴対話の中で提案システムが傾聴ケアとして有効でテキストと韻律を組み合わせた感情解析手法の有効性の考察

あるか確認するため, 被験者実験によってシステムの印象評価を行う. 表 1 より感情予測の正解率を見ると, 合計数においてテを行った. その結果提案システムが既存システムより高い共感

キストは 53.6 ％, 韻律は 34.6 ％, 組み合わせは 58.6 ％になっ性を持った応答を生成でき, よりクライアントの感情に寄り添ており, テキスト解析に韻律解析を組み合わせて精度が低くな

い, 傾聴に必要な要素を満たす傾聴システムの実現性が確認さることはなく, 組み合わせによる効果が示唆された. 特に韻律れた.

を組み合わせるとネガティブ感情の正解数が 18 個中 7 個から

今後の課題として, 感情解析の精度の向上による被験者の感11 個に増えており, 韻律はネガティブ感情の判定に有用である

情により寄り添った応答の生成や, 長期的なシステム利用によ可能性がある.

る傾聴ケアの実現などが挙げられる.

一方でポジティブな感情の発話に関して, 表 1 よりネガティ

謝辞

本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

ブな感情の発話合計数が 18 個に比べ, ポジティブな感情の発話

JP18H03242,

合計数は 78 個となっており, 約 4 割がポジティブな発話というJP20K11059, JP20H04014, JP20H05706 および，立石科学

結果になっている. これは傾聴対話, 特に過去の思い出を話す

技術振興財団の研究助成を受けて行われている．

対話においてはネガティブな話題よりポジティブな話題が出やすいことを示しており, ポジティブな感情をより正しく予測することも重要であると考えられる.
韻律解析の予測精度はテキスト解析や組み合わせ解析よりも低い値になった. これは韻律の解析が人の声質に大きく依存し,人によって大きく外れた判定値になるからであると考えられる.
韻律解析においてより高い精度で感情を取得するには個人の声質に合わせた韻律感情解析が必要であると考える.

6. 3 リサーチクエスチョンの確認
以上, 6. 1 及び 6. 2 の考察をまとめ, 5. 1 で述べたリサーチク
エスチョン RQ1〜RQ3 の確認を行う.

RQ1: 実対話において「一致」と「受容」を満たしているか
既存システムと提案システム両方において, 「一致」と「受容」が満たしていることが確認された. 特に「一致」においては提案システムのスコアが既存システムのスコアと有意差が見られ,共感応答が「相手の話を聴いている」という姿勢の印象に影響する可能性が示唆された.

RQ2: 発話者が正しく「共感」を感じたか
提案システムでは, 発話者に対する感情表出が確認され, また発
話者が共感を感じるのに十分な共感表出も確認された. しかし
感情解析の精度には改善の余地があり, より発話者の感情に寄り添ったケアの実現に必要な今後の課題として挙げられる.

RQ3: 傾聴対話を通じて安心感を得たか
今回の 10 回〜20 回の発話数による対話を通した実験では, 発話者の安心感の獲得は確認されなかった. しかし, 比較評価において既存システムより提案システムの方が安心感を得られる
ことが確認され, 共感応答による傾聴の効果が示唆された. 今
後, より長期的な実験, 及び傾聴の効果を測る他の方法の検討の必要性などの課題が挙げられる.

7. お わ り に
本稿では, より高齢者の感情に寄り添った傾聴ケアシステムを提案した. 提案システムでは, 同調して共感応答に有効とされる韻律特徴を取得し, さらに韻律特徴とテキスト情報を組み合わせた感情解析によって, 発話に表出した感情の大きさとその方向性を取得した. これらの韻律特徴および感情特徴を用い,

JP18H03342,

文

JP19H04154,

JP19K02973 ，

献[1] Government of Japan Cabinet oﬃce. annual report on the
aging society. http://wwwa.cao.go.jp/, June 2019. (Accessed on 11/13/2019).
[2] パーソン・センタード・ケア — 健康長寿ネット. https://www.
tyojyu.or.jp/net/byouki/ninchishou/person-care.html.
(Accessed on 10/14/2021).
[3] Seiji Sakakibara, Sachio Saiki, Masahide Nakamura, andKiyoshi Yasuda. Generating personalized dialogue towards
daily counseling system for home dementia care. In International Conference on Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management,
pages 161–172. Springer, 2017.
[4] 植田千晶. 「共感」 の概念をどう教えるか. 和歌山大学教育学
部教育実践研究指導センター紀要, (8):73–80, 1998.
[5] 福田正治. 看護における共感と感情コミュニケーション. 富山大学看護学会誌, 9(1):1–13, 2009.
[6] 長岡千賀. 対人コミュニケーションにおける非言語行動の 2 者
相互影響に関する研究. 対人社会心理学研究, 6:101–112, 2006.
[7] 小森政嗣, 長岡千賀, and 中村敏枝. 音声対話における反応潜時の同調傾向が目標達成の評価に及ぼす影響. 感性工学研究論文集, 6(4):91–98, 2006.
[8] Richard E Maurer and Jeﬀrey H Tindall. Eﬀect of postural congruence on client’s perception of counselor empathy.
Journal of counseling psychology, 30(2):158, 1983.
[9] Bob Woods, Laura O’Philbin, Emma M Farrell, Aimee E
Spector, and Martin Orrell. Reminiscence therapy for dementia. Cochrane database of systematic reviews, (3), 2018.
[10] 下岡和也, 徳久良子, 吉村貴克, 星野博之, and 渡部生聖. 音
声対話ロボットのための傾聴システムの開発. 自然言語処理,
24(1):3–47, 2017.
[11] 山口貴史, 井上昂治, 吉野幸一郎, 高梨克也, and 河原達也. 傾聴
対話システムのための言語情報と韻律情報に基づく多様な形態の相槌の生成. 人工知能学会論文誌, 31(4):C–G31 1, 2016.
[12] 井上昂治, 山本賢太, 中村静, 高梨克也, 河原達也, et al. 自律型アンドロイド erica による傾聴対話システムの評価. In 人工知能学会研究会資料 言語・音声理解と対話処理研究会 87 回,
page 04. 一般社団法人 人工知能学会, 2019.
[13] Speech-to-text: 自動音声認識 google speech api. https:(Accessed on//cloud.google.com/speech-to-text/.
02/05/2022).
[14] Github - shahabks/myprosody: A python library formeasuring the acoustic features of speech (simultaneous
speech, high entropy) compared to ones of native speech.
https://github.com/Shahabks/myprosody. (Accessed on
10/14/2021).
[15] Text analytics — microsoft azure. https://azure.microsoft.
com/ja-jp/services/cognitive-services/text-analytics/. (Accessed on 10/14/2021).

発話者と同じ韻律・感情を発露した応答を生成した.

—6—