人型ロボットとの音声対話に見られる認知症者の発話特徴分析阿部元樹† 栂井良太‡ 木村大毅¶ 小杉晋央¶ 新川香¶ 高瀬俊郎¶
山田康智¶ 根本みゆき§ 渡辺亮平§ 塚田恵鯉子§ 太田深秀§
東晋二§ 根本清貴§ 新井哲明§ 西村雅史†
静岡大学† 無所属‡
日本アイ・ビー・エム株式会社 東京基礎研究所¶ 筑波大学§
談セクションでは，人型ロボットが自己開示など非質問

1. はじめに発話を行うこととした．この際にも高齢者には心理士と認知症者の簡易スクリーニングを目的として，会話音の対話の場合と同様，咽喉マイクと集音マイクを装着し声から認知症者の特徴を見出そうとする研究が数多く報てもらい，話者ごとに音声を 2 チャンネル収録した．

告されている[1][2]．これらの研究は心理検査時の音声デ3. 収録データと分析対象特徴量ータを対象としており，日常会話を対象としたものではない．今後介護現場での普及が期待される人型ロボット

上記のセットアップに基づいて 61-87 歳の実験参加者との日常的な対話から認知症に関連した兆候を見出すこ

34 名（うち女性 22 名）から MMSE の時間・場所の見当とができれば，高齢者に負担をかけることなく早期の段識において合計 57 分，人型ロボットとの音声対話におい階の認知症を発見できる可能性がある．て合計 211 分，総計 268 分の音声データを収録した．

今回，認知症者を含む高齢者と人型ロボットとの日常

MMSE の中から時間・場所の見当識を用いた理由はロボ会話を模擬した音声対話データを収集し，その特徴を明ット質問応答がこれら見当識と同様に過去・現在の自身らかにするとともに，心理検査時の音声データにみられの記憶に関する質問を主としているためである．

る特徴との比較を行なったので報告する．

今回，特に発話長や発話のタイミングに着目することとし，咽喉マイクで収録された音声データに対して，表2. 対話データ収集セットアップ

１に示す 4 種類の特徴量抽出を行なった．これらの特徴

ここでは，高齢者と心理士が心理検査時に行う対話と，量はいずれも先行研究[1][2]で有効性が示されたもので人型ロボットとの対話をそれぞれ収集した．なお，ロボある．発話区間検出については咽喉マイクを利用するこットとの対話データの収録方法は文献[3]と同じであるとで集音マイクよりも正確な分析が可能となる[4]．一方，が，今回被験者数を大幅に増やして実験を行なっている．

咽喉マイクはスペクトル上の歪みや装着位置による観測

最 初 に ， 専 門 の 心 理 士 が MMSE(Mini Mental State

値のばらつきが大きく，発話区間検出以外の特徴量分析

Examination)[5]と呼ばれる認知障害のスクリーニング検には適していないため，今回の検討ではスペクトルに関査を実施する．この際，対象となる高齢者と心理士にはする特徴量を分析対象に含めていない．

それぞれ咽喉マイクと集音マイクの装着を依頼し，検査中の対話データを話者ごとに 2 チャンネル収録した

表 1：分析対象とした音響特徴量[3][4]．ここで咽喉マイクを利用するのは互いの発話タイ

音響特徴量

ミングを相手の発話や周囲の雑音に影響されることなく発話長 [秒]正確に検出するためである．
次に，人型ロボット「Pepper」を用いて，高齢者との日無音区間長 [秒]

常会話を模擬した音声対話データを収集する．人型ロボットの対話制御は自動ではなく，事前に準備したスクリ無音割合[割合]プトをオペレータが逐次的に選択する Wizard of Oz の形式とした．なお，対話は質問応答セクションと雑談セク

反応時間 [秒]ションの 2 つから構成されている．質問応答セクション
では記憶能力，論理的思考能力に関する質問を行い，雑Identifying Dementia Characteristics using Spoken Dialogue with a
Humanoid Robot
Motoki Abe†, Ryota Togai‡, Daiki Kimura¶, Akihiro Kosugi¶, Kaoru
Shinkawa¶, Toshiro Takase¶, Yasunori Yamada¶, Miyuki Nemoto§,
Ryohei Watanabe§, Eriko Tsukada§, Miho Ota§, Shinji Higashi§,
Kiyotaka Nemoto§, Tetsuaki Arai§, Masafumi Nishimura††概要
１ターン中の最初の発話の開始時点から最後の発話の終了時点までの時間長
発話間のポーズなど，実験参加者の発話全体の中での無音区間の合算値
発話全体における無音区間長が占める割合
心理士・人型ロボット側の発話終了時から実験参加者発話開始時までの長さ

Shizuoka UniversityFreelance¶
IBM Research – IBM Japan Ltd.
§
University of Tsukuba‡

4. 分析結果

5. おわりに今回実施した MMSE においてスコアが 30 点満点中 23

本研究では人型ロボットと高齢者との音声対話データ点以下の場合，認知機能低下の可能性があると示唆されを収集し，心理検査時の対話音声データとの比較及びている[5]．本研究では，MMSE スコアと MMSE の見当MMSE スコアと相関分析を行った．結果，ロボット対話

識，質問応答，雑談における各音響特徴量との相関関係の質問応答では無音区間長と無音割合で，雑談についてを分析した．結果を図 1，表 2 に示す．

は，反応速度において MMSE スコアとの相関関係を確認

図 1，表 2 より，MMSE では 4 つの音響特徴量全てで出来た．また，従来の心理検査を対象とした分析と比較負の相関が見られた．これは先行研究[1][2]で報告されてした時，ロボット対話における質問応答では同様の傾向いる傾向と同様のものを示している．次に，質問応答でが見られた一方，雑談では異なる傾向が確認された．

は発話長，反応時間では相関は見られなかったものの，今後はスペクトルや基本周波数に関連した通常の音響無音区間長と無音割合では負の相関がやや見られた．ま分析ついても集音マイク収録音を利用して実施する予定

た，雑談では反応時間において正の相関が見られ，特にである．

MMSE スコアが 23 点未満の実験参加者においては負の反応時間を観測する傾向にあった．これは人型ロボット

参考文献の発話が終了する前に実験参加者が発話を開始する発話[1] Beltrami et al., “Automatic Identification of Mild Cognitive
Impairment through the Analysis of Italian Spontaneous SpeechProductions”, In LREC, pp. 2086-2093, 2016.
[2] Khodabakhsh et al., “Evaluation of linguistic and prosodic
features for detection of Alzheimer’s disease in Turkish
conversational speech”, EURASIP Journal on Audio, Speech, andMusic Processing, vol.2015, No.1, pp.1-15, 2015.
[3] 阿部 他, “人型ロボットとの雑談対話における認知症者の特徴に関する予備的検討”, 平成 30 年度電気・電子・情報関係学会東海支部連合大会講演論文集, L3-1, 2018.
[4] 西村 他, “生体音と環境音の同時収録による高齢者の行動および身体状態認識に関する検討”, 日本音響学会 2015 年春
季研究発表会講演論文集, 2-4-9, pp.1309-1310, 2015.
[5] 日本神経学会 認知症ガイドライン https://www.neurologyjp.org/guidelinem/degl/sinkei_degl_c_2012_03.pdf（取得日時：2018/06/27）

重畳が起きていることを示しており，人型ロボットとのターンテイキングが上手く出来ない可能性がある．
以上より，MMSE と質問応答を比較した際，特に発話中のポーズに関する特徴については同様の傾向を示しており，人型ロボットによる質問対話においても先行研究の知見を活用できる可能性がある．また，雑談における反応時間の特徴は MMSE と人型ロボット対話の質問応答では表れておらず，思慮時間が不要と考えられる雑談特有の現象であると考えられる．

反応時間

MMSE

人型ロボット質問応答

5432秒秒発話長
1816141210864200-1-3

MMSEスコア線形（MMSE）

15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30-2

15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

人型ロボット雑談

1MMSEスコア

無音区間長無音割合

線形（人型ロボット質問応答）10線形（人型ロボット質問応答）8秒割合

64
200.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
015 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

MMSEスコア

MMSEスコア

図 1：MMSE スコアと各音響特徴量との散布図及び線形近似

特徴量
発話長
反応時間
無音区間長無音割合

表 2：各音響特徴量と MMSE スコアとの相関係数
MMSE
ロボット質問応答-0.61-0.49-0.65-0.58

ロボット雑談
-0.20
0.10
-0.42
-0.49

-0.21
0.58
-0.30
-0.39