マルチモーダル対話エージェントによる認知症の早期検出⽥中 宏季
奈良先端科学技術⼤学院⼤学 情報科学領域
知能コミュニケーション研究室 助教（AHC-Lab）
電⼦情報技術産業協会(JEITA)
感性のセンシング・フィードバック技術分科会
2020年9⽉29⽇
2020©Hiroki Tanaka AHC-Lab, IS, NAIST

1

⾃⼰紹介
経歴
2008-20102010-20152013-20162015-2016
20162018-

旭川高専（北海道、旭川市生まれ）
生産システム工学専攻 卒業
奈良先端科学技術大学院大学 修士・博士
奈良教育大学 研究員
奈良先端科学技術大学院大学 博士研究員
奈良先端科学技術大学院大学 特任助教
奈良先端科学技術大学院大学 助教

発達障害訓練、認知症検出

コミュニケーションで現れる種々の現象

精神医学や⼼理学分野と共同研究

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

2/32

認知コミュニケーショングループ
コミュニケーション⽀援

進⾏中の研究テーマ
コミュニケーションスキルの訓練

同時通訳者の脳波を計測

精神状態推定システム（⾃閉症・認知症・違和感）ソーシャルスキルトレーニングの⾃動化
マルチモーダル情報を解析：
⾳声、画像、視線、⾔語、脳波

コミュニケーション
対⼈間対システム（選択的注意）が必要

D3
⽮倉 晴⼦

助教
⽥中 宏季?

同時通訳の認知負荷を克服するためには⾼度な集中⼒

Ø 同時通訳：話者のスピードに合わせて休みなく通訳する非常に認知負荷が高い
作業

経験豊富な同時通訳者の選択的注意反応をEEG信号を⽤いて抽出・定量化

Incongruity

応⽤先：同時通訳者の養成、機械翻訳、外国語学習

種々のモダリティ
情報から状態推定

Ø 同時通訳中の脳波を計測

認知⾏動療法の⾃動化

合成⾳声の品質スコアの予測
脳波

顔・視線⾳声







認知⾏動療法状況の発⽣ M2
設樂⼀碩

⾃動評価・対話的フィードバック 

M2
Ivan Halim P.

基盤技術



応⽤先:
限られた被験者の脳波から、合成⾳声の平均オピニオン評点（MOS）の予測

感情誘導のための脳波を⽤いた適応⾳楽⽣成• 機械学習• 信号処理• 統計解析

• アフェクティブ・コンピューティング• 脳計測• 共同研究：精神医学、認知⼼理学

2020/9/29

苦痛な感情認知の修正

バランスのとれた思考
改善された
感情

ユーザごとの⼼理状態を分析•

苦痛な感情の強度•

認知の歪みの傾向•

対話システムとの協⼒的な関係の構築• 認知⾏動療法（認知再構成法）を⾏う対話システムの構築• 動画・⾳声・発話⽂からの⼼理状態の推定→ ユーザの悩みや感情を分析し、より効果的なトレーニングを実現

その他の研究テーマ

脳波による感情推定と⾳楽⽣成感情を誘導するための⾳楽研究領域

歪んだ思考システムとの対話による認知の修正

M2
宮本 佳奈

脳波

誘導したい感情と脳波から推定した感情を⽐較し，感情誘導に適した⾳楽を⽣成するフィードバックシステムの構築

2020©Hiroki Tanaka AHC-Lab, IS, NAIST• 脳波の２名同時計測• ⽂の違反検出• 脳波からの⽂認識• 観光経路からのユーザモデリング3/32

⾃動SST
精神科医師のSSTの⾃動化[Tanaka+ 2015, 2018, 2020]
2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

4/32

訓練効果
*:p < .05

本モデリング

提案システム[Tanaka+ 2016]2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

5/32

⾃閉スペクトラム症児
⾒知らぬ⼈との会話を収録
事前事後の⽐較（p = 0.002, Cohen's d = 1.17)
7

Overall Narrative Skills

65
4
32
10

2020/9/29(a) pre(b) post2020©Hiroki Tanaka AHC-Lab, IS, NAIST[Tanaka+ 2017]6/32

⼈対⼈、⼈対システム
知っている⼈と同様、知らない⼈よりはシステムの⽅が話しやすい
傾向 (n=16) [Tanaka+ 2016]2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

7/32

⾃閉症研究の発展︓⼈対システムによる認知症検出

定型質問と応答の様子

高齢者と対話システムが会話し、自動的に状態や変化を検出

会話データは暗号化ディスクへ蓄積

対象：認知症および健康人
内容：定型質問とその応答（自由な高齢者の応答を期待）
頻度：病院への初診・再診の軽度患者に対して収集（10-15分程度）
正解：
1. 医師診断：有り/無し
2. 各種検査スコア（MMSE+）
特徴量：音声言語+ -> 機械学習 （1.を予測）
2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

8/32

認知症
認知症︓記憶、思考、および⾏動の領域において、その能⼒が低下[McKhann et al., 2011]
認知症の早期発⾒のメリット [Santacruz et al., 2001]
1.
2.
3.
4.

患者および家族が将来の計画を⽴てられる
外部機関の⽀援を求めることが早期にできる交通事故等の突発的な事故の防⽌などに役⽴つ今後認知症の療育法が発⾒され、利⽤可能となった場合、早期発⾒はより重要性を増す

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

9/32

早期認知症の検出
認知機能検査が中⼼– MMSE, WMS-Rなど

特に早期検出では、⾎液検査や脳画像検査（侵襲的）も必要– 患者にとって、ストレスや不安感が強く、⾼コスト

どこでも⼿軽に使える早期検出法の必要性– これまでに⾔語や⾏動指標を⽤いた従来⼿法が存在 [Aramaki et al.,2016; Roark et al., 2011; Kato et al., 2013]2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

10/32

MMSE︓ミニメンタルステート検査
簡易に15-30分程度で取得可能 [Folstein et al,, 1975]
0から30点、30点ほど認知機能が⾼い（カットオフ値: 23点）

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

11/32

WMS-R︓ウェクスラー記憶検査法
論理的記憶課題– 論理的な物語の記憶・再⽣を⾏う [Wechsler, 1987]– 論理的記憶Ⅰ(聞いてすぐ) および論理的記憶Ⅱ(３０分後)で物語の繰り返し

課題例①

＜物語A＞
会社の/食堂で/調理師として/働いている/北/九州の/上田/恵子さんは/昨夜/大通りで/襲われ/５万６千円を/奪われたと/駅前の/交番に/届出た。/彼女には４人の/幼い子供がいて/家賃の支払いもあり/２日間/親子は何も食べていなかった。
/警官は/この話に同情して/彼女のために/寄付金を集めた。
2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

12/32

⾳声⾔語に着⽬した認知症検出
認知機能の低下が⾳声⾔語に反映 [Taler+, 2008][Fraser+,2016][池⽥, 2015]
⾳声⾔語に着⽬した先⾏研究– 神経⼼理学的検査中の発話からの認知症検出 [Roark+, 2014]– 質問応答中の⾳声からの認知症検出 [Kato+, 2018]– エージェントと⾳声⾔語による検出 [Mirheidari+ 2017]2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

13/32

先⾏研究群
早期認知症者の発話解析 [Roark et al., 2011]– 当該分野の先駆的研究
収集データ– N=74（早期認知症および健康⼈）– WMS-Rの論理的記憶課題における発話データ
⼊⼒特徴– ⾔語︓構⽂⽊の複雑度– ⾳声情報– MMSE検査スコア
結果
構文木の例– ⾔語・⾳声・検査スコアなどを組み合わせたもので最も良い性能– ROC曲線よりも下の⾯積: 0.86
2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

14/32

⼈対システム [Mirheidari+ 2017]
⾳声⾔語による認知機能疾患の検出 (AUC: 81.5%)

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

15/32

基本対話システム
⼿軽に使⽤できる⼈対システムによる認知症検出
対話中の⾔語や⾏動指標より認知症の早期検出を⽬指す
⾼齢者が理解しやすい様︓字幕を付与、発話速度を低下– 阪⼤医学部と共同で開発

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

16/32

デモ動画

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

17/32

基本対話システムで利⽤した質問群
代表的な認知記憶機能検査– MMSE（ミニメンタルステート検査）– WMS-R（ウェクスラー記憶検査法）

医師が患者に問診を⾏う際に参考– OSCE（客観的臨床能⼒試験）– 例）⾷欲はありますか︖、夜は眠れていますか︖

⽇常会話

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

18/32

基本対話システムの流れ
10-15分程度で全ての流れを完了

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

19/32

認知症患者データの収集
阪⼤および奈良先端⼤の倫理審査承認済み– 全協⼒者から⽂章による同意を取得

16症例（2名が診断未確定のため除外）
性別（男性10名、⼥性4名）
DSM-IV-TRによる診断付与
MMSEスコアの取得
その他の取得検査– ADAS（アルツハイマー病評価尺度）– CDR（臨床認知症評価法）: 0-3の範囲をとる検査

CDR値が0-2の範囲、平均0.75

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

20/32

⾮認知症者データの収集
16名 (1名のMMSEスコアがカットオフ以下のため除外)
性別（男性11名、⼥性4名）
精神疾患の既往歴なし
向精神薬の服薬なし
教育歴の取得MMSEスコアの取得

n.s.

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

p < .05

21/32

データ分析︓固定質問への応答
３問の固定質問 [Folstein et al., 1975; Aramaki et al., 2016]– 今⽇は何⽉何⽇ですか– これまでで楽しかった思い出を話ししてください– 今⽇はどうやってここまで来ましたか

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

22/32

分析の流れアバター発話

ユーザ発話

アバター発話

ユーザ発話

特徴量の抽出・⾳声特徴︓ピッチの変動、パワー、声質（h1a3）
・⾔語特徴︓タイプトークン⽐（TTR）、トークン数、発話速度、フィラー・表情特徴︓笑顔の頻度
・対話特徴︓ギャップ、ポーズ

3質問応答の平均
機械学習による認知症の識別モデル
・SVM、ロジスティック（Logistic）回帰
2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

23/32

特徴量分析
各特徴量をWelchʼs p値でランキング

ギャップ

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

24/32

質問の種類によるギャップ特徴量の違い

平均（標準偏差）Q1: 今⽇は何⽉何⽇ですか
Q2: これまでで楽しかった思い出を話してください
Q3: 今⽇はどうやってここまで来ましたか

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

25/32

機械学習による認知症の検出
ROC曲線よりも下の⾯積（AUC）

0.6
0.4
0.2

True positive rate

0.8

1.0

– 0.90 (SVM), 0.88 (ロジスティック)– 正解率︓83% (SVM)

0.0

SVM
Logistic
0.0

2020/9/29

0.2

0.4

0.6

0.8

False positive rate
2020©Hiroki Tanaka AHC-Lab, IS, NAIST

1.0

26/32

表情のみからの検出

0.6
0.4
0.2

True positive rate

0.8

1.0

表情特徴量 (AU)から認知症検出
マルチモーダルには劣るが、検出可能

0.0

Q1: AUC=0.78
Q2: AUC=0.82
Q3: AUC=0.64
0.0

0.2

0.4

0.6

0.8

1.0False positive rate

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

27/32

⾮定型な質問群

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

28/32

⾮定型な質問での検出 [Ujiro et al., 2018]
下記13個のうち、ランダムに5個を選択
AUC: 0.95

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

29/32

ギャップ特徴量の差認知症群の⽅が応答が遅れる
過去の有名⼈について尋ねる質問（Q5-Q7）ではあまり差が⽣じない

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

30/32

まとめ
早期認知症を検出するための対話システムを構築
分析により早期認知症を90%程度で検出できることを確認
今後の課題– 医学的に根拠のもつレコメンデーションシステムの開発– 本成果の他領域への応⽤（精神疾患検出など）

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

31/32

関連発表リスト
Hiroki Tanaka, Hiroyoshi Adachi, Norimichi Ukita, Manabu Ikeda, Hiroaki Kazui, Takashi Kudo,Satoshi Nakamura, Detecting Dementia through Interactive Computer Avatars, IEEE Journal ofTranslational Engineering in Health and Medicine, vol.5(1), pp.1-11, Dec. 2017.
Hiroki Tanaka, Hiroyoshi Adachi, Hiroaki Kazui, Manabu Ikeda, Takashi Kudo, Satoshi Nakamura,
Detecting Dementia from Face in Human-Agent Interaction, Adjunct of the 2019 International
Conference on Multimodal Interaction (ICMI), no.5, pp.1-5, Oct. 2019.
Tsuyoki Ujiro, Hiroki Tanaka, Hiroyoshi Adachi, Hiroaki Kazui, Manabu Ikeda, Takashi Kudo,
Satoshi Nakamura, Detection of dementia from responses to atypical questions asked byembodied conversational agents, Interspeech, pp.1691-1695, Sep. 2018.
Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura, Listening Skills Assessment
through Computer Agents, ACM International Conference on Multimodal Interaction (ICMI),
pp.492-496, Oct. 2018.
宇城 毅犠, ⽥中 宏季, ⾜⽴ 浩祥, 數井 裕光, 池⽥ 学, ⼯藤 喬, 中村 哲, エージェントによる⾮定型
質問への応答からの認知症検出, 情報処理学会研究報告，vol.2018-ASD-11(4), pp.1-4, Mar. 2018.
⽥中 宏季，⾜⽴ 浩祥，浮⽥ 宗伯，池⽥ 学，數井 裕光，⼯藤 喬，中村 哲．アバターとの対話によ るマルチモーダル情報を伴った早期認知症の検出．情報処理学会研究報告，vol.2016-ASD5(14), Aug. 2016.

2020/9/29

2020©Hiroki Tanaka AHC-Lab, IS, NAIST

32/32