2021年度日本認知科学会第38回大会

P2-21F

インタラクティブなモデルベース回想法を実現する
対話インタフェースの実装に向けた分析
Analysis towards the Mounting a Dialogue Interface
for Interactive Model-based Reminiscence酒井 翔伎†，森田 純哉†
Shoki Sakai, Junya Morita†

静岡大学情報学部
Faculty of Informatics, Shizuoka Universitysakai.shoki.18@shizuoka.ac.jp

概要

分の人生の意味を考えることを目的とした自己治癒力

本研究では，ユーザの精神状態の安定化に向け，適切な回想を支援する対話インタフェースを提案する．
認知モデルをベースとした写真スライドショーを利用した実験で得られた発話データから，実験条件による発話量の違いと感情状態を分析した．その結果，モデルの記憶に活性値を含めない条件でユーザの発話が有意に増加した．また，感情分析とユーザ自身の気分評定に相関が見られ，発話内容からユーザの感情状態を推定できる可能性が示唆された．

を高めるための回想法である [6]．

2.

関連研究

森田らは回想法支援のため，認知アーキテクチャである ACT-R (Adaptive Control of Thought-Rational) [7]を組み入れた写真スライドショーを開発した [8]．また，
ACT-R の記憶のメカニズムを用いることでメンタルタ

キーワード：回想法，記憶，認知モデル，ACT-R，対話，感情イムトラベルのモデル化を行い，構築したモデルによるモデルベース回想法を提案した [9]．メンタルタイム

1.

はじめに

トラベルとは，現在ではない時間の経験を，まるでタイムトラベルをするかのように鮮明に思い浮かべること

精神疾患を有する患者の数は年々増加傾向にある1．

を意味する．過去の楽しかった思い出を呼び起こすこ

中でも認知症の患者数は高齢化と共に大きく増加してとで，その時の感情が付随して喚起される．これによっいる．
認知症患者へのメンタルヘルスケアの手法の 1 つて心理的な安定を導くと考えられる．モデルベース回として回想法がある．回想法は Butler によって提案さ想法で，ユーザはディスプレイ上にスライドショー形れた手法で，過去の写真や音楽，家庭用品を見たり触れ式で動的に切り替えられる写真によって回想を行う．

たりすることで過去の経験や思い出を語り合う心療療

モデルはユーザの認知的状態，情動的状態を学習し，学法である [1] ．回想法には過去を振り返り自身の人生習結果に基づく刺激提示を行うと考えられる．の評価を狙うライフレビューと，懐かしい思い出の喚

板橋は森田らのシステムの改良のためモデルベース起による心理的な安定を狙うレミニッセンスがある．

回想法の感情モデルに焦点を当て，ユーザの状態をモ

また，回想法は高齢者だけでなく青年期の人々においニタリングすることで，モデルベースの回想記憶のパても，ポジティブな感情を促進しネガティブな感情をラメータを調整する対話的手法を提案した [10]．板橋

抑制する効果があるとされている [2]．回想法の問題点のシステムでは，対話的パラメータとして心拍変動のとして，効果に個人差があることや介護者の負担が大時系列データと，ユーザインタフェースによるフィーきいことが挙げられる．そのため，回想法を支援するシステムの研究・開発が行われている [3, 4]．本研究では，回想法の中でも特に個人の自伝的記憶に関するライフドバックデータを設定した．ユーザは画面上のインタフェースによって現在提示されている写真に対する気分状態を６段階で評定する．実際のユーザインタフェレビューに焦点を当てた支援を目指す．自伝的記憶はースは図１の赤線で囲んだ箇所である．心拍とインタ自身が過去に経験した出来事の記憶であり，自己と密フェースによるフィードバックはそれぞれ，ACT-R の接に関係しているとされている [5]．ライフレビューはパラメータの１つである宣言的知識のノイズ値と，写治療の一環として行われ，高齢者が過去を振り返り，自ShakaiengokyokushougaihokenfukushibuKikakuka/0000108755_12.pdf

1 https://www.mhlw.go.jp/file/05-Shingikai-12201000-520

2021年度日本認知科学会第38回大会

P2-21F

真の検索ルールの報酬値と対応付けられている．

や利用自体が困難な状況が想定される．また，画面上の宣言的知識のノイズ値が増大することで，ACT-R はスライドバーの操作は気分が変化するたびにユーザに記憶の活性にとらわれない多様な写真を検索する．

操作が求められ手間がかかり適切なフィードバックがACT-R における記憶の活性値は，その記憶が過去に思されない可能性がある．

い出された回数（記憶の利用頻度）や，その記憶を思いそこで本研究ではシステムとユーザのインタラクシ出した時期の新しさ（記憶の減衰）によって影響を受けョンを音声対話によって行うことを目標とする．音声る．そのため，活性値にノイズが付与されない状況でインタフェースの利点として特別な機材を必要としな

ACT-R は過去に多く思い出されたお気に入りの記憶をいことと，ユーザが意識的に気分をフィードバックす繰り返し検索することになる．

る必要がなくなることが挙げられる．音声インタフェ

そして，このようなノイズの大きさは，ユーザの覚醒ースを導入するにあたり，ユーザの気分状態を発話か度と対応づけて考えることができる [11]．覚醒度の高ら定量的に評価する必要がある．そのために板橋の実い状態では集中的な記憶の振り返りが生じ，覚醒度の験で得られた発話データを基に分析を行い，気分状態低い状態では散漫的な記憶の探索が生じると考えられの推定を行う．

る．板橋の対話インタフェースでは，ユーザの心拍間隔と宣言的知識のノイズ値を対応づけることで，その時々のユーザの状態を反映したスライドショー形式の写真提示を実現している．
また，板橋の対話インタフェースによって実現される写真の検索ルールの報酬値は，記憶検索によって重視される属性の重みを調整する．ユーザの記憶は断片的に格納されるのではなく，記憶の対象 (what), 記憶に登場する人物 (who)，記憶の時期 (when)，記憶の図 1 気分状態評定インタフェース

場所 (where) などの属性を媒介したネットワークとして格納される．一瞬一瞬で回想される記憶は，このネ

3.

実験

ットワークの特定の場所と対応づけられ，記憶に結合

3.1. 実験デザインされる属性のいずれかを辿ることで，次の記憶の回想に遷移すると考える（同じ対象の記憶，同じ人物の記

板橋はシステムの有用性と課題を明らかにすること憶，同じ時期の記憶，同じ場所の記憶を辿る）．そのよと，その普遍性の検討のために 2 つの実験を行った

うに遷移した結果，正の報酬（快感情）が生じた場合，[12]．ここでは本研究で使用するデータを収集した２つその記憶の検索に利用した属性の重みが強化され，負目の実験の手続きについて説明する．の報酬（不快感情）が生じた場合，その記憶の検索に利

実験では二つの対話的パラメータによるモデルベース用した属性の重みが弱められると考える．板橋のイン回想法を評価するために，2 (活性値算出無 vs. 活性

タフェースは写真閲覧時の気分評定と，モデル内部の値算出有) × 2 (報酬値無 vs. 報酬値有) の 4 条件下

報酬値をリアルタイムに対応づけることで，ユーザので参加者の行動を比較した．

気分に応じたスライドショーの遷移を実現する．

2 節で述べたように，ACT-R の活性値は，記憶の利これら対話インタフェースによって，板橋は，回想法用頻度や記憶の減衰などの影響を受ける．活性値に基の問題点である個人間の刺激の効果の差異と記憶に伴づく記憶の検索が行われることで（活性値算出有），写う感情の統制の二点を解消し，システムが適切な回想真の撮影時期に基づいた直近の写真へ検索の集中が起を支援する可能性を示した．

こる．このような写真の検索は 2 節で述べたように，しかし，これらのモデルベース回想法ではユーザの心拍間隔の短い緊張状態における記憶の回想と対応す

気分状態をフィードバックするために心拍の計測や画る．対して活性値に基づく記憶の検索が行われない場面上のスライドバーを操作する必要があった．心拍の合 (活性値算出無)，直近の写真だけではなく古い写真計測には専用の機材を用意して都度ユーザが装着するへの検索も行われる．このような写真の検索は，心拍が必要があり，システムの利用へのハードルが高いこと

521

2021年度日本認知科学会第38回大会

P2-21F

穏やかでリラックス状態における記憶の回想と対応す

出無報酬値無条件と同様モデルは多様な写真からる．

均等に検索が起こること，さらにユーザのその時また，ACT-R の報酬値は大脳基底核における報酬系の気分と対応した写真の遷移が生じると想定されの活動に基づいている．２節で述べたように，宣言的知る．

識は属性を介したネットワークとして格納され，本研

モデルパラメータ: MAS: nil, BLL: nil, set-all-base-

究では写っている人物，撮影時期，撮影場所，写っていlevels: 100, trigger-reward: 気分の評定に対応るシーンの属性が写真に付与される．モデルは 4 属性

条件 4: 活性値算出有×報酬値有条件の中から共通する属性を持つ写真を次に提示する写真

写真の撮影時期による活性値を算出する．報酬値として検索する．どの写真を検索するかは各属性に対に対応するパラメータを実験参加者による写真に応するユーティリティ値に基づく発火確率によって決対する現在の気分の評定と対応づける．活性値算

まる．このユーティリティ値は，一つ前の検索のユーテ出有報酬値無条件と同様，一部の写真への集中的ィリティ値と報酬値，学習率によって求められる．活性な検索がおきるものの，写真の遷移においてユー値・報酬値の有無によってモデルは各条件で以下のよザの気分が反映されることを想定する．

うな動作をすると考えられる．

モデルパラメータ: MAS: 10, BLC: 10, BLL: 0.5,trigger-reward: 気分の評定に対応

共通条件
モデルパラメータ: EGS: 10, RT: -10, ANS: 1.0

3.2. 参加者

条件 1: 活性値算出無×報酬値無条件
活性値算出と報酬値に対応するパラメータを無効

実験参加者は 21～61 歳の 24 名で，男性 13 名，女性にする．そのため，モデルは課題中に活性値を変11 名であった．これらの参加者は，クラウドソーシン動させない．また ACT-R の記憶ネットワークの検

グサイトランサーズ2にて募集された．

索は記憶の新規性によって影響を受けるため，全ての宣言的知識のベースレベルの値を統一するこ

3.3. 手続きとで，モデルは多様な写真を均等に検索することが想定される．

実験はオンラインで実施された．実験に先立ち，参加

モデルパラメータ: MAS: nil, BLL: nil, set-all-base-

者は写真を実験者に提供した．それらの写真は参加者

levels: 100, trigger-reward: nilが自身で撮影したものであることを条件とした．提供

条件 2: 活性値算出有×報酬値無条件

された写真は最も新しい時期に撮影された写真が 1 週

報酬値に対応するパラメータを無効にする．写真間以内かつ最も古い時期に撮影された写真が 2 年以上の撮影時期に応じ，宣言的知識の活性値を付与す前であり，時間属性および場所属性が付与されたもの

る．課題中に写真が検索されるたびに，現在提示である．報酬値有の 2 条件では，モデルは報酬値としされている写真の活性値を増加させる．これによてユーザのインタフェースの操作によって 0, 2, 4, 6, 8,

り人間の記憶の特性に従った，一部の写真への集10 の値を受け取る．参加者が気分が良いと評価した写

中的な検索が起こることが想定される．

真と共通する属性を持つ写真は検索されやすくなり，

モデルパラメータ: MAS: 10, BLC: 10, BLL: 0.5,

反対に気分が悪いと評価した写真と共通する属性を持trigger-reward: nil

つ写真は検索されにくくなる．

条件 3: 活性値算出無×報酬値有条件

4 条件の閲覧順は 24 通り考えられ，それぞれの実施活性値に対応するパラメータを無効にする．報酬

順序のパターンを 1 名の参加者を割り当てて実施され値と対応するパラメータは，参加者による写真にた．各条件の閲覧時間は 5 分で，写真スライドショー

対する現在の気分の評定に対応づけられ，リアル閲覧前，各条件の閲覧終了後に表１に示した質問に沿タイムに変動する．報酬値に応じて，写真の属性って 5 段階のリッカード尺度の主観評価アンケートに(場所，時間，人物，対象) が変動する．活性値算回答した．また，参加者は写真閲覧中に思考の発話する

2 https://www.lancers.jp522

2021年度日本認知科学会第38回大会

P2-21F

ことと，図 1 に示したユーザインタフェースを使用しVrew4を用いてテキストデータに起こした後，誤字の修て提示された写真に対する現在の気分を評定するタス

正，実験開始・終了及び提示写真の切り替わりのタグのクが付与された．

挿入を手動で行った．

表 1: 主観評価アンケート

はじめに，発話データに含まれる単語数と異なり語No.

質問項目数についての分析を行う．分析は発話データを基に得

１

写真スライドショーによって提示された写真られた単語数，異なり語数をそれぞれ従属変数としてはあなたにとって興味深かった

活性値 (無 vs. 有) ×報酬値 (無 vs. 有) を要因と写真スライドショーの提示によって当時の記する二元配置参加者内分散分析を行った．また，単語数憶の思い出しのきっかけになったと異なり語数は発話データを形態素解析エンジンの一枚一枚順に写真が提示されていきました

MeCab5によって形態素解析を行うことにより集計した．

が，提示されていく写真に繋がりは感じたか

集計時には助詞・助動詞と接続詞を除いた．集計の結果

２３を図 2, 3 に示す．

4.

結果

4.1. モデルの振る舞い
図２に各提示条件のブロック内の写真提示における提示写真の枚数（種類）の結果を示す．モデルは活性値の算出が行われない条件では，活性値を算出する条件と比較し，多様な写真提示が行われることが示された．

図 3: 単語数の集計結果

図 2: 提示写真の枚数（エラーバーは標準誤差を示す）

図 4: 異なり語数の集計結果
分散分析の結果，単語数では活性値の主効果が有意

4.2. 各提示条件における発話データの分析であった [𝐹(1, 23) = 6.429, 𝑝 = 0.018]．なお，報酬音声インタフェースを導入するため，実験条件ごと値の趣向化および活性値×報酬値の交互作用については有意ではなかった [報酬値: 𝐹(1, 23) = 0.104, 𝑝 =の発話の傾向，発話に現れる感情の分析を行う．
発話データは，実験に用いられたビデオチャットツ

0.749, 交互作用: 𝐹(1, 23) = 2.126, 𝑝 = 0.158]．これール Zoom3の録画機能をもとに作成された．録画デー

は活性値の算出されない条件は活性値の算出を行う条

タを音声認識による自動文字起こしが可能なツール件と比較して発話量が多くなることを示唆する．

3 https://zoom.us

5 https://taku910.github.io/mecab/

4 https://vrew.voyagerx.com/ja/

523

2021年度日本認知科学会第38回大会

P2-21F

また，活性値の有無による提示写真の枚数を図４に示す．これらから，多様な写真が提示される状況は一部の写真が集中して提示される状況よりも発話量が多くなると考えられる．また，報酬値の主効果が有意でない
ことから気分のフィードバックによる提示写真の変化は発話量に影響を与えないことが示唆される．異なり語数では活性値の主効果が有意傾向であり[𝐹(1, 23) =3.836, 𝑝 = 0.062 ] ， 交 互 作 用 が 有 意 で あ っ た[𝐹(1, 23) = 4,667, 𝑝 = 0.043]．単純主効果検定の結果，報酬値無し条件における活性値無し条件 (平均 143.7)
では，同じ報酬値無し条件における活性値有り条件(平均 129.8) に比べ，多くの異なり語が発話された傾向が示された[𝐹(23, 23) = 6,42, 𝑎𝑗𝑢𝑠𝑡𝑒𝑑 𝑝 = 0.074]．報

図 5: 感情分析の結果と実験のフィードバック値の散酬値が与えられない条件では活性値が新規な単語の産

布図出を抑制する可能性を示している．
一方，報酬値の単純主効果は活性値有り無し条件の5.

いずれの水準においても有意でなかった[まとめ

本研究では，モデルベース回想法の支援システムの拡活性値有り条件: 𝐹 (23, 23) = 2.030, 𝑎𝑗𝑢𝑠𝑡𝑒𝑑 𝑝 =張として音声的な対話インタフェースを組み込むこと

0.199, 活性値無し条件: 𝐹 (23, 23) =を目標とした．音声インタフェースを導入する際に，発2.945, 𝑎𝑗𝑢𝑠𝑡𝑒𝑑 𝑝 = 0.224]．

話内容からユーザの感情状態や適切な写真提示ができているかを推定する必要がある．そのための予備分析

4.3. 発話内容の感情分析として発話データと実験条件についての分散分析を行次に，発話中に出現した単語の感情分析を行った．今った．その結果，活性値を算出しない条件は活性値を算回の実験では学習に十分な量のデータが得られていな出する条件と比べ有意に発話量が多いことがわかった．

6

また，Google の Cloud Natural Language API を利用しを用いた．感情分析では文章の感情が -1.0 ~ 1.0 の数値て発話内容の感情分析を行い，実験で得られたフィーで表される．ポジティブな感情は正の値，ネガティブなドバック値との相関分析を行った．これらの分析で得感情は負の値で表現され，絶対値が大きいほど強い感られた結果から，発話からユーザの感情状態を推定し情となる．Cloud Natural Language API による分析の結システムへのフィードバックとして利用可能なことが果を，実験でユーザがインタフェースによってフィー示された．しかし，発話内容だけでは参加者の感情の推ドバックした気分状態との相関を調べることで評価し定に適していないと考える．感情推定のために参加者た．分析に使用したデータの散布図を図４に示す．ただの発話の音声の抑揚の分析を加えて行う予定である．

し，発話の一文中にスライドバーが複数回操作された

また，今回の実験で用いられたシステムでは写真検索場合やユーザの操作がなくフィードバック値が変化しは写真の対象，人物，時期，場所などをネットワークとない場合など一部適切ではないデータも存在している．

して行われたが，これ以外に感情を介したネットワー

また，感情分析の値が 0.0 となり発話内容から感情が見クも存在する[13]．そのため，感情価のレベルが近いもられなかったものは除いている．分析の結果，スピアマのが検索されやすくなるモデルも想定する必要がある．

ンの順位相関係数が有意となった [𝑟𝑠 = 0.240, 𝑝 =今後はより適切な回想の支援をするスライドショー

2.23 × 10−50 , 𝑛 = 3754]．これは発話内容から得られシステムへの改良のためにユーザの回想を阻害しないた感情状態とユーザ自身の主観による気分状態の評定

写真提示ができているかを発話の流暢性から推察するが相関していることを示しており，発話からユーザのことを計画している．

いため，分析は Google の Cloud Natural Language API

感情状態が推定可能なことを示唆している．
6 https://cloud.google.com/natural-language524

2021年度日本認知科学会第38回大会

P2-21F

文献[1] Robert N. Butler, (1963) “The Life Review: An Interpretation ofReminiscence in the Aged”, Psychiatry Interpersonal andBiological Processes, Vol. 26, pp. 65-76.
[2] 福島 修美, 田中 勝博, 角山 富雄, 張替 裕子, 松田修, 森 美保子, 豊島 舞子, (2008) “過去と最近の出来事の回想におけるツールとしての書記,描画,対話の感情効果, 目白大学心理学研究, Vol. 4, pp. 1-10.
[3] 平野 雄大, 打矢 隆弘, 内匠 逸, 西村 良太, 桜井 優,(2017) ”音声対話により認知症を抑制する回想法システ
ムの提案”, 第 79 回全国大会講演論文集, Vol. 1, No.
4ZB-03, pp. 571-572.
[4] 下岡 和也, 徳久 良子, 吉村 貴克, 星野 博之, 渡部生聖, (2017) “音声対話ロボットのための傾聴システムの開発”, 自然言語処理, Vol. 24, No. 1, pp. 3-47.
[5] M A Conway, C W Pleydell-Pearce, (2000), “The constructionof autobiographical memories in the self-memory system”,
Phycological Review, Vol. 107, No. 2, pp. 261-288．
[6] 瀧川 真也, (2014) “なつかしさと記憶，臨床的応用，懐かしさの心理学-思い出と感情（楠見考 編）”, 誠信書房,
pp. 110．
[7] John R Anderson, (2009) “How can the human mind occur inthe physical universe?”, Oxford University Press.
[8] 森田 純哉, 平山 高嗣, 間瀬 健二 , 山田 和範 (2015)“認知アーキテクチャを組み入れた写真スライドショーの開発: 展望と課題”, 人工知能学会全国大会論文集
2015 年度人工知能学会全国大会(第 29 回) 論文集, pp.
2M4NFC04b3–2M4NFC04b3.
[9] 森田 純哉, 平山 高嗣, 間瀬 健二, 山田 和範, (2015)“メンタルタイムトラベルを誘導するモデルベース回想法,” 研究報告ユビキタスコンピューティングシステム(UBI), Vol. 2015-UBI-47, No. 16, pp. 1–6.
[10] Itabashi, K., Morita, J., Hirayama, T., Mase, K., and Yamada, K,(2020) “Interactive Model-based Reminiscence Using aCognitive Model and Physiological Indices”, Proceedings of the18th International Conference on Cognitive Modelling, Vol.
2020.
[11] C. L. Dancy, F E Ritter, (2013) “Using a cognitive architecturewith a physiological substrate to represent effects of a
psychological stressor on cognition”, Computational andMathematical Organization Theory, Vol. 21, pp. 90 - 114[12] 板橋 和希, (2021)“インタラクティブなモデルベース回想法の開発と評価”，静岡大学大学院 総合科学研究科 情報学専攻 修士論文．20[13] 世古 純基, 森田 純哉. 平山 高嗣, 間瀬 健二, 山田 和範, (2017), “ライフログ写真の属性ネットワークに基づく記憶構造可視化”, 電子情報通信学会技術研究報告, Vol.
116, No. 495, pp. 19 - 24525