2023年度日本認知科学会第40回大会

P2-019A

ユーザのストーリーを引き出す対話的モデルベース回想法の開発と検討

Develop and examine an interactive model-based
reminiscence that elicits user stories.
酒井 翔伎 † ，森田 純哉 †Shoki Sakai, Junya Morita†

静岡大学

Shizuoka University
sakai.shoki.18@shizuoka.ac.jp

概要

支援が必要であり，個人ごとの記憶のモデルが必要と考える．記憶の回想のような認知プロセスをモデル化

本研究では，ACT-R モデルによる回想法の支援をするアプローチの一つとして認知アーキテクチャが行うモデルベース回想法に音声インタフェースを搭載したシステムの開発とその効果の検討のための予備的な実験を行った．その結果，音声インタフェースの，スライドバー型インタフェースに対する優位性や発話レームワークであり， 認知モデルは認知プロセスを表現する計算機モデルである．本研究では，ユーザの記憶の回想をシミュレートする認知モデルを組み入れを引き出す可能性が示唆された．

た，ストーリーテリングを促す回想の支援システムをキーワード：回想法, 認知モデル, ストーリーテリング

1.

ある．認知アーキテクチャは認知モデルを構築するフ検討する．

はじめに幸福な思い出を回想することは Well-being につな

2.

関連研究

認知アーキテクチャは，一般的な認知プロセスをがる一つの方法である．思い出を想起し，精神状態の向上を図るメンタルヘルスケアの一つとして回想法がモデル化するプラットフォームであり，共通の基盤する写真などから過去の経験や思い出を語り合う心理能のシミュレートが可能である．様々な認知アーキ上で，多様なタスクや個人に対応した多様な認知機ある．回想法は Butler によって提案された，自身に関テクチャの中で，John R. Anderson を中心として開療法である [1]．回想法は高齢者や認知症患者の認知発された認知アーキテクチャ，Adaptive Control of

機能改善などの効果や [2, 3]，心理的資源や well-being

回想法の効果は，自伝的記憶の言語化によって得ら

Thought–Rational (ACT-R) は多くの研究で用いられている [10]．ACT-R は心理学実験の積み重ねによりな物語を構成する要素である [6]．つまり，自伝的記憶テムとして実装される．プロダクションシステムが，の向上の効果が報告されている [4, 5]．

構成されている．基本的な部分はプロダクションシスれると考えられる．自伝的記憶は，人生という包括的視覚や運動，宣言的記憶やゴール管理など脳の個別のの言語化は，自身の歩んだ物語に対する語り（ストー機能と対応付けられたモジュールを統合することで，リーテリング）と捉えられる．Atwod らによれば，ストーリーテリングによって，自伝的記憶は再構成され，より整理された人生の物語が構成されていく [7]．

人間の認知の多様な側面を捉えることを可能にする．

森田らは，ACT-R の記憶の仕組みを活用した回想

このようなストーリーテリングの能力は幼少期以降生法支援のための写真スライドショーシステムを開発し期に，養育者の助けを得ることで自伝的記憶を語る能のように鮮明に思い浮かべることを意味するメンタル

た [11]．また，過去の経験をタイムトラベルをするか涯を通じて発達することも指摘される．幼年期や児童

タイムトラベル [12] のモデル化を行い，構築したモデ力が得られる [8]．その後，この能力は，青年期に発達ルによるモデルベース回想法を提案した [13]．

し [9]，成人期から晩年に至るまで高度化していく．

モデルベース回想法では ACT-R によって構築されこれらのことから回想法の効果を高める手段を考える際に，ストーリーテリングに着目することは有効とたモデルがユーザから提供された写真セットから写真には，一般化された支援ではなく個人に最適化された顔，場面という 4 つの属性からなる意味ネットワークを提示する．写真セットは写真の場所，時間，人物の考えられる．そして，ストーリーテリングを促すため

367

2023年度日本認知科学会第40回大会

P2-019Aを持つ．この意味ネットワークからユーザに合わせた写真提示を行うために活性値と報酬値という 2 つのパラメータを調整する．活性値は，記憶の利用頻度や減衰の効果を受ける．報酬値は写真を検索する際に写真に付与された 4 つの属性のうちどの属性を使って検索するかを決定するための値であるユーティリティ値を更新するために用いられる．ユーティリティ値は:Ui (n) = Ui (n − 1) + α[Ri (n) − Ui (n − 1)]

図1

システム概要図

新し，次に表示する写真の検索を行う．検索された写(1)

真はユーザの閲覧するブラウザに表示される．

で計算される．ここで，α は学習率，R は報酬値を示す．

3.2

板橋は，森田らのシステムを改良し，感情モデルに3.2.1基づくユーザの状態の対話的なモニタリング手法を開

実験

実験計画

本研究は，システムの効果の統計的な検証を目的と発した [14]．板橋のシステムではモデルへのフィードせず，2 名の参加者を対象とした事例的な検討を行っ自律的な操作を設定した．ユーザは，画面上のインタRQ(1) 音声インタフェースとスライドバー型インタバックとしてユーザインタフェースに対するユーザのた．リサーチクエスチョンは以下の 2 点である．

フェースによって現在提示されている写真に対する評

フェースでは回想法の効果（精神状態の向上）

価を 0 から 10 の間の 6 段階で行う．この評定はモデが異なるかルの報酬値に対応付けられる．しかし，インタフェー

RQ(2) 音声インタフェースは手作業によるインタスへの操作をユーザに要求することは，ユーザの注フェース操作によって生じる注意の阻害を防意を分散させ，回想法における重要な構成要素であるストーリーテリングを阻む可能性がある．この問題の解決のため，酒井と森田 [15] はモデルへの報酬値を，ユーザが自然に発声する音声から生成する音声インタフェースを提案した．音声に含まれる韻律情報はユーした．音声インタフェースは 3.1 で述べたようにモデスライドバー型インタフェースでは図 2 の赤枠に示すに応じてモデルのパラメータを変動させることで自然ユーザインタフェースによりフィードバックを行う．

なストーリーテリングを促すことが可能になると考えパラメータ変動条件はユーザの状態をモデルが推定る．本研究では先行研究において提案された音声インし，報酬値を算出する．報酬値は，0 から 10 の間の 6

タフェースを実装し，その効果の検討に向けた予備的段階で算出される．報酬値は式 1 に示したユーティリな実験を示す．

ティ値の更新に使用され，ユーザの現在の状態に合わ手法せた写真提示を行う．この条件では，ユーザの好みの本章では，本研究の方法として，システムと実験に写真と近い写真は検索されやすく，反対に好みでないついて説明する．

3.1

上記の評価のため，2（UI: 音声 vs. スライドバー）
× 2 (報酬値: 固定 vs. 変動) の参加者内計画を設定

ルに対する報酬値をユーザによる語りから推定する．

ザの即時的な感情を反映しているとみなせ，感情状態

3.

ぎ，ストーリーテリングを促すか写真は検索されにくい．ユーザとシステムがインタラシステム

本研究で構築したシステムの概要図を図 1 に示す．

提案システムでは，ユーザの回想中の音声をブラウザで録音しサーバに送信する．サーバでは音声を wav

クションを繰り返していくと，モデルの提示する写真は類似した属性を持つ写真が検索されるようになり提示写真の間に文脈が発生する．このような文脈を考慮した写真提示は，ランダムな写真の提示と比較して同じ話題を連続して提示できるためユーザの回想にも連形式にエンコードし，openSMILE を用いて特徴量を続性が生じストーリーテリングを引き出すことにつな抽出する．openSMILE は音声信号から特徴量の自動がると考えられる．

抽出が可能なオープンソースのツールキットで，感情認識の分野で活用されている [16]．抽出した特徴量と3.2.2

SVM を用いてユーザの気分状態の変化を推定する．
SVM モデルは [15] で構築したものを利用した．SVMの結果から ACT-R の報酬値（式 1 における R）を更368

実験参加者静岡大学の学生 2 名を対象に実験を行った．実験に参加する条件として「最新の撮影時期が直近 2 週間以内かつ最も古い撮影時期が 2 年以上前の写真を計 200枚以上提供できること」を設定した．

2023年度日本認知科学会第40回大会

P2-019A

図 2 スライドショー画面

図 3

表 1 POMS TMD 得点（ベースラインからの差分）
スライドバー
音声変動

固定-16/-9-26/-7-22/-7-24/-6

いて，ベースレベル（実験開始前の評定）を差し引いた値を示している．TMD 得点は低いほどポジティブな気分を示す．参加者 1，2 共に全てのセルの値がマ

注: セル内の数字は参加者 1/参加者 2

3.2.3

上: 音声インタフェース条件，下： スライド

バー型インタフェース条件

イナスとなっている．これはユーザの気分が回想法により向上したことを意味する．しかし，条件間のスコ実験手続き

アを比較すると顕著な差を認めることができない．こ実験は 4 つの条件で写真を提示する写真提示セッのことから，今回の実験では回想法の効果はあったもションと，実験前及び各写真提示セッション後に行うのの，条件による提示の違いがユーザの気分状態の変アンケートセッションで構成される．参加者は４つの化に大きな差を与えなかったといえる．

写真提示セッションで異なる条件のスライドショーをさらに，RQ (2) の前提条件を検討するために，各条閲覧した．アンケートセッションでは，気分変化を評件において報酬値の設定に関わる操作がどの程度生じ(POMS-2) 日本語版 [17] に回答した．加えて，写真提れぞれの操作の回数を示している．表より，音声インのリッカート尺度の主観評価アンケートに回答した．

より多くの操作を生じさせたことが示される．特に参価するために Profile of Mood States Second Editionたのかを検討した．表 2 は，報酬値の上昇と下降のそ示セッション後は写真スライドショーに関する 5 段階

タフェースはスライドバー型インタフェースに対し，1 回の写真閲覧時間は 5 分に設定し，実験全体の合計

加者 2 のスライドバー条件における操作回数は極端に時間は約 60 分であった．

少なく，閲覧中にスライドバーを操作することの困難いることの発話を設定した．スライドバー型インタ

報酬設定を行う音声インタフェース条件の優位性が示

写真閲覧中のタスクとして思い出したこと，考えてさを示している．このことから，システムが定期的にフェースの条件では，提示写真に対する気分の評価をされる．

タスクとして設けた．インタフェースは 6 段階での評

なお，音声インタフェース条件では，参加者 1，2価が可能で，マウスで操作が可能なことを伝えた．

4. 結果
4.1 音声インタフェースによるモデルベー
ス回想法への影響
RQ (1) を検討するために，POMS-2 に関わる結果共に報酬値を上昇させる操作のみが発生し，下降させる操作が生じなかった．つまり，先行研究 [15] のデー

タにおいて構築された SVM は，今回の実験において「気分の上昇」に偏った分類を示した．表 1 に示したように本研究における参加者の気分は高いものであり，SVM の結果は必ずしも誤ったものということにを表 1 にまとめた．表の各セルは，各条件のセッショはならない．しかし，表 2 のスライドバー条件の操作ン後に得られた TMD 得点（総合的な気分状態）につ
表2スライドバー

音声回数が示されるように，セッション中の参加者の気分は上昇と下降を繰り返す．そのようなセッション中の報酬値の操作回数
上昇操作

変動

固定

気分の変動を捉えるためには，個人に対応した感情認

下降操作

変動

識が必要といえる．

固定9/3

12/2

10/1

11/0

54/54

54/54

0/00/0

4.2

ユーザの発話に関する分析RQ (2) のストーリーテリングに関する効果を検討するための事例的な検討を行う．表 2 に示されるよう

注: セル内の数字は参加者 1/参加者 2に参加者 2 はスライドバー型インタフェースの操作369

2023年度日本認知科学会第40回大会

P2-019Aがほぼなされなかったため，ここでは参加者 1 のパラメータ変動の 2 条件の発話について分析を行う．図 3
は参加者 1 の閲覧中の写真変化と発話，ACT-R モデ
ルのユーティリティ値の変化の時間的構造を示す．図の，発話の区切りに注目すると，音声インタフェース

条件は 1 回の発話が比較的長く，スライドバー型インタフェース条件は短い発話が多いことがわかる．このことから音声インタフェースはユーザからより長い発話を引き出す可能性がある．次に，発話の量に注目し，それぞれの述べ語数と異なり語数を集計した．発
話された語彙の豊富さを示す指標である Type Token

Ratio (TTR) を算出したところ，音声インタフェー
ス条件は 0.274，スライドバー型インタフェース条件は 0.351 であった．2 条件を比較すると音声インタフェース条件のほうが語彙が少ないことがわかる．このことから音声インタフェース条件は発話の話題にまとまりがあることが推測される．以上のことから，音声インタフェースがユーザの発話を促し，ストーリーテリングの発生に寄与する可能性が示唆される．

5.

まとめ

回想法は写真などの観察を通した記憶の語りによる心理療法の一つである．自伝的記憶を語るストーリーテリングにより深い記憶の回想が行われ，回想法の効果が高められると考えられる．本研究では，ACT-Rによる認知モデルを用いたモデルベース回想法に音声インタフェースを搭載したシステムを開発し，その効果の検討する予備的な実験を行った．その結果，写真閲覧による回想法による気分向上の効果の可能性は見られたものの，写真提示の違いによる気分変化への影響は見られなかった．また，閲覧時の発話の特徴の違いから音声インタフェースがユーザのストーリーを引き出す発話を促すことができる可能性が示唆された．
しかし，今回の実験は予備的なものであり，今回の結果は統計的な裏付けがあるわけでは無いことに留意する必要がある．今後システムの改善と統計的なシステムの検証を行うことを予定している．

参考文献[1] Robert N Butler. The life review: An interpretation of reminiscence in the aged. Psychiatry, Vol. 26,No. 1, pp. 65–76, 1963.
[2] Golbahar Akhoondzadeh, Shamsolmamalek Jalalmanesh, and Hamid Hojjati. Effect of reminiscenceon cognitive status and memory of the elderly people. Iranian Journal of Psychiatry and BehavioralSciences, Vol. 8, No. 3, p. 75, 2014.
[3] Jesus Gonzalez, Teresa Mayordomo, Marta Torres,Alicia Sales, and Juan C Meléndez. Reminiscenceand dementia: a therapeutic intervention. Interna-370

tional Psychogeriatrics, Vol. 27, No. 10, pp. 1731–1737, 2015.
[4] David John Hallford, Sarah Hardgrove, Meghna
Sanam, Stefany Oliveira, Megan Pilon, and Tyler
Duran. Remembering for resilience: Brief cognitivereminiscence therapy improves psychological resources and mental well-being in young adults.
PsyArXiv, 2021.
[5] Fred B Bryant, Colette M Smart, and Scott P King.
Using the past to enhance the present: Boosting happiness through positive reminiscence. Journal of Happiness Studies, Vol. 6, No. 3, pp. 227–260, 2005.
[6] Martin A Conway. Memory and the self. Journal ofmemory and language, Vol. 53, No. 4, pp. 594–628,2005.
[7] Joan D Atwood and Joan Ruiz. Social constructionist therapy with the elderly. Journal of Family Psychotherapy, Vol. 4, No. 1, pp. 1–32, 1993.
[8] Robyn Fivush. Remembering and reminiscing: How
individual lives are constructed in family narratives.
Memory studies, Vol. 1, No. 1, pp. 49–58, 2008.
[9] Tilmann Habermas and Susan Bluck. Getting a life:
the emergence of the life story in adolescence. Psychological bulletin, Vol. 126, No. 5, p. 748, 2000.
[10] John R Anderson. How can the human mind occur
in the physical universe? Oxford University Press,2009.
[11] 森田純哉, 平山高嗣, 間瀬健二, 山田和範. 認知アーキ
テクチャを組み入れた写真スライドショーの開発: 展望と課題. 人工知能学会全国大会論文集 第 29 回 (2015),
pp. 2M4NFC04b3–2M4NFC04b3. 一般社団法人 人工知能学会, 2015.
[12] Daniel L Schacter, Donna Rose Addis, and Randy L
Buckner. Remembering the past to imagine the future: the prospective brain. Nature Reviews Neuroscience, Vol. 8, No. 9, pp. 657–661, 2007.
[13] Junya Morita, Takatsugu Hirayama, Kenji Mase,and Kazunori Yamada. Model-based reminiscence:
Guiding mental time travel by cognitive modeling.
In Proceedings of the Fourth International Conferenceon Human Agent Interaction, HAI ’16, p. 341 ‒ 344,
2016.
[14] Kazuki Itabashi, Junya Morita, Takatsugu Hirayama, Kenji Mase, and Kazunori Yamada. Interactive model-based reminiscence using a cognitivemodel and physiological indices. In Proceedings ofthe 18th International Conference on Cognitive Modelling, No. 2020, 2020.
[15] Shoki Sakai, Kazuki Itabashi, and Junya Morita. Estimating personal model parameters from utterances
in model-based reminiscence. In 2022 10th International Conference on Affective Computing and Intelligent Interaction (ACII), pp. 1–8. IEEE, 2022.
[16] Florian Eyben, Martin Wöllmer, and Björn Schuller.
Opensmile: the munich versatile and fast open-source
audio feature extractor. In Proceedings of the 18th
ACM international conference on Multimedia, pp.
1459–1462, 2010.
[17] 横山和仁, 荒記俊一, 川上憲人, 竹下達也. Poms(感情プロフィール検査) 日本語版の作成と信頼性および妥当性の検討. 日本公衆衛生雑誌 (Japanese journal ofpublic health), Vol. 37, No. 11, pp. 913–918, 1990.