２０１９年度 傾斜的研究費（全学分） 研究報告書【研究費区分】：国際共同研究支援枠【研究代表者所属】：システムデザイン研究科 情報科学域【研究代表者氏名】：山口 亨【研究代表者氏名フリガナ】：ヤマグチ トオル【研究代表者職】：教授【国内研究分担者（所属,氏名,職）】
・ 拓殖大学 工学部 電子システム工学科，何宜欣，助教
・ 東京都立大学 システムデザイン学部 情報科学科，下川原英理，助教【国外研究分担者（所属,氏名,職）】
・National Central University (Taiwan)，Chia-Hui Chang，Professor・National Chi Nan University (Taiwan)，Lieu-Hen Chen，Associate Professor【研究課題名】：軽度認知障害の早期発見に向けた外的要因を考慮した生活リズム見守りシステム【研究実績の概要（600～800 字程度で記入。図，グラフ等の使用も可。
）】
生活リズム見守りを行ううえで，センサデータから得られるライフログは客観的なものであり，本人の主観的情報は知ることができない．そこで，センサデータから得られたライフログに基づく発話により，センサデータでは得られない話者の心的状態と生活リズムを獲得することを目指した．そこで，1）心拍・睡眠データに関するユーザの心的状態の獲得，2) CNN（畳み込みニューラルネットワーク）を用いた可視化による生活リズムの獲得，の 2 点について検証し，実機ロボットによるインタラクションを行った．
1）心拍・睡眠データに基づいた発話によるユーザの心的状態の獲得
センサデータに基づいた発話をすることで，話者の心的状態を獲得する．睡眠に関して，話者の主観的な睡眠の質と満足度，その理由をインタラクションにより獲得し，日中の活動との関係性やユーザごとの違いについて分析を行った．
被験者にウェラブルセンサを装着してもらい，データを収集した．後日，センサデータに基づいた発話と定型文発話との比較を行った．前者の場合，心的状態の獲得率は全 30 発話中 17 発話で 56%であり，後者の場合，心的状態の獲得率は全 18 発話中 9 発話で 50%であった．センサデータに基づく発話をしたことで，話者がその時の状況を思い出しやすくなり，心的状態が多く獲得できたと考えられる．さらに，睡眠に関して，センサデータを分析した結果，日中の運動強度と睡眠効率が正の相関があるタイプ，負の相関があるタイプ，相関がないタ
イプに分かれた．睡眠効率と主観的な睡眠の質・満足度には関係が見られなかったが，インタラクションで理由を明らかにすることができたため，提案手法は，センサデータだけでは得られない話者の心的状態を獲得するのに有用性があることを示した．

2-2） CNN を用いた可視化による生活リズムの獲得
週単位でのユーザの生活リズムに着目をした．歩数データ６ヶ月分を取得し，一週間分のデータごとに，縦軸を時間，横軸を曜日として二次元の画像データを作成した．各データに対して被験者自身が「１:規則的な週」「０:規則的でない週」の二つのラベル付けを行い，入力のデータセットとした．CNN による特徴マップから，ユーザの生活リズムが可視化されるか確認する．また，分類の結果によってロボットの発話を決定し，実機ロボットを用いてインタラクションを行う．
実際に，3 人の被験者のデータを入力し，CNN の学習後の特徴マップを可視化した．3 人中 2 人の被験者において，水平方向に伸びる線のような特徴が確認できた．入力データの時間ごとの平均歩数を確認すると，特定の時間帯だけ歩数が著しく高くなっていた（図 1）．これは，被験者が一週間を通して，決まった時間に活動的であることを示している．特に 2 人の被験者においては，12 時付近と 18 時付近に歩数が多くなっていたことから，通学・帰宅時間が規則的であることが可視化によって明らかになった．分類結果に基づいた発話をした結果，予測がユーザの評価と異なる場合があった．しかし，インタラクションによってその理由を獲得することができるため，新しい教師データとしての利用に有効であると考える．

図 1 ある被験者の可視化結果【学会発表（発表題目，発表大会名，年月を記入）】
・ "Life-Log Estimation System Towards Healthcare Promotion Using Wearable Sensor", The 6thInternational Workshop on Advanced Computational Intelligence and Intelligent Informatics (IWACIII2019), 2019 年 11 月
・ "Adaptive Multi Model Architecture by Using Similarity between Trained User and New User",
Proceedings - 2019 International Conference on Technologies and Applications of Artificial Intelligence,
TAAI 2019, art. no. 8959832, DOI: 10.1109/TAAI48200.2019.8959832, 2019 年 11 月
・ "An Approach of User Modeling for Assisting Provided Service to Older Adults", 45th Annual
Conference of the IEEE Industrial Electronics Society (IECON2019), 2019 年 10 月

・ "Estimation of Speaker's Confidence in Conversation Using Speech Information and Head Motion",2019 16th International Conference on Ubiquitous Robots (UR), 2019 年 6 月
・ "Estimating Indoor Behavior Using Sensor Fusion with BLE Beacons and Wearable Devices forInformation Presentation", 2019 16th International Conference on Ubiquitous Robots (UR), 2019 年 6 月
・ "CNN による生活リズムの可視化を用いた HRI", インタラクション 2020，講演番号：2P-78，2020 年 3 月【論文発表又は著書発行（発表題目，著者，発表誌又は出版社，年月を記入）】
・五味 怜央奈, 相澤 秀和, 下川原（佐藤） 英理, 山口 亨, 対話支援システムによる話題提示に向けた心拍変動の周波数解析, 知能と情報, 2019, 31 巻, 5 号, p. 859-865, DOI:10.3156/jsoft.31.5_859, 2019 年 10 月（※Q1 ランク学術誌への投稿及び EurekAlert!への投稿等には「・」を「＊」とすること。）【外部研究費等への応募状況】
・住友財団基礎科学研究助成，「認知症アセスメント支援に向けた行動推定に基づく対話システム」，不採択【科学研究費補助金や国等の提案公募型研究費，企業からの受託研究費・共同研究費の獲得状況】
・ 基盤研究（Ｂ）「個々に合わせて気持ちを伝え合える統合型 AI に基づく共感ロボット」不採択
・ 国際共同研究強化（Ｂ）「軽度認知症の早期受診促進に向けた外的要因を考慮した生活リズム見守りシステ
ム」不採択
【受賞等】
・なし
【その他社会貢献】[公的審議会・委員会等の公的貢献，生涯学習支援・普及啓発，国際貢献・国際交流等]
・ 2019 IEEE CIS Summer School on Computational Intelligence for Human and Smart Machine
Co-learning において"Integrated AI Systems for Human-robot Synchronization"と題して講義を実施．
・ TAAI2019 Organized Session “International SS3 – Intelligent Systems to Support Human Society”の実施（※自治体等への政策提言や知見の提供には「・」を「＊」とすること。
）【研究成果による特許等の工業所有権の出願・取得状況】（工業所有権の名称,発明者,権利者,工業所有権の種類・番号,出願年月日,取得年月日）
・1 件申請準備中【研究分担額】（研究代表者・分担者名,所属,金額（円））・分担なし