情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-562024/2/28

スマートミラーを用いた個人応答特性に基づく心の健康状態の推定
野口 泰我1,a)

廣川 暢一2,b)

道喜 将太郎3,c)

鈴木 健嗣4,d)

概要：うつ病は, 自殺の大きな原因のひとつであることが知られている. 医療カウンセリングなどの診断・治療方法は確立されているものの, 個人の精神状態を毎日モニタリングして早期介入することは, まだ困難である. そこで MDD の自動診断を行うためにスマートフォンなどを用いた活動情報の自動計測, さらに認知課題中の視覚的, 聴覚的特徴量から MDD の分類, 推定を実現する研究が行われている. 本研究では, 鏡型デバイスを用いた簡便なインタラクションから取得する個人応答特性に基づくメンタルヘルス低下の早期発見と改善支援を提案し, 日常生活中での使用を可能とするデバイスの開発を行った.

1. はじめに

2. 関連研究

WHO によると, 毎年 80 万人以上の人が自殺していると客観的な指標を用いた, メンタルヘルスの診断方法としいう. 精神疾患, 特に大うつ病性障害（MDD）は自殺の重て人工知能を用いた検出が挙げられる [10], [12]. 特にス

大な要因であることが指摘されており, MDD の治療が自マートフォンを用いた研究では, アプリケーションを通じ殺問題の解決につながると考えられている [8]. 現在, MDDて取得したユーザーの活動データをもとにメンタルヘルスの治療は薬物療法と精神療法に大別される. しかし, MDDの推定を行った [5]. これはデバイスを携帯することで日々に対して多くの抗うつ剤が使用されているにもかかわらず,の活動データを自動取得する方法を採用している. さらに

約 30 ％の患者さんが抗うつ剤治療に反応しないことが知ウェアラブルデバイスを装着し, 心拍や筋電などの客観的られている [11]. このことは, MDD の寛解が既存の方法だな指標であるバイオマーカーを用いてメンタルヘルスを推けでは解決できないことを示す.

定する研究などがある [3]. この研究では勤務中の職員を対MDD の早期発見, 早期介入が寛解に大きな影響を与える

象に頭部, 胸部, 腕部の 3 か所に開発したデバイスを装着しことが研究により明らかになっている [6]. そのため, MDD勤務中のメンタルヘルスをモニタリングした. いずれもデの発症原因と言われているメンタルヘルスの変化を毎日把バイスを身に着けることでデータを自動取得できるため,握することで予防が可能と考えられる. 精神科医は問診の測定中にユーザーに過度の負担をかけないデザインとなっ中で患者のメンタルヘルスを DSM-5[1] や ICD-10[7] に基ている. その反面これらはユーザーの日常的な活動から推づき判断しているが, これは主観的で経験を必要とする. 近定しているためインタラクションを通じて得られる個人の年では精神科医の不足も懸念されており, 専門的な知識や応答特性を取得することはできない. 集団実験における発経験, 訓練を行わなくてもメンタルヘルスの変化を客観的話内容や発話中の音声, 表情などの応答特性を組み合わせな指標から判断できることは必要不可欠である [4].

ることで MDD の予測を行った研究ではマルチモーダル解

本論文はこれまでの関連研究を紹介し, 提案手法, 開発し析を行ったことで精度がさらに向上したことを示した [9].

たシステムの概要を提示する. 最後に今後の展望を議論し,しかし, 個人ごとにインタラクション中の声や表情などは本稿の要約を記す.

様々であり, 一つのモデルでは説明がつかない場合がある

1234a)b)c)d)

筑波大学大学院 理工情報生命学術院システム情報工学研究群
NEC 研究所筑波大学 医学医療系
筑波大学 システム情報系
taiga@ai.iit.tsukuba.ac.jp
hirokawa m@ieee.org
doki.s@md.tsukuba.ac.jp
kenji@ieee.org© 2024 Information Processing Society of Japan

こともまた事実である. さらに, インタビュー中の応答反応を用いたこれらの研究では一回の計測が長時間にわたるなど毎日の計測には不向きである.

3. 提案手法
本研究では従来研究で着目されてこなかった, 日々の計425

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-56
2024/2/28

測における変化量からメンタルヘルスを推定する. そこで
本研究では図 1 のように簡便な対話型インタラクションにおける個人応答特性に基づくメンタルヘルスの推定を提案する.
短時間の対話
本日の体調はいかがでしょうか？

対話
エージェント

今日はいいです

視聴覚情報

今日はいいです
応答ユーザー

図 1

長期間のメンタルヘルス
モニタリング

図 2

提案手法の概要図

開発したデバイス

LightGBM
本研究では計測された特徴量においてメンタルヘルスのり付けることで疑似的に鏡を再現することができる. 鏡と推定に LightGBM を用いて解析をする. LightGBM は勾して見せたい場合には液晶を黒にし, ユーザーへ情報を表

配ブースティング決定木 (GBDT) の処理を高速化したも示したいときはそれ以外の色を使用する. タブレットの背ので, 特徴量を実質的に減らすことで過学習を防ぎ, 寄与率

面と前面にはカメラが内蔵しており, マイク, スピーカーはの大きな特徴量を割り出すことができる.

ハードウェアに搭載されているものを使う.

最終的な予測値: yˆi

4.2 ソフトウェア構成

shrinkage 係数 (学習率): ηyˆi =K∑

本システムではアプリケーションを開発しハードウェアに実装することでインタラクションの計測を行う. 実装すηfk (xi )k=1

デザイン要件
本研究ではユーザーに過度な負担がないよう, 1 回の計るアプリケーションの開発には Kotlin を用い, 取得したデータの解析は Python を用いて行う. デバイス毎に取得した計測データはインターネットを経由し, 動画は Google

Drive へ保存され, 質問回答のデータは ﬁrebase へアップ

測を 5 分未満にすることで日常的な計測を可能とする. さロードされる. クラウド上に保存されているこれらの情報らに, 家やオフィスに設置しても違和感の少ないデザインを Python で行う解析の際にダウンロードすることで本シにすることで日常生活における生活導線に設置することでステムのソフトウェア構成となる.

計測機会を多く設けることが可能となる. これらの点を考慮し, 本研究ではスマートミラーを用いることとした.

4. システム構成
本研究において開発したデバイスを図 2 に示した. 本研

4.3 解析手法
本研究では撮影した顔の動画を用いて表情解析を行う.
録画した音声は音声解析を行い, さらに発話の内容を音声認識により言語情報として処理し, 発話内容を二値分類に

究では表情, 声, 応答反応を用いてメンタルヘルスの推定より評価する.

を行うために教師データとしてて毎計測時にユーザーは睡4.3.1 表情解析

眠, 労働, 情動状態に関する質問に回答する. この質問で得表情解析は取得した顔の動画をもとに Openface を用いたデータは精神科医によるラベリングに用いられることでて顔のランドマークを検出する [2]. Openface を用いて目解析の教師データとして用いる. 開発したスマートミラー

線, 頭部動作, 顔の特徴量を算出する.

はこれらの要素によって構成されている. 図 3 に本システ4.3.2 音声解析

ムの構成を示す.

音声解析には OpenAI Whisper を用いて発話内容の文字起こしを行う. Hugging face を用いて発話内容を二値分類

4.1 ハードウェア構成
本システムのハードウェアにはタブレット型端末を用いにより評価する. そのほか音声解析には Python を用いて音声の抑揚やイントネーション, レイテンシを計算する.

る. タブレット型端末の液晶にハーフミラーフィルムを取© 2024 Information Processing Society of Japan426

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-56
2024/2/28

図 3システム構成5. おわりに[9]

本研究ではメンタルヘルス推定のために短時間インタラクションから得られる個人応答反応をもとに情動状態の変[10]化を推定することを提案した. 個人応答特性には顔の特徴量や音声情報, 応答反応が含まれる. 開発システムは今後長期的な実験を行うことで, 短時間インタラクションに基[11]づく応答反応におけるメンタルヘルスの推定に関して明らかにしていく.
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[12]

global imperative. World Health Organization, 2014.
Anupama Ray, Siddharth Kumar, Rutvik Reddy, Prerana Mukherjee, and Ritu Garg. Multi-level attention
network using text, audio and video for depression prediction. pages 81–88. ACM, 2019.
S. Sheikh and K. Shaban. Finding behavioural and imaging biomarkers of major depressive disorder (mdd) using
artiﬁcial intelligence: A review. pages 7–12, 2020.
Madhukar H TRIVEDI and Ella J DALY. Treatment
strategies to improve and sustain remission in major
depressive disorder. Dialogues in clinical neuroscience,
10:377–384, 2008.
Wen-Jing Yan, Qian-Nan Ruan, and Ke Jiang. Challenges for artiﬁcial intelligence in recognizing mental disorders. Diagnostics (Basel), 13:2, 2022.

American Psychiatric Association. Diagnostic and statistical manual of mental disorders. American Psychiatric Association Publishing, 5th edition, 2013.
T. Baltrusaitis, P. Robinson, and L.-P. Morency. Openface: An open source facial behavior analysis toolkit.
2016.
S. Betti, R.M. Lova, E. Rovini, G. Acerbi, L. Santarelli,
M. Cabiati, S.D. Ry, and F. Cavallo. Evaluation of an
integrated system of wearable physiological sensors forstress monitoring in working environments by using biological markers. IEEE Transactions on Biomedical Engineering, 65:1748–1758, 2018.
HEINZ KATSCHNIG. Are psychiatrists an endangered
species? observations on internal and external challenges
to the profession. World psychiatry, 9:21–28, 2010.
D. Kelly, K. Curran, and B. Caulﬁeld. Automatic prediction of health status using smartphone-derived behavior
proﬁles. IEEE Journal of Biomedical and Health Informatics, 21:1750–1760, 2017.
M Marshall and J Rathbone. Early intervention for psychosis. Cochrane Database of Systematic Reviews, (4),2006.
World Health Organization. International statisticalclassiﬁcation of diseases and related health problems.
World Health Organization, 10th rev. edition, 1992.
World Health Organization et al. Preventing suicide: A© 2024 Information Processing Society of Japan427