早期うつ状態検出のためのマルチモーダル対話データセットに基づくうつ状態検出モデルの性能評価

近年,世界的にストレスや不安によるうつ病が増加しており,日本でもうつ病などのメンタル不調を原因とした休職者数が増加している[1].さらに新型コロナウイルス感染症の影響で,老若男女問わず健康不安や経済的問題からメンタル不調者が増加し,軽視できない社会問題となっている.しかし,カウンセラーや医師の不足が深刻で早期発見が難しい.また,メンタル不調者の多くは悩みを周囲に相談できず,自分一人で抱え込んでしまい,発見が遅れがちである.このことから,メンタル不調者をカウンセリングや診療に誘導することが喫緊の課題である.そこで我々の研究グループでは,うつ状態の早期発見が可能なマルチモーダル対話システムを構築するために,専門のカウンセラーが被験者に対し30分間程度の面談を行い,その面談時の言語・音声・動画・心拍及びアンケートから成るマルチモーダルデータセットの構築及び,言語・音声・動画の各特徴量とアンケート結果との相関分析を行っている[2,3].本稿ではそのデータセットの構築及び分析を概説し,さらに最新のMambaベースのマルチモーダルうつ状態検出モデルDepMamba[4]を用いた学習・評価結果について説明する.本研究では,構築したデータセット単体での学習に加え,既存の大規模データセットDAIC-WOZ[5]を用いた事前学習の後に構築したデータセットでの微調整を行い比較した.その結果,マルチモーダルうつ状態検出についても微調整がモデル性能の向上に効果的であることが分かった.