ストレスや不安によるうつ病が世界的に増加しており,日本でも深刻な問題となっている.しかし,カウンセラーや精神科医の不足により早期発見が困難である.本研究では,我々の研究グループで構築しているカウンセリング面談時の言語・音声・動画・心拍及びアンケートデータから成るデータセットを用いて,最新のMambaベースのマルチモーダルうつ状態検出モデルの学習・評価を行った.その結果,既存の大規模データセットを用いた事前学習と本データセットでの微調整が,モデル性能の向上に効果的であることが分かった.

近年,世界的にストレスや不安によるうつ病が増加しており,日本でもうつ病などのメンタル不調を原因とした休職者数が増加している[1].さらに新型コロナウイルス感染症の影響で,老若男女問わず健康不安や経済的問題からメンタル不調者が増加し,軽視できない社会問題となっている.しかし,カウンセラーや医師の不足が深刻で早期発見が難しい.また,メンタル不調者の多くは悩みを周囲に相談できず,自分一人で抱え込んでしまい,発見が遅れがちである.このことから,メンタル不調者をカウンセリングや診療に誘導することが喫緊の課題である.そこで我々の研究グループでは,うつ状態の早期発見が可能なマルチモーダル対話システムを構築するために,専門のカウンセラーが被験者に対し30分間程度の面談を行い,その面談時の言語・音声・動画・心拍及びアンケートから成るマルチモーダルデータセットの構築及び,言語・音声・動画の各特徴量とアンケート結果との相関分析を行っている[2,3].本稿ではそのデータセットの構築及び分析を概説し,さらに最新のMambaベースのマルチモーダルうつ状態検出モデルDepMamba[4]を用いた学習・評価結果について説明する.本研究では,構築したデータセット単体での学習に加え,既存の大規模データセットDAIC-WOZ[5]を用いた事前学習の後に構築したデータセットでの微調整を行い比較した.その結果,マルチモーダルうつ状態検出についても微調整がモデル性能の向上に効果的であることが分かった.