視覚言語モデルによる行動認識のための知識拡張テキストプロンプトチューニング

行動認識は映像から人の行動を分類する技術であり、製造現場の作業可視化や技術習得支援などへの応用が期待されている。近年のCLIPベースの視覚言語モデルは、行動名のみをテキスト入力として多様な行動を軽量に認識できる一方、テキスト側に対象物や姿勢などの視覚的手掛かりが明示されず、意味の近い行動名（クラス）間で誤認識しやすい。本研究では、各行動に対して大規模言語モデルが自動生成したオブジェクト名や姿勢などの視覚語彙で行動ラベルを拡張するKnowledge-AugmentedTextPromptTuningを提案する。ベンチマークデータセットでのfew-shot評価において、軽量かつ多様な行動の認識能力を維持しつつ、意味の近い行動名（クラス）間での誤認識を効果的に低減できることを示す。