LLMの常識的知識を活用した行動認識のための物体中心特徴量の自律エージェント型学習

のペアからなる大規模なデータセットの恩恵を受け動画基盤モデルに基づく近年の行動認識は，背景ている．獲得される表現は言語埋め込みの空間にアや物体の共起関係など行動と無関係な外観を過学習ライメントされているため，多様なシーンにおいてする一方，物体検出結果を入力として用いる手法プロンプトを通じてゼロショットでの行動認識が可は，入力の情報量の欠落が汎化を阻害する要因とな能となった．このゼロショット推論によって幅広いる．本稿では，このようなトレードオフを緩和する用途で行動認識を活用できるようになった一方，事ことを目的として，これら2種類の手法を組み合わ後学習時に獲得される表現の汎化性が，情報量がスせることで，互いの欠点を補い合う特徴量の学習をパースなキャプションの範囲に限定される．この問目指す．具体的には，人物の行動に関するLLMの題は偽相関やショートカット学習として顕在化し，常識的知識を活用し，自律エージェント型学習の枠認識対象の行動の表現に無関係の前景や静止した背組みの中で，LLMエージェントが2種類の手法を統景の外観，物体間の共起関係をモデルが過学習する合して，対象行動に合った動作特徴量を自動設計す結果になる[11]．特にこの問題は，外観でなく動作るフレームワークを実現する．実験では動作認識のの理解が必要とされるベンチマーク[12,13]におい公開データセットを用いて，提案手法の有効性を確て精度が低下する現象として確認されてきた．認した．一方，動作理解を目的としたアプローチが近年研究されており，動画ベース手法[14,15,16]や物体中