LLMの常識的知識を活用した行動認識のための物体中心特徴量の自律エージェント型学習

心手法[17,18,19]が提案されている．この2つのア大規模言語モデル（LargeLanguageModel，LLM）プローチはそれぞれ異なる方法で偽相関の影響の少と視覚・言語事前学習の飛躍的な進歩は，マルチない特徴量を抽出する．前者は，キャプションを用モーダルLLMとその多くの応用に結実した[1,2,3]．いず動画内の動きを予測する自己教師あり学習によマルチモーダルLLMに対してテキストや画像に加り，動画基盤モデルを事前学習する．後者は，動画えて動画像[4]の入力が可能となり，さらには，音から物体領域[17]や注目領域[20]を特定した上で，声認識モデル[5]を導入することにより，テキストそれらを入力として教師あり学習[17,18]などの方なしで音声と動画を介してコンピュータと人がコ法で特徴量を抽出する．ミュニケーションできるアプリケーションが実現さ両者とも動画内の動きや物体に着目することで，れている[1]．この潮流の中で，モデルが2次元の動作理解に有益な特徴量をそれぞれ抽出する．しか動画像中の人物の行動を認識する能力がより注目さしながら動画ベース手法は，視覚・言語事前学習とれるようになり，人と協調動作するロボット[6]や同様，動画の時空間ボリュームが入力であることかスポーツ[7]，エンターテインメント[8]といった数ら，入力の冗長性に起因する偽相関を完全には排除多くの応用において重要性が増している．できない．これに対して物体中心手法は，偽相関の近年の行動認識技術は，視覚・言語事前学習[9,10]原因となる物体以外の領域の情報をあらかじめ入力を通じて動画から比較的従来より汎化した表現を獲から除き，モデルが着目する領域を制限すること得できるようになった．これは，インターネット上で，検出対象の物体の行動を比較的頑健に認識できる．ただし，入力の情報量が欠落し，検出対象以外∗著者は同等に貢献．org/licenses/by/4.0/).ActionLabelsTaskDescriptionOpen-Vocab.ObjectDetectorLLMDetectedClassesState!−1DetectedClassesEvaluationScoresDetectedClassesEvaluationScores❄TrainingSampleの物体の認識が阻害されるため，動画ベース手法との間でトレードオフの関係にある．本研究では，このような情報量の欠落を避けることで，両者のトレードオフを緩和することを目指す．一方ここまでの内容とは別の文脈において，近年ではLLMのもつ常識的知識を行動認識に活用することが盛んである．例えば従来研究[19]では，自己教師あり学習を通じて獲得された特徴量を，テキストとともに視覚トークンとしてLLMに入力する．LLMは，言語のモダリティで学習された人物の行動に関する知識を活用することにより，視覚トークンから人物の行動を識別する．これらの従来研究では，LLMは認識器や識別器と呼ばれるヘッドの役割でシステムの後段で活用されるが，この場合，バックボーンの特徴抽出器の学習にLLMの知識は活用されない．これに対しAutoML領域において，LLMは特徴抽出器の実装に活用されるが，認識対象の行動に依存しない実装を学習しているため，対象行動に関する知識を特徴抽出の学習に反映できない[21]．以上を踏まえ本研究では，Something-Somethingv2（SSv2）[12]などの教師あり動作認識のベンチマークを対象として，より頑健な特徴量を学習する方法の実現に取り組む．本稿では，トレードオフの関係にある動画ベース手法と物体中心手法を組み合わせることで，互いの欠点を補い合う特徴量の学習を目指す．特に，先述の人物の行動に関するLLMのもつ常識的知識を活用し，自律エージェント型学習の枠組みの中でLLMエージェントが動作理解の2つのアプローチを統合して，対象行動に合った動作特徴量を自動設計するフレームワークを実現する．具体的には，自己教師あり動画基盤モデルを対象行動の認識に必要な動画中の物体に着目させるため，物体検出技術を用いて動画中の対象物体とそれ以外の物体をモデルに教示する．ここで，検出対象の物体の内訳は，LLMエージェントのもつ常識的知識によって対象行動から導かれるとともに，文脈内強化学習（In-ContextReinforcementLearning，ICRL）[22]の枠組みを通じて汎化するよう最適化!❄State0In-ContextReinforcementLearningLoopActionRecognitionTrainingLoopLossorAcc.RecognizerAdapter!armgoalLikelihoodMapsObject-CentricFeaturesValTrainEvaluationScoresされる．図1に提案手法のICRLの概観を示す．検出対象の物体クラスは，オープンボキャブラリ物体検出器（Open-VocabularyObjectDetector,OVD）を介して各フレームで検出される．検出結果を入力の動画と合わせて特徴量に変換し動画基盤モデルに入力するアダプターを新たに導入することで，事後学習において動画基盤モデルの特徴抽出層を対象物体にのみ着目させることが可能となる．実験では，動作認識の公開データセットを用いて提案手法で学習される特徴量の頑健性を検証する．本稿の技術的な貢献は，（1）LLMの常識的知識が認識対象の行動に関係する物体に着目した動作特徴量の設計に有効であり，（2）ICRLを用いることで，OVDの検出対象とすべき物体のクラスを自動的に最適化できることを示すことの2点である．