視覚言語モデルによる行動認識のための知識拡張テキストプロンプトチューニング

行動認識は、映像から人が行っている行動をクラス分類する技術であり、製造現場の作業可視化や技能伝承、教育支援、監視などへの応用が期待されている。深層学習[1,2,3,4,5]と大規模データセット[6,7]により高精度な行動認識モデルが提案されてきたが、アノテーションコストやドメインギャップの問題から、既存の大規模画像／動画モデルを利用した転移学習が重要となっている。近年、CLIP[8]に代表される視覚言語モデル（VLM）を用いたfew-shot行動認識[9]が注目されている。行動ラベルをテキストエンコーダに入力し、その埋め込みと動画特徴の類似度に基づいて分類することで、クラス数に対するパラメータ増加がなく推論も軽量である。しかし一般的な行動認識データセット[6,7]では、多くの行動名がwave,shakehands,cartwheel,somersaultのような動詞（句）で与えられており、対象物や接触様式、身体姿勢などの視覚的決定要因が明示されない。CLIPのテキストエンコーダはWebテキストから学習されている[8]ため、動詞と共起する物体概念を暗黙的に獲得していると考えられるが、先に挙げた意味的に近い行動名（クラス）はテキスト空間で近接しやすい。その結果、本来は接触の有無や姿勢、運動方向、回転軸といった視覚的差異で区別されるべきクラスで誤認識が多く、特に物体依存的な行動や抽象的な行動の識別が難しい。この不足を物体検出器やVLMの併用で補うことも可能だが、推論コスト増大や運用の複雑化を招く。本研究ではこの課題に対し、CLIPベース手法の「多様な行動を軽量に認識できる」利点を維持しつつ、テキスト表現に外部知識を注入するKnowledge-AugmentedTextPromptTuning(KATP)を提案する。まず、大規模言語モデル（LLM）により各行動ラベルに対し、オブジェクト、身体姿勢、運動パターン、シーン要素などフレームから直接観測可能でクラス固有性の高い「視覚語彙」をオフライン生成し、「行動ラベル＋視覚語彙」から成る短いテキストプロンプトを作成する。次に、このプロンプトをCLIPのテキストエンコーダに入力してプロンプトチューニングを行い、各行動と相互作用する対象物や姿勢・動き方を内包したテキスト埋め込みを得る。これにより、従来テキスト側で区別しにくかった意味の近い行動名（クラス）間に視覚的決定要因に基づく分離を導入し、誤認識を効果的に減らす。本研究の貢献は、以下のとおりである。•CLIPベースのfew-shot行動認識において、意味の近い行動名（クラス）間の誤認識を抑えるため、行動ラベルに視覚語彙を付与するKATPを提案する。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).真のクラス푎がクラス푏に高確率で誤分類されたことを示す。）カテゴリ誤認識例上半身ジェスチャwave→shakehandsclap→push姿勢・移動jump→climbstairswalk→run体操・回転cartwheel→somersaultflicflac→cartwheelこの問題に対し、本研究ではLLMへの指示段階で生成語彙を(1)視覚的に観測可能な視覚語彙と(2)高レベル意味カテゴリを表す意味語彙に分けて設計する。その概要を以下に示す。•視覚語彙：1フレームまたは短いクリップから直接観測できる物体、体の姿勢や手足の位置・向き、物や相手との接触の仕方、動きの方向・振り方のみを許可し、「非接触ジェスチャvs接触ジェスチャ」「回転vs並進移動」など、視覚的に類似した行動クラス間の微妙なモーション差・ポーズ差を補完することを狙う。•意味語彙：コミュニケーション意図、社会的機能、イベント種別、相互作用様式といった抽象的な名詞句のみを許可し、「体操vs日常動作」「社会的ジェスチャーvs移動動作」など、意味的に異なる行動クラスを離すことを狙う。ただし、意味語彙は複数の行動クラスで共有されやすく、テキスト空間のクラス間距離を縮めてしまう可能性もある。提案手法KATPでは、初めに各行動ラベルをLLMに入力し、視覚語彙に限定して名詞句を生成させる。次に、得られた候補から視覚的で行動クラス固有性の高いもののみを選び、行動ラベル名と連結してKnowledge-Augmentedテキストプロンプト푠푐を構成する（表2）。この処理を全クラスに対してオフラインで行い、接触様式や姿勢、運動パターンなどを含むテキスト表現を得る。3.2プロンプトチューニングプロンプトチューニングでは、CLIPの画像・テキストエンコーダを凍結しつつ、動画側の時系列Transformerとテキスト側のコンテキストトークンのみを学習する。動画側では、各動画からサンプリングしたフレームをCLIPの画像エンコーダに入力し、得られたフレーム特徴列を軽量な時系列Transformerに通して行動ラベル拡張された行動ラベルwavewavewithpalmfacingoutward,side-to-sidehandmotion,wristoscillationshakehandsshakehands,thumbwrapandverticalhandpumpinfrontalstancecartwheelcartwheelwithwheel-likesidewaysrotation,lateralhandstandphase,two-handplantsomersaultsomersault,headoverheelrotation,midairtuckposture動画埋め込みベクトルを得る。テキスト側では、Knowledge-Augmentedテキストプロンプト푠푐をトークン化し、푘個の学習可能なコンテキストトークンを挿入したシーケンスをテキストエンコーダ휙textに入力することで、各クラス푐に対するテキスト埋め込みc푐を得る：c푐=휙text푎1,...,TOKENIZER(푠푐),...,푎푘,(1)ここで푎푖∈ℝ퐷は푖番目の学習可能なプロンプトベクトル（コンテキストトークン）を表し、퐷はベクトル次元である。{푎푖}푘푖=1は全クラスで共有される。得られたテキスト埋め込みと動画埋め込みのコサイン類似度に基づき、クロスエントロピー損失で時系列Transformerとコンテキストトークンを更新する。推論時には学習時と同じ푠푐を用いてクラス埋め込みを事前計算し、各テスト動画との類似度により行動名（クラス）を予測する。4評価実験4.1データセット評価にはHMDB-51[6]とKinetics-400（K-400）[7]の2つのデータセットを用いた。HMDB-51は51クラスの日常的な行動を収めたデータセットで、ジェスチャや姿勢変化などのクラスを含む。K-400は400クラスからなる大規模データセットで、物体依存クラスや抽象ラベルクラスが多数含まれる。いずれも公式のtrain/test分割に従い、trainsplitから各クラス5本のみを使用するfew-shot設定を構成した。4.2評価方法5-shot-5-wayと5-shot-퐶-wayの2設定で評価した。5-way設定では、各試行でまず学習データから5クラスをランダムサンプリングし、それぞれのクラスから5本の動画を選んで学習用とし、同じ5クラスに属する残りの動画を評価用とした。この構成をランダムに200回繰り返し、top-1accuracyの平均を求org/licenses/by/4.0/).別の行動認識性能（top-1accuracy[%]）。視覚語彙を用いた場合に最大の改善が得られる。MethodK-shotN-wayHMDB-51Efficient-Prompt5퐶퐴퐿퐿55.1KATP(+visualnoun)5퐶퐴퐿퐿56.3KATP(+semanticnoun)5퐶퐴퐿퐿55.5KATP(+mixednoun)5퐶퐴퐿퐿55.4めた。퐶-way設定では、より難度の高いシナリオとして、データセットに含まれる全クラス数퐶を同時に分類対象とした。trainsplitから各クラス5本の動画をランダムにサンプリングして学習用とし、対応するtestsplit上で性能を測定した。これをランダムに10回繰り返し、top-1accuracyの平均を求めた。4.3実験設定画像・テキストエンコーダには事前学習済みのCLIP(ViT-B/16)を用いた。各動画から16フレームをサンプリングし、5-croppredictionにより最終スコアを得た。時系列Transformerとテキスト側コンテキストトークンのみを学習し、最適化にはAdamWを用いた。語彙生成を行うLLMにはGPT-5を用いた。5実験結果5.1生成語彙の比較検討（視覚語彙vs意味語彙vs混合語彙）KATPでは、LLMが生成する名詞句の性質（視覚語彙や意味語彙）が、テキスト表現のクラス分離性を左右する重要な設計要素となる。3.1節で述べたように、視覚語彙はフレームから視覚的に直接観測可能な要素に限定し、意味語彙はより抽象的な意味カテゴリを表す。ここでは、それぞれの役割と効果を確認するため、生成語彙の種類別の行動認識性能を比較した。56.3%と最も高く、意味語彙あるいは混合語彙では55%台にとどまる。これは、抽象的・意味的な名詞句を用いた場合、多数の行動クラスで語彙が共通化し、クラス内よりもクラス間で共有されやすいためと解釈できる。一方、視覚語彙に限定すると、接触の有無や手足の向き、運動パターンといった視覚的差分がクラスごとに明確に埋め込まれ、CLIPのテキスト空間における細粒度なクラス分離が促進される。以上より、視覚語彙は、意味語彙や混合語彙より、本設定での誤認識低減に適した設計である。認識性能（top-1accuracy[%]）。提案手法KATPは既存手法Efficient-Promptを一貫して上回る。MethodK-shotN-wayHMDB-51K-400Efficient-Prompt5582.594.8Efficient-Prompt5퐶퐴퐿퐿55.155.1KATP(Ours)5582.795.1KATP(Ours)5퐶퐴퐿퐿56.357.0shot-퐶-way設定、top-1accuracy[%]）。KATP(+visualnoun)はEfficient-Promptと比較して、ジェスチャ系および体操系クラスで誤認識率を大きく低減している。ActionclassEfficient-PromptKATPwave89.374.7cartwheel86.776.05.2提案手法の改善効果較を示す。いずれの設定においても一貫した改善が得られた。特に、퐶-way設定ではHMDB-51で+1.2%、K-400で+1.9%と、明確な向上が確認された。精度改善は、HMDB-51のジェスチャ系・姿勢／移動系・体操系や、K-400の物体依存クラス・抽象的な行動名をもつクラスに集中している。代表例として、HMDB-51におけるクラス別の誤認識率の変化を表5に示す。同表のとおり、ジェスチャ系のwave、体操系のcartwheelいずれにおいても誤認識率が大きく改善しており、近縁クラスとの混同が軽減されている。表2のように、KATPでは、wave/shakehandsに対して「掌の向き」「接触の有無」、cartwheel/somersaultに対して「横方向回転」「縦方向回転」といった視覚的な違いを強調する名詞句が付与されている。その結果、行動名だけでは近接していたテキスト埋め込み間の距離が広がり、細粒度なクラス分離が促進されることで誤認識が低減したと解釈できる。6おわりに本論文では、CLIPベースのfew-shot行動認識において、行動ラベルのみでは視覚的決定要因が表現できず、意味の近い行動名（クラス）間で誤認識が生じやすい問題に対し、LLMによって視覚語彙を生成し、テキストプロンプトを拡張するKnowledge-AugmentedTextPromptTuningを提案した。ベンチマークデータセットでのfew-shot評価により、既存手法を上回る性能を達成した。org/licenses/by/4.0/).