大規模言語モデルによる時系列行動セグメンテーションの精度向上

時系列行動セグメンテーションは、映像を時間軸に沿って各行動区間に分割することを目的とした映像認識タスクである。映像の自動セグメント化は、人間の前後の行動における相互作用や関係を理解する上で重要な役割を果たす。そのため、人・ロボットの行動理解や周囲環境理解、監視システムなどの映像におけるセキュリティ向上や、製造業における技術的なスキルの習得支援システムの開発などへの応用が期待されている。時系列行動セグメンテーションには、行動区間とその行動ラベルの認識が必要である。局所的な前後フレームの特徴を捉えることで行動認識を行う手法[1,2,3]が考案されてきたが、全体的な行動手順を捉えることができておらず、依然として行動ラベルの予測精度が課題となっている。一方、全体的な行動手順を考慮した状態遷移モデルとして、マルコフモデルやRecurrentNeuralNetworks(RNNs)[4]を用いた手法[5,6,7]が提案されてきたが、各ドメインに対応する全体的な行動手順、すなわち状態遷移モデルを設計した上で学習を行う必要がある。それに対して、GPT-4o[8]のような大規模言語モデルは、単なるパターン認識能力を超えて、インターネットスケールの多様な言語・画像データから得たあらゆるドメインに対する一般的知識を持つため、行動手順の正しさを理解しており、汎用的な状態遷移モデルとして機能する。本論文では、この大規模言語モデルが持つ常識的知識による常識的・論理的な行動手順を考慮した行動認識手法を提案する。具体的には、初めに、既存手法によって時系列行動セグメンテーションを行う。次に、既存手法によって認識された各行動セグメントの行動ラベルを、大規模言語モデルを用いて常識的・論理的な行動手順に修正する。既存手法[1,2]と組み合わせた提案手法の性能をいくつかのビデオデータセット（50Salads[9],Breakfast[10]）で評価したところ、既存手法を上回る性能を達成した。.