視覚言語モデルによるリアルタイム制御のための深層強化学習手法

近年，大規模言語モデル(LargeLanguageModel,LLM)の能力を視覚情報へと拡張した,視覚言語モデル(VisionLanguageModel,VLM)が急速に発展している．VLMは，画像の内容を理解し，それに関する質問に答え，人間との対話を行うといった受動的なタスクにおいて目覚ましい性能を示してきた[1,2]．その応用範囲は静的な画像理解に留まらず，VLMを意思決定の主体，すなわち「エージェント」として捉え，ゲーム[3,4]やロボット制御[5]といった動的な環境と直接インタラクションさせる研究が活発化している．しかし，一瞬の判断を要するアクションゲーム等，リアルタイム環境への応用には課題がある．VLMは巨大モデルと自己回帰生成ゆえに，観測から行動決定までに無視できない推論遅延が生じる．例えば60fpsのゲームでは数百ミリ秒の遅延は数十フレームの遅れに相当し，常に過去の状況に対し行動することになる．この問題は，リアルタイム制御における最大のボトルネックとなっている．本研究の目的は，推論遅延を克服し，VLMを説明可能なリアルタイム環境の制御エージェントとする新たな強化学習手法の提案・検証である．この目的を達成するため,本稿では遅延を補償する形でアクションチャンキングを導入した手法を提案する．本手法は,VLMの推論遅延を観測遅延のあるマルコフ決定過程[6]として明示的にモデル化する．その上で,VLMに一度の推論で未来の複数ステップ分の行動系列（アクションチャンク）を予測させ,VLMが次のチャンクを計算している間も,エージェントが行動を継続できる仕組みを構築する．実験の結果，シミュレーション環境において，推論遅延の存在下でも学習による報酬の向上が確認された．本研究は，適切な遅延モデル化とチャンキングにより，VLMがリアルタイム制御における実用的な意思決定主体として学習可能であることを示すものである．