視覚言語モデルによるリアルタイム制御のための深層強化学習手法

視覚言語モデル(VisionLanguageModel,VLM)は意思決定エージェントとして期待される一方，推論時間の長さによる「遅延」がリアルタイムな環境への応用の壁となっていた．本研究では，遅延を考慮したマルコフ決定過程に基づき，一度の推論で未来の行動系列（アクションチャンク）を予測させることで遅延を補償する新たな強化学習フレームワークを提案する．これにより推論中も動作を継続可能にし，リアルタイム環境での安定したVLM制御の実現を目指す．