ポインタ局所探索によるGUIAgent向け

GUIAgentは，自然文指示からクリックや入力操作を自動生成して汎用的なコンピュータ操作を実現する枠組みであり，その中で，自然文指示に対してどの画素をポインタ操作するかというGUIGroundingは重要な課題である[1,6]．特に，CADや図形編集ソフトで頻出する「図形の辺・頂点の選択」「細いスライダーハンドル操作」などでは，数十ピクセルの誤差が成功・失敗を分ける精密なクリック操作が求められる．一般に，GUIは人間が操作しやすいよう設計されており，対象が選択可能な状態であることをユーザーに示すために，ホバー時のハイライトやカーソル形状の変化といった工夫が盛り込まれている．人間は，これらの視覚的フィードバックを利用しながら，目標とするUI要素に向けてポインタを段階的に微調整していると考えられる．本研究では，このような「人間向けに設計されたGUIの動的な反応」を，既存のGUIAgentと補完的に利用する汎用Grounding後処理モジュールを提案する．人間が視覚的フィードバックを頼りに行っているポインタの微調整を自動で高精度に代替することを目指す．ベースのGroundingモデルやプロンプトを変更することなく，GUIAgentが推定した座標の近傍のみでポインタをグリッド走査し，背景およびカーソルの変化量に基づいて候補座標を生成し，各候補座標の局所スクリーンショットからMLLMにもっとも意図に合致する座標を選択させることで，特に上述のような精密なGUI操作における最終的な座標選択を補完する．