LLMベースGUIAgentでは，動作計画から画面上座標へのGrounding精度が課題の1つである[1,6]．本研究ではGUIでの「ホバー時のハイライト」や「カーソル形状の変化」といった動的な反応を利用し，既存GUIAgentに後付け可能な汎用Grounding後処理手法を提案する．Agentが出力した座標周辺でポインタをグリッド走査し，背景・カーソルの変化量から候補点を生成して，MLLMに最適候補を選択させる．既存GUIAgentであるAgentS3[4]に本手法を組み込み，PowerPoint[10]とFreeCAD[8]上のタスクで評価した結果，「長方形の右辺を選択せよ」のような精密Groundingタスクにおいて成功例が増加し，単純なステップ数増加では代替できない効果が示唆された．

GUIAgentは，自然文指示からクリックや入力操作を自動生成して汎用的なコンピュータ操作を実現する枠組みであり，その中で，自然文指示に対してどの画素をポインタ操作するかというGUIGroundingは重要な課題である[1,6]．特に，CADや図形編集ソフトで頻出する「図形の辺・頂点の選択」「細いスライダーハンドル操作」などでは，数十ピクセルの誤差が成功・失敗を分ける精密なクリック操作が求められる．一般に，GUIは人間が操作しやすいよう設計されており，対象が選択可能な状態であることをユーザーに示すために，ホバー時のハイライトやカーソル形状の変化といった工夫が盛り込まれている．人間は，これらの視覚的フィードバックを利用しながら，目標とするUI要素に向けてポインタを段階的に微調整していると考えられる．本研究では，このような「人間向けに設計されたGUIの動的な反応」を，既存のGUIAgentと補完的に利用する汎用Grounding後処理モジュールを提案する．人間が視覚的フィードバックを頼りに行っているポインタの微調整を自動で高精度に代替することを目指す．ベースのGroundingモデルやプロンプトを変更することなく，GUIAgentが推定した座標の近傍のみでポインタをグリッド走査し，背景およびカーソルの変化量に基づいて候補座標を生成し，各候補座標の局所スクリーンショットからMLLMにもっとも意図に合致する座標を選択させることで，特に上述のような精密なGUI操作における最終的な座標選択を補完する．