ポインタ局所探索によるGUIAgent向け

LLMベースGUIAgentでは，動作計画から画面上座標へのGrounding精度が課題の1つである[1,6]．本研究ではGUIでの「ホバー時のハイライト」や「カーソル形状の変化」といった動的な反応を利用し，既存GUIAgentに後付け可能な汎用Grounding後処理手法を提案する．Agentが出力した座標周辺でポインタをグリッド走査し，背景・カーソルの変化量から候補点を生成して，MLLMに最適候補を選択させる．既存GUIAgentであるAgentS3[4]に本手法を組み込み，PowerPoint[10]とFreeCAD[8]上のタスクで評価した結果，「長方形の右辺を選択せよ」のような精密Groundingタスクにおいて成功例が増加し，単純なステップ数増加では代替できない効果が示唆された．