Compressed-a11y:視覚的文脈の再構成と冗長性削減によるGUIエージェント観測の効率化

タによって高度な理解力と推論能力を実現するクラローカル環境でのGUIエージェント実用化には，ウドベースのクローズドモデルが主流である[1,2]．限られた計算資源下での効率的な画面観測が重要で一方で，これらのモデルを実社会の多様なタスクにある．Accessibilitytreeに基づく画面構造の観測は，適用するには，データのプライバシー保護，通信に大規模言語モデル（LargeLanguageModels;LLM）に伴う遅延，ならびに継続的な運用コストの面で解決よる操作対象の特定に有効な一方，情報の冗長性やすべき課題が残されている．これに対しローカル視覚的文脈の欠如，状況理解の正確性の限界が課題LLMは，デバイス内で完結したセキュアかつ低遅である．本研究では，LLMが効率的に画面構造を延な推論が可能であり，これらの実運用上の課題を理解可能な観測表現として，ノード削減と空間配置解決する現実的な解として期待されている[3,4]．の再構成により情報を圧縮したCompressed-a11yをしかし，ローカルLLMを用いたGUIエージェン提案する．評価実験の結果，Compressed-a11yは入トの実用化には未だ課題が多く，とりわけその性能力トークン数を最大90%削減し，多くのタスクで高は，複雑な画面情報をいかに正確かつ効率的に処理い成功率を達成した．本研究は，ローカル環境におできるかという環境観測の設計に大きく依存していける効率的なGUI観測手法の実現に貢献する．る[5]．従来，GUIの観測には，スクリーンショットに基づく画像情報[5,6]のほか，Webページを構