タによって高度な理解力と推論能力を実現するクラローカル環境でのGUIエージェント実用化には，ウドベースのクローズドモデルが主流である[1,2]．限られた計算資源下での効率的な画面観測が重要で一方で，これらのモデルを実社会の多様なタスクにある．Accessibilitytreeに基づく画面構造の観測は，適用するには，データのプライバシー保護，通信に大規模言語モデル（LargeLanguageModels;LLM）に伴う遅延，ならびに継続的な運用コストの面で解決よる操作対象の特定に有効な一方，情報の冗長性やすべき課題が残されている．これに対しローカル視覚的文脈の欠如，状況理解の正確性の限界が課題LLMは，デバイス内で完結したセキュアかつ低遅である．本研究では，LLMが効率的に画面構造を延な推論が可能であり，これらの実運用上の課題を理解可能な観測表現として，ノード削減と空間配置解決する現実的な解として期待されている[3,4]．の再構成により情報を圧縮したCompressed-a11yをしかし，ローカルLLMを用いたGUIエージェン提案する．評価実験の結果，Compressed-a11yは入トの実用化には未だ課題が多く，とりわけその性能力トークン数を最大90%削減し，多くのタスクで高は，複雑な画面情報をいかに正確かつ効率的に処理い成功率を達成した．本研究は，ローカル環境におできるかという環境観測の設計に大きく依存していける効率的なGUI観測手法の実現に貢献する．る[5]．従来，GUIの観測には，スクリーンショットに基づく画像情報[5,6]のほか，Webページを構

成する要素をプログラムから操作可能な構造としローカル環境で動作するマルチモーダル対応の大て表現したDocumentObjectModel[7]や画面上のUI規模言語モデル（LargeLanguageModels;LLM）（以要素の意味や操作性を機械可読な階層構造として表下，ローカルLLM）を用いたエージェントは，実世現したAccessibility（a11y）tree[8]によるテキスト界においてGUIを含むソフトウェア環境を自律的情報，あるいはそれらを統合したマルチモーダルなに操作し，タスクを遂行できる可能性を持つ．現在表現[9]が用いられてきた．org/licenses/by/4.0/).特にa11ytreeは，操作対象の特定（grounding）に有用である一方で，膨大なノード数に起因する情報の冗長性や，要素の重なり順といった視覚的文脈が明示されないという構造的な問題を抱えている．このような特性は，計算リソースやコンテキスト長に厳しい制約のあるローカルLLMにおいて，観測情報の処理や画面構造の推論を著しく困難にする要因となる[10]．こうした課題に対し，a11ytreeの冗長性を低減する手法や，タスクに応じて情報を抽出する手法が提案されている[7,11,12]．しかし，GUIが持つ空間的・階層的構造を十分に保持した観測表現の確立には至っていない．本研究では，a11ytreeを基にした観測表現であるCompressed-a11yを提案し，ローカルLLMが画面構造を効率的に理解可能にすることを目指す．本手法は，ルールベースにより不要なノードを削減すると同時に，a11ytreeでは欠落しがちな要素間の空間的配置やUIの意味的なまとまりを明示的に再構成する．これにより，ローカルLLMの推論負荷を最小限に抑えつつ，正確なgroundingに必要な情報を過不足なく提供することを可能にする．Compressed-a11yの有効性を検証するため，GUI操作を含むタスクに対応可能なローカルLLMとしてQwen3-VL[13]を用い，GUIエージェント評価ベンチマークOSWorld[11]において評価を行った．タスク成功率やトークン数といった定量的指標に基づく評価を通じて，ローカルLLMを用いたGUIエージェントにおける効率的な環境観測設計の一つの方向性を提示することを本研究の目的とする．