Compressed-a11y:視覚的文脈の再構成と冗長性削減によるGUIエージェント観測の効率化

成する要素をプログラムから操作可能な構造としローカル環境で動作するマルチモーダル対応の大て表現したDocumentObjectModel[7]や画面上のUI規模言語モデル（LargeLanguageModels;LLM）（以要素の意味や操作性を機械可読な階層構造として表下，ローカルLLM）を用いたエージェントは，実世現したAccessibility（a11y）tree[8]によるテキスト界においてGUIを含むソフトウェア環境を自律的情報，あるいはそれらを統合したマルチモーダルなに操作し，タスクを遂行できる可能性を持つ．現在表現[9]が用いられてきた．org/licenses/by/4.0/).特にa11ytreeは，操作対象の特定（grounding）に有用である一方で，膨大なノード数に起因する情報の冗長性や，要素の重なり順といった視覚的文脈が明示されないという構造的な問題を抱えている．このような特性は，計算リソースやコンテキスト長に厳しい制約のあるローカルLLMにおいて，観測情報の処理や画面構造の推論を著しく困難にする要因となる[10]．こうした課題に対し，a11ytreeの冗長性を低減する手法や，タスクに応じて情報を抽出する手法が提案されている[7,11,12]．しかし，GUIが持つ空間的・階層的構造を十分に保持した観測表現の確立には至っていない．本研究では，a11ytreeを基にした観測表現であるCompressed-a11yを提案し，ローカルLLMが画面構造を効率的に理解可能にすることを目指す．本手法は，ルールベースにより不要なノードを削減すると同時に，a11ytreeでは欠落しがちな要素間の空間的配置やUIの意味的なまとまりを明示的に再構成する．これにより，ローカルLLMの推論負荷を最小限に抑えつつ，正確なgroundingに必要な情報を過不足なく提供することを可能にする．Compressed-a11yの有効性を検証するため，GUI操作を含むタスクに対応可能なローカルLLMとしてQwen3-VL[13]を用い，GUIエージェント評価ベンチマークOSWorld[11]において評価を行った．タスク成功率やトークン数といった定量的指標に基づく評価を通じて，ローカルLLMを用いたGUIエージェントにおける効率的な環境観測設計の一つの方向性を提示することを本研究の目的とする．