大規模言語モデルを用いてWeb操作を行うエージェントにおいて，HTMLに代表されるWebページの観測は行動選択の基盤となる．既存研究ではHTMLの長大さが性能を妨げるとされ，軽量化がトレンドとなってきた．本研究ではこのトレンドを再検証し，以下を明らかにした：(1)オープンソースモデルでは簡素な観測（アクセシビリティツリー）が有効だが，高性能な商用モデルではむしろ詳細な観測（HTML）が概して有効である(2)商用モデルはHTMLのレイアウト情報を活用できる一方，オープンソースモデルでは入力増大によりハルシネーションが増加する(3)推論時の思考トークン量を増加させることで，詳細な観測の効果を高めることができる(4)観測履歴の追加は多くのモデル・設定で有効であり，差分表現による効率化も可能である．

大規模言語モデル（LLM）を用いてWeb操作を行うエージェント（Webエージェント）は，フォーム入力など反復的なタスクを自動化できることから，近年活発に研究されている[1]．一般に，Webエージェントは行動の実行と観測の獲得のループ[2]で実装される：エージェントは各ステップにおいてクリックなどの行動を実行し，その結果として現在のWebページを観測する．Webエージェントはこのループを，タスクを終了したと判定するまで実行する．Webページの観測に含まれる情報は，実行可能な行動の把握やタスク進捗の理解において重要である．既存のWebエージェント研究では，観測情報の軽量化が一貫したトレンドとなってきた．その主な理由は，Webページの文書構造を直接テキスト化したHTMLが長大だからである．例えば，WebL1）．x軸は各ステップの平均入力トークン数，y軸はタスク成功率．hはHTML，aはアクセシビリティツリー（a11y）を表す．矢印は同一モデルにおけるHTMLからa11yへの変更を示す．左図：オープンソースモデルでは観測の軽量化（h->a）により成功率が向上する．右図：高性能な商用モデルでは逆に成功率が低下するエージェントのベンチマークであるWorkArenaでは，HTMLは最小4万～最大50万トークンの範囲に分布している[3]．初期のLLMでは入力長制約により，これを全て入力できなかった[4]．現在ではGeminiモデル1）に代表される100万トークン規模の入力長を持つLLMが登場しており，モデルによってはHTMLをそのまま入力可能である．しかし，タスクに関連しない情報が推論を妨げる[5]という理由から，軽量化は依然として主流となっている．具体的には，タスクに関連する要素のみの抽出[4,6,7]，簡素な表現への変換[5,8]，より軽量なアクセシビリティツリー（a11y）の利用[9,10]など，様々な軽量化のアプローチが提案されてきた．最新の観測に加えて過去ステップの観測履歴を活用する場合も，同様に軽量化が行われている[5,11]．1）https://gemini.google.com/?hl=jaThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).力については，商用モデルとオープンソースモデルの比較，同一ファミリ内でのモデルサイズによる比較（例：gpt-oss-120b/20b）を行った．(2)思考トークン量については，各推論モデルにおいて制御パラメータを変化させて評価した．商用モデルについては，gpt-5.1-2025-11-133），o3-mini-2025-01-314），gemini-2.5-flash[15]を用いた．オープンソースモデルについては，gpt-oss-120b/20b[16]，Qwen3-VLファミリ（235B-A22B-Thinking，30B-A3B-Thinking，30B-A3B-Instruct）[17]，Llama-3.1ファミリ（70B-Instruct，8B-Instruct）[18]を用いた．gpt-5.1，o3-mini，gpt-ossではreasoning_effortパラメータ（low/high）により，geminiではthinking_budgetパラメータ（128/16384）により思考トークン量を制御した．Llama-3.1ファミリは思考トークンを生成しない旧世代のモデルでの性能を評価するために用いた．行動のグラウンディングエージェントが出力した行動文字列を実際のWeb操作に紐付ける処理をグラウンディングと呼ぶ．本実験では，idベースのグラウンディングを採用する．具体的には，エージェントは最新の観測표푡に含まれるDOM要素のidを指定することで行動푎푡を実行する．行動푎푡は，行動種別，操作対象のid，および必要に応じてパラメータを組み合わせた文字列（例：fill(’12’,’hello’)）として表現される．出力された行動は，ブラウザ自動操作パッケージであるPlaywright5）を通じて実行される．実験フレームワークにはAgentLab[19,3]を用いた．最大ステップ数푇maxはフレームワークのデフォルト設定に従い15とし，超過時はタスクを失敗として扱う．3.2観測の表現形式とタスク成功率本節では，観測の表現形式がタスク成功率に与える影響を検証する．a11yはWebページからインタラクティブ要素を中心に抽出した簡潔な表現である6）．一方，HTMLはWebページのより詳細な文書構造を保持しており，本実験の設定ではさらにCSSに基づくレイアウト情報も含めている．a11yを基準として，(1)HTMLに置き換えた場合，(2)スクリーンショットを追加した場合（a11y+scrs），の二つを検証した．表1に結果を示す．3）https://openai.com/ja-JP/index/gpt-5-1/4）https://openai.com/ja-JP/index/openai-o3-mini/5）https://playwright.dev/6）グラウンディングのために，DOM要素idは保持する．エラー数の増減とその内訳．モデル能力と観測表現の関係結果から，高性能なモデルほど情報量の多い観測を活用できることが分かる．SOTAの商用モデル（gpt-5.1,gemini-2.5-flash）ではa11yよりHTMLのほうが性能が良い一方，オープンソースモデルではHTMLを用いると性能が劣化するケースが多い．a11yにスクリーンショットを併用した場合でも，同様に商用モデルのほうが効果が大きい．同一ファミリ内での異なるモデルサイズを比較すると，モデルサイズが小さいときのほうがHTMLによる性能の劣化が大きい傾向がある．例えば，reasoning_effort設定が同じhighのとき，gpt-oss-120b/20bを比較すると，後者のほうが影響が大きい．また，商用モデルであってもo3-miniのような旧来の小型推論モデルでは，gpt-5.1と比べるとHTMLの効果が限定的である．思考トークン量と観測表現の関係思考トークン量が多いほど，詳細な観測であるHTMLを活用できることが分かる．例えば，同じgpt-5.1でも，reasoning_effortをlowからhighにすることで，HTMLによる性能向上が大きくなる．また，思考トークンを生成しないLlama-3.1-70Bでは，HTMLの使用により大幅に性能が低下しており，この傾向と整合的である．3.3グラウンディングエラー分析実験設定§3.2の結果をより詳細に分析するため，本節ではエージェントが各ステップで出力した行動が環境で正しく実行されたか否か（グラウンディングの成否）を検証する．Playwrightによる行動実行時に例外が発生した行動をグラウンディングエラーとしてカウントし，エラーの文字列パターンに基づいて分類した．a11yからHTMLへの変更で成功率が向上したモデル（gemini-2.5-flash，gpt-5.1(high)）と低下したモデル（gpt-oss-20b(low)）を比較分析した．エラー分類の詳細な説明については，付録A.2を参照されたい．org/licenses/by/4.0/).エラーの内訳図2に，a11yからHTMLへの変更に伴うエラー数の増減とその内訳を示す．商用モデルのgemini-2.5-flash，gpt-5.1(high)ではエラー総数が減少する一方，オープンソースモデルのgpt-oss-20b(low)では増加している．このことから，HTMLへの変更がグラウンディングの成否に影響を与え，それがタスク成功率の差につながっていると考えられる．以下，エラー種別ごとに分析する．notfoundエラーは，DOM内に存在しない要素のidを行動の対象として指定してしまうエラーである．このエラーはgpt-oss-20b(low)では大幅に増加する一方，gemini-2.5-flash(budget=16384)では微増にとどまっている．この結果は，商用モデルのほうが長文読解能力に優れており，存在しないidを参照する挙動（ハルシネーション）を抑制できていることを示唆する．また，同じgeminiモデルでもgemini-2.5-flash(budget=128)では大きく増加していることから，思考トークン量の増加もハルシネーションの抑制に寄与することが分かる．Interceptedエラーは，操作対象の要素の上に別の要素が重なっているときに操作が奪われてしまうエラーである．このエラーは全てのモデルで減少しており，特に商用モデルでは顕著である．本実験で用いたHTMLには，要素の前後関係を指定するz-indexを含むCSSスタイル情報が含まれている．商用モデルはこの情報から要素の重なりを把握し，エラーを回避できたと考えられる．まとめ以上から，商用モデルではHTMLの豊富なレイアウト情報を活用してグラウンディングエラーを減らせる一方，オープンソースモデルでは情報過多によるハルシネーションでエラーが増加することが分かった．3.4観測履歴とタスク成功率本節では，過去の観測履歴を用いることの効果を検証する．観測の表現形式はa11yに固定し，履歴なし（hist0），過去4/9ステップ分の履歴あり（hist4/hist9）を比較した．またhist9については，完全な観測を追加する方法（full）と，一つ前の観測との文字列的な差分のみを追加する方法（diff）の二つを検証した．表2に実験結果を示す．観測履歴の効果実験結果から，ほとんどのモデル・設定で観測履歴の追加は性能を向上させることが分かる．さらに，o3-miniやgemini-2.5-flashでは（%）．WorkArenaL1で評価．スコア横の括弧内にhist0からの差分を示す．hist0は履歴なし，hist4/hist9は直前4/9ステップの観測履歴を追加．hist9列のfullは完全な観測履歴，diffは前ステップとの差分のみを追加した設定を示す．モデル名末尾の/Hと/Lはreasoning_effortのhigh/low，またはthinking_budgetの16384/128を示す．入力トークン数は参考値としてgpt-5.1(high)のものを掲載．hist0hist4hist9full/diff入力トークン67202618439011/13670商用モデルgpt-5.1/H55.858.8(+3.0)58.8(+3.0)/58.8(+3.0)gpt-5.1/L49.153.0(+3.9)50.9(+1.8)/53.3(+4.2)o3-mini/H39.743.0(+3.3)43.3(+3.6)/46.1(+6.4)gemini-2.5-f/H45.548.2(+2.7)50.0(+4.5)/48.2(+2.7)gemini-2.5-f/L28.539.4(+10.9)39.4(+10.9)/33.3(+4.8)オープンソースモデルgpt-oss-120b/H46.749.1(+2.4)48.5(+1.8)/46.4(-0.3)gpt-oss-120b/L33.637.6(+4.0)40.0(+6.4)/39.1(+5.5)gpt-oss-20b/H46.446.7(+0.3)48.8(+2.4)/49.1(+2.7)gpt-oss-20b/L20.023.9(+3.9)23.9(+3.9)/24.2(+4.2)hist4よりhist9のほうが性能が向上しており，更なる履歴量の増加による改善の余地も示唆された．この性能向上の要因を探るため行動パターンを分析したところ，観測履歴の追加により前ステップと同じ行動の繰り返しが減少していた．これは観測履歴がタスク進捗の理解を助けていることを示唆する．詳細は付録A.3を参照されたい．観測履歴の差分の効果hist9において，full形式とdiff形式を比較すると，diff形式でも一般に履歴なし（hist0）から性能を向上させることが分かる．また，gpt-5.1(low)やo3-miniではfull形式と同等もしくはそれ以上の効果が得られた．diff形式では入力トークン数を1/3程度に抑えられるので，効率的なアプローチだといえる．4おわりに本研究では，Webエージェントの観測軽量化のトレンドを再検証し，以下を明らかにした：(1)オープンソースモデルでは簡素な観測（アクセシビリティツリー）が有効だが，高性能な商用モデルではむしろ詳細な観測（HTML）が有効である(2)商用モデルはHTMLのレイアウト情報を活用できる一方，オープンソースモデルでは入力増大によりハルシネーションが増加する(3)推論時の思考トークン量を増加させることで，詳細な観測の効果を高めることができる(4)観測履歴の追加は多くのモデル・設定で有効であり，差分表現による効率化も可能である．org/licenses/by/4.0/).