WebArenaはWeb操作エージェントの標準的なベンチマークとして広く利用されている．しかし，実行環境と評価系には実験の安定性や評価の妥当性を損なう課題が残されている．本稿では，WebArenaを網羅的に調査し，全タスクの約40%に影響する問題群を発見し，その要因を特定した：(1)インフラの動作不良，(2)評価ロジックの不備，(3)タスク定義の曖昧さや矛盾，である．これらに包括的に対処する修正パッチ群「WebArenaMod」を提案し，75件のタスクサブセットを用いた評価実験により，偽陰性率が21.3%から1.3%へと20ポイント低減することを確認した．修正パッチ群およびプログラムはGitHub1）にて公開し，エージェントの能力を正確に測定するための信頼できる実験基盤を提供する．

自律型Web操作エージェントは，大規模言語モデル（LLM）や視覚言語モデル（VLM）の実世界応用における重要な研究領域である．その能力を正確に評価するベンチマークの整備は，手法間の公正な比較と該当分野の発展に不可欠である．WebArena[1]は，EC・フォーラム・ソフトウェア開発・コンテンツ管理・地図という実サービスを模したWebサイト群と812件の人手検証済みタスクを提供し，自律型Webエージェント評価の事実上の標準として広く採用されている[2,3,4,5]．しかし，我々がWebArenaの評価プロセスを網羅的に調査した結果，全タスクの約40%において評価の妥当性が損なわれている可能性が明らかとなった．詳細な要因分析により，以下の3つの課題が特定された．実行環境の不安定性ベンチマークが提供する環境構築方法には，リソース管理と実験サイト設定の両面に不備がある．具体的には，メモリ不足による1）https://github.com/nec-research-labs/WebArena-Modシステムの再起動や，過度なアクセス制限による正常な操作の拒絶が発生している．これらはエージェントの能力とは無関係なタスク失敗の要因となっている．評価ロジックの限界評価プログラムの実装にはいくつかの不備がある．LLMジャッジの判定基準が厳格すぎること，複数正答の処理の不備，URL正規化の未実装などにより，意味的に正しい回答であっても形式的な差異のみで不当なペナルティが生じている．曖昧・不正確なテストデータタスク設定には，指示と評価基準の矛盾，曖昧な記述，不正確な参照回答，フォーマット要件の未記載といった問題が含まれており，正しい回答が不当に棄却される原因となっている．さらに，一部のタスクは原理的に実行不可能である．本稿では，これらの問題に包括的に対処する修正パッチ群WebArenaModを提案する(図1)．WebArenaが推奨するエージェントフレームワークであるBrowserGym[6]，およびWebArenaの評価機能をパッケージ化したlibwebarena[7]と互換性を維持しつつ，既存のコードを変更せずに適用できる．各課題に対する具体的な対処は以下の通りである：•環境の安定化（3.1節）：実験サイトに対してリThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3.1環境の安定化3.1.1OpenStreetMapバックエンド地図機能を担うクラウド層（2.1節）について，WebArenaが当初提供していた公開サーバーは頻繁に停止している．これに対しWebArenaチームはAWS上でのセルフホスト方法を提供しているが，このセルフホスト環境もメモリ不足や設定不備により不安定である．公式のセルフホスト用スクリプトはt3a.xlargeインスタンス（16GBRAM）を想定しているが，OSRMが各3.5–4.5GB×3コンテナ，Nominatimが最大6GB，タイルサーバーがピーク時4GBを必要とし，メモリ枯渇が発生する．また，タイルサーバーの–shm-size未指定により間欠的な404エラーも発生する．これらの問題により，高負荷時にコンテナが再起動し経路検索が応答しなくなる，地図画像が描画されないといった障害が発生し，エージェントの能力とは無関係にタスクが失敗する．これに対し，適切なメモリ制限とコンテナ設定を施したt3a.2xlarge向け修正版スクリプトを提供する．3.1.2ローカルWebArenaスタックローカル層の構築には，BrowserGymが参照するwebarena-setupリポジトリ[12]のスクリプトが広く利用されている．しかし，(1)フォーラムのレート制限およびローカルURLブロッキングにより正当な操作が429/500エラーで失敗する，(2)PHPベースサービスのデフォルト設定が並行リクエストに不十分でタイムアウトが発生する，(3)パッチスクリプトがデータベース初期化前にコンテナを変更しSQLエラーを引き起こす，といった問題があった．その結果，正常な操作が拒否されたり，並行実行時にサービスが応答しなくなったりといった障害が発生する．これに対し，レート制限の緩和とローカルURLブロッキングの無効化，最適化されたPHPOPcache設定と明示的な共有メモリ割り当て，データベースサービスの準備完了チェックを実装した．3.2評価とテストデータの修正3.2.1評価ロジックlibwebarenaの評価コードには以下の問題があった：(1)LLMジャッジが「意味的等価性」のみを判定基準としており，正しい情報を含むが追加の文脈を伴う回答が不正解となることがある（付録A参照），(2)文字列・URL評価における複数正答の処理に不備があり，有効な回答が棄却される，(3)参照回答のURL（www.reddit.com等）がローカル環境のURL（localhost:9999等）と一致せず，正しい回答が棄却される．これらに対し，2段階LLMジャッジ（意味的等価性チェック＋ファジー包含チェック）を実装し，いずれかで合格すれば正解とする．また，複数正答を正しく処理するよう修正と，参照回答のURLをローカル環境のホスト名に正規化する処理を実装した．3.2.2タスクデータ812件のタスク設定を検証し，以下の問題を特定した：(1)評価が厳密な文字列照合を用いるにもかかわらず，タスク指示に出力形式の要件が記載されていない（例：参照回答「15213」に対し「郵便番号は15213です」は棄却される），(2)指示と評価基準の矛盾（例：「価格を上げる」指示で値下げをチェック），(3)参照回答がベンチマーク環境の実データと不一致，，(4)曖昧な指示例：「Nicが4月にしたコミット数は？」に対し，Nicを含むユーザ名が複数存在），(5)Chromiumの特定クッキー存在時にフォーラムログインが失敗する認証バグ，(6)実行不可能なタスク．これらに対し，フォーマット要件の明示，指示と参照の整合，参照回答の更新，曖昧な指示の明確化，認証順序の修正を行い，実行不可能なタスク（ID:2,5,184,425；詳細は付録B参照）を特定した．すべての変更はタスク設定ファイルを置換で修正する単一パッチスクリプトとして提供する．4実験WebArenaModによる評価精度の改善を検証するため，比較実験を実施した．org/licenses/by/4.0/).ジェント出力に対する人手評価を正解とし，WebArenaMod適用前後の評価パイプラインによる判定を分類した（TP:正しく成功と判定，FN:成功を失敗と誤判定，TN:正しく失敗と判定，FP:失敗を成功と誤判定）．構成TPFNTNFP適用前2316360適用後4013404.1実験設定タスクサンプリングWebArenaModの修正対象となるタスク群から75件を無作為に抽出した．エージェント設定GPT-5.22）を基盤としたAgentLab[6,21]のGenericAgent3）を使用し，use_screenshotを有効化した．比較条件同一のエージェントを以下の2条件で実行した：•オリジナル：公式スクリプトで構築した環境，libwebarenaの評価プログラムおよびタスクデータ•WebArenaMod：修正スクリプトで構築した環境，パッチ適用済み評価プログラムおよびタスクデータ評価指標各エージェント出力に対し，2名のアノテータががタスク指示と行動軌跡に基づき成否を独立に判定し，不一致があった場合は議論を経て最終判定を決定した．評価パイプラインの判定を人手評価と比較し，偽陽性（FP），偽陰性（FN），真陽性（TP），真陰性（TN）を算出した．実装BrowserGym（コミット254938b）およびAgentLab（コミット519abed）を使用した．4.2結果WebArenaModにより，偽陰性率は21.3%（16/75）から1.3%（1/75）へと20ポイント改善した．一方，偽陽性は両条件で0件であり，不正解を誤って正解と判定するケースは増加しなかった．なお，2条件間で実際の成功数に差異があるが（エージェントの非決定性による），本実験の主眼は評価パイプラインの判定精度である．偽陰性の大幅な削減は，WebArenaModが評価の信頼性を向上させることを2）gpt-5.2-2025-12-113）https://huggingface.co/spaces/ServiceNow/browsergym-leaderboard/blob/main/results/GenericAgent-GPT-5/README.md示している．4.3実験分析オリジナル環境で発生した16件の偽陰性のうち，WebArenaModにより15件が解消された．内訳は，タスクデータの修正（§3.2.2）によるものが9件，評価ロジックの修正（§3.2.1）によるものが6件であった．タスクデータでは参照回答の誤りや出力形式要件の欠如が主な原因であり，評価ロジックではURL正規化と2段階LLMジャッジが効果を示した．なお，本実験は逐次実行であり負荷が低いため，環境の安定化（§3.1）に関する問題は顕在化しなかった．並行実行を行う大規模実験では，環境修正の効果も期待される．以下に，解消された偽陰性の具体例を示す．タスク181（出力形式要件の欠如）「issueがクローズ済みか確認」に対し，エージェントは「ItsstatusbadgeshowsOpen,soitisnotclosed.」と正しく回答した．しかし参照回答「No」との文字列照合により不正解と判定された．指示へのフォーマット要件の明記により修正後の環境においては正しく評価された．タスク294（ローカルURL正規化の不備）「SSHでcloneするコマンドを表示」に対し，エージェントは正しいコマンドを出力した．しかし参照回答の外部ホスト名とローカル環境のホスト名が一致せず不正解と判定された．URL正規化により修正後の環境においては正しく評価された．5おわりに本稿で提案したWebArenaModは，WebArenaベンチマークの評価信頼性を損なう問題群を網羅的に調査し，全タスクの約40%に影響する課題を特定した．これらに対処する修正パッチ群を開発し，環境の安定化，評価ロジックの改善，テストデータの修正を行った．75件のタスクサブセットを用いた評価実験により，偽陰性率が21.3%から1.3%へと20ポイント低減することを確認した．WebArenaModは既存のBrowserGymおよびlibwebarenaと互換性を維持しており，GitHubにて公開している．Webエージェント研究における信頼性の高い評価基盤として活用されることを期待する．org/licenses/by/4.0/).