LLMを用いたブラウザ操作エージェントによる社内システムのUIの自動評価手法の検討

航空運送事業をはじめとして多角的に事業を展開するANAグループでは，現場オペレーションのデジタル化による生産性向上を強力に推進している．グループ内には200を超える基幹システムに加え，多種多様な業務支援ツールが存在しており，これらツールのUIの最適化は，社員の業務効率化のみならず，最終的なお客様へのサービス品質の向上に直結する極めて重要な要素である．しかし，膨大な数のシステムに対して一貫して高品質なUI/UXを実現することは容易ではない．第一の課題は評価コストと精度である．従来のUI評価はユーザビリティテストやヒューリスティック評価に依存してきたが，これらの人手を前提とする手法は，頻繁なシステム更新に対して継続的に実施することはコスト面で現実的ではない．また，評価者のスキルによって品質にばらつきが生じやすく，レビューの質の高度化や標準化が課題となる．第二の課題は社内システム特有の制約である．専門性の高いツールほど機能の拡充に伴ってUIが複雑化し，ITスキルが必ずしも高くない現場利用者にとって「操作のつまずき」や「利用放棄」を招くリスクを孕んでいる．また，マニュアル展開の都合からUIの並行運用を維持しづらく，A/Bテストなどによる定量的実績の収集が難しいという制約が存在する．本研究では，これらの課題を解決するため，LLMを用いたブラウザ操作エージェントによるUI自動評価手法を提案し，その検証を行った．本手法は以下の役割を持つ2種類のエージェントを用いる点に特徴がある．•利用者役エージェント：定性評価を担当する．ITスキルが低い社員を模倣し，作業遂行中に生じる困惑点や気づきにくいUIの問題を自然言語で報告する．•専門家役エージェント：定量評価を担当する．Nielsenのユーザビリティ原則に基づきUIの構造的問題を体系的に点検し，スコアとして出力する．両者を組み合わせることで，利用者が遭遇しやすい具体的な問題と，専門家視点で本来改善すべき構造的な問題の双方を自動的に検出し，UI改善に有用なフィードバックを得ることができた．本稿では，この手法を社内の膨大なアンケートやサービス改善に関する報告書の分析を効率化するAIツール「ANAlyzer-Buddy」の刷新プロセスと比較した結果を報告し，AIが生成する指摘が要件定義を行うANAのIT担当者の評価，指摘といかに整合するかを明らかにする．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).点，認知負荷の高い表示，見つけにくいボタンなどを随時記述し，利用者が遭遇する潜在的なつまずきを抽出することを目的とする．評価は5回実行し，得られた評価文を要約・統合して最終的な指摘として提示する．これはNielsenが示した「5ユーザーで主要な問題の大半を検出できる」という知見による[3]．同一モデル・同一プロンプトであるが，LLMの非決定性を利用して5回試行することで，操作の迷いや実行操作の差異を擬似的に抽出した．3.2専門家役エージェント専門家役エージェントのプロンプトにはNielsenの10原則を与え，原則に基づいた評価を行う専門家を模倣するよう設計した．評価のばらつきを抑え，短時間での反復実行を可能にするため，各原則を「満たす(1)／満たさない(0)」の二値スコアで評価した．ヒューリスティック評価を厳密に再現することを目的とするものではなく，UI改修前後の変化を検知するための簡略化された指標として設計した．評価は13回実行し，平均スコアを出力する．各評価をベルヌーイ試行と仮定すると，その平均は中心極限定理より近似的に正規分布に従う．UI改修前後の平均スコアの差はt検定を用いて比較し，改修後のスコアが有意に低下した場合にはユーザビリティの悪化を検知する．本研究ではUI改修のタイミングごとに短時間で評価を完了できることを重視しており，必要な評価回数を事前に設計可能であることが重要である．t検定では，検出したい差分と標準偏差の関係から必要な評価回数を比較的容易に定めることができる．評価回数は，有意水準5%の左片側検定で改修前後での各原則の平均点の差が標準偏差以上のとき検出力が80%となるように設定した[4]．4実験設定ANAが開発したANAlyzer-Buddyは，度重なる機能追加によって煩雑になっていたUIの大幅刷新を本研究と同時期に実施している．そこで，UI刷新前後に対してエージェントの出力結果を比較する実験を行った．4.1対象システムANAlyzer-Buddyは，社内アンケートや各種レポートなどの自然言語で記述された社内文書に対してLLMを用いてタグ付けを行うシステムである．複数ステップからなる操作手順を持ち，少人数の利用者が業務に合わせて利用することを想定している．4.2使用モデルとライブラリエージェントを動作させるのはGemini2.5Pro，出力の要約・統合にはGemini2.5Flashを用いた．エージェントライブラリにはBrowserUseを用いた．4.3タスク設定プロンプトには評価対象とする操作手順を与えることが可能である．今回は最もオーソドックスなタスクを設定した．1.分析ファイルを新規作成する