Webエージェントにおけるヒントの抽象度とタスク関連度が性能に与える影響の分析

エンティティや入力値への依存を減らすために情報大規模言語モデル（LLM）の発展により，Webやを抽象化することで，タスク間での汎化性能が向上GUI環境で複雑なタスクを遂行するエージェントし，結果としてエージェント性能が改善されることの研究が急速に進展している[1]．これらのタスクが示されている[4,5,6,7]．例えば，具体的なエンは，単一の行動ではなく，複数ステップにわたりティティを除去して手順情報のみを抽出するものか適切に行動をする必要がある．一般的な設定では，ら，手順情報自体を含めず，より汎用性の高い知見エージェントは実行中のタスク（以下，ターゲットを抽出するといった抽象化が行われている．タスク）において環境とインタラクションを行いなこの時，適切なヒントの抽象度は、ソースタスクがら，試行錯誤を通じてタスク遂行に必要な知識をとターゲットタスクの関連度に依存すると考えら動的に獲得する．対象となるWebサイトやUIは多れる。例えば，タスク間の関連度が高い場合には具様であり，個々のタスク遂行に必要な知識をLLM体的な実行情報を含むヒントが有効である一方，関が事前学習によって必ずしも獲得しているとは限ら連度が低い場合には，より抽象化されたヒントが有ない．そのため，エージェントは実行時のインタラ効になる可能性がある．しかし，既存研究ではヒントの抽象度を固定した上で評価を行うことが多く，∗本論文への貢献はNECへのインターンシップ活動中に行われたものである．org/licenses/by/4.0/).ソースタスクとターゲットタスクの関連度に応じて，どのようなヒント抽象度が有効となるかについては明示的に分析されていない．本研究では，「ソースタスクとターゲットタスクの関連度に応じて，ヒントの抽象度の効用はどのように変化するのか」を検証する．具体的には，3種類の抽象度のヒントと4段階の関連度の組み合わせがエージェント性能に与える影響を実験的に分析する。WebArenaModベンチマークを用いた実験の結果，タスク間で手順やエンティティなどの共通する情報を持つ場合は，対応する手順およびエンティティに関する情報を保持することが有効な一方，タスク間の関連度が極めて低い場合は汎用的な知見ヒントが比較的高い性能であることが確認された．さらに，タスク毎の成功数変化を分析したところ，ヒントの条件によって正の影響と負の影響の傾向が異なることが確認された．