環境依存情報を利用しない大規模言語モデルによるコンピュータータスク自動化手法

大規模言語モデル(LLM)はさまざまな分野で応用されており、自律的にコンピュータータスクを実行するエージェントとしても利用される。このようなエージェントは人間から与えられるタスクと現在のコンピューターの状態に基づいて、次に実行するべきアクションを予測し、タスクを完了する。既存の研究の多くはHTMLのコードなど環境に依存した情報をLLMに入力することで現在のコンピューターの状態を認識させ、次に実行するべきアクションを予測させている[1,2,3]。そのような手法は特定の環境でしか適用することができない。例えば、HTMLのコードはwebブラウザー以外のソフトウェアでは利用できないことが多い。この問題に対処するため、本研究では特定の環境でしか利用することのできない情報を使わずに、コンピューター画面のスクリーンショットの内容を描写したテキストのみを使用してコンピュータータスクを実行する手法を提案する。スクリーンショットの処理には光学的文字認識(OCR)モデルや物体検出モデルを使い、スクリーンショット上のテキストやユーザーインターフェース(UI)の要素の名称とその位置情報を示したバウンディングボックスに変換する。出力はマウスやキーボード操作のコマンドとなる。モデルの評価にはさまざまなコンピュータータスクからなるMiniWoB++ベンチマーク[4]を用いる。コンピューター画面のスクリーンショットのみを利用しているため他の環境でも使える手法であり、結果としてタスク成功率9割を達成した。