大規模言語モデル(LLM)を用いたエージェントによってさまざまなコンピュータータスクを自律的に実行する手法が提案されている。先行研究で提案された手法の多くはHTMLのコードなど環境に依存した情報を用いており、それらを用いることのできない環境では使用できず、汎用性に欠ける。本研究では環境に依存した情報を用いずにタスクを実行する手法を提案する。具体的には、コンピューター画面のスクリーンショットを画面上のテキストとユーザーインターフェースの要素の位置情報に変換し、その情報からマウスやキーボード操作のコマンドをLLMに生成させる。結果としてコンピューター画面の画像の入力のみでタスクを実行できるようになり、また、高いタスク成功率を示した。

大規模言語モデル(LLM)はさまざまな分野で応用されており、自律的にコンピュータータスクを実行するエージェントとしても利用される。このようなエージェントは人間から与えられるタスクと現在のコンピューターの状態に基づいて、次に実行するべきアクションを予測し、タスクを完了する。既存の研究の多くはHTMLのコードなど環境に依存した情報をLLMに入力することで現在のコンピューターの状態を認識させ、次に実行するべきアクションを予測させている[1,2,3]。そのような手法は特定の環境でしか適用することができない。例えば、HTMLのコードはwebブラウザー以外のソフトウェアでは利用できないことが多い。この問題に対処するため、本研究では特定の環境でしか利用することのできない情報を使わずに、コンピューター画面のスクリーンショットの内容を描写したテキストのみを使用してコンピュータータスクを実行する手法を提案する。スクリーンショットの処理には光学的文字認識(OCR)モデルや物体検出モデルを使い、スクリーンショット上のテキストやユーザーインターフェース(UI)の要素の名称とその位置情報を示したバウンディングボックスに変換する。出力はマウスやキーボード操作のコマンドとなる。モデルの評価にはさまざまなコンピュータータスクからなるMiniWoB++ベンチマーク[4]を用いる。コンピューター画面のスクリーンショットのみを利用しているため他の環境でも使える手法であり、結果としてタスク成功率9割を達成した。