環境依存情報を利用しない大規模言語モデルによるコンピュータータスク自動化手法

大規模言語モデル(LLM)を用いたエージェントによってさまざまなコンピュータータスクを自律的に実行する手法が提案されている。先行研究で提案された手法の多くはHTMLのコードなど環境に依存した情報を用いており、それらを用いることのできない環境では使用できず、汎用性に欠ける。本研究では環境に依存した情報を用いずにタスクを実行する手法を提案する。具体的には、コンピューター画面のスクリーンショットを画面上のテキストとユーザーインターフェースの要素の位置情報に変換し、その情報からマウスやキーボード操作のコマンドをLLMに生成させる。結果としてコンピューター画面の画像の入力のみでタスクを実行できるようになり、また、高いタスク成功率を示した。