パーソナルコンピュータのディスプレイを理解・操作する視覚言語モデルの実現に向けて，環境構築やデータ作成の負担軽減を目的に，ディスプレイ操作を記録し，モデル学習用データに変換するツールRecGUIを提案する．有効性を検証するため，人手で操作した10時間分のデータを作成し，学習済み視覚言語モデルに基づくモデルを新たに導入する．ディスプレイ画像からの行動選択に適用し，ベースラインモデルとの比較から有効性を確認する．今後の課題は，タスクの追加によるツールの完成度向上，並びにモデルのタスク成功率の改善である．

コンピュータのディスプレイを人のように理解・操作する人工知能の探究は，生活にコンピュータが溶け込んだ現代社会における言語の世界接地を考える上で重要であると同時に，複雑な作業の自動化など産業応用も期待できる有望なテーマである．近年ではブラウザ[1,2,3,4,5]やゲーム[6,7]，スマートフォン環境[8]を対象に活発に研究されている．我々は業務作業の自動化への応用を念頭に，特にパーソナルコンピュータ(PC)のディスプレイ1）に焦点を当てる．PCディスプレイを対象とする研究ではブラウザやゲームエミュレータといった単一の応用ソフトに関する研究と，複数の応用ソフトに関する研究がありえる．前者に比べて後者の研究が進んでいない．主な原因としてPCディスプレイ上での操作を記録し学習用データを作る標準的な手法の不足がある．過去には，複数のアプリケーションを対象とする強化学習プラットフォームOpenAIUniverse[9]が存在したが，現在は廃止されている．本稿では，汎用的なPCディスプレイの操作技術∗現在はNTT人間情報研究所に所属する．1）ここでのPCのディスプレイとは画面と入力デバイス（マウスとキーボード）が合わさった概念を表す．は環境構築やデータ作成における煩雑さの軽減，手法の統一による研究間でのデータ共有の促進を目的とする．の実現に向け，PCディスプレイの操作を記録しモデル学習用データに変換するツールRecGUI(図1)を提案する2）．さらに，提案ツールを用いてモデル学習ができることを確認するため，WebタスクセットMiniWob[1,2]を人手で操作した10時間分の記録から試用データを作成する（§2）．また，視覚言語モデルViLT[10]の微調整（ﬁne-tuning）によって，ディスプレイ画像のみを環境入力として行動生成するモデルを新たに導入する（§3）．RecGUIで作成したデータを用いてモデルを学習し，実環境でのタスク遂行の成功率において，ランダム選択モデル(ベースライン)を上回ることを確認した．また，分析により成功できるのは基本的なタスクに限られるとわかった（§4）．成功率の向上が今後の課題である．