ディスプレイ操作記録ツールの提案と有効性の検証

パーソナルコンピュータのディスプレイを理解・操作する視覚言語モデルの実現に向けて，環境構築やデータ作成の負担軽減を目的に，ディスプレイ操作を記録し，モデル学習用データに変換するツールRecGUIを提案する．有効性を検証するため，人手で操作した10時間分のデータを作成し，学習済み視覚言語モデルに基づくモデルを新たに導入する．ディスプレイ画像からの行動選択に適用し，ベースラインモデルとの比較から有効性を確認する．今後の課題は，タスクの追加によるツールの完成度向上，並びにモデルのタスク成功率の改善である．