TEPPAY:ゲームのプレイ動画を入力とする実況AITuberシステムの提案

YouTube1）などの動画配信サービスを用いて、任意のコンテンツに関する解説や実況を配信する人（YouTuber）の認知が広がっている。特に、自身ではなく3Dモデルのキャラクターなどの仮想的なキャラクターによる解説・実況を行うVTuber（VirtualYouTuber）は、日本発祥のコンテンツ文化として広く普及しつつある[1]。これらの普及の背景には、配信コンテンツや配信者そのものへの人気のみならず、誰もが配信活動を行うことができるという点に関心が集まっていることが挙げられる。配信者は、OBSStudio2）などのソフトウェアを用いることで容易に動画配信を行うことができる。また、VTuberにおける2D・3Dモデルの作成や、音声合成・変換による任意のスタイルの音声作成を支援するソフトウェアもこれらの活動の普及を加速させている。しかし、前述した目的ごとに複数のソフト1）https://youtube.com2）https://obsproject.comウェアを同時に扱う必要があるため、準備にかかる労力や、事前知識のない人にとっての参入障壁は依然として高い。また、インターネット上でのコミュニティとのつながり獲得を目的として、自身のゲームプレイを配信しようと考えたことがある人の中には、実況の能力への不安ゆえに参入できない人もいる。一方で、ChatGPT3）などの大規模言語モデルを用いたサービスの台頭によって、配信へのコメントに対する応答の生成など、より柔軟性の求められる発話の実現可能性も高まりつつある[2]。これらのソフトウェアやサービスの登場、および参入障壁に関する課題を背景として、本論文では気軽な配信を実現するシステムとして「動画像を入力とし、VTuberによる実況を生成するシステム:TEPPAY(TheEnhancedProductPlayingAIYouTuber)」を提案する。ゲームのプレイ自体は人が行い、アバターの準備や実況中の表情変化、あるいはゲームの画面に基づいた実況の発話などをTEPPAYによって自動化することを目的としている。TEPPAYは、動画像のシーン検出やシーンからの状態抽出などの複数のモジュールから構成される。本研究では、配信する動画コンテンツとして人気のあるカテゴリの1つである「ゲーム配信」のうち、特に「対戦型格闘ゲーム」のプレイ動画を題材として、TEPPAYの各モジュールの役割や課題について整理し、現状のシステムの性能調査、および改良に向けた議論を行う。TEPPAYの各モジュールの性能について実験した結果、必要最低限の性能は担保されているものの、視聴者の興味を惹く魅力的な実況の提供を実現する上での課題が存在することを確認した。3）https://openai.com/chatgpt.