大規模言語モデルによるセリフを含む物語の可視化手法

近年，大規模言語モデル（LLM:LargeLanguageModel）を用いた物語を視覚的に表現する手法が議論されている[1][2][3]．しかし，物語の内容を的確に解析し，視覚的な情報を抽出・再構成する手法には，いまだ多くの課題が残されている．その中でも，キャラクターのセリフや感情，行動といった物語の本質的な要素を取り入れる試みは十分に行われていない．本研究では，LLMを活用し，物語のセリフを考慮しながら，物語をChainofThought（CoT）Promptingにより解析・分割し，画像生成プロンプトを作成する新たな手法を提案する．提案手法の最大の特徴は，セリフを含めた物語の可視化にある．従来のCoTPromptingによる物語の分割手法は，イベントやハイライトの識別に焦点を当てるものの，セリフを十分に考慮していないため，物語の雰囲気やキャラクターの感情などをうまく表現出来ていなかった[1][2][3]．そこで提案手法では，セリフを含む形で物語を解析・分割し，各シーンに対して描画情報を整理し，画像生成プロンプトを作成する．ChatGPT[4]で作成した短編物語から各シーンの画像を生成し，CLIPScore[5]で評価し，提案手法は物語本文を直接分割する方法に比べ，セリフの有無に限らず視覚的情報が画像に反映されることを示す．