半自己回帰的に拡散モデルを活用するトレースベースの意図反映キャプション生成

画像キャプション生成は，画像の内容を自然言語で説明するマルチモーダル理解において重要なタスクである．近年，画像認識と自然言語処理の発展により，高品質なキャプション生成が可能となった．しかし生成されるキャプションは多くの場合，画像全体の概要説明にとどまり，ユーザーが注目する特定の領域や詳細について，より精緻な説明を得ることは難しい．この課題に対し，生成キャプションを制御可能にするControllableImageCaptioningの研究が進められているが，既存手法の多くはバウンディングボックスや文長など限定的な制御にとどまる[1,2,3,4]．本研究では，ユーザが画像上をなぞったトレース情報を制御信号として活用し，座標や滞在時間などの多様な情報を基に，個人の嗜好や視点を反映した柔軟なキャプション生成を提案する．近年，拡散過程を用いた生成モデルが従来の敵対的生成ネットワークを超える性能で高品質な画像生成を実現している[5,6]．Liら[7]は，連続的な情報を扱う拡散モデルを離散的な自然言語文生成に適分割データセットLocalizedNarratives採用NN不採用ステ#プ前からの座標変化量閾値ステ#プ前からの座標変化量説明区間説明区間(採⽤)(採⽤)②Bat①③Person&BallNetInthisimageIcanseethreepeopleontheground.Thesepeoplearewearingwhite,blueandblackcolordresseswiththehelmets.TotherightIcanseethebaseballbatandtheballintheair.Andthisimagecanbeseenthroughthenet.InthisimageIcanseethreepeopleontheground.Thesepeoplearewearingwhite,blueandblackcolordresseswiththehelmets.TotherightIcanseethebaseballbatandtheballintheair.Andthisimagecanbeseenthroughthenet.の例用し，条件付きテキスト生成において優れた性能を示した．この成果を契機に拡散言語モデルを自然言語処理タスクに応用する研究が急速に進展している[8,9,10,11]．また非自己回帰型生成を基本とする拡散言語モデルの拡張により，半自己回帰および自己回帰型生成が可能となり[12,13]，トークン間の依存関係の考慮による生成文の流暢性向上が期待されている．さらに，拡散モデルが状態遷移を伴う潜在変数モデルである特性を活かし，分類器などの補助モデルから得られる勾配を利用することで，言語モデルの追加学習を行わずに多様な属性を持つテキスト生成が可能である[14,12,10]．本研究では，拡散言語モデルを用いた半自己回帰型キャプション生成手法を提案する．この手法では，トレース情報に基づく領域指定と，文脈を考慮した段階的な生成により，ユーザーが注目する特定領域に関する詳細かつ自然なキャプション生成を実現する．また，自己回帰型と非自己回帰型を組み合わせたハイブリッド設計により，流暢性と制御性の両立を目指す．