プロンプトチューニングとkNN-LMを組み合わせたリスティング広告のタイトル自動生成

リスティング広告のタイトル自動生成には，Fine-Tuningされた事前学習済み言語モデルをの活用が盛んである．また，Fine-Tuningはモデルやデータが大規模になると計算コストがより増加する．本研究では，Instruction-Tuning済みモデルにkNN-LMを導入し，プロンプトチューニングと用例検索によって広告タイトルを生成する．さらに，kNN-LMにおいて用例検索を行うモデルと生成を行うモデルを分けることで，プロンプトチューニングの度にkNN-LMのデータストアを再構築する必要をなくす．実験によって，提案手法によって広告タイトルの生成品質が向上することを確認し，計算コストを削減できることを確認した．