プロンプトチューニングとkNN-LMを組み合わせたリスティング広告のタイトル自動生成

リスティング広告とは，ランディングページ（以下，LP）の広告をユーザーが検索した検索クエリに関連して表示する広告手法である．近年，検索クエリとLPのHTMLタグ情報を含んだ入力を言語モデル（以下，LM）に与えて，リスティング広告の広告タイトルを自動生成させることが盛んである[1]．現在では，事前学習済みLMにFine-Tuningを施すことで，広告タイトルを生成することが一般的である．一方，広告タイトルの文字数制限などの規定は掲載するプラットフォームによって変わり，また，社会のトレンドに応じて広告のあり方が変わる．そのため，その度にFine-Tuningが必要になるが，Fine-TuningはLMが大規模になると計算コストが増加するため，広告の規定やトレンドへの対応が困難になる．本研究では，Instruction-Tuning[2]済みLMを使用し，さらにkNN-LM[3]を導入して広告タイトル生成を行う手法を提案する．Instruction-Tuning済みLMに対してプロンプトチューニングを行うことで，広告の規定やトレンドに対応する．また，kNN-LMは，入力に対する予測トークンのデータストアを事前に作成し，そのデータストアに対して用例検索を行うことで，Fine-Tuningなしで生成品質を向上させる．さらに，kNN-LMにおいて，データストアを構築して用例検索をするLM（以下，LMkNN）と生成を行うLM（以下，LMgen）を分ける（図1）．従来のkNN-LMは，LMkNNとLMgenは同じものを用い，入力も同じである．そのため，プロンプトチューニングによって入力を変えた場合，その度にデータストアを作り直す必要がある．そこで，LMkNNとLMgenを分けることによって，データストアとLMkNNを固定しつつ，LMgenに対してプロンプトチューニングを行うことを可能としている．実験から，提案手法によってInstruction-Tuning済みLMより最大でROUGE-1は0.117，ROUGE-2は0.107改善したことや，LMkNNとLMgenで異なるLMを使うことによって性能の低下がないことを確認し，データストアを作り直す計算コストを削減できることを確認した．