学習データの珍しさを考慮した多様な広告文生成

リスティング広告とは、ユーザーの検索キーワードに関連した広告がリスト形式で表示される広告である。リスティング広告の入稿形式の1つであるレスポンシブ検索広告(RSA)は、1つの広告に複数の広告見出し、説明文を入稿し、配信媒体側でその組み合わせを自動で調整することで、ユーザーごとに最適な広告文を表示できる広告である。例えばGoogleやYahoo!のRSAでは、最大15個の広告見出し、及び最大4個の説明文を一つのRSAに入れることができる。RSAの運用では、様々なユーザーにリーチするためにその入稿枠を全て埋めることが推奨されている。しかし、広告ごとに大量のアセットを考える業務負荷は非常に大きい。そのため、制作現場では多様な広告文を生成出来る技術が求められている。この課題に対して川本ら[1]は、変分AutoEncoderにより広告文の潜在空間を獲得し、品詞系列で条件づけることで、多様な広告文を生成する手法を提案している。しかし上記手法では、多様性が向上する代わりに、妥当性や流暢性が低下するトレードオフの問題が確認された。また、近年ではTransformer[2]に代表される事前学習済み汎用言語モデルを活用することで、高い流暢性を持った広告文自動生成技術が数多く提案されている。脇本ら[3]や黒木ら[4]は大規模言語モデルの入力にキーワードを利用することで、大規模言語モデルが元々備える流暢性と、キーワードによる方向付による妥当性の両立に成功した。しかし上記手法は、多様性向上を目的としていないため、何度生成しても同じような広告文ばかりが生成されてしまうという問題があった。そこで本研究では、高い妥当性を維持しながら、既存の手法よりも多様性を高くするモデルの学習方法を提案する。具体的には学習データに含まれる各広告文の表現の珍しさ（レア度）を事前に計算し、そのレア度に応じて学習データの重み付けを行った。レア度で重み付けを行うことで、モデルは珍しい表現が使われた広告文を重視して学習するため、生成時に多様性が向上することが期待できる。レア度の計算にはPerplexityを用いた。また、モデルの評価にはPairwise-BLEU[5],local-distinct𝑛(n=1,2)[1],recall-BLEU[6]を用いた。