# 訴求軸を考慮したキーワードからの広告文生成

村田栄樹 1 大友寛之 ${ }^{2}$ 村上聡一朗 2 本多右京 2 舟久保弘明 2

1 早稲田大学理工学術院 2 株式会社サイバーエージェント

eiki.1650-2951@toki.waseda.jp

\{otomo_hiroyuki, murakami_soichiro, honda_ukyo, funakubo_hiroaki\}@cyberagent.co.jp
## 概要

広告文が適切な訴求を含むことは, その効果を高める.しかし,キーワードから広告文を生成する既存研究では明示的に訴求を考慮していない. 本論文では,キーワードを入力として広告文を生成するタスクを対象に, 訴求軸を考慮した広告文生成手法を提案する.キーワードに加え訴求軸を指定することで， その訴求を含む広告文を生成する. 自動評価および人手評価により, 入力された訴求軸に対応した適切な広告文を生成できることを確かめた。

## 1 はじめに

検索連動型広告では, 検索エンジンに入力されたクエリに関連する広告文が表示される。限られた文字数の中でユーザの興味を惹き, 高い広告効果を得るため, 検索クエリおよびキーワードとの関連性の高い広告文が求められる。

インターネット広告の市場は拡大し, 広告文自動生成の需要が高まっている. 広告文生成手法として, テンプレートにキーワードを挿入する手法 [1] やニューラル言語モデルを用いた手法 $[2,3]$ が研究されている. 後者では, キーワードや商品説明ページのテキスト,配信済みの広告等を入力として用いる. 検索連動型広告においてキーワードの挿入は広告効果に影響するため, キーワードが挿入されるように訓練することが重要である。一方，膨大な数のキー ワードに対して，月間 1 千万件以上の広告文生成が求められることもあり, API 経由での LLM の使用はコスト面に課題がある. そのため，本研究ではエンコーダ・デコーダモデルを学習・推論に用いる.

また，広告文において，どのような訴求を含むかはその効果に影響する要素である。例えば, “送料 1 ヶ月限定無料” という広告文では無料や期間限定であることを訴求し, “【ネット予約可】xx 駅徒歩 2 分のへアサロン”であればネット予約による利便性

図 1 データ構築方法およびタスクの概要.

やアクセスの良さを訴求する.このように, 訴求をその種類によって分類したものを, 本論文では訴求軸と呼ぶ. 業種によって適切な軸で訴求することは, 高い広告効果を生むことが知られている [4].

しかし, キーワードから広告文を生成する既存研究では訴求軸を考慮した生成はされていない. 生成時に訴求軸が制御可能になることで業種に対して効果的な訴求を含んだ生成が可能になる. また, 同じキーワードに対して複数の訴求軸での生成を行うことで多様性が高まるメリットもある。

そこで本研究では, キーワードに加え訴求軸を入力とし, 訴求軸に沿った広告文を生成する手法を提案する. 図 1 に本研究の概要を示す. 既存の \{キー ワード, 広告文 \} の入出力ペアからなるデータセッ卜には訴求軸が含まれていない，そこでまず広告文の訴求軸を予測する訴求軸判定器を使用し, \{キー ワード, 訴求軸, 広告文 $\}$ の形式のデータセットを構築する. 次に, キーワードと訴求軸を入力, 広告文を出力として, エンコーダ・デコーダモデルを訓練する. さらに Prefix-constrained Decoding (PcD) の導入により，生成における訴求軸の制御性の向上を試みる。

実験では, データセットの構築や, 訓練及び推論の設定を変更し, 有効な手法を探索する. 自動評価および人手評価を行い，提案手法はキーワードを挿入する能力を維持したまま訴求軸によって制御された生成が可能であることを示した.

## 2 関連研究

## 2.1 広告文生成

広告文生成ではこれまでに様々な手法が提案されてきた [5]. かつては適したキーワードをテンプレー 卜に挿入する手法 $[1,6]$ が主流であったが, 近年は事前学習済みモデルを用いて end-to-end に生成する手法 $[2,3]$ が中心となっている. モデルへの入力としては,キーワード $[7,3]$ や商品説明ページ $[8]$, 配信済みの広告 [9] が用いられる。

## 2.2 制御可能なテキスト生成

何らかの軸に沿ってテキスト生成を制御する手法は, 大きく2つに分類される. 一つは, 制御信号を入力しそれに即した生成をするように事前学習済みモデルを訓練するアプローチ [10], もう一つは, 分類器を用いたデコード時の工夫で，事前学習済みモデルのパラメータは更新せずに制御を行うアプローチ [11]である. 広告文生成においては, 前者のアプローチを採用し, 商品説明ページを入力とした設定において, 訴求を制御信号として用いた先行研究 $[12,13]$ がある. 本研究でも前者のアプローチを採用し, キーワードを入力とした設定において, 訴求により制御された広告文生成手法を提案する。

## 3 訴求を考慮した広告文生成

本研究ではキーワードから広告文を生成する手法において, 訴求軸の入力により生成を制御する. 訴求軸を考慮した広告文生成のために, 訴求を含んだ広告文データを構築し, モデルを訓練する。

## 3.1 データ構築方法

既存のキーワードから広告文を生成するタスクでは, $\{$ キーワード, 広告文 $\}$ ペアからなるデータを利用する.しかし，そこに訴求軸の情報は含まれない。 そこで既存ペアの広告文に含まれる訴求軸を予測し, $\{$ キーワード, 訴求軸, 広告文 $\}$ の形式のデータを得る. データ構築には広告文に含まれる訴求軸を予測するよう訓練された分類器を使用する.

通常, キーワードから広告文を生成する手法においては,キーワードのすべてが広告文に含まれるようにデータを抽出する. ただし, 図 1 に示すようにキーワードは複数の単語からなる. これは, 広告文がキーワードを含むことで高い広告効果を得られるこ
とが知られているためである. しかし広告文の文字数は限られており,キーワードのすべてを広告に挿入することに加えて指定された訴求を含むことは難しい. そこで本研究では, キーワードのすべての単語を含む $\{$ キーワード, 広告文 $\}$ ペアのみではなく， キーワードの一部のみを含むぺアも抽出する.この抽出法により,データセット全体として広告文へのキーワードの挿入率 (Keywords Insertion Rate, KwIR) が下がり, 訴求を含む余白が生まれると考える。一方, この抽出法によって文単位の KwIR が下がると考えられるが，実際の検索連動型広告では複数の広告文が組み合わされて表示される。そこで，KwIR について，複数の生成を組み合わせた設定でも既存手法との比較を行う.

## 3.2 広告文生成手法

キーワードと訴求軸を入力し, 広告文を出力するエンコーダデコーダ・デコーダモデルを訓練する.

本研究では訴求軸として, モデルの語彙に訴求軸を表す訴求トークンを導入する. 訴求トークンの埋め込み表現の初期化には各訴求に関連する上位 3 単語の埋め込み表現を平均することで得る.ここで訴求と関連する単語は, 訴求ごとに分類した広告文全体を文書としたときの TF-IDF で決定する.

さらに, 生成時の訴求軸の制御性の向上を期待して Prefix-constrained decoding を導入する. 具体的には, 訓練および推論の生成時に訴求トークンをデコーダの 1 トークン目として入力し, 続きを生成することで広告文を得る。

## 4 実験

## 4.1 実験設定

データセット構築社内の検索連動型広告のデー タを利用する. 本研究では, タイトルと説明文のうち,タイトルを広告文の対象とする。

対象とする訴求は, 先行研究 [4] で定義された軸のうち, 価格, 無料, スピード, アクセス, 利便性, 特典,品群,トレンドの 8 つとする.

広告文にどのような訴求が含まれるかアノテー ションされたデータで訓練された RoBERTa ゙ースのモデル [4]を訴求軸判定器として使用する. 訴求軸ごとにその訴求が含まれるか判定するマルチラべル分類器である.アノテーションされたデータにおいて, micro-/macro-F1 はそれぞれ 0.72, 0.58 であった.
表 1 KwIR の閾値ごとの構築したデータの統計. PPL は Perplexityを表し,表 2 と同様である.

上記を対象に，まず広告文を KwIR でフィルタする. $\mathrm{KwIR} \geq 50 \%$ であるペアを使用する設定と, $100 \%$ のみを使用する設定 ${ }^{1}$ でそれぞれデータセットを構築する. 次に, 抽出されたペアの広告文に対して訴求軸判定器を適用し, $\{$ キーワード, 訴求軸, 広告文 $\}$ の形式にする. 訴求軸とキーワードを連結して入力文字列とし, 入力文字列と広告文それぞれについて重複を取り除く. 最後にダウンサンプリングにより訴求軸の分布を均等にする. 得られたデータを $8: 1: 1$ に分割し, それぞれ学習，開発，評価データとする. 表 1 に構築したデータセットの統計を示す.

訓練・推論事前学習済みモデルとして, 日本語で訓練された $\mathrm{T} 5$ base $^{2}$ )を使用する。

推論時は訴求軸を制御できることを確かめるため,テストセットのキーワードに対してすべての訴求軸を大力し, それぞれ生成する.

Ablation Study 提案手法の有効性を検証するため, 訴求トークンの作成方法, PcD の有無, データセット構築のための閾値 KwIR について Ablation study を実施する. 訴求トークンの作成方法の比較手法として, 提案手法に加えて, TF-IDF 上位 1 単語の埋め込みを利用する手法 (Emb:1word), T5 の事前学習で使用された extra_id を使用する手法 (Emb:Extra),上位 1 単語を通常のトークンとして使用する手法 (NormalToken) の 3つを設定する. PcD の検証では, デコーダへ訴求トークンを入力しない手法 (w/o $\mathrm{PcD})$ と比較する. KwIR については, 入力のキー ワードをすべて含む広告文との入出力ペア，すなわち KwIR が $100 \%$ のペアデータセットで学習した手法 (KwIR $=100 \%)$ と比較する.

ベースラインまた, 訴求軸を考慮しない通常のキーワードから広告文を生成するべースラインも構築する. 提案手法と同じ事前学習済みモデルを, 構築したデータセットから訴求トークンを除いたもので閾値ごとに訓練する。

評価指標生成された広告文に訴求軸判定器を適用し, 入力訴求が予測された割合を精度とする. 入力訴求を変更した際の生成の多様さとして, 同じキー


図 2 提案モデルの生成に対する混同行列. 横軸のどの訴求も予測されなかった場合, None とした.

ワードかつ異なる訴求を入力した際の生成に対して Pairwise-BLEU [14] を計算する. KwIR として, 生成された 1 つの広告文 (単文), ビームサーチの上位 3 本を連結したもの (Beam 連結), 同じキーワードで訴求軸の異なる生成を連結したもの (Label 連結) の 3 つに対してそれぞれ計算する. 連結したものは, 3.1 節で述べた検索連動型広告の特性を考慮したため計算する. 広告文としての自然さを評価するため, 言語モデルを用いて Perplexity (PPL)を算出する. 言語モデルとして，広告文データセット CAMERA [15] で追加学習した GPT-23)を使用する. CAMERA のテストセットにおける PPL は追加学習前と後でそれぞれ 12.67,11.91であった.

また, 訴求埋め込み手法の異なる 3 設定とベースラインについて人手評価も実施する. 広告文としての自然さ (自然さ) と入力訴求が含まれているか (精度)を評価項目とする. それぞれ, \{自然, やや自然,不自然 $\}$ の 3 段階と $\{$ 含む，含まない $\}$ の 2 段階で評価し, $\{100,50,0\}$ と $\{100,0\}$ にマップした平均点を算出する. 評価するデータは 3 設定それぞれで訴求軸ごとに 30 件, ベースライン 30 件の計 750 件とし, 評価は広告のドメインに精通した 3 名で行った.

## 4.2 結果・考察

自動評価自動評価結果を表 2 に示す. 精度において, 提案手法は Ablation 設定を上回り, 7 割弱の結果となった. 提案手法の TF-IDF の高い 3 単語での訴求トークンの初期化と, PcD はどちらも訴求軸を制御することに効果があることがわかる. 特に Emb:Extra との差が大きく, TF-IDF による訴求トー クンの初期化が重要であった.

Pairwise-BLEU においては, NormalToken が最もよ


れていることを示す. PB は Pairwise-BLEU，Beam は Beam 連結，Label は Label 連結を表す。

表 3 人手評価結果.

く,提案手法がそれに続く結果となった.一方で, NormalToken は精度面で提案手法に劣り, 訴求に関係しない部分で多様さを実現していると考えられる。

練した設定が最高のスコアを得た. しかし, 提案手法も Label 連結においてそれに比肩するスコアを示しており,検索連動型広告に表示される集合としては大きな差が生まれないことも考えられる. また Beam 連結については, NormalToken を提案手法が上回っている.トークンを直接入力するのではなく, 3 単語の埋め込みの平均を使用することで, 訴求を代表する単語に強く影響を受けすぎずにより多様な生成が可能になったと考えられる。

PPL においては, w/o PcDが最もよく, それに提案手法と NormalTokenが続く結果となった. w/o PcDが低い PPLを得た理由として, 訴求トークンを含まずに広告文のみでデコーダにおける Self-attention の計算が行われた影響が考えられる。

また, 図 2 亿大力訴求と生成文に付与された訴求の混同行列を示す. 価格を訴求軸として入力した際には, 類似する無料が予測されやすい. アクセスを訴求軸として入力したときには, 訴求が抽出されないことが多い. 実際に抽出されなかった際の入力キー ワードとして, “マンガサブスク” や“し込み医療保険ネット”などがあり，そもそもキーワードと訴求の相性がよくない例である. 逆に, キーワードに地名が含まれることもあり, どの入力訴求に対してもアクセスが一定数予測されている.

人手評価人手評価結果を表 3 に示す. アノテー
タ間合意度である Fleiss' $\kappa$ は, 自然さと精度でそれぞれ 0.401 と 0.928 であった.

精度については, 自動評価と同様の傾向となった. 自動評価の Pairwise-BLEU では NormalToken がより高い多様性を示したが, 自動評価の精度と同様にここでも精度の面で提案手法が上回っている。 NormalToken では訴求と関係しない部分で多様となっていると考えられる。

自然さでは, ベースラインが最も高く, 精度が高い設定ほどスコアが下がった. これは, 不自然にでも訴求を含めようとすることが原因だと考えられる (付録 B). キーワードと訴求軸に関連がない場合があるため, キーワードや業種ごとに使用する訴求軸を選定することが今後の課題である。

入力訴求ごとに生成された広告文を見ると, 訴求を含めるために使用される語彙数にも差が見られた. トレンドや利便性といった訴求軸ではそれぞれ “人気” “ネット予約可” のみが含まれる. 一方で,品群の訴求軸では “多数”, “豊富”, “充実”, “品揃え”, “勢ぞろい”, “満載” など多様な語彙が用いられた. 訴求トークンの初期化に 3 語のみが用いられているにもかかわらず，それを超える語彙が使用されている。

## 5 おわりに

本研究では, 訴求軸を考慮した広告文の生成手法を提案し，その有効性を検証した. 制限事項として，学習時や自動評価時の訴求ラベルは訴求軸判定器によるものであるためその性能に影響を受けることや, キーワードのみを入力とするため商品情報などの幻覚が起こりうることがある. 業種と訴求軸の関係に応じた選択や, 訴求軸指定による広告効果の検証が今後の展望である.

## 謝辞

本研究は株式会社サイバーエージェントでのインターンシップ中の成果である.

## 参考文献

[1] Kevin Bartz, Cory Barr, and Adil Aijaz. Natural language generation for sponsored-search advertisements. In Proceedings of the 9th ACM Conference on Electronic Commerce, EC '08, p. 1-9, New York, NY, USA, 2008. Association for Computing Machinery.

[2] Xiting Wang, Xinwei Gu, Jie Cao, Zihua Zhao, Yulan Yan, Bhuvan Middha, and Xing Xie. Reinforcing pretrained models for generating attractive text advertisements. In ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ACM SIGKDD), August 2021. Applied Data Science Track.

[3] 大曽根宏幸, 張培楠. Gpt-2 の転移学習によるキー ワードを考慮した広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2021, pp. 2D4OS7b03-2D4OS7b03， 2021.

[4] Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, and Manabu Okumura. Aspect-based analysis of advertising appeals for search engine advertising. In Anastassia Loukina, Rashmi Gangadharaiah, and Bonan Min, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Track, pp. 6978, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[5] Soichiro Murakami, Sho Hoshino, and Peinan Zhang. Natural language generation for advertising: A survey. ArXiv, Vol. abs/2306.12719, , 2023.

[6] Atsushi Fujita, Katsuhiro Ikushima, Satoshi Sato, Ryo Kamite, Ko Ishiyama, and Osamu Tamachi. Automatic generation of listing ads by reusing promotional texts. In Proceedings of the 12th International Conference on Electronic Commerce: Roadmap for the Future of Electronic Business, ICEC '10, p. 179-188, New York, NY, USA, 2010. Association for Computing Machinery.

[7] 福田宏幸. キーワード条件つき変分 autoencoder によ了広告文生成. 人工知能学会全国大会論文集, Vol. JSAI2019, pp. 2L4J903-2L4J903, 2019.

[8] Hidetaka Kamigaito, Peinan Zhang, Hiroya Takamura, and Manabu Okumura. An empirical study of generating texts for search engine advertising. In Young-bum Kim, Yunyao Li, and Owen Rambow, editors, Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Industry Papers, pp. 255-262, Online, June 2021. Association for Computational Linguistics.

[9] Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani, and Wei Wang. Learning to create better ads: Generation and ranking approaches for ad creative refinement. In Proceedings of the 29th ACM International
Conference on Information \& Knowledge Management, CIKM '20, p. 2653-2660, New York, NY, USA, 2020. Association for Computing Machinery.

[10] Nitish Shirish Keskar, Bryan McCann, Lav R Varshney, Caiming Xiong, and Richard Socher. Ctrl: A conditional transformer language model for controllable generation. arXiv preprint arXiv:1909.05858, 2019.

[11] Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: A simple approach to controlled text generation. In International Conference on Learning Representations, 2020.

[12] Konstantin Golobokov, Junyi Chai, Victor Ye Dong, Mandy Gu, Bingyu Chi, Jie Cao, Yulan Yan, and Yi Liu. DeepGen: Diverse search ad generation and real-time customization. In Wanxiang Che and Ekaterina Shutova, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 191-199, Abu Dhabi, UAE, December 2022. Association for Computational Linguistics.

[13] Junyi Chai, Reid Pryzant, Victor Ye Dong, Konstantin Golobokov, Chenguang Zhu, and Yi Liu. Fast: Improving controllability for text generation with feedback aware selftraining. arXiv preprint arXiv:2210.03167, 2022.

[14] Tianxiao Shen, Myle Ott, Michael Auli, and Marc'Aurelio Ranzato. Mixture models for diverse machine translation: Tricks of the trade. In Kamalika Chaudhuri and Ruslan Salakhutdinov, editors, Proceedings of the 36th International Conference on Machine Learning, Vol. 97 of Proceedings of Machine Learning Research, pp. 5719-5728. PMLR, 09-15 Jun 2019.

[15] Masato Mita, Soichiro Murakami, Akihiko Kato, and Peinan Zhang. Camera: A multimodal dataset and benchmark for ad text generation, 2023.

## A 実験設定の詳細

表 4 に使用した訴求軸の説明と具体例を示す. 先行研究 [4] では大分類と小分類の階層構造で定義しているが, 今回は簡単のため考慮しない.

また, 表 5 に訴求トークンの埋め込み初期化に使用した 3 単語を示す.これらの単語は抽出される訴求軸で分類した広告文の集合を文書とした TF-IDF によって決定した. KwIR が $100 \%$ のデータのうち検証セットを対象に計算し, 単語分割には MeCab (ipadic) を用いた. ただし, アクセス訴求における “新築” やトレンド訴求における“サロン”などの特定の事業と結びつく単語は主観により除外した。

## B 結果の詳細

表 6 に提案手法によって生成した広告文の例を示す。

また, 表 7 に提案手法の人手評価結果を, 入力訴求軸ごとに示す. 例えば, アクセスは他の訴求軸と比較して自然さが劣る.これは, 実店舗を持たない業種やサービスに対しても“【駅近】”のような文言を広告文に含めていたことが原因となっている. 業種と訴求の関係を考慮した入力訴求の選択は今後の課題である.

 &  &  \\

表 5 訴求軸ごとの TF-IDF が最高の 3 単語.

表 6 提案手法による生成例. 人手評価で付与された平均点も示す.

表 7 提案手法モデルにおける入力訴求ごとの人手評価結果.