言語処理学会 第26回年次大会 発表論文集 (2020年3月)

デジタル広告におけるクリエイティブの自動生成手法の検討
粟飯原 俊介兵頭 沖
株式会社オプト{f.hyodo, partner s.aihara}@opt.ne.jp

はじめに1を行い，効果の低いクリエイティブの停止・差し替えを行うことが広告代理店の業務の一つである．

デジタル広告においてユーザーに提示される文や画像などの広告クリエイティブはユーザーと商品の接触地点であり，商品情報をユーザーに届ける役割を果た
す [1]．広告配信における広告効果の説明変数はクリエイティブ，ユーザー，配信日時，配信量などがある

自動生成によりクリエイティブを継続的に作ることができれば差し替えにより広告効果の高いクリエイティブを効率的に探索できるため，同一商品に対して新規のクリエイティブを自動生成するシステムの開発は広告代理店にとって重要な課題である．

が，他が同条件でもクリエイティブの違いにより広告課題解決のアプローチ効果が大きく異なることは広告代理業を通して経験的

2.2に知られている．

2.1 節で述べた課題を解決するための，広告文に焦点を当てたクリエイティブの自動生成手法の条件を以下に列挙する．また，各条件を満たすためのアプロー
チを述べる．

一方で，クリエイティブによる広告効果はユーザーの性質などの測定が困難な変数の影響が無視できず，その推定は難しい研究課題である．また，同一のクリエイティブを配信し続けると広告効果が減少していく

1. 破綻していない文章を出力できることが指摘されている [2]．

2. 広告対象の商材情報を反映した文章を出力できる

この背景を踏まえた広告効果を高めるアプローチとして，配信先の媒体で適用されるバンディットアルゴ

3. 広告効果が高い文章を出力できる

リズムによりクリエイティブの効果を検証し，効果が4. 多様な文章を出力できる低いクリエイティブを差し替えることで広告効果を維持する方法が考えられる．このアプローチを有効にす

条件 1， 2 については，デジタル広告の遷移先ペーるには，クリエイティブを作り続けることが必須の条

ジなどの商材情報が含まれる情報源から抽出した文章件となり，自動でクリエイティブを生成する機構が望集合を入力として，文章要約を行うことで広告文を作まれる．

成するアプローチが考えられる．

このような背景から，本研究では広告クリエイティ

条件 3 は，CTR などの広告効果を目的変数として，ブのうち，商品訴求を行う文章である広告文の自動生強化学習のアプローチを用いて言語モデルとしての成タスクに焦点を当て，課題の整理と関連する要素技損失の最小化と広告効果の最大化を行うマルチタスク術の比較検討を行った．

ラーニングの手法が考えられる．
条件 4 を満たすためには，単一の入力から複数の異22.1

デジタル広告におけるクリエイテなる文を出力する必要がある．確率的な文生成モデル

ィブ作成の課題を学習し，分布からサンプリングすることで複数の文を生成するアプローチや，beam-search による探索の広告代理店における広告運用の課題際に N-best 全てを出力するものが考えられる．

広告代理店は広告主が広告を出すプロセスのサポートを行う事業者である．その収益を確保する重要な要因にユーザーに表示される広告クリエイティブがある．
広告の目的に沿った成果を効率的に出せるクリエイ

本論文ではこれらの条件のうち 1， 2， 4 に焦点を当てる．広告文の生成モデルとして文章要約モデルを用い，beam-search による N-best をモデルの出力とする方法を取る．

ティブの探索を行うため，入稿クリエイティブの監視― 800 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

検証する文生成手法

3

要約タスクに標準的に使われるモデルとしてSeq2Seq[3] に要約文と入力文の単語間関係の強弱をV ， key の次元を dk とすると，attention は)(QK T
Attention (Q, K, V ) = softmax √Vdk(1)√表す機構である attention を付与した Seq2Seq withと表せる．ただし，query と key の類似度計算にはattention がある．また，その発展形としてさまざまで内積の結果をスケーリングする scaled-dot productな要素技術が提案されている．これらの要素技術のうを用いている．

dkself-attention では自身の出力から query， key，ち，2.2 節で述べた条件の一部を満たす手法についてvalue を計算することで同一文内の単語間の関係の強以下で述べる．
条件 1 を満たすため，文の長期的な依存関係を捉え弱を計算する．また source-target attention はデコーられるモデルである Transformer[4] を活用する．また

ダーの隠れ層の出力から query を，エンコーダーの出Transformer のモデルをベースにした事前学習済みの力から key と value を計算することで入力文と出力文言語モデルである BERT[5] を活用することで自然なの単語間の関係の強弱を計算する．

文章を出力する効果を狙う．
条件 2 を満たすために copying mechanism[6] を活用する．copying mechanism は Out of Vocabulary(OOV) の問題を解決するために考案されたものだが，入力から必要な情報を抜き出す機構として考えると商BERT

Transformer のモデルをベースにした汎用なタスクに使えるモデルとして BERT がある．事前学習の手法やモデルの詳細についてはここでは割愛するが，今回は単純にエンコーダー部分に BERT を用いたモデ品情報を生成文に反映させる効果が期待できる．

ルを比較に用いる．

以下で各文生成手法について述べる．

3.1

3.3

3.4

Seq2Seq with attention

エンコーダー・デコーダーそれぞれにリカレントニューラルネットワークを用いたモデルである．エンコーダーにより入力単語列のベクトル表現 {hs } を計算し，デコーダーの計算をエンコーダーの出力 {hs }で条件付けて行う．またデコーダーにより時刻 t − 1に生成した単語 yt−1 の表現ベクトル ht−1 から入力単語列への attention at−1 を求める．出力単語 yt の分
布を at−1 により {hs } の加重和を計算することで，1

copying mechanism

copying mechanism は入力文の部分系列を陽にコピーする機構であり，Seq2Seq のモデルに付加することで OOV の問題に対処する．
学習データに存在する語彙 V に UNK という OOVを表す特殊な単語を追加した集合を考える．加えて，入力単語列 X 内のユニークな単語の集合 X を考える．

X に対する語彙は V ∪ UNK ∪ X となる．
モデルの語彙 V から生成する generate mode (g) と，単語ずつ出力単語列を得る．

入力単語列からコピーする copy mode (c) それぞれに3.2する．

ついて，yt を生成する同時確率を計算したのちに合算Transformer

generate mode と copy mode それぞれにおいて，単Transformer は入力単語列を並列に入力し，入力単語列のベクトル表現を attention によりエンコード, デコードするモデルである．エンコーダーとデコーダーはそれぞれ，self-attention を含むエンコーダーレイ
ヤと，self-attention と source-target attention を含むデコーダーレイヤを N 層スタックすることで構成される．

self-attention と source-target attention は複数ヘ語 yt を生成する確率は以下のようになる．
1 ψg (yt ),yt ∈ V Ze
p (yt , g|·) =0,yt ∈ X ∩ V̄
 1 ψg (UNK), yt ∈/ V ∪XZe{∑1ψc (xj ),yt ∈ X
j:xj =yt e
Zp (yt , c|·) =0,otherwise(2)

ッドによる attention により実現され，入力を query，ここで，ψg (·) と ψc (·) はそれぞれ generate mode

key， value の 3 種類のベクトルに変換し，query とと copy mode のスコア関数, Z は正規化項で Z =∑∑ψg (v)+ x∈X eψc (x) である．
v∈V∪{UNK} e

key の類似度を元に決定した重みを用いて value の加モデルの語彙に存在しない単語 w ∈ V̄ の出力確率は重和を計算する．query を Q， key を K ， value をgenerate mode のみの場合 0 だが，copying mechanism― 801 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

により w ∈ X であれば入力単語列からコピーするこ

4.2とで生成が行えるため，OOV に対処ができる．

配信済み広告文との類似性を見るために BLEU を，出力の多様性を見るために DIST-n[9] を計算した．

実験

4

自動評価

評価結果を表 1 の BLEU，DIST-1，DIST-2 に示

3 章で述べた要素技術を組み合わせて比較を行う．

す．copying mechanism を付加したモデルは付加入稿された広告文と遷移先 URL の組を学習データのしていないモデルと比較して，Transformer を除き元にする．遷移先 URL が示すページであるランディ

BLEU，DIST-1, DIST-2 のスコアが向上した．また，ングページから商品情報に関する文章を抽出して入力

BERT&Trans-dec+COPY は BLEU において Trans-文を作成し，入力文と広告文の組を学習データとしてformer のスコアを上回る結果となった．

用いる．広告文生成モデルとして文章要約モデルを用
い，学習時は広告文と MLE による予測値から損失を4.3計算し，推論時は 1 つの入力文から beam-search により計算された尤度が高い文字列を上から 4 件出力する．

人手評価

株式会社オプトに所属する広告事業に関わる社員 27名に対してアンケートを実施した．

ベースラインの Seq2Seq モデルではエンコーダーに• 文として不自然でない

BiLSTM，デコーダーに LSTM を用いた．また Tran-• 広告の対象商品に関する内容である

sormer と，それぞれのエンコーダー部分を BERT にの 2 点を満たす広告文を多く出力していると回答者が変更した以下のモデルを用意した．

感じる順番に，同数の場合は出力の質の高さでモデル• BiLSTM&LSTM

を順位付けた．評価用データからランダムにサンプリ• Transformer

ングした 20 件をアンケート用のデータとして用い，各• BERT&LSTM

モデルの出力 4 件からランダムに 2 件ずつ抽出した．

• BERT&Trans-dec

また実験対象のモデルをさらに，各モデルに copying mechanism を付加したモ• BiLSTM&LSTM+COPY

デルを用意して実験を行った．ただし，Trans-dec は• Transformer[4] のアーキテクチャのデコーダー部分を表し，”&”で• BERT&LSTM+COPY

区切られた左側はエンコーダー，右側はデコーダーを• BERT&Trans-dec+COPY表す．また広告文生成モデル X に copying mechanismを付加した機構を X+COPY と表す．
実験で使用したすべてのモデルにはデコーダーからエンコーダーへの attention を組み込んだ．Trans-

former のエンコーダー・デコーダーと Trans-dec のレイヤはそれぞれ 3 層にし，ヘッドの数は 4 とした．分
かち書きには sentencepiece[7] を用い，sentencepieceと BERT の学習済みモデルは [8] のモデルを使用した．

4.1と BERT&LSTM の出力が意味のとれるものが少な
く，Transforer+COPY と BERT&Trans-dec の出力が入力文を考慮したものが少なかったためである．
ア ン ケ ー ト の 評 価 結 果 を 表 1 の 最 右 列 に 示 す．

BERT&Trans-dec+COPY の平均順位が最も高く，次点の Transformer と比較して 0.18 高かった．

4.4

データ

データは株式会社オプト内にある化粧品に関する広告配信実績を使用した．クリエイティブの種類を問わずデータを収集し，遷移先ページから本文抽出した入力文と広告文のペアとしての重複を除去することで3860 件のデータを獲得し，学習用・検証用・評価用に8 : 1 : 1 の割合で分割した．入力文・広告文のユニー
クな件数はそれぞれ 3248 件，493 件となった．の 4 つに限定した．限定した理由は BiLSTM&LSTM

考察

入力文と各モデルの出力例を表 2 に示す．Trans-

former の出力は自然で多様だが，商品に関連が薄い文も多かった．copying mechanism を付与したモデルの出力は多様性は Transformer に劣るが商品との関連が強いものが多かった．これは Transformer のスコアがDIST-1 では 1 位だが人手評価では 2 位だったことに関係する可能性がある．人手評価ではアンケートの対象者が商品と関係が薄い出力に対して低い順位を付けた結果，Transformer の順位が下がったと考えられる．

― 802 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

文生成モデル
BiLSTM&LSTM
BiLSTM&LSTM+COPY
Transformer
Transformer+COPY
BERT&LSTM
BERT&LSTM+COPY
BERT&Trans-dec
BERT&Trans-dec+COPY

BLEU
0.329
0.595
0.653
0.284
0.111
0.653
0.204
0.656

DIST-1
0.009
0.025
0.037
0.013
0.002
0.033
0.009
0.031

DIST-2
0.018
0.071
0.088
0.021
0.005
0.092
0.023
0.079

人手評価順位の平均
2.74
2.46
2.52
2.28

表 1: エンコーダー，デコーダー，copying mechanism を組み合わせたモデルの自動および人手の評価結果．
入力文
BiLSTM&LSTM+COPY
Transformer
BERT&LSTM+COPY
BERT&Trans-dec+COPY... ヘアカラー・化粧品・コスメ シャンプーで落ちるマスカラタイプ...
髪によってさまざまなセクシーさりヘアカラーブランド．
髪を美しく保湿までスキンケアお試しセットが〇〇限定〇〇円
髪をもっと，マイペースに．
髪を美しく染めるヘアカラーブランド．

表 2: 入力文と広告文生成モデルの出力例．入力文は一部のみ，モデルは人手評価の実験対象のみで各モデルの出力は 1 つのみ表示している．
「〇〇」は商品情報のためマスクをかけた部分である．
自 動 評 価 の 実 験 に お い て Transformer+COPY，BERT&LSTM，BERT&Trans-dec のスコアが低かったのは実装上の問題である可能性があるため，今後調査を行う必要がある．

5

おわりに本研究では広告クリエイティブの自動生成システムに求められる条件を考察し，条件の一部を満たす広告文生成モデルを作成し，比較検討を行った．実験を通して，Transformer と copying mechanism が広告文生
成タスクにおいて有用であることを確認した．
実験では事前学習済みモデルを組み込んでも性能は大幅には向上しなかった．このことから，言語モデルだけでなく文生成を直接事前学習の際に行う学習済みモデルが必要だと思われる．
本研究では多様性を考慮した問題設定にしつつも，陽に多様性を扱うモデルを取り扱っていない．文生成の多様性に焦点を当てた研究は [10] や [11] などがある．今後はこれらの機構を広告文生成のタスクに合わせて改良したモデルを検討していく必要がある．

参考文献[1] Olivier Chapelle, Eren Manavoglu, and RómerRosales. Simple and scalable response prediction for display advertising. ACM TIST 2014,
Vol. 5, No. 4, pp. 61:1–61:34, 2014.
[2] マーケティング・サイエンス入門: 市場対応の科
学的マネジメント, pp. 174:16–175:22. 有斐閣,
2011.

[3] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le.
Sequence to sequence learning with neural networks. In NIPS 2014, pp. 3104–3112, 2014.
[4] Ashish Vaswani, Noam Shazeer, Niki Parmar,
Jakob Uszkoreit, Llion Jones, Aidan N. Gomez,
Lukasz Kaiser, and Illia Polosukhin. Attention
is all you need. In NIPS 2017, pp. 5998–6008,2017.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee,and Kristina Toutanova. BERT: pre-training ofdeep bidirectional transformers for language understanding. In NAACL-HLT 2019, pp. 4171–4186, 2019.
[6] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor
O. K. Li. Incorporating copying mechanism insequence-to-sequence learning. In ACL 2016,2016.
[7] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text
processing. In EMNLP 2018, pp. 66–71, 2018.
[8] Yohei Kikuta. Bert pretrained model trained onjapanese wikipedia articles. https://github.
com/yoheikikuta/bert-japanese, 2019.
[9] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting
objective function for neural conversation models. In NAACL-HLT 2016, pp. 110–119, 2016.
[10] Jiachen Du, Wenjie Li, Yulan He, Ruifeng Xu,Lidong Bing, and Xuan Wang. Variational autoregressive decoder for neural response generation. In EMNLP 2018, pp. 3154–3163, 2018.
[11] Ashwin K. Vijayakumar, Michael Cogswell,Ramprasaath R. Selvaraju, Qing Sun, Stefan
Lee, David J. Crandall, and Dhruv Batra. Diverse beam search for improved description ofcomplex scenes. In AAAI 2018, pp. 7371–7379,2018.

― 803 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.