# MCL による広告文生成の Expert 選択バランス性向上手法： EMA に基づく Expert 選択

石塚湖太 $^{1}$ 黒木開 1 川上孝介 $^{1}$
${ }^{1}$ negocia 株式会社
\{kota_ishizuka,kai_kurogi,kosuke_kawakami\}@negocia.jp

## 概要

この論文では、Multiple Choice Learning (MCL)に基づくMoE(Mixture of Experts) モデルを使用した広告文生成において、Expert の選択バランス性を向上するための手法を提案する。提案手法は Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向を記録し、それに基づいて Expert を選択するものである。これにより、選択バランス性が向上し、更に質の高い広告文を生成することができると考えられる。本研究では、提案手法を用いた場合と通常の MCL を用いた場合を比較し実験を行った。結果、提案手法を用いた場合、Expert の選択バランス性が向上し、生成される広告文の質も高くなったことが確認できた。

## 1 はじめに

検索連動型広告は、ユーザの検索クエリに関連する広告文を検索結果画面に表示する広告のことである。広告文をクリックした先にはランディングペー ジが設置されており、それはサービスの魅力をユー ザにアピールし購入や申し込みなどの行動を促すことを目的としている。したがって、広告文は、ランディングページとの関連性の高い内容をユーザにアピールしクリックを促す重要な役割があるため、一般的に広告制作者はランディングページなどを参考に広告文を作成する。しかし近年のデジタル広告の需要の増加により、広告文作成の自動化が求められている。

LPからの広告文生成において、テンプレート文が多数存在することによる学習データの不均衡が指摘されている [1]。この問題に対して、Multiple Choice Learning (MCL)[2] に基づく MoE(Mixture of Experts) モデルにより、学習データに存在する隠れた状態をモデル内で明確に領域分割することで、解決を試み
ている。MCL に基づく Expert 選択では、最も loss が小さい Expert を選択する。このため学習初期は、単純な初期値の差から生じる損失関数の値のばらつきに基づいているため、学習データの大多数のテンプレート文を出力しやすい Expert が優先的に選ばれやすく、学習中もその傾向を拡大させるような選択が行われうる。少数のテンプレート文ではない広告文を学習することが期待されるが、単純な損失関数の值でそれが実現される保証はない。

そこで本研究では、広告文生成において、MCLに基づく MoE モデルを用いることで、Expert の選択バランス性を向上するための手法を提案する。具体的には、Exponential Moving Average(EMA)を用いて各 Expert の損失の変化傾向を記録し、それに基づいて Expert を選択することで、選択バランス性が向上し、より質の高い広告文を生成することができると仮説を立てる。本研究では、この仮説を検証するために、提案手法を用いた場合と通常の MCLを用いた場合を比較し実験を行う。

## 2 提案手法

## 2.1 広告文生成モデル

モデルは $\mathrm{T} 5$ を用いる。また、提案モデルのエンコーダーを 1 に示す。検索キーワード連動型広告では、ユーザーのクエリおよび LP の両方の要素を考慮することが必要である。先行研究 [3] と同様に、検索キーワードと LP から抽出された情報（タグ・ テキスト）の両者を考慮するために、それら全てを入力とする。また、デコーダーは、通常の $\mathrm{T} 5$ に、 Copy Mechanism[4] を加える。これにより LP に存在する情報を直接生成する広告文に挿入することが期待できる。

MoE については [1] に倣い、LM head のみを複数とする。これは、隠れ層の線型変換を複数追加する

図 1 提案モデルの Encoder

のみで済む。

## 2.2 Expert の選択手法

提案する EMA に基づく Expert 選択手法を 1 に示す。ここで、Expert $t_{1}, \ldots$, Expert $_{k}$ は、各 Expertを示し、 $\beta$ は EMA の係数である。

学習中において、各 Expert の loss EMA を用いて記録し、その值との差分が最小となる Expert を選択する。そして、勾配はその Expertによる loss から算出されるもののみを用いる。MCL と異なる点は、EMAによる loss の指数移動平均からの差分に基づく点にある。これにより、初期化によりたまたま loss が大きくなってしまった Expert や学習途中で loss が悪化した Expertが、単純な lossのみを参照す
る MCLではその後全く使われなってしまい、Expert への割り当てがアンバランスになることを防ぐ。なお、予備実験において、ナイーブな MCL では 1 つの Expertへの割り当てが 99\%以上になってることを確認した。

## 3 評価指標

品質・多様性を自動評価するために、次の指標を用いる。品質については、 naive BLEU, candidate oracle F1, reference oracle F1の 3 つである。多様性については、local distinct[5]を用いる。 naive BLEUは、生成文集合と参照文集合の n-gram 一致に関する precision の幾何平均である。candidate oracle $\mathrm{F} 1$ 、任意の参照文について、その BLEU の値が最も高くなるような生成文を 1 つ選んだ時の n-gram 一致に関する recall と precision の調和平均である $\mathrm{F} 1$ 値である。同様に、reference oracle F1 は、任意の生成文について最も高くなる参照文を選んだ時の値である。 local distinct は、 $\mathrm{n}=1,2$ の値を算出する。

## 4 実験結果

表 1 に各モデルの結果を示す $(\mathrm{k}=4)$ 。なお、これらの指標算出にあたっては、生成された文の数が数百件以上に上る場合があったため、類似した生成文を排除し、タイトルは最大で 60 件、説明文は最大 24 件となるようにした上で評価を行った。このため、 local distinct が高い値を示している。また、表 2 に各モデルの生成件数を示す。ナイーブな MCL と提案手法において、生成数に大幅な変化は見られない。

Expert の偏りは、提案手法は $15 \% 30 \%$ の範囲で
表 1 提案手法とナイーブな MCL の比較

あった一方、ナイーブな MCL は 1 つの Expert が 99\%以上であった。これは、提案手法は指数移動平均を差した値に基づいて選択しているため、おおよそ $1 / \mathrm{k}$ の值に回帰することが確認できた。このことは、提案手法が Expert 選択のバランスを大幅に改善していることを示している。

目視による確認でも、複数の Expert を用いて推論した際の生成結果に、全く学習されていない Expert の出力が含まれないことが確認できた。一方、ナイーブな MCL の出力では、学習に失敗した Expert が「無料。ポイント」といった広告文として成立しない単語列が確認できた。

表 2 提案手法とナイーブな MCL の比較

## 5 おわりに

本研究では、広告文生成において、Multiple Choice Learning (MCL) に基づく MoE(Mixture of Experts) モデルを使用し、Expert の選択バランス性を向上する手法を提案した。提案手法は、Exponential Moving Average(EMA) を用いて各 Expert の損失の変化傾向を記録し、それに基づいて Expert を選択することで、選択バランス性を向上し、質の高い広告文を生成することを目的とした。実験の結果、提案手法を用いた場合、Expert の選択バランス性が向上し、生成される広告文の質も向上したことが確認できた。今後の課題としては、提案手法は、他のタスクにも応用することができる可能性があり、他の分野での検証も行っていくことがあげられる。

## 参考文献

[1] 村上聡一朗, 星野翔, 張培楠, 上垣外英剛, 高村大也, 奥村学. Lp-to-text: マルチモーダル広告文生成. 言語処理学会第 27 回年次大会 (NLP 2022), 2022.

[2] Abner Guzmán-rivera, Dhruv Batra, and Pushmeet Kohli. Multiple choice learning: Learning to produce multiple structured outputs. In F. Pereira, C.J. Burges, L. Bottou, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 25. Curran Associates, Inc., 2012.

[3] Kazuhide Nakata. Generating search text ads from keywords and landing pages via bert2bert. In Advances in Artificial Intelligence: Selected Papers from the Annual Conference of Japanese Society of Artificial Intelligence (JSAI 2021), Vol. 1423, p. 27. Springer Nature, 2022.

[4] Jiatao Gu, Zhengdong Lu, Hang Li, and Victor OK Li. Incorporating copying mechanism in sequence-to-sequence learning. arXiv preprint arXiv:1603.06393, 2016.

[5] 川本峻頌, 張培楠. スタイル制御を考慮した多様な広告文生成. In NLP2019, 2019.