MCLによる広告文生成のExpert選択バランス性向上手法：EMAに基づくExpert選択

検索連動型広告は、ユーザの検索クエリに関連する広告文を検索結果画面に表示する広告のことである。広告文をクリックした先にはランディングページが設置されており、それはサービスの魅力をユーザにアピールし購入や申し込みなどの行動を促すことを目的としている。したがって、広告文は、ランディングページとの関連性の高い内容をユーザにアピールしクリックを促す重要な役割があるため、一般的に広告制作者はランディングページなどを参考に広告文を作成する。しかし近年のデジタル広告の需要の増加により、広告文作成の自動化が求められている。LPからの広告文生成において、テンプレート文が多数存在することによる学習データの不均衡が指摘されている[1]。この問題に対して、MultipleChoiceLearning(MCL)[2]に基づくMoE(MixtureofExperts)モデルにより、学習データに存在する隠れた状態をモデル内で明確に領域分割することで、解決を試みている。MCLに基づくExpert選択では、最もlossが小さいExpertを選択する。このため学習初期は、単純な初期値の差から生じる損失関数の値のばらつきに基づいているため、学習データの大多数のテンプレート文を出力しやすいExpertが優先的に選ばれやすく、学習中もその傾向を拡大させるような選択が行われうる。少数のテンプレート文ではない広告文を学習することが期待されるが、単純な損失関数の値でそれが実現される保証はない。そこで本研究では、広告文生成において、MCLに基づくMoEモデルを用いることで、Expertの選択バランス性を向上するための手法を提案する。具体的には、ExponentialMovingAverage(EMA)を用いて各Expertの損失の変化傾向を記録し、それに基づいてExpertを選択することで、選択バランス性が向上し、より質の高い広告文を生成することができると仮説を立てる。本研究では、この仮説を検証するために、提案手法を用いた場合と通常のMCLを用いた場合を比較し実験を行う。