AdGLUE:広告言語理解ベンチマーク

近年、検索連動型広告（図1）を含むインターネット広告市場の著しい成長[1]に伴い、テキスト分類モデルを使ったクリック率予測[2]やニューラル生成モデルを使った広告文生成[3,4,5]など、自然言語処理技術の多くが広告分野で応用され始めている[6]。広告分野では、短文でユーザに商品の特徴と魅力を伝え、購買行動などに繋げるよう訴求する必要がある。そのため、使用される言語表現は一般的な文章とは異なることが多い。例えば、機能語や部分的な内容語の省略や強調のために記号の使用、場合によっては文法的な誤りを含んだ非文が許容されることもある。例として、「マンションを売却したい方は、今すぐ〇〇で無料で査定しませんか？」という汎用的な表現は、広告特有の表現に言い換えると「マンション売却／今すぐ無料査定」になる。このような広告特有の表現は人間の理解を妨げるどころか、注意を引くことに繋がることが広告心理学分野で報告されている[7]。以上のような一般的な言語資源では存在しない特徴を有しながらも、機械翻訳や自動要約などの分野と比較して、広告における自然言語処理の研究や分析は少ない。その一因として考えられるのは、共通するタスクやデータセット、そしてそれらで構成されるベンチマークの欠如である。共通ベンチマークがあることによって、手法の比較が容易になり、実験の手順が明確化するため、研究の活発化が期待できる。英語の一般的な言語理解を目指したベンチマークとしてGLUE[8]やSuperGLUE[9]などが挙げられ、JGLUE[10]を始めとする多くの言語でも構築が進んでいる[11,12,13,14]。また、特定の分野に特化したベンチマークも存在し、PLUE[15]はプライバシーポリシーのための言語理解ベンチマークであり、BLURB[16]は生物医学分野におけるベンチマークである。しかし広告分野には特化したベンチマークが現状存在せず、一貫したデータセットなども公開されていない。そのため、広告分野での研究の多くは独自のデータと指標で評価されており、横断的な比較が難しい状況になっている。また、広告データは配信プラットフォームを保有している一部の企業にしか所持していないこともあり、それ以外の企業や学術機関からの利用が困難である。以上のことから、我々は広告分野に特化した言語理解ベンチマークAdGLUE(AdvertisinGLanguageUnderstandingEvaluation)を提案する。このベンチマークでは、広告運用の手順を踏まえて、広告において重要視される容認性や一貫性、魅力度などの理.タスクTrainDevTestTotalタスク種類入力正解ラベル評価指標広告容認性35,377–2,00037,377分類広告文