FaithCAMERA:広告文生成タスクのための忠実性を担保した評価データセットの構築

オンライン広告の普及により、広告を大量に制作する需要が高まっているため、広告文の自動生成(adtextgeneration[ATG])に焦点を当てた研究への関心が高まっている[2,3,4,5]。ここで我々はATGを、ランディングページ(LP)などの入力文書と検索クエリなどのユーザー信号を入力として、訴求力のある広告文を出力するタスクとして定義する(表1)。ATGをNLPタスクとして初めて明示的に定義したMitaら[1]によれば、広告文は入力文書に忠実で(忠実性2）)、かつ、潜在顧客にアピールする重要な情報を含むべきである(情報性)。ATG分野で1）https://github.com/CyberAgentAILab/FaithCAMERA2）忠実性の定義は先行研究によって若干異なるが、本研究では[6]に従い、広告文が入力文書で意味的に支持されている場合、入力に忠実である、とする。「忠実だが情報性に乏しい」、「事実だが忠実ではない」、「事実でなく忠実でもない」スパンを示す。なお、(d)に記載されている数量(“30%”)は、ランディングページに記載されている数量(“20%”)とは異なっている点に注意されたい。検索クエリUVカットメガネランディング..UVから目を守るメガネ..ページ..メガネのUVカット率が20%向上....Allrightsreserved...(a)UVカットメガネで目を守る(b)メガネ|Allrightsreserved.(c)有害な紫外線から目を守る(d)メガネのUVカット率が30%向上!広告文初めて公開されたベンチマークデータセットであるCAMERA[1]と、より多様な訴求を保証するその変種であるCAMERA3[7]は、広告制作者によって作成された参照文で構成されているため、情報性の評価に適している。しかし、広告制作者は魅力的な広告文を作るために、外部知識や常識的知識に基づいて、入力では述べられていない情報を広告文に盛り込むことがある。そのため、これらの参照には、入力に現れないエンティティなどの不忠実な情報が含まれていることが多い(表1-(c))3）。参照文の忠実性が保証されていない場合、生成された広告文が情報性と忠実性の両面で優れているかどうかを、参照ベースの単一の指標で評価することはできない。したがって、忠実性と情報性の双方を保証するATGモデルの開発は、現状では困難である。忠実性が保証された評価データがないことは、実世界への適用性の高いATG研究を推進する上で顕著な障害となっている。この問題を解決するために、我々は社内の広告制作者と協力し、CAMERAの3）Mitaら[1]は、出力側にのみ現れるn-gramを使って、この傾向を定量的に実証している。.(1)重要文選択(2)不忠実スパンの削除入力文書元の参照文有害な紫外線から目を守るメガネメガネのUVカット率が20%向上。選択比較メガネのUVカット率が20%向上。UVから目を守るメガネ評価セットの参照文を修正することで、情報性を確保しつつ忠実性を保証した日本語のATG評価データセット(FaithCAMERA)を構築した1）。我々はFaithCAMERAを用いて、既存の忠実性向上手法が、忠実性を維持しながら情報性に優れた広告文を生成できるか、評価した。実験の結果、LossTruncation[8]は、エンティティレベルと文レベルの双方で忠実性と情報性を向上させることが分かった。一方、入力に忠実でない出力を持つ学習事例のフィルタリング[9]は、エンティティレベルでは忠実性と情報性を向上させるが、文レベルでは双方を低下させることが分かった。