広告文の一種であるキャッチコピーの人手によるオフライン評価は高コストである．キャッチコピーの自動生成研究の迅速化・効率化のためには自動評価器が必要となる．自動評価器の構築のために必要なデータセットが現存しないため，日本語としては初となる23,641件のキャッチコピーとその評価値から成るデータセットを構築した．このデータセットを利用してBERTと対照学習を用いた参照例を必要としない評価機を構築し，評価実験を行った結果，テストデータの評価値に対する相関係数が平均で0.28を超えた．対照学習を用いない学習との比較も行い，対照学習の有用性を確認した．

近年，インターネット広告市場の拡大が著しい．総務省によると2021年には世界のデジタル広告の市場規模は39兆396億円となり前年比で32.7%増であった．日本についてもインターネット広告の市場規模は2兆7,052億円となり，テレビ・新聞・雑誌・ラジオのマスコミ4媒体の合計を初めて上回った[1]．このような背景からインターネット広告における広告文生成の需要は高まっていると考えられる．キャッチコピーは広告文の一種であり，人々の注目を引き商品の魅力を簡潔に伝えるための宣伝文句である．例えば株式会社日清食品の「すぐおいしい、すごくおいしい」1）や．株式会社大塚製薬の「それは小さな栄養士。」2）などが挙げられる．キャッチコピーはその他の広告文と比較して評価が難しいことが知られている．村上ら[2]は「キャッチコピーは見る人の印象に残ることを主な目標として使用されるため．検索連動型広告やディスプレイ広告と異なり，広告効果の定量化が困難な1）https://www.chickenramen.jp/about/2）https://www.otsuka.co.jp/cmt/cm/性質を持つ．」という点を指摘している．広告文の評価方法はオンライン評価とオフライン評価に大別され，オフライン評価はさらに人手評価と自動評価に大別される．オンライン評価は実際に広告を配信し．広告のクリック率や収益率を評価尺度として利用する．そのため，オンライン評価は広告文に対する評価を収集するのに時間がかかるデメリットがある．一方でオフライン評価は広告文を配信せずに行う．人手評価は人間が広告文に対して付けた評価を評価尺度として用いる．このため，オンライン評価と同様に実施に時間がかかるデメリットがある．一方で自動評価は人手を介さずに評価を行うため実施に時間がかからない利点がある．より質の良い広告文生成器を開発するためには効率良く学習と評価のサイクルを回す必要があり，そのために広告文の自動評価は不可欠である．広告文生成の研究において，生成文の自動評価としてはBLEU，ROUGE，METEOR，CIDErが用いられることが多い[3]．しかし，これらの評価手法は参照文を必要とし，その参照文をあたかも「正解」の広告文として扱ってしまう問題がある．参照文を必要としない自動評価手法として，事前学習済みの汎用言語モデルのパープレキシティを評価尺度として用いるもの[4]があるが，汎用ドメインで学習されたモデルでは，文としての妥当性は評価できるが広告文としての質を評価できないと考えられる．広告文生成の研究に関わる課題として村上ら[2]は「共通データセットの拡充」を挙げている．実際，パブリックに利用可能なキャッチコピーコーパスは我々が知る限りでは存在しない．本研究では，ウェブスクレイピングによってキャッチコピーコーパスを作成し，そのデータセットを用いて参照文を必要としないキャッチコピー評価器を構築する．