広告文におけるスパン単位の誤り推定

広告文はユーザーの興味を惹き、商品やサービスの認知および購買行動を促進するための重要な要素である。特に検索キーワード連動型広告においては、限られた文字数の中で宣伝対象の内容を正確かつ魅力的に伝えることが求められる[1]。このような背景から、広告文の品質を自動的に評価する技術は、広告配信の最適化や品質管理の観点から重要性を増している。実際に、広告文の品質はクリック率やユーザー満足度と強く関連することが報告されている[2,3]。一方で、広告文の評価にはいくつかの課題が存在する。従来研究の多くは、広告文全体を一つの単位として品質を推定する手法を採用しており[4]、文中のどの部分にどのような問題が存在するのかを明示的に扱うことは少なかった。そのため、評価結果の解釈性が低く、広告文の具体的な改善につなげにくいという問題がある。さらに、広告文中の誤りは単なる文法的な不自然不要不要脱落:を【保険】⾃然の⾔語処理＿⾝につけよう！スパン誤り区分:⽂法,削除広告⽂誤り重⼤度:2+3+0=5スパン誤り区分:意味,存在スパン誤り区分:⽂法,存在重⼤度:2重⼤度:3重⼤度:0スパン単位の誤り推定モデル宣伝対象ページキーワード参照となる広告⽂広告⽂さにとどまらず、宣伝対象や内容の誤伝達を引き起こす可能性がある。このような意味的誤りは、読解不能な広告文よりも深刻な影響を及ぼす場合があり、誤情報の拡散という観点からも看過できない問題である[5]。本研究ではこれらの課題に対し、広告文中の誤りをスパン単位で捉え、誤りの種類と深刻度を同時に推定する手法を提案する。スパン単位での誤り推定は、機械翻訳や文法誤り訂正などの分野では有効性が示されているが[6,7]、広告文評価への応用はこれまで十分に検討されてこなかった。本研究の主な貢献は以下の三点である。(1)広告文中の誤りをスパン単位で定義し、文法的・意味的観点および深刻度を考慮した評価枠組みを提案する点、(2)既存の広告文データセットCAMERA[8]を拡張し、スパン単位の誤りに対するアノテーション付きデータセットを構築した点、(3)複数の事前学習済み言語モデルを用いた実験により、提案手法の有効性を実証した点である。作成したデータセットを用いた実験の結果、提案Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).区分操作概要文法削除助詞を一箇所削除存在助詞を入れ替え意味削除キーワードを削除存在キーワードが複数存在する場合に入れ替えキーワードを同じ業種の別の広告のものと入れ替えキーワードを異なる業種の別の広告のものと入れ替えキーワードが複数存在する場合に他のキーワードを文頭に追加同じ業種の別の広告のキーワードを文頭に追加異なる業種の別の広告のキーワードを文頭に追加合計訓練開発テスト2,1469991431,004可読性を担保するため、後続する格助詞も同時に削除している。なお、CAMERAに含まれる広告文を参考に、キーワードを文頭に追加する際には【】で囲んで追加している。既に【】または「」で囲まれた単語が存在する場合にはキーワードの強調が行われていると判断し、キーワードの追加は行わない。3.2アノテーション対し、表1で定義される深刻度を付与するためのアノテーションを実施する。アノテーションは広告文の評価に関する専門家3名によって行う。アノテート時には誤りを挿入する前と後のそれぞれの広告文が提示され、誤り箇所が表1におけるいずれの深刻度に該当するかを選択しなければならない。人的資源の制限により、1000件のスパン単位の誤りを対象とした。アノテーションの結果、3人の一致率はFleiss’skappa[10]で0.61となり、強い一致が見られた[11]。なお、各事例のラベルの決定はアノテータの判断による多数決で行い、3人の決定が互いに異なる事例は除外した。この過程を経て、最終的に989件の事例が残った。アノテーション結果の詳細については付録Aに記載する。は削除された箇所を表す。原文保険と共済の違いを動画で紹介内容:キーワードを削除＿共済の違いを動画で紹介文法:助詞を削除保険と共済の違いを動画＿紹介拡張共済の違いを動画紹介3.3データ拡張スパン単位の誤りは区分が異なる場合に相互に影響を与えることがないため、表5に示すように、同じ広告文に付与された文法と意味それぞれの誤りを組み合わせることが可能である。この手順により、最終的に989件の事例を2146件まで拡張することに成功した。これらの事例を同一分割内に同一の広告文とキーワードの組が存在しないように訓練、開発、テストデータに分割する。表4にそれぞれの事例数を示す。データセットの詳細な統計については付録Bに記載する。4スパン単位の誤り推定スパン単位の誤りの推定では、広告文𝑇={𝑡1,···,𝑡𝑛}中の各トークン𝑡𝑖に対してスパンの開始と種類に対応するラベルの系列𝐿={𝑙1,···,𝑙𝑛}を予測する系列ラベリング問題として定式化される。各ラベル𝑙𝑖はBIOタグに基づいて定義され，𝐵は誤りスパンの開始，𝐼は同一スパン内の継続，𝑂は誤りに該当しないトークンを表す。さらに、𝐵および𝐼には誤り区分に対応するラベル𝑐∈𝐶を付与し、𝐵-𝑐，𝐼-𝑐の形式で表現する。ここで𝐶は表2で定義された誤り区分の集合である。その上で𝐵-𝑐，𝐼-𝑐には誤りの深刻度に対応するラベル𝑠∈𝑆を付与し、𝐵-𝑐-𝑠，𝐼-𝑐-𝑠の形式で表現する。なお、𝑆は表1で定義された誤りの深刻度の集合である。モデルは各トークン𝑡𝑖に対してラベル𝑙𝑖を予測し，隣接する𝐵-𝑐-𝑠と𝐼-𝑐-𝑠の列により誤りスパンを同定する。この定式化により、広告文中に存在する複数かつ可変長の誤りスパンを同時検出し、各誤りの種類と深刻度を推定することが可能となる。なお、実際の広告文は広告対象のWebページと広告キーワードに紐づいてユーザーに提示されるため、本研究ではこの状況を踏まえ、広告キーワード𝐾と宣伝対象のページ𝑃を広告文𝑇に結合してモデルに入力する。この際、モデルは𝑇に対応するトークン箇所に対してスパン単位の誤りの推定を行う。org/licenses/by/4.0/).𝜌はスピアマンの順位相関をそれぞれ表す。太字のスコアは各評価尺度で最高であったことを示す。モデル参照広告文あり参照広告文なしPRF1𝑟𝜌PRF1𝑟𝜌bert-base-multilingual-cased.311.326.296.610.517.377.369.362.359.376xlm-roberta-base.272.169.153.363.267.111.023.038.070.058mmBERT-base.659.585.598.714.678.235.141.171.233.193llm-jp-modernbert-base.698.593.612.692.667.358.324.332.368.311modernbert-ja-130m.755.723.719.799.783.524.422.440.431.402さらに、広告文の品質を推定する上で、人手の参照広告文𝑅が利用できる場合とそうではない場合が存在する。両者に対応するため、人手の参照を利用する際は𝐾,𝑃,𝑅,𝑇の順序で結合を行い入力とする。なお、この際もモデルは𝑇に対応するトークン箇所に対してスパン単位の誤り推定を行う。5実験§3にて作成したデータセットを用いて、§4で説明したスパン単位の誤り推定に対する評価を行う。5.1実験設定データセット学習及びテストには表4に記載されているデータセットの分割を使用した。なお、入力形式として参照を使用する場合は、広告キーワード𝐾,宣伝対象のページ𝑃,参照𝑅,広告文𝑇をこの順序で事前学習済みモデル固有の専用トークンを用いて結合した。参照を使用しない場合は𝐾,𝑃,𝑇の順序で同様に結合した。モデルモデルにはHuggingFaceTransform-ers[12]から利用できる事前学習済みのTrans-formerエンコーダとしてbert-base-multilingual-cased[13],xlm-roberta-base[14],mmBERT-base[15],llm-jp-modernbert-base[16],modernbert-ja-130m[17]を使用した。系列ラベリングにはHuggingFaceTrans-formersの固有表現抽出用スクリプト1）を転用し、ハイパーパラメータとして初期値を使用して学習を行った。詳細な設定については付録Cに記載した。評価尺度スパン単位の誤り推定を評価するために、スパン単位のPrecision,Recall,F1を使用した。F1を報告する際には各クラスの事例数でF1を重み付き平均したものを報告している。さらに、式1に従って計算される広告文が持つ誤りの重大さが、人1）https://github.com/huggingface/transformers/blob/main/examples/pytorch/token-classification/run_ner.py手によるものと相関しているかを確認するために、両者の間でのピアソン相関𝑟とスピアマンの順位相関𝜌を計算する。5.2実験結果案法による広告文の評価はピアソンの積率相関及びスピアマンの順位相関がxlm-robertaを除くモデルにおいて高い値を達成した、実用的な方法であることが分かる。さらに、誤りスパンの特定に関してもModernBERT[18]に基づくモデルでは高い値を達成しており、こちらも実用的であると言える。その一方で、参照が存在しない場合、これらの値は大きく低下してしまうものの、モデルによっては広告文の評価において中程度の人手評価との相関が存在する。さらに誤りスパンの特定に関しても、一部の参照あり設定の結果を超える結果も存在しており、一定の成果を上げていると考えられる。6まとめ本研究では、広告文評価における解釈性と実用性の向上を目的に、スパン単位で誤りの種類と深刻度を推定する手法を提案した。提案法の貢献は文法および意味的な誤りを区別し、それぞれの誤りが広告文全体の品質に与える影響を定量化する枠組みを示した点にある。また、既存データセットを拡張することで、訓練及び評価に使用可能な、スパン単位の誤り推定に適した新たなデータセットを構築した。実験の結果、提案手法は複数の事前学習済み言語モデルにおいて有効であり、推定された誤りの重大さが人手評価と整合することが示された。今後の課題としては，誤り区分ごとの重み付けの最適化や，実際の広告配信システムへの応用，さらに生成モデルによる広告文生成との統合などが挙げられる。org/licenses/by/4.0/).