メール型広告におけるタイトル
が開封に与える影響吉井健敏・城⽥晃希・市川匠・佐野雄⼀（株式会社D2C）・持橋⼤地（統計数理研究所）
2022/09/10 (⼟)
第148回情報基礎とアクセス技術研究会(SIG-IFAT)
1

u⽬次
• 背景

- メッセージS, 開封予測, ⽬的• 提案⼿法- メールタイトルのフレーズベクトル化- 1. タイトルのスコアリング- 2. NPMIを使ったフレーズの評価• 実験データ- データ概要, 前処理• 結果・考察- 1. タイトルのスコアリング- 2. NPMIを使ったフレーズの評価• まとめ2

u背景: メッセージS• メッセージS(スペシャル)®

- 株式会社D2Cが広告販売運⽤- 株式会社NTTドコモのスマートフォン向けメール型広告配信サービス- 登録者: 約3300万⼈ (2022年4⽉時点)- スマートフォン向けメール広告
において⽇本最⼤級のメディア

3u背景: メッセージS• ドコモのメッセージSにおける開封4

u背景 開封予測• メッセージSにおける開封- 開封予測タスクはクリック、コンバージョン予測
タスクに⽐べて難しい• メールを開封するまで広告内容を把握する⼿段が乏しい• 絶対に開封しないユーザ/絶対に開封するユーザが⼤半を占めていてノイズとなってしまっている• ユーザ情報が開封に与える影響が⼩さいと⾔われている5

u背景 開封予測- OS (Android vs iOS)

開封率

• ユーザ情報⾼• UIの都合Androidユーザの⽅がiOSユーザより開封率が⾼い

- 性別

低年齢

- 年齢

⾼

- 居住区

開封率

• 男⼥間でわずかに差がある• ⾼齢者のほうが開封しやすい

平均開封率• 東⽇本のユーザの⽅が⻄⽇本のユーザより開封しやすい
低

平均開封率

6

u⽬的
• 開封に効く因⼦を⾒つけたい- ユーザ情報だけでは限界がある- 運⽤フェーズでコントロール可能なクリエイティブ
情報から開封に与える影響を評価したい- 特に開封までにユーザが広告内容を把握できる
ほぼ唯⼀の⼿段であるタイトルに注⽬

7

u メールタイトルの特徴ベクトル化• メールタイトルを定量的に扱うため特徴ベクトルにする• メールタイトルの性質- 広告主名や商品名などの固有名詞を多分に含む- 同⼀ジャンルの商品にまたがって登場する
ユニークなフレーズを含む• 提案⼿法- メールタイトル独特のニュアンスを損なわないようタイトルに出現するフレーズを抽出- フレーズを含むか含まないかの⼆値で特徴ベクトル化- フレーズはタイトルに含まれるワードの共起度に注⽬して抽出
8uフレーズ抽出(共起頻度の定義)• ⾃⼰相互情報量 (PMI; Pointwise Mutual Information)- Church and Hanks (1990) で最初に提案- 周辺確率 p(x), p(y) で定義される離散確率変数 X, YのPMI<latexit sha1_base64="qmxExi5cXSROkxatIa9gOVIO3Y4=">AAAHbHichZXPaxNBFMdfW21q/dFWPQhFCIaGFCRMoqB4atWCpaW0iWlT21J2trNxyWZ32d2k+UH+Ac+CB1FQ8CD+GV78Bzz0TxDBSwUvHnw7uyE/5rVuSGbmvc/35b2Z2RnuWqYfMHYyNj5x4eJkYurS9OUrV6/NzM5d3/aduqeLku5Yjlfmmi8s0xalwAwsUXY9odW4JXZ49Uno32kIzzcd+3nQcsVBTavYpmHqWoCmF26muXg36WZai4ezKZZl8kmqnVzcSUH8bDpzE2nYhyNwQIc61ECADQH2LdDAx88e5ICBi7YD6KDNw54p/QK6MI3aOlICCQ2tVfyt4Ggvtto4DmP6Uq3jv1j49VCZhAX2nX1mp+wb+8J+sL9nxurIGGEuLWx5pBXu4cyrW8U//1XVsA3gZV91joIjfX5NARjwUNZiYm2utIRV6lH8RvvNafFRYaGTZh/ZT6zvAzthX7FCu/Fb/7QlCm9l9CPUGNg2sNUhhTPcwVEvU46+jrR242z6fJMgmwTXIrgWwbUJrk1wxwR3THAGwRkEVyW4KsEtE9wywa0S3CrBrRHcGsGVCa5McLsEt0twjOCYwvF4fcN9SK0rj9c18qvryeUu7vkF4a/hju0T+3KsUi7maA5xkYUifYX0STLMLcD6B9meTaXDWerxg4q+vUuoLPnOc7SM6gY9lHJTqXjzjIqLaK3IlRyk+1ZVsT6UVV+zPpLToGojzl9Hn4Uny4ZCrIzsKI7jFYUqEFRBoZ7K0yYFeUkbeD6H5160mr0TP8ojOpVoTz6Mi/dPbvS2UTvb+WzuXja/dT+19Di+iaZgHu5ABuM/gCV4hvNfwhxseA3v4P3kr8TNxHzidoSOj8WaGzD0JNL/AFP+hDI=</latexit><latexit sha1_base64="994JAii3SLi2tLiU0d6qdhk6aHg=">AAAHZXichZVBTxNBFMcfoBRRBNQYEw8SG4gH00yricYTqCQSCCmthTZAyM4yWzfd7m52t4W26Rcw8SoHT5p4MH4ML34BD3wCYzxiwoWDb2e32bbzgG3amXnv9399b2Z2hruW6QeMHY+Mjl25Op6auDZ5/cbUzemZ2VubvtPwdFHSHcvxylzzhWXaohSYgSXKrie0OrfEFq+9Cv1bTeH5pmO/DVqu2K1rVds0TF0L0FQsP67szaRZhslnTu1k404a4ifvzI4twA7sgwM6NKAOAmwIsG+BBj5+tiELDFy07UIHbR72TOkX0IVJ1DaQEkhoaK3hbxVH27HVxnEY05dqHf/Fwq+HyjmYZ7/YN3bCfrLv7A87OzdWR8YIc2lhyyOtcPem398rnl6qqmMbwLtEdYGCI31xTQEY8FzWYmJtrrSEVepR/Gb76KT4ojDfWWBf2F+s7zM7Zj+wQrv5T/+6IQqfZPR91BjYNrHVIY0z3MFRL1OOvo60duNsEv6QIA8JrkVwLYJrE1yb4A4I7oDgDIIzCK5GcDWCWyK4JYJbIbgVglsluFWCKxNcmeAqBFchOEZwTOF4vL7hPqTWlcfrGvnV9eRyF/f8gvDXcccmxI4cq5SLOZoDXGShSF8hfZIMcwuw/n62Z1PpcJZ6fL8isXcJlSXfeY6WYV2/h1LmlYrz51RcRGtVrmQ/nVhVxdpAVolmbSinftV6nL+OPgtPlnWFWB7aURzHywpVIKiCQr2Wp00acpI28HwOz71oNXsnfpRHdCrRnlwYF++f7PBto3Y2c5nsk0xu42l68WV8E03AfXgIjzD+M1iENzj/JcyhCh/gIxyN/05Npe6k7kbo6EisuQ0DT+rBf/IZggo=</latexit>- , が完全に独⽴なら0、共起しやすければ正、しづらければ負- x, y の出現頻度が⾮常に少ないとき値が⼤きく、が⼩さくなると無限に⼩さくなってしまう<latexit sha1_base64="ooberJoHQjIT7VfWMbj043ZozoA=">AAAHZXichZXPTxNBFMcfoBRRBNQYEw8SG4gH00yricYTqCQSCCmthRIgZGeZrZtudze729If6T9g4lUOnjTxYPwzvPgPeOAvMMYjJlw4+HZ2m207D9imnZn3Pt/X92ZmZ7hrmX7A2PHI6NiVq+OpiWuT129M3Zyemb216Tt1Txcl3bEcr8w1X1imLUqBGVii7HpCq3FLbPHqq9C/1RCebzr226Dlir2aVrFNw9S1AE3F5uPW/kyaZZh85tRONu6kIX7yzuzYAuzCATigQx1qIMCGAPsWaODjZweywMBF2x500OZhz5R+AV2YRG0dKYGEhtYq/lZwtBNbbRyHMX2p1vFfLPx6qJyDefaLfWMn7Cf7zv6ws3NjdWSMMJcWtjzSCnd/+v294umlqhq2AbxLVBcoONIX1xSAAc9lLSbW5kpLWKUexW+0j06KLwrznQX2hf3F+j6zY/YDK7Qb//SvG6LwSUY/QI2BbQNbHdI4wx0c9TLl6OtIazfOJuGbBNkkuBbBtQiuTXBtgjskuEOCMwjOILgqwVUJbonglghuheBWCG6V4FYJrkxwZYLbJrhtgmMExxSOx+sb7kNqXXm8rpFfXU8ud3HPLwh/DXdsQuzKsUq5mKM5wEUWivQV0ifJMLcA6+9nezaVDmepx/crEnuXUFnynedoGdb1eyhlXqk4f07FRbRW5Er204lVVawNZJVo1oZy6letx/nr6LPwZFlXiOWhHcVxvKxQBYIqKNRredqkISdpA8/n8NyLVrN34kd5RKcS7cmFcfH+yQ7fNmpnM5fJPsnkNp6mF1/GN9EE3IeH8AjjP4NFeIPzX8IcKvABPsLR+O/UVOpO6m6Ejo7Emtsw8KQe/AeyN4JK</latexit>

9uフレーズ抽出(共起頻度の定義)• NPMI (Normalized Pointwise Mutual Information)- G. Bouma et al. (2009)- PMIの値の発散を規格化で解決- NPMIの式- x, y が独⽴なら0
完全に共起する場合1、しない場合 ­1<latexit sha1_base64="ooberJoHQjIT7VfWMbj043ZozoA=">AAAHZXichZXPTxNBFMcfoBRRBNQYEw8SG4gH00yricYTqCQSCCmthRIgZGeZrZtudze729If6T9g4lUOnjTxYPwzvPgPeOAvMMYjJlw4+HZ2m207D9imnZn3Pt/X92ZmZ7hrmX7A2PHI6NiVq+OpiWuT129M3Zyemb216Tt1Txcl3bEcr8w1X1imLUqBGVii7HpCq3FLbPHqq9C/1RCebzr226Dlir2aVrFNw9S1AE3F5uPW/kyaZZh85tRONu6kIX7yzuzYAuzCATigQx1qIMCGAPsWaODjZweywMBF2x500OZhz5R+AV2YRG0dKYGEhtYq/lZwtBNbbRyHMX2p1vFfLPx6qJyDefaLfWMn7Cf7zv6ws3NjdWSMMJcWtjzSCnd/+v294umlqhq2AbxLVBcoONIX1xSAAc9lLSbW5kpLWKUexW+0j06KLwrznQX2hf3F+j6zY/YDK7Qb//SvG6LwSUY/QI2BbQNbHdI4wx0c9TLl6OtIazfOJuGbBNkkuBbBtQiuTXBtgjskuEOCMwjOILgqwVUJbonglghuheBWCG6V4FYJrkxwZYLbJrhtgmMExxSOx+sb7kNqXXm8rpFfXU8ud3HPLwh/DXdsQuzKsUq5mKM5wEUWivQV0ifJMLcA6+9nezaVDmepx/crEnuXUFnynedoGdb1eyhlXqk4f07FRbRW5Er204lVVawNZJVo1oZy6letx/nr6LPwZFlXiOWhHcVxvKxQBYIqKNRredqkISdpA8/n8NyLVrN34kd5RKcS7cmFcfH+yQ7fNmpnM5fJPsnkNp6mF1/GN9EE3IeH8AjjP4NFeIPzX8IcKvABPsLR+O/UVOpO6m6Ejo7Emtsw8KQe/AeyN4JK</latexit>

10uフレーズ抽出• フレーズ認識- T. Mikolov et al (2013) を参考- 連続する単語v, wのペアについて共起頻度を計算- スコアはNPMI- スコアの値が閾値t(=0.5)以上ならバイグラムをフレーズとして扱う- タイトルの集合からフレーズの集合が得られる

11

u メールタイトルの特徴ベクトル化•フレーズを含む含まないの2値ベクトル化- タイトルベクトルをフレーズに分割- フレーズの有無を特徴量としてあつかう
フレーズの集合タイトル“美容液たっぷり”
変換
特徴ベクトル( 1, 0, 0, 0, 1, 0, ... )

“美容液”
”美容”
“溶液”
“美”
“たっぷり”
“健康”
...

12

u提案⼿法1• タイトルのスコアリング(1)- 動機: 開封率が向上するタイトルを⽣成したい- ユーザ情報、タイトル情報を使った開封予測モデル- L1ロジスティック回帰- フレーズごとの重みからタイトルスコアを定義- スコアは⾼いほど開封されやすく、低いほどされづらい13

u提案⼿法1•タイトルのスコアリング(2)- 過学習を防ぐため５分割交差検証• 学習データにつき５つのモデル• フレーズごとに５つの重みが求まりそれらの平均: w, 分散: s が得られる• スコアと、誤差伝搬からスコアの標準偏差が得られる（標準偏差式）14

u提案⼿法1• 評価⽅法- モデル: ５分割交差検証-開封予測のAUC- スコア: タイトルごとにスコアと開封の実績値を⽐較(相関係数)• 相関係数が正であれば、スコアが開封率を⾒積もる良い指標であることを⽰せる

15

u提案⼿法2• NPMI を使ったフレーズ影響の評価- 動機: フレーズが開封を促進しているユーザ特徴を明らかにしたい- 開封された配信ログの中でフレーズとユーザ特徴の共起度に注⽬- 共起しやすければ (NPMI>0)︓
フレーズがその特徴を持つユーザ群の開封へ＋の影響- 共起しづらければ (NPMI<0)︓
フレーズがその特徴を持つユーザ群の開封へーの影響- 共起度はNPMIを使って定義- aあああp: フレーズf : ユーザ特徴
16

u実験データ

集計期間

5ヶ⽉

4ヶ⽉

• データ準備

データサイズ(500万件)

419 MB467 MB

クライアント
数

589社

804社

タイトル数

2176件

1540件

- メッセージSの配信ログ- 集計期間• 学習データ:
2021/09/01 ~ 2022/01/31• テストデータ:
2022/02/01 ~ 2022/05/31

学習データ

テストデータ• Android-userのみ使⽤:• 極端なuserの除外:
学習期間で開封率が著しく⾼い/低い
ユーザを除外• ダウンサンプリング:
学習、テストデータともに配信数が膨⼤⇒それぞれ500万件をランダムサンプリング

クリエイティブ情報

⽬的変数

No.

性年

居タイトル

開封

1

男

40

東京

あなたの不動産売ったら今いくら?

12

⼥

52

⼤阪

無料あなたの不動産は今いくら?

03

⼥

74

富⼭

完全無料登録不要のニュースアプリ

1

前処理

- 前処理

– 過学習抑制のため、学習データ内で1広告主にのみ使⽤されるフレーズを除外(内860件はテストデータのみ)

ユーザ情報- データ選別• 数値: 標準正規化、カテゴリ: One Hot Enc.
• タイトルはフレーズベクトルに変換• フレーズの選定(内488社はテストデータのみ)

No.

⼥

男

年

北海
道

1

0

1

0.41

0

2

100.52

3

100.63沖縄
県

あなたの不動産

今いくら…

01

1

1…

1

1

1…

10…

無料

開封

…

01

1…

100…

11…

17u結果•タイトルのスコアリング- タイトル情報を使⽤しモデル精度向上- タイトルスコアと実績開封率は優位に正の相関⇒ 開封率を⾒積もる指標として活⽤可能
モデル評価
[AUC]

タイトルスコア評価[相関係数]

学習データ

0.5143-

学習データ

0.53880.431±0.005

テストデータ0.50270.065±0.007

テストデータ0.50230.054±0.006(デモグラ情報のみ)(全体)(新規のみ)

18

u結果• 相互情報量を使ったタイトルの評価- 学習データのうち開封がされたログについて、フレーズと特徴(年代×性別)のNPMI(p,f)を計算

19

u結果
• 男性に効果的なフレーズ例- “転職”• 若年層のほうが⾼齢世代より転職活動に積極的という解釈に⼀致- “売却”• 不動産や⾞の売却で使⽤されるフレーズで⾼齢男性が資産が成熟して管理する⽴場にあることを⽰唆- フレーズと特徴の共起度から直感と⽭盾のない知⾒が得られている

20u結果• ⼥性に効果的なフレーズ例- “⽩髪”: ⾼齢⼥性に効果的- “⽑⽳”: 若年⼥性に効果的• 年代ごとに異なる⼥性の美容の悩みを顕著に表している- どちらも美容カテゴリに属する商品に登場するフレーズ- 効果的なユーザ層が異なり、より詳細なマーケティング指標として活⽤可能
21

u結果

••
•
•
•

男性にやや肯定的、⼥性に否定的
男性にやや否定的、⼥性にやや肯定的
男性に否定的、⼥性にやや肯定的
開封への影響は弱い
若い世代に肯定的、⾼齢層に否定的

22

uまとめ
• 背景

- ドコモのメッセージS(メール)における開封の予測• ⼿法- 提案⼿法1: タイトル⽂字列からのL1回帰モデル- 提案⼿法2: NPMIを使ったフレーズと開封の相関の調査• 結果- タイトルのスコアリング︓• 学習データとテストデータでタイトルスコアと実績開封率に有意な正の相関が得られた→スコアを開封率を⾒積もる指標にできる- NPMIを使ったフレーズの評価︓• フレーズと特徴の共起度から直感と無⽭盾な知⾒が得られた• 広告カテゴリ以上の粒度でユーザに効果的なフレーズを選定できる
23

u付録 (1/3)

24

u付録 (2/3)

25

u付録 (3/3)

26