DEIM2022 I44-6 (day4 p25)

√F V :オンラインニュースメディアにおける解約予測指標の開発と活用
山田 健太†

山本 真吾†

石原祥太郎†

澤紀彦†† 株式会社日本経済新聞社 〒 100–8066 東京都千代田区大手町 1-3-7
E-mail: †{kenta.yamada,shingo.yamamoto,shotaro.ishihara,norihiko.sawa}@nex.nikkei.com
あらまし

本稿では，経済ニュースメディアを運営する日本経済新聞社で開発され，5 年以上にわたり運用されてい√る解約予測指標「F V 」について説明する．この指標は訪問頻度（Frequency）と閲覧量（Volume）からなり，将来的な解約率を目的変数として，機械学習を用いて開発された．実データを用いた実験では，単純な 2 要素からなる指標が開発から数年を経た段階でも一定程度の予測性能を持ち，複雑な要素を組み合わせた指標と比較する中で有用な選択肢となり得ると示唆された．セグメンテーション・施策の効果測定など，具体的な活用事例についても報告する．
キーワード 解約予測，機械学習，ウェブサービス，ニュースメディアいた解約予測指標の開発手法の提案が挙げられる．第 2 章で示

1 はじめにインターネットの急速な普及を背景に，ニュースメディアの在り方は変化した．紙の形式での新聞の発行部数は減少の一途をたどり，オンライン上でのニュース消費が増加している．紙の形式に比べ，オンライン上ではユーザの閲覧行動を詳細に観測できる．閲覧回数の多い記事の表示や閲覧履歴に基づく記事推薦など，オンライン化の加速に伴い，ニュースメディアでは情報技術を活用したさまざまな施策が進んでいる．

す開発方法は他のサービスにも適用可能である．加えて実験や活用事例を通じて，オンラインニュースメディアの解約指標として，訪問頻度と閲覧量という単純な 2 要素で構築した指標の有用性を示した点も価値があると考えている．

2 機械学習を用いた指標「F√V 」の開発

2. 1 説明変数・目的変数
指標の設計に当たっては，機械学習を用いて候補となる要素施策の一つに，ユーザの閲覧行動に基づく解約予測が挙げらを精査した．具体的には「日経電子版の有料会員の過去平日 20

れる．ニュースメディアの主な収益事業には課金と広告の 2 種

日間の行動」を説明変数，「将来的に解約したか否か」を目的変類があるが，いずれも継続的に収益を得ることが重要で，ユー数とする分類器を学習し，予測に寄与している説明変数を確認

ザの解約率を低く保つ必要がある [1]．しかし，一般的にユーした．2015 年 11 月時点の有料会員を対象に 2015 年 11 月 20

ザの解約が発生するまでには 1 カ月以上の単位での期間がかか日時点の情報で説明変数を計算し，2016 年 3 月 1 日時点でのるため要因が把握しづらく，実際の解約が起きてからではその契約情報で目的変数を決定した．

ユーザの解約抑止ができないなどの課題が存在する．

説明変数の一例を以下に示す．ユーザの属性情報や契約関連

そこで，オンラインの経済ニュースメディア「日経電子版」1情報などに加え，日々の閲覧行動情報も利用した．訪問間隔を運営している日本経済新聞社では 2016 年以降，将来的な解（Recency）・訪問頻度・閲覧量は，それぞれの頭文字を取って約との相関が確認されている独自の指標を設計し，日々観測し「RFV」とも呼ばれ，サービスにおける顧客分析の際に用いらている．訪問頻度（Frequency）と閲覧量（Volume）からなる√
この指標「F V 」は，年齢や職業ではなくサービス上での振れる指標である [2]．

•年齢・性別・職業・業種などの属性情報

る舞いに基づくため、プロダクトやコンテンツの改善といった•プランや継続期間などの契約関連情報施策が事業に与えた影響を測りやすい．実際の解約が発生する•

訪問間隔・訪問頻度・閲覧量などの閲覧行動情報以前に計算可能な指標であり、先立って対策を検討できる利点もある．

2. 2 説明変数の選択・調整

以降，第 2 章では機械学習を用いた指標の開発手順を解説す

機械学習モデルの実装には、データマイニング・ソフトウェ

る．第 3 章では，開発時から数年度のデータを用いて指標の有ア「KXEN InﬁniteInsight（R）」2 を用いた（2016 年当時）．

用性を検証する．実際には利用していない複雑な指標も比較対予測に寄与している説明変数を確認したところ「コンテンツ消象として取り上げ，予測性能と指標の複雑性のトレードオフを費本数」と「過去 20 日間の訪問日数」が上位 2 つとなった．一議論する．ユーザのセグメンテーションや施策の効果測定など，方で，閲覧行動情報の中でも「前日や前々日に訪問したか」な

具体的な活用事例については第 4 章で触れる．第 5 章では関連

ど訪問間隔に関する説明変数は，相対的に貢献度が低かった．

研究を紹介し，第 6 章では結論と今後の展望を述べる．

これらの結果を踏まえ，解約予測指標を訪問頻度と閲覧量の本稿の主要な貢献 2 点を以下に示す．第一に，機械学習を用
2：https://blogs.sap.com/2014/03/11/sap-infinite-insight-introduction1：https://www.nikkei.com/

and-overview/図 1 有料会員の過去平日 20 日間の訪問日数と解約率の関係（図は脚注 3 より引用）
図 3 回遊情報の説明変数の概要

械学習を用いて予測に寄与する説明変数を確認した．具体的には「日経電子版の有料会員の過去平日 20 日間の行動」を説明変数，「将来的に解約したか否か」を目的変数とする分類器を学習した．2020 年 4 月以降の有料会員を対象に 2020 年 4 月 30日以降の情報で説明変数を計算し，2020 年 6 月 1 日以降での契約情報で目的変数を決定した．説明変数は 250 程度用意し，√F V の設計時には用いなかった，遷移したページの種類など
図 2 有料会員の過去平日 20 日間のコンテンツ消費本数と解約率の関係（図は脚注 3 より引用）

2 つの要素を用いて次のように定義した 3 ．
√√
解約予測指標「F V 」= Frequency Volume
ただし，Frequency = (訪問日数 + 訪問時間数3/4 )Volume = (記事閲覧数 + 株価検索数など)
ここで，訪問頻度と閲覧量のそれぞれの具体的な定義や重み付けについては，図 1・図 2 のように解約率との相関が大きくなるように調整した 4 ．図 1 は有料会員の過去平日 20 日間の訪問日数と解約率の関係を表し，訪問日数が多いユーザほど解約率が低いことが読み取れる．図 2 は有料会員の過去平日 20日間のコンテンツ消費本数と解約率の関係を表し，記事閲覧などのコンテンツ消費が多いユーザほど解約率が低いことが分かる．
「過去平日 20 日間」としているのは，日経電子版には業務目的で利用しているユーザが多く，土日祝を除いた平日のみのの追加の閲覧行動情報（回遊情報，図 3）も用いた．

•

年齢・性別・職業・業種などの属性情報•

プランや継続期間などの契約関連情報•

訪問間隔・訪問頻度・閲覧量などの閲覧行動情報•

遷移したページの種類などの回遊情報

3. 3 説明変数の選択・調整
分類器には勾配ブースティング決定木の「LightGBM」[3] を，予測に寄与している説明変数の確認には「SHAP」[4] を用いた．
上位の説明変数は，属性情報・閲覧行動情報・回遊情報の 3 つだった．このうち属性情報の説明変数に関しては，指標の定義として用いることが好ましくないため，本実験では閲覧行動情報と回遊情報の説明変数の組み合わせで指標候補を設計した．
たとえば年齢や性別は顧客固有の値で，提供者側の努力で変更できないからである．
本実験では，予測性能の高さと解釈性の良さの観点から，以下の指標候補を定義した．

lg VtoKlg VtoN K

閲覧行動情報を扱いたいという意図が存在するためである．

「回遊スコア」=

3 実験: 指標の予測性能と解釈性

ただし，VtoK = VKtoK + VN KtoK

VtoN K = VKtoN K + VN KtoN K + VN KtoE + VKtoE

3. 1 実験の概要√実験では他の指標候補との比較を通じて，F V の有用性を√検証した．F V を指標として運用し始めてから 4 年ほど経過

VtoN K は「記事以外へ遷移・もしくは離脱した閲覧量」を意味した 2020 年の実際のデータセットを用いた．

する．
「回遊スコア」は，VtoK と VtoN K の比率を計算しており，ここで図 3 に示す通り，VtoK は「記事へ遷移した閲覧量」，値が大きいほど回遊の度合いが高い．すぐに記事から離脱して

3. 2 説明変数・目的変数
指標候補の設計に当たっては，F√

しまわないか，記事を一つ読み終わった後に興味を引く他の記V の設計時と同様に，機3：https://www.slideshare.net/HidekiYamauchi/at-domo-city-tour-2018
4：細かな定義や重み付けは日々の運用の中で調整を実施している場合がある事があるか，離脱が多くないかといった点が考慮されている．

3. 4 指標の比較
予測性能・解釈性の 2 つの観点で，F√V を指標候補と比較した結果を表 1 に示す．参考として，すべての説明変数を用い

リズム [10] など，高度な技術を用いた手法が提案されている．

た機械学習のモデルも比較対象に加えている．予測性能の評価発生までに一定の期間を必要とする現象に対し，事前に観測指標としては F1 スコアを用い，機械学習のモデルを 1 としてできる代替的な指標を用いる考え方は，生物統計学や医学を起値を変換した．データセットは 2019 年 6 月〜2019 年 12 月を点とし [12] [13]，計量経済学の分野にも発展している [14]．解

学習用，2020 年 1 月〜2020 年 3 月を評価用として分割した．

約もこの考え方が適用できる行動の一つで，米国の日刊新聞「Boston Globe」による類似の取り組みが報告されている [15]．

表 1 指標の比較
予測性能

解釈性

0.117

◎

0.441

◯

属性情報+回遊スコア0.740△

オーディエンスエンゲージメント [16] [17] を重視するという考機械学習モデル

1.000×え方が登場し始めた．オーディエンスエンゲージメントとは，属性情報
属性情報+F√V

5. 2 ニュースメディア
ニュースメディアでは 2010 年以降，欧米メディアを中心に自社サービスに対する読者の関わり度合い（エンゲージメント）
表 1 より，指標の設計において予測性能と解釈性はトレード√オフの関係にあることが示唆された．回遊スコアは，F V にを意味する．エンゲージメントが高まると媒体と読者の関係が比べて予測性能が高い．一方で式が複雑なため解釈性は低く，換する確率が高くなり，顧客生涯価値（Lifetime value）[18] が指標を用いる側に解釈の負担を強いてしまうという欠点がある．
√F V は予測性能が回遊スコアに少し劣るものの，解釈性の面向上するという考え方である．

で使い勝手がよい．250 の説明変数を用いた機械学習モデルとスメディア「Financial Times」5 は，訪問間隔・訪問頻度・閲比較すると予測性能は 44 %に留まるが，実運用の観点では一覧量の 3 要素からなる「RFV」という独自指標を開発し，AB定の利用価値があると捉えられる．一方を改善するにはもう一√方を犠牲にする必要があるという観点で，F V は開発から数テストの評価などに利用していた 6 ．日本経済新聞社はこの利年を経たデータセットで検証した場合でも有用な指標であると

経電子版の特性に合わせた改良を施している．

深まり，購読者であれば解約しにくく非購読者であれば有料転

日本経済新聞社が 2015 年に買収したイギリスの経済ニュー用実績がある指標を参考にしつつ，訪問間隔を削除するなど日示唆された．

6 結論と今後の展望
4 活用事例
4. 1 セグメンテーション√F V を用いることで，ユーザをいくつかのグループにまとめ上げるセグメンテーション [5] が可能となる．日本経済新聞社√
ではユーザを F V が高い順に，Super Loyal・Loyal・Middle・Light といった形で区分した．たとえば Light に移動したユーザ群に対してメール配信などのコミュニケーションを実施することで，実際の解約が起きる前にユーザの解約を抑制するための施策を適用できる利点がある．その他，Super Loyal のユーザ群が頻繁に利用している機能を調査するといった幅広い形での活用の余地がある．

4. 2 効 果 測 定√
F V は，各種施策の効果検証にも利用できる．具体的に

本稿では，日本経済新聞社で開発され，5 年以上にわたり運√用されている解約予測指標「F V 」について説明した．将来的な解約率を目的変数として機械学習を用いて開発された指標で，訪問頻度と閲覧量の 2 要素で構成される．実データを用いた実験を通じて，開発から数年を経た段階でも一定程度の予測性能を持つと分かり，さまざまな指標の中で有用な選択肢となり得ると示唆された．指標を用いたユーザのセグメンテーションや，AB テストを通じた施策の効果測定など，具体的な活用事例についても報告した．
今後の展望として，機能やサービスの推薦への応用が挙げ√
V が最もられる．機能やサービスの推薦時に各ユーザの F増加する選択肢を提示することで，解約を抑制する効果が期待できる．Financial Times は同様の推薦機能を「Next BestAction」7 という名で実装・運用している．

は，機能やプロモーションを一部のユーザ群のみに公開したり，ユーザごとに出し分けたりするランダム化比較実験（AB テス√ト）[11] を実施し，F V の推移を確認する．どれくらい解約防止に影響があったかという観点で各種施策を評価できる点で，重要な活用方法の一つである．

謝辞

本稿にまつわる取り組みは，日本経済新聞社に関わる多くの方々の支えで成り立っている．現在に至るまでの全ての方々の尽力に，心より感謝する．

5 関連研究5. 1 解 約 予 測
解約予測に関する取り組みは，古くから数多く実施されている [6] [7] [8]．近年は情報技術の進展に伴って，テキスト情報を処理する畳み込みニューラルネットワーク [9] や遺伝的アルゴ

5：https://www.ft.com/
6：https://www.slideshare.net/Fastly/finding-your-north-star
7：https://medium.com/ft-product-technology/how-we-calculate-thenext-best-action-for-ft-readers-30e059d94aba

文献[1] 関喜史. 2019. ニュースサービスの変化とニュース記事推薦システム. 人工知能 34 (3): 283–91.
[2] Fader, Peter S., Bruce G. S. Hardie, and Ka Lok Lee. 2005.
RFM and CLV: Using Iso-Value Curves for Customer BaseAnalysis. Journal of Marketing Research 42 (4): 415–30.
[3] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, WeiChen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. 2017.
LightGBM: A Highly Eﬃcient Gradient Boosting Decision
Tree. Proceedings of the 31st International Conference on
Neural Information Processing Systems, 3149-57.
[4] Lundberg, Scott M., and Su-In Lee. 2017. A Uniﬁed Approach to Interpreting Model Predictions. Proceedings ofthe 31st International Conference on Neural Information
Processing Systems, 4768–77.
[5] McDonald, Malcolm, Martin Christopher, and Margrit
Bass. 2003. Market Segmentation. Marketing: A Complete Guide, 41–65. London: Macmillan Education UK.
[6] Tsai, Chih-Fong, Yu-Hsin Lu. 2009. Customer Churn Prediction by Hybrid Neural Networks. Expert Systems withApplications 36 (10): 12547–53.
[7] Verbeke, Wouter, David Martens, Christophe Mues, andBart Baesens. 2011. Building Comprehensible Customer
Churn Prediction Models with Advanced Rule Induction
Techniques.
Expert Systems with Applications 38 (3):2354–64.
[8] Vafeiadis, T., K. I. Diamantaras, G. Sarigiannidis, and K.
Ch Chatzisavvas. 2015. A Comparison of Machine Learning Techniques for Customer Churn Prediction. Simulation
Modelling Practice and Theory 55 (June): 1–9.
[9] Stripling, Eugen, Seppe vanden Broucke, Katrien Antonio,Bart Baesens, and Monique Snoeck. 2018. Proﬁt Maximizing Logistic Model for Customer Churn Prediction Using
Genetic Algorithms. Swarm and Evolutionary Computation 40 (June): 116–30.
[10] De Caigny, Arno, Kristof Coussement, Koen W. De Bock,and Stefan Lessmann. 2020. Incorporating Textual Information in Customer Churn Prediction Models Based on aConvolutional Neural Network. International Journal ofForecasting 36 (4): 1563–78.
[11] Chalmers, T. C., H. Smith Jr, B. Blackburn, B. Silverman, B. Schroeder, D. Reitman, and A. Ambroz. 1981. AMethod for Assessing the Quality of a Randomized ControlTrial. Controlled Clinical Trials 2 (1): 31–49.
[12] Weir, Christopher J., and Rosalind J. Walley. 2006. Statistical Evaluation of Biomarkers as Surrogate Endpoints: ALiterature Review. Statistics in Medicine 25 (2): 183–203.
[13] Joﬀe, Marshall M., and Tom Greene. 2009. Related Causal
Frameworks for Surrogate Outcomes. Biometrics 65 (2):530–38.
[14] Zhou, Zhengyuan, Susan Athey, and Stefan Wager. 2018.
Oﬄine Multi-Action Policy Learning: Generalization andOptimization. arXiv preprint arXiv:1810.04778.
[15] Yang, Jeremy, Dean Eckles, Paramveer Dhillon, and Sinan
Aral. 2020. Targeting for Long-Term Outcomes. arXiv
preprint arXiv:2010.15835.
[16] Arapakis, I., M. Lalmas, and B. B. Cambazoglu. 2014. User
Engagement in Online News: Under the Scope of Sentiment,Interest, Aﬀect, and Gaze. Journal of the Association for
Information Science and Technology 65 (10): 1988–2005.
[17] Hong, Liangjie, and Mounia Lalmas. 2020. Tutorial onOnline User Engagement: Metrics and Optimization. Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 3551–52.
[18] Farris, Paul W., Neil Bendle, Phillip E. Pfeifer, and David
Reibstein. 2010. Marketing Metrics: The Deﬁnitive Guideto Measuring Marketing Performance. Pearson Education.