FIT2006(第5回情報科学技術フォーラム)LF-005
契約期間を延ばすためのリコメンデーション法
Recommendation to Extend Subscription Periods
岩田 具治 †Tomoharu Iwata1.

斉藤 和巳 †Kazumi Saito

まえがき

3.

リコメンデーションは，ユーザの利便性を向上させるとともに，収益増加につながるため，多くのオンラインストアで用いられている [7]．オンラインストアのビジネスモデルは従量制と定額制の 2 つに大別できる．従量制とは購入した商品に応じて課金されるビジネスモデルであり，定額制とは月毎，年毎など期間によって一定額が課金されるビジネスモデルである．収益を上げるためには，従量制の場合，ユーザにより多くの商品を購入してもらうことが必要であり，一方，定額制の場合，ユーザにより長い期間契約してもらうことが必要である．つまり，オンラインストアにとって従量制と定額制の場合
ではユーザに求める行動が異なる．
リコメンデーションは，オンラインストアにとってユーザの行動に影響を与える 1 つの手段である．上述のように従量制と定額制ではユーザに求める行動が異なるため，リコメンデーションは従量制と定額制では異なる戦略で行う必要があると考えられる．従来のリコメンデーショ
ン法は，購買確率を高くするためにユーザの嗜好に合致する商品を提示する．従量制の場合，従来法は収益を増加させることができるだろう．しかし，定額制の場合，従来法により必ずしも契約期間が延びるとは限らず，収益増加につながらない可能性もある．
本稿では，定額制ビジネスモデルを想定し，ユーザの契約期間を延ばすためのリコメンデーション法を提案する．提案法では，契約期間が長いユーザに特徴的な購買パターンを見つけ，各ユーザがそのパターンと同様の購買行動するように商品をリコメンドする．購買パターンを見つけるため生存時間解析の手法を用い，また，効果的なリコメンドを行うためユーザの嗜好を最大エントロピーモデルを用い推測する．契約期間が延びるということは，ユーザの満足度が高いことの結果であるため，契約期間を延ばすリコメンドは，オンラインストアの収益増加につながるだけでなく，ユーザにとっても好ましいことである．定額制の場合，ユーザが生涯を通じてもたらす利益を表す顧客生涯価値は，契約期間に比例する．
そのため，提案法は顧客生涯価値を最大化するリコメンデーション法と言うこともできる．

2.

関連研究

リコメンデーション法として，協調フィルタリング [5]やコンテントフィルタリング [4] など様々なものが提案されている．しかしこれらの手法は購買確率を高くするためのリコメンド手法であり，契約期間を延ばす提案法とは目的が異なる．また，契約期間の解析や予測などは行われているが [6][8]，リコメンデーションのためには用いられていない．
† 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所

山田 武士 †
Takeshi Yamada
提案法

3.1 準備定額制のオンラインストアが得られる一般的なログとして，契約ログと購買ログがある．契約ログとは，各ユーザの契約開始時刻，契約状況（契約中か解約済か），解約済の場合の解約時刻のログであり，また，購買ログとは，各購買のユーザ，時刻，商品のログである．
V
ユーザ集合を U = {un }N
n=1 ，商品集合を S = {si }i=1 ，ユーザ un の契約期間を tn ，契約状況を en （解約済の場合 en = 1，契約中の場合 en = 0）とする．契約期間 tn
は，契約ログから得ることができる．ユーザ un の契約，解約済の場合の解約時刻を dend
開始時刻を dstart
nn ，ログの最終更新時刻を dend とする．このとき契約期間は(dend− dstart
if en = 1,nn
tn =(1)dend − dstart
if en = 0,nとなる．
nn
各ユーザを購買系列 un =< sn
1 , s2 , . . . >，sk ∈ S として表現する．ここで snはユーザ
uがk番目に購入nkした商品を表す．購買系列 un は購買ログから得ることができる．購買系列から得られる 2 種類の特徴量 x(un )，y(un , sj ) を考える．x(un ) は契約期間を推定するために，y(un , sj ) は嗜好を推定するために用いる．特徴量として，商品 si を購入した次に商品 sj を購入したことがあるか，などが考えられる．また簡単のため x(un ) を列ベクトル
xn = (x1 (un ), x2 (un ), . . .)T と記述する．ここで xk (un )は x(un ) の k 番目の特徴量を表す．
3.2 リコメンデーション法
提案法は，ユーザ u にリコメンドしたとき契約期間が延びる確率 P (l|u, r(si )) が最大になる商品 sî をリコメンドするsî = arg max P (l|u, r(si )),(2)
s i ∈S
ここで l は契約期間が延びるという事象，r(si ) は商品 siをリコメンドしたという事象を表す．
リコメンド後に購入した商品を sj とする．リコメン
ド r(si ) が購買行動 sj に影響を与えない場合，リコメンド r(si ) は契約期間 l にも影響を与えないと一般に考えられる．そこで，sj と u が与えられたとき，l と r(si )は条件付独立であると仮定すると，P (l|u, r(si )) は，商品 sj を購入したときユーザ u の契約期間が延びる確率Q(l|u, sj ) と，商品 si をリコメンドしたときユーザ u が商品 sj を購入する確率 R(sj |u, r(si )) とに分解できるX
P (l, sj |u, r(si ))P (l|u, r(si )) =s j ∈SX
Q(l|u, si )R(sj |u, r(si )). (3)=s j ∈S

109

FIT2006(第5回情報科学技術フォーラム)Q(l|u, sj ) は Cox 比例ハザードモデルを用い，また，R(sj |u, r(si )) は最大エントロピーモデルを用い推定する．

3.3 Cox 比例ハザードモデル
x をユーザ u の購買履歴の特徴ベクトルとし，以後簡単のため x を購買履歴と呼ぶ．一般に契約期間は購買履歴に依存すると考えられる．提案法では，商品 sj を購入したときユーザ u の契約期間が延びる確率 Q(l|u, sj )をハザード関数 h(t|x) から導く．ハザード関数とは，期間 t まで契約しているユーザが t で解約する割合を表す．
ユーザが契約中の場合，真の契約期間は分からない．このようなデータは打ち切りデータと呼ばれる．生存時間
解析 [1] の手法を用いることにより，打ち切りデータに含まれる情報も有効に活用し h(t|x) を推定できる．
次式で表される Cox 比例ハザードモデル [2] を h(t|x)
として用いるh(t|x) = λ0 (t) exp(β T x),(4)

ここで λ0 (t) はベースラインハザード，β は未知パラメー
タ，β T は β の転置を表す．推定値の大域的最適解が保証され，かつ，Q(l|u, sj ) を簡易な形で記述することができるため，Cox 比例ハザードモデルを採用する．
Cox 比例ハザードモデルの Breslow 近似による対数部
分尤度 [1] は次式で表される
QYn∈D(t) h(t|xn (t))
PP L(β) = log( m∈R(t) h(t|xm (t)))|D(t)|tX X=
β T xn (t)−tn∈D(t)t|D(t)| log

XXexp(β T xm (t)), (5)m∈R(t)

ここで D(t) は t で解約したユーザの集合，|D(t)| は集合 D(t) の要素数，R(t) は t で契約しているユーザの集合，xn (t) は t におけるユーザ un の特徴ベクトルを表す．購買履歴は時間によって変化するため，時間依存性変数として扱う必要がある．対数部分尤度 P L(β) は未知パラメータ β に関して上に凸であるため，準ニュートン法 [3] などの最適化手法により最大化することで，大域的最適解を推定することができる．低い β (< 0) を持
つ特徴量は契約期間の長いユーザに特徴的なパターンであり，また，高い β (> 0) を持つ特徴量は契約期間の短いユーザに特徴的なパターンである．

3.4 購入により契約期間が延びる確率ハザード関数 h(t|x) を用い，ユーザ u が新たに商品sj を購入したとき契約期間が延びる確率 Q(l|u, sj ) を導
く．x をユーザ u の購買履歴，x+sj をそのユーザが新たに sj を購入した後の購買履歴とする．簡単のため，sjを購入した後のユーザを u+sj と考える．期間 t で u もしくは u+sj のどちらかが解約し，もう一方は契約中であるとする．商品 sj を購入することにより契約期間が延びる確率 Q(l|u, sj ) は，t において解約したユーザがu である確率に等しく，その確率は t における u およびu+sj のハザード関数 h(t|x) および h(t|x+sj ) を用い記述できる

Q(l|u, sj )==h(t|x)
h(t|x) + h(t|x+sj )1.
1 + exp(−β T (x − x+sj ))(6)

Q(l|u, sj ) が最も高くなる商品 sj をリコメンドしてもよいが，リコメンドしたとしても購入されるとは限らない．
購入されなかった場合，リコメンドは契約期間を延ばすことができないため，リコメンドにより商品が購入される確率も考慮する必要がある．
3.5 リコメンドにより商品が購入される確率商品 si をリコメンドしたときに，ユーザ u が sj を購入する確率 R(sj |u, r(si )) を推定する手法について述べる．リコメンドなしでユーザ u が商品 sj を購入する確PV率を R(sj |u)， j=1 R(sj |u) = 1 とする．商品 si をリコメンドすることにより，しない場合に比べ商品 si を購入する確率は高くなると考えられる．リコメンドによりその購入確率が γ 倍されるとすると(γR(si |u) j = i,i ))(7)
R(sj |u, r(si )) = Z(u,r(s1Z(u,r(si )) R(sj |u) j 6= i,となる．ここで，γ ≥ 1，Z(u, r(si )) = 1+(γ −1)R(si |u)は正規化項である．γ はリコメンドの購買行動への影響度を表しており，オンラインストアでのリコメンドの提示法などに依存する．
嗜好が合致していればその商品の購入確率は高く，合致していなければ購入確率は低いと考えられるため，R(sj |u) はユーザ u の嗜好が商品 sj に合致しているかを表すと言える．従来リコメンデーション法では，嗜好の合致度の最も高い商品をリコメンドするため，従来法をR(sj |u) として応用することができ，本稿では最大エントロピーモデル [5] を用いる．最大エントロピーモデルによると，ユーザ u が商品 sj を購入する確率はX
1
R(sj |u) =exp(αc yc (u, sj )),(8)Z(u)cPPVとなる．ここで Z(u) = k=1 exp( c αc yc (u, sk )) は正規化項，yc は購買履歴に関する c 番目の特徴量である．
未知パラメータ αc は，準ニュートン法などの最適化手法を用い対数尤度を最大にすることにより推定できる．
なお，最大エントロピーモデルでは大域的最適解を得ることができる．

4.

実データによる評価携帯電話用の漫画を配信するサイトにおけるログを用いて，提案法の評価を行った．このサイトにおいて，ユーザは月毎に一定額を払い漫画を読む．契約ログ，購買ログが存在し，オンラインストアにとってユーザの契約期間を延ばすことが望まれるビジネスモデルであるため，提案法が適用可能である．なお，1 つの漫画が複数巻あるものは同一の商品として扱い，単位時間を 1 日とした．
ログの開始日は 2004 年 8 月 16 日，最終更新日は 2005
年 10 月 28 日であった．

110

FIT2006(第5回情報科学技術フォーラム)表 1: 契約ユーザ数，解約ユーザ数，特徴数

表 3: 遷移数，商品数

2005/06/30
2005/07/31
2005/08/31
学習 テスト 学習 テスト 学習 テスト
契約ユーザ数 13,284 7,221 14,669 9,608 28,409 17,028
解約ユーザ数 4,988 6,063 8,802 5,061 9,765 11,381
特徴数
3,711
4,455
5,250

2005/06/30
2005/07/31
2005/08/31
学習テスト
学習テスト
学習テスト
遷移数 300,486 122,904 382,778 171,749 459,456 197,476
商品数75
8186

表 2: 平均部分対数尤度

2005/06/30
2005/07/31
2005/08/31
学習 テスト 学習 テスト 学習 テスト
一様分布-4.317 -4.317 -4.394 -4.394 -4.454 -4.454
多項分布-3.875 -4.263 -3.938 -4.673 -3.975 -4.454
最大エントロピ -3.554 -3.551 -3.581 -3.732 -3.605 -3.762

表 4: 平均対数尤度

2005/06/30
2005/07/31
2005/08/31
学習テスト
学習テスト
学習テスト
履歴非依存 -8.865 -9.845 -9.165 -9.465 -9.513 -9.904
Cox-8.604 -9.129 -9.048 -9.351 -9.325 -9.798

4.1 Cox 比例ハザードモデルの評価
提案法は，購買履歴を利用することにより契約期間をより正確に予測することができることを仮定している．
まず，この仮定の妥当性を調べるため，3.3 節で述べた
契約期間が購買履歴に依存する Cox 比例ハザードモデ
ル h(t|x) = λ0 (t) exp(β T x) と，契約期間が購買履歴に依存しないモデル h(t) = λ00 (t) の予測性能を比較した．
Cox 比例ハザードモデルで用いる特徴量 x として以下の特徴量を用いた
1 if user u has purchased(9)
xsi →sj (u) =item sj next to item si ,
0 otherwise,

全購買履歴中に 10 未満しか含まれない特徴量は省いた．
学習データとして，2005 年 6 月 30 日まで，7 月 31 日まで，8 月 31 日までの 3 セットを用いた．テストデータとして，学習データの最終日において契約中であるユーザの 2005 年 10 月 28 日までのログを用いた．表 1 に学習およびテストデータの契約ユーザ数，解約ユーザ数，特徴数を示す． 評価尺度として平均対数部分尤度を用いた．平均対数部分尤度が高いモデルは予測性能が高い．
表 2 にその結果を示す．Cox 比例ハザードモデルのテス
トデータに対する平均部分尤度は履歴非依存のモデルに比べ高く，購買履歴を使うことにより正確に契約期間を予測可能であることを示している．

4.2 最大エントロピーモデルの評価
3.5 節で述べた，最大エントロピーモデルを用いて推定したユーザ u が商品 sj を購入する確率 R(sj |u) に関する評価を行った．最後に購入した商品が次の購買行動に影響を与えると考え，特徴量として以下の 1 次マルコフを用いた
1 if item sa is the last item of user u,
ysa ,sb (u, sj ) =and sb = sj ,
0 otherwise,(10)学習データとして，2005 年 6 月 30 日まで，7 月 31 日まで，8 月 31 日までの 3 セットを用いた．このとき同一商品への遷移は省いた．テストデータは学習データの最終日から 2005 年 10 月 28 日までのデータで，同一商品への遷移，学習データ期間で発売されていない商品を含む遷移を省いたものを用いた．このときの遷移数，商品数を表 3 に示す．比較として一様分布，多項分布を用いた．
多項分布の未知パラメータは最尤推定により求めた．
評価尺度として平均対数尤度を用いた．表 4 にその結果を示す． 一様分布，多項分布の場合に比べ，最大エントロピーモデルのテストデータに対する平均対数尤度は高く，次に購入する商品をより正確に予測できているため，ユーザの嗜好をより的確に捉えていると言える．

4.3 シミュレーションによる試算
4.1 節で Cox 比例ハザードモデルにより契約期間が予測できること，4.2 節で最大エントロピー法により購買行動が予測できることを示した．2005 年 10 月 28 日までのログから学習した Cox 比例ハザードモデル，最大エントロピーモデルを用い，定額制オンラインストアにおけるユーザ行動をシミュレーションし，提案法によるリコメンドにより契約期間が延びるかを調べた．このとき商品数は 107 であった．
アルゴリズム 1 に，ユーザの契約期間 t を生成するアルゴリズムを示す．ここで u は購買系列，u+sj は商品 sj購入後の購買系列，φ は空系列，Bernoulli(θ) は成功確率 θ のベルヌーイ分布，M ultinomial(ψ) は j 番目の要素の成功確率が ψj の試行回数 1 の多項分布を表す．まず，アルゴリズム 1 の行 3 から行 4 において，単位時間内でユーザが解約するかどうかを確率 h(t|x) を用い決定する．次に行 7 から行 8 において，単位時間内で商品を購入するかどうかを確率 g を用い決定する．ここで，g は契約期間 t に依らず一定と仮定した．最初に購入される商品は確率 R(sj ) によって決定する（行 10）．もしユーザが過去に購入したことがあれば，提案法によりリコメンドし（行 12），確率 R(sj |u, r(sî )) により購入される商品を決定する（行 13）．未知パラメータ λ0 (t)， g ，R(sj ) は，ログデータを用い最尤推定法で求めた．
提案法を以下の 3 手法と比較した．

111• Q Recommend 購入されたとき，最も契約期間を延ばす確率の高い商品をリコメンドする．アルゴリ
ズム 1 の行 12 を以下のように変更する
sî ← arg max Q(l|u, si ).
si

この手法はユーザの嗜好を考慮しない．

(11)

FIT2006(第5回情報科学技術フォーラム)Algorithm 1 Simulate a user in a subscription service
1: Set t ← 0, u ← φ
2: loop
3:Sample r1 ∼ Bernoulli(h(t|x))4:
if r1 is success then
5:
break
6:
end if7:
Sample r2 ∼ Bernoulli(g)8:if r2 is success then9:
if u = φ then10:
Sample sj ∼ M ultinomial(R(sj ))
11:
else
12:
sî ← arg maxsi P (l|u, r(si ))13:
Sample sj ∼ M ultinomial(R(sj |u, r(sî )))14:
end if15:
Set u ← u+sj
16:
end if17:
Set t ← t + 1
18: end loop
19: Output t

200

190

180

siNo Recommend
150

1

2

3

4
567Effect of recommendations (γ)

8910

図 1: 平均契約期間分に分かれているため，生存時間解析および協調フィルタリングなどの手法を応用することが可能である．例えば，嗜好を推定するためにコンテンツフィルタリングを組み合わせることが考えられる．また，実験において単純な特徴量を用いたが，高次のマルコフ遷移や，ユーザ属性などを組み込むことが可能である．

(12)

参考文献
[1] M. Cleves, W. Gould, and R. Gutierrez, An introduction to survival analysis using stata, revised edition.
Stata Press, 2004.

• No Recommend 何もリコメンドしない．購入される商品はユーザの嗜好によって決定される．行 12を省き，行 13 を以下のように変更する[2] D. R. Cox, Regression Models and Life-Tables. Journalof the Royal Statistical Society, Series B, 34(2):187–
220, 1972.

(13)[3] D. C. Liu, and J. Nocedal, On the limited memory
BFGS method for large scale optimization, Math. Programming, 45(3):503–528, 1989.

この手法は，アルゴリズム 1 で，γ = 1（リコメンドは購買行動に影響を与えない）とすることによっても実現できる．
ユーザ数を N = 100, 000，最大契約期間を 365 日とした
とき，各手法の平均契約期間は図 1 のようになった．提案法によるリコメンドにより契約期間が最も延びている．
また，リコメンドの購買行動への影響度 γ が大きい場合，より契約期間を延ばすことができている．Q Recommendも契約期間を延ばしているが，提案法に比べ小さい．これは Q Recommend は購入される確率がない商品もリコメンドしているためと考えられる．R Recommend も同様に契約期間を延ばしているが，購買確率を高くすることが目的であるため，提案法に比べ契約期間を延ばす効果が小さい．

5.

R Recommend160

この手法は従来法と同じく購買確率が高い商品をリコメンドする．

Sample sj ∼ M ultinomial(R(sj |u)).

Q Recommend

170• R Recommend 最も購入される確率の高い商品をリコメンドする．行 12 を以下のように変更する
sî ← arg max R(si |u).

Our Method

おわりに

本稿では契約期間を延ばすための新たなリコメンデーション法を提案し，携帯電話用漫画配信サイトにおけるログデータを用い提案法の有効性を示した．提案法は，契約期間を推定する部分と，ユーザの嗜好を推定する部

112[4] R. J. Mooney, and L. Roy. Content-based book recommending using learning for text categorization. In
Proceedings of the Fifth ACM Conference on Digital
Libratie, 195–204, 2000.
[5] D. Pavlov and D. Pennock, A maximum entropy approach to collaborative filtering in dynamic, sparse,
high-dimensional domains. In Proceedings of NeuralInformation Processing Systems, 2002.
[6] S. Rosset, E. Neumann, U. Eick, and N. Vatnik, Customer lifetime value models for decision support. Data
Mining and Knowledge Discovery 7:321–339, 2003.
[7] B. Schafer, J. A. Konstan, and J. Riedl, Ecommerce recommendation applications, Data Mining
and Knowledge Discovery, 5:115–153, 2001.
[8] Y. Shono, Y. Takada, N. Komoda, H. Oiso, A. Hiramatsu, and K. Fukaya, Customer analysis of monthlycharged mobile content aiming at prolonging subscription period. In Proceedings of IEEE Conference onComputational Cybernetics 279–284, 2004.