形状制約モデルによる顧客の商品選択行動の予測
西村直樹，鮏川

矩義，高野祐一，岩永二郎

機械学習のモデリングにおいて，学習データに対する過剰適合や多重共線性により，推定されたパラメータの解釈が困難であったり，予測精度が悪化したりする場合がある．本稿では，電子商取引サイトにおける商品選択行動予測の問題を取り上げ，結果の解釈可能性と予測精度の向上を目的に，商品閲覧と商品選択の関係を表す事
前知識を形状制約として課し，モデルのパラメータを推定する二つの形状制約モデルについて紹介する．

キーワード：形状制約モデル，解釈可能性，商品選択行動，電子商取引サイト，ページ遷移データ

1.

はじめに

2. 2 次元確率表モデル

インターネットの普及に伴い，現在では商品販売や例として，表 1 のように 3 人の顧客 u1 〜u3 が商品サービスをウェブサイト上で提供する EC（Electronic

v1 〜v4 を閲覧したとする．表 1 の 1 行目では，顧客Commerce：電子商取引）サイトを多くの企業が運営す

u1 が商品 v2 を 6 月 1 日に 1 回，6 月 3 日に 1 回閲るようになった．EC サイトを運営する企業にとって，覧し，6 月 4 日に選択（再閲覧や購入）したことを表

顧客の商品選択の過程を把握することはマーケティンしている．このような顧客と商品に関する商品閲覧とグ上の重要な課題であり，さまざまな情報を利用した商品選択の履歴が得られたとき，どのように商品選択商品選択予測の研究が行われている [1–3]．

確率が推定できるだろうか．

取得されたデータをもとに素朴に機械学習モデルを

2.1 2 次元確率表

学習すると，データに対する過剰適合や多重共線性の2 次元確率表モデル [6] では顧客分析の手法である

ため，推定されたパラメータが事前知識に反し結果のRFM 分析 [8] の最新度 (Recency) と頻度 (Frequency)

解釈が困難であったり，予測精度が悪化したりする場の指標を活用する．顧客 u の商品 v に対する「最新度」合がある [4]．過剰適合や多重共線性を避ける方法としは，顧客 u が商品 v のページを閲覧した時点と現時点ては，正則化などの手法 [5] が知られているが，解釈の近さを表し，「頻度」は顧客 u が商品 v のページを可能性の担保を目的として設計されたものではないた

訪れた回数や時間の程度を表す．たとえば，最新度をめ，必ずしも事前知識と整合するとは限らない．

最終閲覧日の日数の近さとし，頻度を閲覧回数とする

本稿では，EC サイトにおける商品選択予測の結果と，顧客と商品の組合せに対する 6 月 4 日時点の最新の解釈可能性と予測精度の向上のために，顧客の商品度と頻度は表 1 の（最新度，頻度）の列のように算出

閲覧の指標と商品選択の関係を表す事前知識を形状制できる．

約として課し，モデルのパラメータを推定する 2 次元

最新度と頻度の 2 種類の特徴量に対して商品選択確率

確率表モデル [6] と閲覧数列モデル [7] の二つの形状を推定した表を「2 次元確率表」とよぶ．最新度と頻度制約モデルについて紹介する．

を表す有限な正の整数の集合をそれぞれ R = {1, 2, 3}にしむら なおき
株式会社リクルートライフスタイル〒 100–6640 東京都千代田区丸の内 1–9–2
すけがわ のりよし
東京理科大学工学部情報工学科〒 125–8585 東京都葛飾区新宿 6–3–1
たかの ゆういち
筑波大学システム情報系〒 305–8573 茨城県つくば市天王台 1–1–1
いわなが じろう
株式会社エルデシュ〒 222–0033 神奈川県横浜市港北区新横浜 2–3–12 14F

328（32）

表1

顧客の商品閲覧と商品選択の例

商品閲覧回数

商品選択

顧客

商品

6/1

6/2

6/3

6/4

（最新度，頻度）

閲覧数列

u1
u1
u2
u2
u2
u3

v2
v4
v1
v3
v4
v2

1
0
3
0
1
2

0
1
00
1
0

1
00
3
1
1

1
10
1
0
0

(3, 2)(2, 1)(1, 3)(3, 3)(3, 3)(3, 3)(1, 0, 1)(0, 1, 0)(0, 0, 3)(3, 0, 0)(1, 1, 1)(1, 0, 2)

オペレーションズ・リサーチ

図12 次元確率表の形状と F = {1, 2, 3} とし，最新度が r で頻度が f の顧客

また，最新度が低い場合には，最新度の減少によると商品の組について商品が顧客から選択される確率の商品選択確率の減少幅が比較的小さいことが想定され実績値を x̂rf とする．このとき，表 1 に基づく実績確る．同様に，頻度が高い場合には，頻度の増加による率表 (x̂rf )(r,f )∈R×F は，欠損値をゼロとして，以下の商品選択確率の増加幅が比較的小さいことが想定され行列として算出できる：

る．つまり，最新度が大きくなるにつれて商品選択確(x̂rf )(r,f )∈R×F⎛⎞0⎜ 01=⎜⎝ 100000011010013⎛0⎟ ⎜⎟ ≈ ⎜ 1.00
⎠ ⎝000001.00

0.33

率の増分が大きくなる凸性と，頻度が大きくなるにつ⎞れて商品選択確率の増分が小さくなる凹性を仮定する：⎟⎟ .(1)⎠xr+1,f − xr,f ≤ xr+2,f − xr+1,f ,(4)

xr,f +1 − xrf ≥ xr,f +2 − xr,f +1 .

(5)

このように過去のページ遷移データから，最新度とこれらの最新度と頻度に関する形状制約の下で，実頻度の組 (r, f ) ∈ R × F ごとに標本サイズとそのうち績確率表との誤差を最小化する最適化問題を解いた結の商品選択数を集計し，商品選択確率の過去実績値で果を利用して商品選択確率を推定する．単調性制約にある実績確率表を作成することは容易である．しかし，より補正した図 1(b) では確率表の凹凸がなくなり，さ集計に用いる標本サイズが少ない場合，商品選択確率

らに凸性と凹性の制約を課して補正した図 1(c) では確x̂rf に対する信頼性は低くなる．

率表が滑らかになる．

図 1 では，実際のファッション EC サイトにおけ2.3 2 次元確率表モデルの利用る閲覧履歴と購買履歴をもとに，最新度をセッション

これらの形状制約を課した確率表を利用することで，数に基づく最終閲覧の新しさ (SesR)，頻度を閲覧回数十分な量のデータが取得できない状況においても顧客(ViewF) として式 (1) のように計算した確率表 [6] をの商品選択確率の概形を捉えることが可能になり，商可視化した．実績確率表（図 1(a)）には単調性を満た

品閲覧の回数に対する商品選択確率の増加傾向や，最さず不自然な凹凸が生じている部分が確認できる．

終閲覧以降のセッション数に対する商品選択確率の減

2.2 最新度と頻度に関する形状制約少傾向に関して，実務観点の示唆を得ることもできる．

2 次元確率表モデル [6] では，集計により推定されたとえば，商品選択確率が低下した顧客に対して割引た 2 次元確率表の信頼性の低い部分について最適化問クーポンなどのインセンティブを提供することで，顧客題を解いて補正することを考える．

離反を抑制する施策などが考えられる．また予測精度

Fader et al. [9] は，過去の購買の最新度と頻度が将の観点では，これらの制約条件を課した確率表を利用す

来の購買に対して正の相関があることを実証した．こることで，同じ最新度と頻度の特徴量を利用したサポー

れは，頻度が同じ値のとき最新度が大きいほど購買確トベクトルマシンとロジスティック回帰よりも商品選率は高く，また最新度が同じ値のとき頻度が大きいほ択の予測精度が向上することが報告されている [6]．

ど購買確率が高くなることを示唆している．そこで，また EC サイトで扱う商品の異質性を考慮するため

2 次元確率表に対して以下の単調性を仮定する：

2020 年 6 月号に，過剰適合を抑制しつつ商品類型ごとに 2 次元確率xrf ≤ xr+1,f ,(2)

xrf ≤ xr,f +1 .

(3)

表を推定する手法 [10] や，潜在クラスモデルを 2 次元確率表に適用する手法 [11] が提案されている．そして，2 次元確率表を利用して推薦システムの精度を向（33）329

上させる手法 [12] も提案されている．

3.

閲覧数列モデル(. . . , vi , . . . , vj , . . .)→ (. . . , vi + 1, . . . , vj − 1, . . .)(6)

2 次元確率表モデル [6] は，商品閲覧履歴から各顧客なる操作（閲覧数列の成分の値をより新しい期間へ 1 単の閲覧商品に対する最新度と頻度を数量化し，形状制位移動させること）を繰り返して v から v  へ変換できる

約のもとで最新度と頻度の組に対して商品選択確率をとき，v   v とする．たとえば (2, 1, 0)  (1, 2, 0) 推定する手法であった．しかし，この手法では顧客の(1, 1, 1) の関係が成り立つ．

閲覧履歴が最新度と頻度の 2 次元に縮約されるため，閲覧数列の頻度に関する単調性：二つの閲覧履歴にお商品閲覧に関する多くの情報が失われてしまう．

いて，ある一つの期間の閲覧数のみ異なる場合，そのたとえば，表 1 の 4〜6 行目の顧客と商品の組について最新度と頻度を計算すると，いずれの組も，6 月

3 日が最終閲覧日なので「最新度 3」，閲覧回数が 3 回なので「頻度 3」となり，顧客の商品に対する異なる閲覧行動を区別することができない．

期間に多く閲覧されているもののほうが商品選択確率が高くなることが想定される．形式的には，(. . . , vi , . . .) → (. . . , vi + 1, . . .)(7)なる操作（閲覧数列のある成分の値を 1 単位増加させる

そこで本節では，閲覧履歴を二つの特徴量に縮約すこと）を繰り返して v から v  へ変換できるとき，v  vることなく，各期間の商品閲覧数の時系列（閲覧数列）とする．たとえば (1, 2, 1)  (1, 1, 1)  (0, 1, 1) の関に対して商品選択確率を推定する閲覧数列モデル [7]係が成り立つ．

を紹介する．

3.1 閲覧数列
顧客と商品の組に対して，i 期前の閲覧数を vi ，考慮する期間数を d とするとき，閲覧履歴は d 次元ベ
クトル v := (v1 , v2 , . . . , vd ) により表される．これを「閲覧数列」とよぶ．また，1 期間の閲覧数の上限をvmax とするとき，可能なすべての閲覧数列の集合は
Γ := {0, 1, . . . , vmax }d となる．

本研究では以上の観察を踏まえ，Γ 上の順序関係 を次のように定義する：v  v⎧⎪⎪⎨ (a) v = v ，または，⇐⇒(b) 式 (6), (7) の操作を繰り返して，⎪⎪⎩v を v  に変換可能．
このように定義された  は Γ 上の半順序となる [7]．

このように定義した閲覧数列によって，最新度と頻閲覧数列モデルでは，xv を閲覧数列 v の商品選択確度の指標では区別できなかった閲覧行動を表 1 の閲覧率として，順序関係 v   v が成り立つ場合には，商数列の列のように区別して扱うことができるようにな

品選択確率の単調性 xv  ≥ xv を課す．

る．区別可能なパターン数を比較すると， 2 次元確率

3.3 閲覧数列モデルのパラメータの推定

表モデルは dvmax 個，閲覧数列モデルは (1 + vmax )d

閲覧数列モデルでは順序関係  に基づく商品選択確個となり，閲覧数列モデルは非常に表現力が高いこと率の単調性制約の下で，閲覧数列 v の学習データ数 nvがわかる．一方で，閲覧数列のパターン数は期間数にによって重み付けられた残差 2 乗和が最小となるよう対して指数的に増加するため，それに伴い各パターンに，商品選択確率 xv を推定する．この問題は以下のに割り当てられる標本サイズも小さくなってしまう．

ように凸 2 次最適化問題として定式化できる：

そこで閲覧数列モデル [7] でも，閲覧数列に対して形状制約を導入することで商品選択確率を補正する．このために，最新度と頻度に基づく 2 次元確率表モデルの単調性を多次元に拡張する．

3.2 閲覧数列の順序関係
閲覧数列の集合 Γ 上の順序関係を  とし，次の二nv (xv − x̂v )2最小化v ∈Γ

制約条件

xv  ≥ xv（v, v  ∈ Γ かつ v (8)v ），0 ≤ xv ≤ 1 (v ∈ Γ).
ただし x̂v は商品選択確率の実績値である．

つの観察に基づいて閲覧数列の順序関係を定義する：

最適化問題 (8) は，素朴に実装すると閲覧数列間の閲覧数列の最新度に関する単調性：閲覧数の総和が等順序関係の制約条件数が膨大になってしまう．そこでしい二つの閲覧履歴を比較した場合，より新しい期間半順序構造のハッセ図（半順序の推移簡約表現）を構に多く閲覧されているもののほうが商品選択確率が高成し，冗長な制約条件を削除することを考える．

くなることが想定される．形式的には，

330（34）

オペレーションズ・リサーチ

図2

式 (6), (7) の操作による閲覧数列の順序関係

図3

閲覧数列の順序関係のハッセ図

図4

閲覧数列の確率表の形状

図 2 と図 3 は (d, vmax ) = (3, 2) とし，節点を閲覧数列，枝を順序関係とした有向グラフである．
図 2 では，式 (6), (7) の適用による推移を有向枝（枝の先が上の順序に対応）で表す．これらの枝に対応42 組まで減らすことができ，このハッセ図で隣接する閲覧数列の組に対してのみ単調性制約を課せば十分である．期間数 d や閲覧数上限 vmax が大きくなるほど，この方法による計算効率化の効果は大きくなる．

する制約条件をすべて課すと，その数は 90 組になる．

図 4 は，中国の EC サイト TMall のページ遷移デー

一方，冗長な制約条件を削除することで図 3 のように

タ [13] から作成した (d, vmax ) = (5, 6) の閲覧数列の2020 年 6 月号

（35）331

図52 次元確率表モデルと閲覧数列モデルの予測精度

実績確率表と，その補正後の確率表を図示したものである．簡単のため，v4 , v5 を 0 に固定し，v3 = 0, 1, 2

図6

機械学習モデルに対する予測値補正の効果の予測精度が高い場合もあることが示唆される．の各値に対して v1 と v2 を 2 軸とした (v1 , v2 , v3 , 0, 0)

4.2 閲覧数列モデルによる予測値の補正の形の閲覧数列の確率表を図示した．

つづいて，各期の閲覧回数を特徴量として利用した機計算の結果，v3 = 0, 1, 2 の順に標本サイズが小さく械学習モデルと予測精度を比較する．図 6 では，L2 正なるため，それに伴い実績確率表に凹凸が生じること

則化つきロジスティック回帰：LogReg，人工ニューラルがわかる．一方で，補正後の確率表では，閲覧数列のネットワーク：Neural，ランダムフォレスト：RandF，最新度と頻度に関する単調性に基づく補正がなされてそして機械学習モデルの予測値を最適化問題 (8) の x̂vいる．このように形状制約のもとで推定値を補正するに代入して補正した推定値と比較する．

ことで，2 次元確率表モデルと同様に，結果の解釈可能性が向上する．

4.

形状制約モデルの予測精度

図 6 から，閲覧数列モデルは補正なしの機械学習モデルと比べて予測精度が高いことがわかる．また閲覧
数列の順序関係を考慮して補正することで，機械学習モデルの予測精度が向上している．これらのことから，

本節では，商品選択予測の精度検証 [7] について紹対象データに対して商品選択の予測精度向上の観点で介する．検証では，前述の中国の EC サイト TMall のは，閲覧数列の単調性が有効な事前知識であったと考ページ遷移データ [13] を用いた．

えることができる．

4.1 2 次元確率表モデルと閲覧数列モデルの比較
本節では，各モデルの標本サイズの変化に対する頑5. おわりに強性についても確認するため，学習データの標本サイ

本稿では，EC サイトにおける顧客の商品選択行動

ズを 0.1％標本，1％標本，10％標本，全標本と変化さの予測の問題を取り上げ，結果の解釈可能性と予測精せて検証した．検証では，各顧客に対して 3 商品を予度の向上を目的とした，2 次元確率表モデル [6] と閲測し，各商品が再閲覧された割合を表す F1 値を評価

覧数列モデル [7] の二つの形状制約モデルを紹介した．

指標とした．

機械学習ライブラリの拡充などによりデータに基づ

図 51 から，最適化問題を解き補正した 2 次元確率表

く予測手法が広く利用されるようになった一方で，モモデルと閲覧数列モデルについては，0.1％標本のときデルの予測結果の解釈困難性が実利用の妨げとなる場

は 2 次元確率表モデルの予測精度が高いが，1％標本，合もあると感じる．4.2 節では，ページ遷移データに10％標本，全標本のときは閲覧数列モデルの予測精度対する事前知識を表す形状制約を機械学習モデルの後が高いことがわかる．また補正による予測精度の改善処理として課すことで，最終的な予測結果が事前知識幅は閲覧数列モデルのほうが大きいことがわかる．こと整合することを保証する例を挙げた．このような補のことから，標本サイズが十分に確保できる場合には正は，予測結果に対して説明が求められるような状況表現力の優れた閲覧数列モデルの予測精度が高く，一において特に有用である．

方で標本サイズが少ない場合には 2 次元確率表モデル

今回紹介した二つのモデルに限らず，対象データに対して適切な事前知識を形状制約として課したモデル

1 図 5 と図 6 では基線が 0 でないことに留意されたい．

332（36）を用いることで，予測手法が利活用可能な領域がさらオペレーションズ・リサーチに広がるであろう．
参考文献[1] W. W. Moe and P. S. Fader, “Dynamic conversionbehavior at e-commerce sites,” Management Science,50, pp. 326–335, 2004.
[2] J. Qiu, Z. Lin and Y. Li, “Predicting customer purchase behavior in the e-commerce context,” ElectronicCommerce Research, 15, pp. 427–452, 2015.
[3] Y. Zhang and M. Pennacchiotti, “Predicting purchase behaviors from social media,” In Proceedingsof the 22nd International Conference on World WideWeb, pp. 1521–1532, 2013.
[4] E. E. Altendorf, A. C. Restificar and T. G. Dietterich, “Learning from sparse data by exploiting monotonicity constraints,” In Proceedings of the TwentyFirst Conference on Uncertainty in Artificial Intelligence, pp. 18–26, 2005.
[5] T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference,and Prediction, Springer Science & Business Media,
2009.
[6] J. Iwanaga, N. Nishimura, N. Sukegawa andY. Takano, “Estimating product-choice probabilities from recency and frequency of page views,”
Knowledge Based Systems, 99, pp. 157–167, 2016.
[7] N. Nishimura, N. Sukegawa, Y. Takano and2020 年 6 月号

J. Iwanaga, “Predicting online item-choice behavior: A shape-restricted regression approach,” arXivpreprint, arXiv:2004.08519, 2020.
[8] A. M. Hughes, Strategic Database Marketing: The
Masterplan for Starting and Managing a Profitable,Customer-based Marketing Program, McGraw-Hill,
2000.
[9] P. S. Fader, B. G. Hardie and K. L. Lee, “RFM andCLV: Using iso-value curves for customer base analysis,” Journal of Marketing Research, 42, pp. 415–430,
2005.
[10] 西村直樹，鮏川矩義，高野祐一，岩永二郎，水野眞治，EC サイトの商品特性を考慮した 2 次元確率表による購買予測， オペレーションズ・リサーチ：経営の科学，60,pp. 69–74, 2015.
[11] N. Nishimura, N. Sukegawa, Y. Takano andJ. Iwanaga, “A latent-class model for estimatingproduct-choice probabilities from clickstream data,”
Information Sciences, 429, pp. 406–420, 2018.
[12] J. Iwanaga, N. Nishimura, N. Sukegawa andY. Takano, “Improving collaborative filtering recommendations by estimating user preferences fromclickstream data,” Electronic Commerce Research andApplications, 37, No. 100877, 2019.
[13] M. Ludewig and D. Jannach, “Evaluation ofsession-based recommendation algorithms,” User
Modeling and User-Adapted Interaction, 28, pp. 331–390, 2018.

（37）333