DEIM Forum 2013 D9-3

行動履歴を用いたユーザの状態推定
熊谷 雄介†健†倉島

高屋 典子†

内山匡†† 日本電信電話株式会社 NTT サービスエボリューション研究所 〒 239-0847 神奈川県横須賀市光の丘 1-1
E-mail: †{kumagae.yusuke,kurashima.takeshi,takaya.noriko,uchiyama.tadasu}@lab.ntt.co.jp
あらまし E-Commerce(EC) サイトにおいて問題になるのは，ユーザがカートに商品を投入したにも関わらず購入せず離脱してしまう事である．現状は購入から離脱したユーザに対して事後的にアクションが行われているが，もしユー
ザの欲求，特に購入に向けたユーザの内的状態，及びその変化を推定する事ができれば，購入を離脱する兆候を検出し，その瞬間に適切なアクションを行う事が可能になる．本研究では，EC サイトにおける行動履歴を用いたユーザの購入に影響を与える状態の推定を行う．本研究では「ユーザ自身の状態と，一つ前の行動とに従って，ユーザの現在の行動が決まる」という仮定を持つユーザ行動モデルを，階層型隠れマルコフモデルによって学習する．学習したユーザ行動モデルを実際の EC サイトにおけるアクセスログに対して適用することにより，ユーザの購入に向かう状
態，及び状態間の変化について推定を行った．実験の結果，マルコフ連鎖と同程度の行動予測精度を保ちつつ，ユー
ザにおける状態の変化関係，購入に向かう，及び購入から離脱する状態の変化を発見するに至った．
キーワード

ユーザ行動モデル，E コマース，階層型隠れマルコフモデル

Yusuke KUMAGAE† , Takeshi KURASHIMA† , Noriko TAKAYA† , and Tadasu UCHIYAMA†† NTT Service Evolutions Laboratories, NTT Corporation
Corporation Hikarinooka 1-1, Yokosuka-shi, Kanagawa, 239-0847 Japan
E-mail: †{kumagae.yusuke,kurashima.takeshi,takaya.noriko,uchiyama.tadasu}@lab.ntt.co.jp

入しないユーザを追い立てる役割があると考えられる．また，

1. は じ め にAmazon.co.jp（注 4）では「お買い忘れはありませんか?お客様のE-Commerce(EC) サイトにおける重要な指標として，EC サ

ショッピングカートに，購入されずに残っている商品がありま

イトを訪れたユーザが購入に至る割合であるコンバージョン率

す」といった文面のリマインダーメールを送信することにより，がある．EC サイトにおけるユーザに向けた施策，例えば新商購入をためらっているユーザへの後押しを行なっている．

品や類似した購入傾向を持つユーザが購入した商品を推薦する

そういった状況において，EC サイト運営者が把握しようと

レコメンデーション，送料無料サービスやクーポンメールなどしているのは購入へと向かうユーザの内的状態 (状態) の変化の値引き，ユーザインタフェースの改善，返品無料サービスなである．ユーザの行動履歴からユーザの状態，及びその変化がどは全てコンバージョン率を改善するために行われている．

記述できるならば，現状行われているように購入から離脱した

コンバージョン率を下げる要因の一つとして，ショッピング
カート (カート)（注 1）まで商品を投入したユーザが閲覧行動を続ける中で購入を留保し，そのままサイトから離脱していく現象が挙げられる．そのような現象を回避するため，EC サイト（注 2）

ユーザに後からアクションを取るのではなく，離脱へと向かう
兆候を検出し，その瞬間に離脱を引き止めるアクションを取る
事が可能になるからである．
よって本研究では EC サイトにおける行動履歴を用いたユーでザの購入に影響を与える状態の推定を行う．本研究では，ユーはカートに投入されたままの商品は一定時間で削除されるよザの状態を，データからは直接観測されない変数 (潜在変数) とでは様々な試みが行われている．例えば，ZOZOTOWN（注 3）

うになっている．これは，カートに商品を投入したまま購して扱い，潜在変数を含んだ行動モデルを学習することによって状態推定を実現する．本研究では，「ユーザ自身の状態と，一（注 1）：実店舗におけるショッピングカートと同様に，EC サイトにおいて購入

つ前の行動とに従って，ユーザの現在の行動が決まる」というしたい商品を一時的に登録する機能

仮定に基づき，階層型隠れマルコフモデル (HHMM) を用いて

（注 2）：http://zozo.jp/（注 3）：http://zozo.jp/ help/default.html?cid=6#help 3200

（注 4）：http://www.amazon.co.jp/

表 1 URL に対して付与した機能単位とその説明．

表 2 全行動履歴の 4-gram における頻出閲覧行動の上位 10 件とその

機能

説明

cart

ショッピングカート

閲覧行動

出現頻度

info

特集などの静的コンテンツ

list, list, list, list

84,148item

商品単体のページ

item size, list, list, list

13,592

item size

商品サイズ

item size, item size, item size, item size

13,161

list

商品の一覧

list, list, list, item size

10,325

order

購入完了

item size, item size, list, list

8,906

preorder

住所入力などの購入手続き

list, list, list, item

8,361

sale

セール情報

list, item size, item size, list

7,416

searchキーワード検索の結果

list, list, item size, item size

7,194

top

トップページ

list, item size, list, list

5,638

list, list, item size, list

5,496

頻度．太字は全て同じ機能を閲覧したもの．

ユーザ行動モデルを表現する． 実際の EC サイトのアクセスログを用いた実験において，単純なマルコフ連鎖と同程度の行

任意の位置 t(>= 4) における 4-gram は {xt−3 , xt−2 , xt−1 , xt }

動予測性能を保ちつつ，購入へと向かう一連のユーザの状態推である) を列挙したものが表 2 である．最も多く登場する部分

定，特にそのまま購入へと進むか，購入から離脱するかの状態

行動は list を 4 連続で閲覧するものであり，その合計回数はの切り替わりを検出できるような状態，及び状態間の変化を発

84,148 回，全部分行動 385,297 回の約 22% を占めている．次い

見するに至った．

で登場する部分行動も item size のあとに list を 3 回閲覧する行

本論文の構成を述べる．2 章では，今回の実験において対象

動 (13,592 回)，item size を 4 連続で閲覧する行動 (13,161 回)としたデータの性質について述べる．3 章では本研究で仮定しなどである．このような順序的規則性 (マルコフ性) の強さは，たユーザ行動モデルの詳細，及び階層型隠れマルコフモデルにユーザが Web ページの構造に従った行動を取る傾向にあるからよる推定について述べる．4 章では EC サイトのアクセスログ

だと考えられる．そのため，「ユーザの行動履歴 {x1 , x2 , · · · , xt }に対して実験を行い，本研究のユーザ行動モデルの妥当性を検が与えられた場合，そのユーザが xt+1 にどのような行動を取証する．5 章では結論を述べ，最後に 6 章において今後の課題

るか」という行動予測問題を行うのであれば，単純な n 次のマについて述べる．

ルコフ連鎖

2. 対象データx̂t+1 = arg max
x

2. 1 概要

今回対象とするのは EC サイトにおける 2012 年 4 月のアク#x#{xt−n+2 , xt−n+3 , · · · , xt }によって 6 割程度の精度で予測を実現することが予備実験の結果判明している．しかしこの精度は，同一機能の連続した閲覧

セスログである．アクセスログには EC サイトのアカウント情行動，例えば「list を 3 回連続で見た時次に list を見る」といっ報が紐付いていないため，今回はアクセスログに記録された IPた行動や，前述した頻出する閲覧行動の予測における成功が多アドレスを仮想的なユーザ id とし，IP アドレスごとにアクセくを占めているが，そのようなユーザ行動の予測が真に必要とスログを分割した．また，IP アドレスごとのアクセスログにつされているとは言い難い．重要なのは「リストを連続して閲覧いても，購入完了ページへのアクセスがあった時点で 1 つの行していたユーザがいつ別のページにアクセスするか」といった動履歴として分割を行った．これによって得られた行動履歴はような，同一機能の連続した閲覧行動からの変化の予測であり，2,252 セッション，392,053 ページビューからなる．

特に 「リストを連続して閲覧していたユーザがある商品ページ

また，ユーザの行動単位をどのレベルで扱うかについては，にアクセスするか」「商品ページからカートにアクセスするか」

ユニークな URL 単位で扱うとデータが非常に疎になってしまといった購入に繋がる行動の予測である．詳しくは後で述べる

うため，URL を予め人手で設定した EC サイト固有のルール

が，そういった場合においてはマルコフ連鎖による予測では精に基づき機能単位へと変換した．ルールの例を挙げると’/cate-

度が低くなる事が判明している．

gory/001/007/860/category860 0’ という URL はカテゴリ id
が 860 の商品一覧ページであるため，list という機能を付与し3. 隠れマルコフモデルに基づく状態推定

た．付与した機能の一覧を表 1 に示す．また，今回の実験にお3. 1 ユーザ行動モデルにおける仮定

いては，ユーザがある機能単位にアクセスした事をユーザの行

本研究の目的はユーザの状態推定であり，ここで推定する動と呼び，機能単位あたりに変換したアクセスログを行動履歴

状態とは，「ユーザのある時点での心理的なありさまであり，として用いた．

ユーザの行動に影響を与える要因の一つ」である．本研究では，

2. 2 行動履歴におけるマルコフ性

ユーザの行動選択に影響を与える一要因としてユーザ状態を表

機能単位に変換した行動履歴の内訳を見ると，特定の行動が現した行動モデルを観測された行動履歴から学習し，ユーザの非常に多く現れている．例えば行動履歴から部分行動として全ての 4-gram(長さ n の行動履歴を {x1 , x2 , · · · , xn } とした場合，状態推定を実現する．
ここで我々は，ユーザの行動と状態の関係性に関して次のよ3. 2 階層型隠れマルコフモデル
階層型隠れマルコフモデル (HHMM) [4] は隠れマルコフモデ
ル (HMM) [16] を階層的に表現したものであり，図 1 は HHMMのグラフィカルモデルである．これからもわかるように，HHMM
では各階層における潜在変数間にマルコフ性が存在するとしてモデル化を行なっている．HHMM の大きな特徴はこの階層性である．3. 1 章で述べた実際に取った行動，行動クラス，状態の関係性は，図 1 における最も上の層の要素が状態，上から二段目の層が行動クラス，最下層が実際に取った行動として表現
図 1 階層数 2 の階層型隠れマルコフモデルのグラフィカルモデル．

zij は潜在変数，x は観測変数であり，矢印は依存関係を示している．

することが可能である．すなわち，HHMM を用いる事により，今回仮定したユーザ行動モデルの推定が可能になる．また，事前知識として観測変数に何らかの規則性があり，長期間同じパ
ターンが続く事を知り得ている場合や，潜在変数をある程度のうな仮定を設けた．
仮定 1 ユーザ自身の状態と，一つ前の行動とに従って，ユー
ザの現在の行動が決まる．
仮定 2 行動クラスが決まれば，ユーザが実際に取る行動が決まる．
仮定 3 一つ前のユーザの状態に従ってユーザの現在の状態が決まる．
この具体例として，ある女性の買い物の様子を考える．暇つぶしのためにファッションブランドにやってきた彼女はコートや靴などを手にとっては棚に戻している．そんな中，気に入ったブラウスを見つけた彼女は試着をし，店員に話しかけ自分に期間持続するような形で推定したい場合などに HHMM を用いると，潜在変数の敏感な変化が第 d 階層で起こったとしても，そのひとつ上の第 d − 1 階層における潜在変数には変化が起こ
りにくくなっている．その結果として，細かな潜在変数の変化を観測することなく，より長期的に変化する潜在変数の推定が可能となる．
階 層 数 D の HHMM は ，長 さ N の 観 測 変 数 列 X ={x1 , x2 , · · · , xN } が与えられた時に，その背後に存在する長さ
1D
最大 N × D の潜在変数列 Z = {z11 , z21 , · · · , zD
1 , z2 , · · · , zN }，潜在変数と観測変数の関係，及び潜在変数間の関係を推定するモデルである．以下，前提として観測変数及び潜在変数が離散似合うかどうか尋ね，財布を取り出したとする．この時，例え値であり，観測変数 x は W 種類の値を取りうる離散値であり，ば店内の監視カメラによって観測されるのは「コートを手に取1-of-W 符号で表現されたものとする．潜在変数 z についても

りすぐに戻す」「靴を手に取りすぐに戻す」「ブラウスを手に取同様に 1-of-K 符号で表現されたものとする．また，潜在変数

る」「試着する」「店員と会話する」「財布を取り出す」といった

z については t 番目の観測変数における第 1 階層から第 d 階層

実際に取った行動である．しかし，彼女がとった「コート/靴をまでの潜在変数の集合を z1,dで表し，j 番目の観測変数 i であt

手に取りすぐに戻す」といった一連の行動は「ウインドウショッ

る場合 xj,i = 1，同様に第 t 階層における j 番目の潜在変数がピングをする」といった行動の集合，すなわち行動クラスとしti である場合には zj,i
= 1 と表す．

て解釈することが可能である．同様に，「ブラウスを手に取る」

HHMM において推定すべきモデルのパラメータは第 d 階「試着する」「店員と会話する」「財布を取り出す」といった行層の t 番目の観測変数における潜在変数 zdt,i , zdt,j 間の遷移確率

動は「商品を吟味する」という行動クラスとして解釈すること

1,dd
Adij ≡ p(zt,j= 1|zt−1,i= 1)，観測変数 x∗,i が潜在変数 z1,D∗が可能である．また，その行動の背後では，彼女の「漠然と商から出力される確率 (出力確率)φi,j ≡ p(x∗,i = 1|z1,D∗ )，及び

品を見ている」という状態が「商品を買おうか迷っている」と

初期状態確率 π の三つである．HHMM におけるモデル推定という状態に変化している．

はパラメータ θ = (π, A, φ) を推定する事である．

ここで行動と状態の関係を考える．まず，商品を買おうか迷っ階層数 D の HHMM では，任意の第 d 階層における状態ている状態の人は漠然と商品を見ている状態の人よりも「商品zdt は t − 1 に お け る 第 1 階 層 か ら 第 d 階 層 す べ て の 状 態を吟味する」という行動を行いやすいと考えられる．また，
「商

1
2
d
z1,d
t−1 = {zt−1 , zt−1 , · · · , zt−1 } に依存している．同様に，観品を吟味する」という行動をとっている人はウインドウショッ

測変数 xt についても t における第 1 階層から第 D 階層すべ

ピングをしている人よりも試着しやすいと考えられる．また，ての状態 z1,D= {z1t , z2t , · · · , zDt } に依存している．よって，t

漠然と商品を見ている状態の人がウインドウショッピングを行遷移確率において階層性が存在する．すなわち，全ての階層

ううちに気になる商品を見つけ，買おうか迷っている状態に変d = 1, · · · , D について状態変数間の遷移確率 Adij の推定が必化するというのも考えられる．よって，行動と状態の間にはマ要になる．出力確率 φ については {z1t , z2t , · · · , zDt } で条件付け

ルコフ性が存在すると考えられる．このようなユーザ行動に関されているとはいえ，通常の HMM と同様に扱う事が可能であする仮定は階層型隠れマルコフモデル (HHMM) [4] で表現可能である．次章にその理由を述べる．

る．
まとめると，観測変数列 X と潜在変数列 Z の間にはp(X,Z|π,A,φ)=p(z1
1 |π)

QN

QN
D 1,D
1,D
n=2 p(zn |zn−1 ,A)m=1 p(xm |zm ,φ)の関係が成立する．

HHMM のパラメータ推定には一般化 Baum-Welth アルゴ
リズム [4]，活性化 Forward-Backward アルゴリズム [18]，ジャンクションツリーを用いたアルゴリズム [14] などが存在する．
等価な階層化されていない通常の HMM に置き換える事が可能 [19] であるため，一般的な HMM のパラメータ推定の手法も利用可能である．今回は HHMM を通常の HMM に置き換えた
上で MCMC(Markov Chain Monte Carlo) [11] を用いてパラメータ推定を行った．

3. 3 状 態 推 定
ここまで述べたのは，HHMM を用いたユーザの行動履歴に基づく状態間の関係 A 及び，状態と行動の関係 φ の推定手法

図 2 第 1 階層における潜在変数間の遷移関係，及び潜在変数ごとの取りうる行動を有向グラフにしたもの．枝は各状態における遷である．本研究の目的はユーザの状態推定である．そのため，移確率について，自己遷移確率を取り除いたもの中で実線は最長さ N の行動履歴 X = {x1 , x2 · · · , xN } が与えられた時に，も強かったもの，破線は次いで強かったものである．

それぞれの 1, · · · , N 番目における行動の状態を推定した上で，まだ行動が観測されていない N + 1 番目における状態の推定を

HHMM を用いた実験を行い，その解釈が可能かを検証する．

行う．そのためには，X を用いてパラメータ θ = (π, A, φ) を

その後，ユーザの行動を説明するモデルとして，推定された状

推定した上で，潜在変数が取りうる値 i = 1, · · · , K について t態が妥当であるかの検証として行動予測実験を行う．

番目の行動における前向き確率 αt (i) を次式に従って求める．

αt (i) =

8
1,D
<p(zD
, φ)
1 |π, A)p(x1 |z1:p(x |z1,D , φ) PKt

D 1,D
k=1 αt−1 (k)p(zt |zt−1 , A)t(t = 1)(t > 1)

4. 1 状 態 推 定
この実験では HHMM を用いて状態推定を行った．パラメー
タ (π, A, φ) の推定には 2. 1 で述べた 2,252 件の行動履歴のうち，半分の 1,126 件を用いた．潜在変数の数については第 1 階

この前向き確率 αt (i) はいわば，「ユーザの行動 t において状態

層の潜在変数数を 3 から 6 まで，第 2 階層の潜在変数数は 3i が存在する程度」と解釈できる (正確には Pαtα(i)とする必
i t (i)から 5 までとした．パラメータ推定はディリクレ過程に基づく

要がある)．そのため，これを 1, · · · , N まで求める事により，

MCMC [11] によって 500 回のサンプリングを行った．基底測

ユーザの各行動時における状態を推定する事が可能である．通度には一様分布を用い，ハイパーパラメータ α, β は共に 0.1 と常の HHMM であれば，この前向き確率に対し Viterbi アルゴ

した．

リズムなどを適用することにより，観測変数それぞれについて

4. 1. 1 推 定 結 果

最も取りうる潜在変数を 1 つずつ決定するという処理を行う

表 3 及び表 4 に示したのは推定された HHMM における第 1

が，今回はユーザの状態は一意に定まるものではなく，ひとつ

階層，つまり状態を示す潜在変数における潜在変数間の遷移確の行動において複数の状態が重ね合わせで表現されていると考率 A 及び潜在変数，つまり状態ごとの行動の出力確率 φ のそえるため，前向き確率のみを用いて表現する．また，ユーザのれぞれ上位 3 つである．この時，出力確率 φ については，第 2

N + 1 番目の行動，すなわちまだ観測されていない行動におけ階層に関わらず，第 1 階層と観測列のみに着目するため，状態

る状態については，N 番目の行動における前向き確率 αN (i) 及

1
j から行動 i が出力される確率 p(x∗,i = 1|z∗,j= 1) を，び遷移確率 A を用いて

–
K »
X
1,D
αN (k)p(zDt |zt−1 , A)

PK
1
2
1
k p(x∗,i = 1|z∗,j = 1, z∗,k = 1)p(x∗,i = 1|z∗,j = 1) = PW P
K
1
2w
k p(x∗,w = 1|z∗,j = 1, z∗,k = 1)として求める．また，潜在変数間の関係，及び潜在変数と出力

k=1

行動の関係についてより明確にするため，自己遷移を取り除いとして求める．
推定した N + 1 番目の行動における状態を用いて，ユーザのN + 1 番目の行動を予測する事も可能である．そのためには，
p(xN +1,j = 1) =K
X

た上で潜在変数の遷移関係を有向グラフとして図 2 に示す．
まず潜在変数，すなわち状態の遷移確率 (表 3) について着目すると，状態 2，状態 3，及び状態 4 の自己遷移確率が非常にD
1,D
αN (k)p(xN+1 |zD
N +1 , φ)p(zN +1 |zN , A)

k=1

高い状態となっている．自己遷移確率が高いということは，これらの状態は継続して現れる傾向が強いという事を意味していが最大となる行動を予測行動とする．これは，N + 1 番目の行

る．反対に，状態 5 の自己遷移確率の低さは，状態 5 がすぐに動における状態を推定した上で，その状態から出力される可能他の状態に移り変わる事を意味している．続いて状態ごとの出性が最も高い行動を出力するという操作である．

4. 実

験

本来の目的であるユーザの購入に向けた状態を推定するため，

力確率 (表 4) に着目し，各状態においてどのような行動が特徴的なのかの解釈を行う．最も特徴的なのは状態 3 における cartの出力確率の高さである．よって状態 3 は購入への意志が高まり，商品をカートに入れる，言わば「買う気が生じ始めている」

表3

FROM TO000.5626

3
2
FROM TO
3

Prob

状態ごとの遷移確率上位 3 件．

FROM TOProb

1

0.57690.18695

0.0928

4

Prob

FROM TO3

0.829420

1

4FROM TOProb

2

0.8636

0.3512

3

0.06470.07091

0.0394

Prob

FROM TO

4

0.94500.08582

0.0725

3

2

5

Prob

5

0.38470.01741

0.38120.011920.1340

表 4 推定した状態ごとの出力確率上位 3 件．
状態

0

行動

確率

状態

1

top

0.4250preorder0.1407search

0.1098

行動

確率

状態

list

0.5847

2

item size 0.3728
top

0.0228

行動

確率

item size 0.3727
list

0.3011

item

0.2261

状態

行動

確率

状態

行動

確率

状態

行動

確率

3

cart

0.36984

list0.43775

list0.5272

item size 0.2911
list

0.2078

item size 0.2806
top

0.1758item

0.4054

top

0.0199変化は図 3 では非可逆で描かれているが実際は図 2 で示したよ
うに可逆性があるという点である．この図から，購入へと向かうユーザの状態の変化を考えると「状態 1 →状態 5 →状態 2 →状態 3 →状態 0」，及び「状態 1 →状態 4 →状態 2 →状態 3 →状態 0」の 2 つの変化があることが見て取れる．ここで重要なのは状態 4 における自己遷移確率の高さである．この自己遷移確率の高さと状態 4 における出力確率が最も高いものが list であることを合わせると，状態 4 は「商品一覧ページを連続して
図 3 購入へ向かう状態の遷移関係閲覧し続ける状態」であると解釈できる．また，状態 4 から状状態であると解釈できる．また，状態 0 についても，preorder，

破線で記した)，状態 4 から状態 2 へと変化して購入へと向かう

すなわち購入手続きの出力確率が高い状態である．よって，状のは非常に困難であると考えられる．すなわち，状態 4 は購買

態 2 への遷移確率は 0.0174 と非常に低いため (よって図 3 では

態 0 は「買う気が非常に高まっている」状態である，と解釈でからの離脱へと向かう状態，「半離脱状態」であると考えられきる．しかし，これら 2 つの状態以外では，list や item size とる．よって，EC サイト側としては，ユーザの状態が半離脱状

いった行動が出力確率の上位に存在しており，行動の出力確率態へと変化するのを避ける必要がある．そのためには状態 1 のレベルでの解釈は困難である．

時点でアクションを取り，半離脱状態への遷移を阻止し，ユー

そこで，状態間の遷移確率と出力確率を組み合わせた図 2 を

ザを状態 5 に遷移させる事が必要であると解釈できる．その場用いて，購入への気分の高まりを遡ることにより状態の解釈を合，ユーザのこれまでの状態変化に応じて二種類のアクション

行う．まず，ユーザが状態 0，すなわち購入への気分が非常にが考えられる．まず，商品をカートに入れるなどしていたユー

高まる前の状態を見てみると，状態 3 から遷移している事が判

ザが購入を留保し，状態が半離脱状態に変化し始めた場合には，る．これは，出力確率を見ても「cart に入れたのち，preorder「この商品は残り x 点です」といった購入への煽りや，「今注文に進む」という行動と合致する．では，状態 3 にはどの状態かすると X%割引」といった値引きを行う事により，ユーザの状ら遷移しているかを確認すると，状態 2 から強く遷移している

態を再度購入へと高めるためのアクションを取る必要がある．

のがわかる．状態 2 において行われる行動は item size，list でまた，EC サイトの閲覧開始時からユーザの状態が購入へと近あり，これはすなわち，「カートに商品を入れる前に，商品一覧

づいていない場合に半離脱状態に変化した場合には，レコメン

ページや商品サイズを確認している」という行動だと解釈でき

デーションなどを行う事によって，ユーザに当該 EC サイトにる．同様に，状態 2 には状態 5，及び状態 4 から，状態 5 には対する興味を抱かせる必要がある．

状態 1 から，状態 4 には状態 1 から遷移しているのが確認できる．
この関係を図示したのが図 3 である．注意すべきは，状態のこのモデルによって推定したユーザの状態を図 4 に示す．図4(a) は購入に向かう行動履歴における状態の推定結果の一例
である．これは，商品一覧ページを閲覧していたユーザが商品

入力

長 さ ti の 行 動 履 歴 Xi = {x1 , x2 , · · · , xti } の 集 合

Dpredict = {X1 , X2 , · · · , Xm }出力ti + 1 番 目 に 行 わ れ る と さ れ る 行 動 x̂ti +1 の 集 合{x̂t1 +1 , x̂t2 +1 , · · · , x̂tm +1 }評価

ti + 1 番 目 に 実 際 に 行 わ れ た 行 動 xti +1 の 集 合{xt1 +1 , xt2 +1 , · · · , xtm +1 } との適合率，再現率，及び F 値による比較
行動履歴における各要素 x が取りうる値は cart，info，item，

item size，list，order，preorder，sale，search，top の 10 種類である．今回は購入につながる重要な行動である「カートへ(a) 購入に向かう行動履歴における推定した状態の変化．

商品を入れる」及び「商品ページにアクセスする」という二つの行動の予測を重視し，各入力行動履歴 Xi における予測対象行
動 xt+1 は全て item，cart のいずれかとした．また，1. 章でも述べたように，予測対象である行動 xti +1 がその前から連続して k 回行われている場合，すなわち xti +1 = xti = · · · = xti −kの時には xti +1 の予測は容易である．よって今回は，予測対象である行動 xti は全て一つ前の行動と異なるものであり，すな
わち xti =| xti−1 を満たすものとした．
学習データには 2. 1 で述べた 2,252 件の行動履歴のうち，半分の 1,126 件を用いた．予測対象は学習データに含まれない行
動履歴のうち，これらの条件を満たすものとして，cart，item
をそれぞれ 2,000 点を予測対象とした．

(b) 購入から遠ざかる行動履歴における推定した状態の変化．

図 4 推定した状態変化．横軸は左から時系列順に並べた行動履歴であり，縦軸は各状態がその行動を行った際に占める割合である．

をカートに投入し，購入手続きまで進むも一度カートに戻るという行動履歴であるが，状態 2 から状態 3，状態 0 へと，ユー
ザの状態がゆるやかに図 3 で示したような変化を起こしているのが把握できる．状態 3 が強くなる過程に着目してみると，商品一覧ページから商品サイズ，商品ページへと遷移するに従って状態 3 が高まっている事が確認できる．これは，ユーザが商品一覧から嗜好に合う商品を見つけ，購入への意欲が高まった状態として解釈できる．また，購入手続きに一度進んだあとにカートに戻っているが，この時でも状態 0 が弱くなっているとはいえ，持続しているのが確認できる．このような行動を行った場合，HMM では状態が変化してしまうが，HHMM では状態を維持し続けることが可能になっている．
また，図 4(b) は購入から遠ざかる行動履歴における状態の推定結果の一例である．この場合，list の連続閲覧によって状態 4 が高くなっているが，6 回目の list へのアクセスにおいて状態 1 の値が高くなっており，その後，半離脱状態 (状態 4) が強くなり続けている．よって，この状態 1 が高くなった時点が購入への意欲が強くなるか否かの分岐点だった事が推定できる．

4. 2 行 動 予 測続いて，4. 1 章で推定したモデルがユーザの行動を説明するものとして妥当かどうか検証すべく，行動予測実験を行う．

4. 2. 1 実 験 設 定
行動予測実験の入力と出力は次のものである．
学習

行動履歴集合 Dtrain = {X1 , X2 , · · · , Xn }予測手法については，マルコフ連鎖，HMM，HHMM を比較した．マルコフ連鎖は 2. 2 章で述べたように，予測対象である xt+1 を n 個前のデータを遡り，x̂t+1 = arg max
x#x#{xt−n+2 , xt−n+3 , · · · , xt }に従って予測するものである．それぞれのパラメータについて
は，マルコフ連鎖は次数を 1 から 5 まで，HMM については潜在変数数を 3 から 5 まで，HHMM については第 1 階層の潜在変数数を 3 から 6 まで，第 2 階層の潜在変数数を 3 から 5 までを設定し，計 38 パラメータで実験を行った．パラメータ推定はディリクレ過程に基づく MCMC によって行い HMM は 1000
回，HHMM は 500 回のサンプリングを行った．基底測度には一様分布を用い，ハイパーパラメータ α, β は 0.1 とした．モデルの評価指標としては適合率 (A と予測したもののうち，真にA だったものの割合)，再現率 (真に A だったもののうち，A と予測されたものの割合)，F 値 (適合率と再現率の調和平均) を用いた [2]．

4. 2. 2 結果

実験結果を表 4 に示す．HHMM についてはそれぞれの F 値が高いモデル 2 つを掲載した．
まず，1 次及び 2 次のマルコフ連鎖，及び HMM では itemへの遷移を全く予測できていない事が判る．低次のマルコフ連鎖については 2. 2 章で述べたように，パターン性が強く遷移行動の予測には向かないことがここから判る．HMM については，
行動ごとに状態が変化するため，連続して行われない行動については状態が変化し，適切に予測ができなかったと考えられる．
この結果から，HMM と比較した場合，階層性を用いた事により，HHMM がユーザの状態を推定するのにより適したモデル

表 5 行動予測の結果．手法列はそれぞれマルコフ連鎖 (MC，数字は次数)，HMM(数字は隠れ状態数)，HHMM(数字は第 1，第 2 階層の状態数)．機能列は予測対象の機能．太字は，各機能における適合率，再現率，F 値が最も高かったもの．
手法

機能

適合率

再現率

F値

HHMM 6 4 item 0.2996 0.0103 0.0198

機能

適合率

再現率

F値

MC 1 item

手法

0.00000.00000.0000cart

0.1649 0.1015 0.1257

cart

0.00000.00000.0000

HHMM 6 5 item

0.2971 0.0106 0.0204

MC 2 item

0.00000.00000.0000cart

0.1641 0.0994 0.1238

cart

0.04770.03800.0423item

0.0000 0.0000 0.0000

MC 3 item

0.09360.01600.0273cart

0.0896 0.0765 0.0825

cart

0.12640.05800.0795item

0.0000 0.0000 0.0000

MC 4 item

0.08050.01200.0209cart

0.0550 0.0428 0.0481

cart

0.21110.11000.1446item

0.0000 0.0000 0.0000

MC 5 item

0.0881 0.0170 0.0285

cart

0.0419 0.0317 0.0361

cart

0.2216 0.1110 0.1479

HMM 3
HMM 4
HMM 5

刻が記録されているため，2 つの行動間のアクセス時刻の差分であると言える．
次に，3 次以上のマルコフ連鎖と HHMM を比較する．5 次のを取れば，各ページの閲覧時間を算出する事が可能である．各

マルコフ連鎖における item 及び cart の F 値が 0.0285，0.1479

ページの閲覧時間がそのページにおけるコンテンツの重要性にであるのに対し，HHMM の第 1 階層の状態数が 6，第 2 階層の強く関係している事が知られているため [6]，閲覧時間を用い状態数が 5 のモデルにおける item 及び cart の F 値が 0.0204，

る事により，ユーザの状態をより適切に推定することが可能に

0.1238 となっておりこの結果から，HHMM を用いた予測になると考えられる．既存の隠れマルコフモデルにおいて，観測

よって，マルコフ連鎖と同程度の行動予測精度を実現しつつ，変数に時間などの要素が関係する分野は信号処理や映像処理でユーザの状態を推定することが可能になったと言える．

あるが，それらは系列の時間間隔などは考慮せず，一定間隔でまた，今回は状態数について 3 から 6 という範囲内での検証

信号を区切る事によって隠れマルコフモデルを適用している．

を行った．状態数の増減による行動予測精度の変化や得られる

よって，時間情報の隠れマルコフモデルへの導入はより汎的な状態と行動の関係の変化，及び最適な状態数の自動的な決定 [9]課題であると考えられる．

などは今後の検討課題である．

5. 結

論

次に，EC サイトにおけるアクセスログだけでなく，他データへの適用が挙げられる．今回の対象データは EC サイトにおけるアクセスログであったが，ユーザの状態推定においては Web

今回我々は，EC サイトにおけるユーザの欲求，特に購入へ特有の情報などは用いず，離散的な行動履歴という形式を用いと向かう状態の推定に取り組んだ．本研究では (1) ユーザ自身て推定を行った．よって，その他の離散的な行動情報で構成さの状態と，一つ前の行動とに従って，ユーザの現在の行動が決れた実世界の行動データ，例えば実店舗での購買行動や GPSまる，(2) 行動クラスが決まれば，ユーザが実際に取る行動が決情報などのライフログへの適用も可能であると考えられる．

まる，(3) 一つ前のユーザの状態に従ってユーザの現在の状態

最後に，Dynamic Topic Model [1] などのマルコフ性を取りが決まるという仮定をユーザ行動モデルに設け，階層型隠れマ

入れたトピックモデルを用いる事も検討している．Dynamic

ルコフモデルを用いてユーザ行動モデルを推定することによっ

Topic Model では，状態間に直接のマルコフ性を仮定するのでて，購入へと向かう状態の変化の推定，及び，購入から離脱すはなく，ハイパーパラメータにマルコフ性を仮定するものである状態への遷移を発見した．これにより，購入からの離脱の兆るが，行動の出力確率が動的に変化するモデルが構築できるた候を検出することが可能になった．また，ユーザ状態を含んだめ，より適切にユーザの行動及び状態が推定できると考えら状態で推定したモデルを用いることにより，同様にユーザ状態

れる．

を仮定した隠れマルコフモデルを上回る適合率でユーザの行動

6. 1 行動モデリング

予測が可能であること，及び，ユーザ状態を仮定しないマルコ

EC サイトにおける購買モデリングとして，Poel ら [15] は

フ連鎖と同程度の精度でユーザの行動予測が可能であることをEC サイトにおけるユーザのページ遷移情報をある間隔で区切っ確かめた．今回の結果を用いることにより，従来であれば購入たもの (セッション) ごとに特徴量を付与し，そのセッションでから離脱したユーザに取られていたアクションが，離脱の兆候

購買行動が起こるか否かについての予測が行われている．このを検出した時点で可能になり，コンバージョン率の向上につな研究は特徴量としてクリックスルーデータなどのセッションにがると考えられる．

おけるユーザの行動情報を用いている．Guo ら [7] は検索を行

6. 今後の課題なっているユーザが購入の意欲があるか，商品について検索しているのみであるかの予測を行った．Guo らは同時に，先に述今後の研究としてはまず，時間情報を用いたより適切な状態

べた 2 つの状態を用いてユーザが広告をクリックするかどうかの推定が挙げられる．今回の行動履歴にはユーザのアクセス時の問題にも取り組んでいる．これらの研究は，ユーザが行った

一連の閲覧行動に対して，購入意欲があるか否か，または購入するか否かを推定するものである．本研究は，ユーザの各閲覧
行動ごとに購入に向けた状態がどの程度のものかを推測しているという点で大きく異なっている．
より汎的な，Web におけるユーザの遷移行動における既存研究として，Mabroukeh ら [13] によるマルコフ連鎖に基づく行動予測が挙げられる．これは，ページの内容を用いて人出でデータをアノテーションし，より精度の高い予測を行なっている．マルコフ連鎖を用いたユーザモデリングとしては他にも，

Hassan ら [8] による検索行動におけるユーザ満足度の推定が挙げられる．これは，マルコフ連鎖を用いて，検索結果において上位に存在する文書群とクエリとの関連度よりも，ページ遷移などのユーザの行動履歴情報のほうが，ユーザの満足度推定に有効であることを示したものである．また，Lin ら [12] による遷移行動を用いて言語処理分野における言語モデルを構築したものなどが存在する．しかし，本研究で行ったような，Web におけるユーザの遷移行動に対して，階層型隠れマルコフモデル
によって表現されるモデル化を行ったものは存在しない．
その他の購買行動に関する研究として，Iwata ら [10] による
購買ログデータからユーザの興味を潜在変数として扱い，その時系列変化を逐次的に推定するものが挙げられる．

6. 2 消費者行動
消費者行動における代表的な研究として Fishbein による多属性モデル [5]，Engel らによる EKB モデル [3]，Bettman らによる情報処理モデル [17] などが挙げられる．Fishbein [5] による多属性モデルではまず，商品やブランドは複数の属性を持つものとされる．そして，これら複数属性に対する重み付けの総和で，消費者のある商品またはブランドに対する評価，態度をモデル化した．また多属性モデルにおいては，消費者はこの態度が高いものを選択するとされている．Engel らによる EKB
モデル [3] では，消費者の広告などからの刺激に対する反応がモデル化されている．EKB モデルでは外部刺激によって消費者は問題認識をし，それを達成すべく情報検索を行う．検索によって得た情報に対し評価を行い，最終的に購入し，評価を行
うのが EKB モデルである．Bettman ら [17] による情報処理モ
デルは消費者は外部からの刺激にのみ反応するのではなく，自ら目的達成に向けて情報を探索し，それにより得た情報を処理し，最終的な行動を行うというモデルであり，これまでの刺激反応モデルとは大きく異なっている．また，Bettman モデルでは長期記憶と短期記憶の概念が導入されている点も刺激反応モデルとは異なっている．
文

献[1] D. M. Blei and J. D. Laﬀerty. Dynamic topic models. In
Proceedings of the 23rd international conference on Machine learning, ICML ’06, pages 113–120, New York, NY,
USA, 2006. ACM.
[2] S. Buettcher, C. L. A. Clarke, and G. V. Cormack, editors.
Information Retrieval. The MIT Press, New York, NY,
2010.
[3] J. F. Engel, D. T. Kollat, and R. D. Blackwell. Personality
measures and market segmentation : Evidence favors interaction view. Business Horizons, 12(3):61–70, June 1969.

[4] S. Fine, Y. Singer, and N. Tishby. The hierarchical hidden
markov model: Analysis and applications. Mach. Learn.,
32(1):41–62, July 1998.
[5] M. Fishbein. Attitude and the prediction of behavior. Readings in attitude theory and measurement, pages 477–492,
1967.
[6] S. Fox, K. Karnawat, M. Mydland, S. Dumais, andT. White. Evaluating implicit measures to improve web
search. ACM Trans. Inf. Syst., 23(2):147–168, Apr. 2005.
[7] Q. Guo and E. Agichtein. Ready to buy or just browsing?:
detecting web searcher goals from interaction data. In Proceedings of the 33rd international ACM SIGIR conference
on Research and development in information retrieval, SIGIR ’10, pages 130–137, New York, NY, USA, 2010. ACM.
[8] A. Hassan, R. Jones, and K. L. Klinkner. Beyond dcg: user
behavior as a predictor of a successful search. In Proceedingsof the third ACM international conference on Web searchand data mining, WSDM ’10, pages 221–230, New York,NY, USA, 2010. ACM.
[9] K. A. Heller, Y. W. Teh, and D. Görür. Infinite hierarchical hidden markov models. Journal of Machine Learning
Research - Proceedings Track, 5:224–231, 2009.
[10] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda. Topic
tracking model for analyzing consumer purchase behavior.
In IJCAI, pages 1427–1432, 2009.
[11] M. Johnson. Why Doesn’t EM Find Good HMM POSTaggers?
In Proceedings of the 2007 Joint Conferenceon Empirical Methods in Natural Language Processing
and Computational Natural Language Learning (EMNLPCoNLL), pages 296–305, 2007.
[12] J. Lin and W. J. Wilbur. Modeling actions of pubmed users
with n-gram language models. Inf. Retr., 12(4):487–503,
Aug. 2009.
[13] N. R. Mabroukeh and C. I. Ezeife. Semantic-rich markov
models for web prefetching. In Proceedings of the 2009
IEEE International Conference on Data Mining Workshops, ICDMW ’09, pages 465–470, Washington, DC, USA,2009. IEEE Computer Society.
[14] K. P. Murphy and M. A. Paskin. Linear time inference inhierarchical hmms. In In Proceedings of Neural Information
Processing Systems, 2001.
[15] D. V. D. Poel and W. Buckinx. Predicting online-purchasing
behaviour. European Journal of Operational Research,
166:557–575, 2005.
[16] L. Rabiner. A tutorial on hidden markov models and selected applications in speech recognition. Proceedings ofthe IEEE, 77(2):257–286, feb 1989.
[17] I. Ross and J. R. Bettman. An information processing theory of consumer choice. Journal of Marketing, 43(3):124+,
FebFeb 1979.
[18] K. Wakabayashi and T. Miura. Forward-backward activation algorithm for hierarchical hidden markov models. In
P. Bartlett, F. Pereira, C. Burges, L. Bottou, and K. Weinberger, editors, Advances in Neural Information Processing
Systems 25, pages 1502–1510. 2012.
[19] M. Weiland, A. Smaill, and P. Nelson. LEARNING MUSICAL PITCH STRUCTURES WITH HIERARCHICALHIDDEN MARKOV MODELS. 2005.