日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

原著論文

消費者の購買行動に対するディープラーニングの適用可能性の検討

若林 憲人†1

生田目 崇†2

概要：本論文では，近年注目されているディープラーニングをマーケティングデータ，特に顧客の購買行動に着目して適用し，評価を行う．ディープラーニングは画像や音声の分野で高い判別能力を示しており，他の分野での適用も期待されている．本論文では，購買及びその関連データに関して，複数のディープラーニングによる予測分析を行う．
分析結果から，モデルの特徴を考察し，今後の可能性について論じる．
キーワード：ディープラーニング，CNN，DNN，購買生起，予測精度ーニング（深層学習）を用いて学習し，顧客の購買の予測

1. はじめにを試みる．そして分析結果をもとに，マーケティングデー

近年，インターネットの普及により，消費者の商品・サタの分析におけるディープラーニングの適用可能性についービスの購入に対する意思決定タイミングの変化が起こって論じる．

た．その変化に対応するマーケティング手法として，コンテンツマーケティングが重要視されている．コンテンツマ

2. ディープラーニングと適用分野

ーケティングでは，マーケティング実施主体とその訴求先とが「コンテンツ」を媒介にコミュニケーションすること

ディープラーニングは，多層構造を持つニューラルネッ

を前提としている． 訴求先としては，消費者だけでなく組

トワークを用いた機械学習アルゴリズムである．多層構造

織や団体なども含まれる．また，コンテンツの作りや内容モデルを学習させることで，変数間の複雑な関連性を抽出により，ブランディング，認知拡大，利用促進など多くのできるため，モデルは非常に高い柔軟性をもつ学習モデル

目的で活用できる．このように，コンテンツマーケティンになる．近年，画像認識や音声認識の精度を競う数々のコ

グは，ターゲットとなる顧客を定義・把握し，その顧客をンペティションで過去の記録を大幅に塗り替える高い性能

引き寄せ，獲得し，関わり合い，購買に結び付く行動を促を発揮し，ここ数年で一気に広まった [6, 9]．

すことを目的としているため，消費者行動を理解する上でディープラーニングの考え方自体はニューラルネット

重要な役割を担っていると考えられる [7, 12]．

ワークの分野で古くから認知されていたが，十分な学習デ

特に，EC サイトは購買チャネルとしてだけでなく，各種ータを集めることが困難であった．また計算機も大規模なのプロモーションや情報提供なども担うチャネルである．

データに耐えうる能力が不足していた．しかし，近年の計したがって，顧客の購買までのプロセス，すなわち検索や算機の計算能力の飛躍的向上やウェブの整備が状況を大き絞り込みなどの情報をアクセスログから収集できることか

く変化させ，複雑なモデルに耐えうる環境に整ってきた．

ら，購買前後の顧客の購買関連行動といった，より広い範

本論文では，大きくは 2 種類のディープラーニングモデ

囲で顧客行動に関するデータ項目を得ることができる．こルを用いる．

うしたデータから購買行動を探ることで，顧客理解やアッ

一つは畳み込みニューラルネットワーク (Convolutional

プセルの促進といったマーケティング活動に寄与できるこ

Neural Network: CNN) [9, 10, 11]である．CNN は主に画像認とが期待されている．しかし，消費者の多様化と共に，顧識の分野で用いられるモデルである．CNN では，画像の近客の行動や購買決定もより複雑なものになっており，これ接する画素が強い相関を持つという特徴を用いている．従らを共通した単一のモデルで測ることは簡単なことではな

来のニューラルネットワークが，入力と隠れ層が全結合しい．そこでより複雑な因果関係を表現するようなモデル分ている構造であるのに対して，CNN では入力を近接する画析が必要とされつつある．

素にまとめ，小さい領域に分割することで，分割した領域

本論文では，EC サイト上のコンテンツにおける顧客のとだけ隠れ層が結合するような構造を作る．さらに畳み込

アクセス行動の複雑性を，近年注目されているディープラ

んだ層の小さい領域の一部分をプーリングする．プーリン†1 中央大学大学院†2 中央大学（連絡先：nama@indsys.chuo-u.ac.jp）
投稿：2016 年 11 月 30 日
採択：2017 年 2 月 10 日

ⓒ 2017 Japan Social Data Science Society- 48 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
グを行うことで画像の特徴位置の移動に対してロバストと3.2 アクセスログデータ

なる．
もう一つが，多層ニューラルネットワーク (Deep Neural

アクセスログデータは，2015/07/20～2015/08/19 を集計

Network: DNN) [8] である．DNN は，入力層，隠れ層，出期間とする．変数については，
当該 EC サイトで提供しているコンテンツページの閲覧力層がそれぞれ一つのニューラルネットワークモデルにつ回数とサイト訪問の回数を対象とする．

いて，隠れ層を複数の層に拡張している．隣りあう隠れ層
は全要素で結合している．CNN が各層での働きを定義しな

表 1 にアクセスログデータの変数名とその概要，表 2 にければならないのに対して，DNN では各層に含まれる要素

データの様子を示す．表 2 の表頭の比率はそれぞれの項目

数のみ指定すればよい．

のパーセンタイルを表す．すなわち，例えばショップペー
ジのページビュー (PV) である shop の下位 25%に該当す

このように，ディープラーニングの各モデルは複雑な関る顧客は 190PV であるであることが分かる．

係を表現することができる．マーケティングにおいても市場における消費者の行動は多様化しており，消費者の購買表1

行動などにディープラーニングが応用できることが期待できるが，現状では研究事例は多くない．

アクセスログデータの変数一覧

変数名

変数の意味

purchase_count

3. データの概要

累積購買回数(回)

sales_amt_Sum

累積購買金額の合計(円)sales_amt_Mean

累積購買金額の平均(円)

本論文では，あるゴルフ専門 EC サイトを分析の対象と

sales_qty_Sum

累積購買個数の合計(個)する．利用するデータは， 4 つのカテゴリ (アクセスログ

sales_qty_Mean

累積購買個数の平均(個)データ，購買データ，予約データ，デモグラフィックデー

Re_purchase_count

直近一週間の累積購買回数(回)タ)に大別できる．

Re_sales_amt_Sum

直近一週間の購買金額の合計(円)

検証実験として，購買観測期間を設定し，その観測期間

Re_sales_amt_Mean

直近一週間の購買金額の平均(円)内にドライバーを買うか買わないかについての購買予測モ

Re_sales_qty_Sum

直近一週間の購買個数の合計(個)Re_sales_qty_Mean

直近一週間の購買個数の平均(個)デルの構築を行う．ドライバーは比較的高額な購買になることから突発的な購買行動は起こりにくいと考えられるため，直近 1 ヶ月程度の検討期間を考えることで消費者の迷

表2

いの行動を定量化できると考える．また，会員登録から対変数名

象期間までに累積の行動をサイトへのロイヤルティを捉え，これらをモデルに含める．
3.1 購買観測期間と予測期間について
購買観測期間と予測期間については図 1 のように定めた．

アクセスログデータの概要
25%

50%

75%

100%

shop

190

580

1,510

76,115

news

0

5

61

19,640

campaign

0

0

0

100

lesson0

10

120

11,840

すなわち，アクセスログデータについては，2015 年 7 月 20

reserve

0

5

105

25,815日からの 1 カ月間，また，直近の購買と予約は 8 月 13 日

beginner

0

0

0

85

からの 1 週間とした．そして，8 月 20 日から 8 月 27 日ま

dr

0

0

0

590

での 1 週間にドライバーを購入するかどうかについて分析

session_count

5

12

23

175

を行う．なお，この予測期間において 1842 人の購買が観測された．このうち，モデル検証用データとして 300 人をラ

表 1，表 2 より shop ページが最も良く見られているこンダム抽出し，残りの 1542 人を学習用データとしている．

と，加えて，news，lesson, reserve ページといったメインコ

また，購買がない顧客をランダムに同数，すなわち 1842 人

ンテンツが閲覧されやすいことが分かる．

抽出した．
3.3 購買データ

以下で，4 カテゴリの変数についてまとめる．

購買データは，2015/08/13～2015/08/19 までの直近一週間の購買の金額の平均と合計，数量の平均と合計，購買回
数と，各顧客の会員登録日からの累積の購買の金額の平均と合計，数量の平均と合計，購買回数を対象とする．表 3に購買データの変数名とその意味，表 4 にデータの概要を示す．なお，表 4 の値は顧客ごとに集計したものであり，
図1

表頭の比率は表 2 と同様パーセンタイル点を表す．

データ集計期間ⓒ 2017 Japan Social Data Science Society- 49 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

表3

購買データの変数

変数名

表5

予約データの変数と意味

変数の意味

purchase_count

累積購買回数(回)

変数名

変数の意味

reserve_count

累積予約プレー回数(回)

sales_amt_Sum

累積購買金額の合計(円)sales_amt_Mean

累積購買金額の平均(円)sales_qty_Sum

累積購買個数の合計(個)result_player_qty_Sum

累積予約プレー人数の合計(人)sales_qty_Mean

累積購買個数の平均(個)result_player_qty_Mean

累積予約プレー人数の平均(人)Re_purchase_count

直近一週間の累積購買回数(回)

Re_reserve_count

直近一週間の予約プレー回数(回)Re_play_fee_amt_Sum

直近一週間の予約プレー金額の合計(円)

Re_play_fee_amt_Mean

直近一週間の予約プレー金額の平均(円)Re_sales_amt_Sum

直近一週間の購買金額の合計(円)Re_sales_amt_Mean

直近一週間の購買金額の平均(円)Re_sales_qty_Sum

直近一週間の購買個数の合計(個)Re_sales_qty_Mean

直近一週間の購買個数の平均(個)play_fee_amt_Sum

累積予約プレー金額の合計(円)

play_fee_amt_Mean

累積予約プレー金額の平均(円)Re_result_player_qty_Sum

直近一週間の予約プレー人数の合計(人)

Re_result_player_qty_Mean

直近一週間の予約プレー人数の平均(人)表6
表4

予約データの概要

購買データの概要
25%

purchase_count

50%
4.0

25%

75%

12.0

100%

26.0

405.0

50%

75%
4.0

100%

reserve_count

0.0

17.0

play_fee_amt_Sum

0.0 151,752.0 749,991.8 17,645,492.0

271.0

play_fee_amt_Mean

0.031,477.4

49,146.8

470,208.0

result_player_qty_Sum

0.0

14.0

65.0

1,160.0

result_player_qty_Mean

0.0

3.0

4.0

32.0

Re_reserve_count

0.0

0.0

0.0

6.0

0.0

0.0

0.0

525,600.0

sales_amt_Sum

39,002.5 123,096.0 311,887.3 19,890,966.0

sales_amt_Mean

3,983.0

6,492.7

10,394.0

157,500.0

sales_qty_Sum

6.0

20.0

46.0

2,049.0

sales_qty_Mean

1.0

1.0

1.1

7.2

Re_play_fee_amt_Sum

Re_purchase_count

0.0

0.0

1.0

36.0

Re_play_fee_amt_Mean

0.0

0.0

0.0

525,600.0

Re_sales_amt_Sum

0.0

0.0

7,313.0

608,955.0

Re_result_player_qty_Sum

0.0

0.0

0.0

40.0

3,680.0

114,400.0

Re_result_player_qty_Mean

0.0

0.0

0.0

40.0

Re_sales_amt_Mean

0.0

0.0

Re_sales_qty_Sum

0.0

0.0

1.0

46.0

Re_sales_qty_Mean

0.0

0.0

1.0

5.0

表7

デモグラフィックデータ

表 3，表 4 より，累積で相当数購入している顧客がいる

変数名

変数の意味

ことが分かる．また，直近一週間のみの集計でも購買金額・

age10

10代

1

個数が高い．

age20

20代

54

age30

30代

280

3.4 予約データ

人数

age40

40代

1,142

予約データは，2015/08/13～2015/08/19 までの直近一週

age50

50代

1,411

間の予約の金額の平均と合計，プレー人数の平均と合計，

age60

60代以上

予約回数と各顧客の会員登録日時から 2015/08/19 までの

men

男性

3,526

累積の予約の金額の平均と合計，プレー人数の平均と合計，

women 女性

158

796

予約回数を対象とする．
表 5 に予約データの変数名とその意味，表 6 にデータ概表 7 より，人数では 30 代以下は少なく 40 代以降の顧客要を示す．表 6 の表頭の比率は表 2 と同様パーセンタイル

が多い．性別は男性が多いことが特徴である．

を表す．

なお，分析に用いたすべてのデータはそれぞれの項目の

表 5，表 6 より，researve_count の項目を見ると 75%タイ

最小値と最大値をそれぞれ 0 と 1 とし，[0,1] の区間に正規

ル点で 17 回の予約があることから予約を相当数行ってい化してから用いている．

る顧客がいることが分かる．また，Re_reserve_count の値を見ると，全体としては直近での予約はないものの，逆に 6

4. 購買予測の比較

回も予約をしている顧客も存在する．

本論文では，複数のディープラーニングモデルについての
3.5 デモグラフィックデータ

評価を行った．なお，分析は Python 言語のディープラーニ

デモグラフィックデータは, 2015/08/19 時点の年代, 性別

ング用のライブラリ Lasagne [13] を用いている．以下で，を対象とする．表 7 にデモグラフィックデータの変数名とモデル構築及び結果について述べる．

その意味と集計値を示す．

ⓒ 2017 Japan Social Data Science Society- 50 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
表 10
第1主成分
絶対値CNN-SGD

CNN による正答率
第2主成分

第3主成分

第1~第3主成分

最小値

平均値

最大値

最小値

平均値

最大値

最小値

平均値

最大値

最小値

平均値

最大値

62.00%

63.77%

65.83%

63.00%

64.43%

65.67%

64.00%

65.03%

67.50%

66.33%

67.57%

68.83%

絶対値CNN-Adam

62.17%

64.43%

66.00%

61.67%

63.87%

66.50%

61.83%

63.73%

65.50%

64.00%

65.16%

66.33%

正負CNN-SGD

60.17%

64.57%

67.50%

62.33%

63.73%

64.83%

63.67%

64.57%

65.83%

65.17%

66.07%

67.33%

正負CNN-Adam

61.50%

63.27%

65.50%

63.00%

64.97%

66.17%

64.67%

65.87%

67.33%

66.00%

66.40%

67.17%

両端CNN-SGD

62.17%

64.20%

65.50%

64.50%

65.13%

66.00%

61.33%

62.30%

63.50%

64.67%

65.87%

67.33%

両端CNN-Adam

57.83%

65.50%

64.33%

61.83%

64.00%

66.00%

59.83%

63.50%

64.67%

65.50%

67.33%

67.67%

表8

主成分分析の結果を用いるモデル一覧

4.1 データの並べ方に関する工夫

第1主成分 第2主成分 第3主成分 第1~第3主成分

入力変数としては前述の 4 カテゴリのデータを用いるが，ディープラーニングで画像などの識別能力が高いのは，画像のなかで共通する部分が存在し，そうした特徴部分を畳
み込みやプーリングによって抽出できるためと考えられる．
しかし，本論文で用いるマーケティングデータの場合，デ

絶対値CNN-SGD

Model-1

Model-2

Model-3

絶対値CNN-Adam

Model-5

Model-6

Model-7

Model-4
Model-8

正負CNN-SGD

Model-9Model-10 Model-11

Model-12

正負CNN-Adam

Model-13 Model-14 Model-15

Model-16

両端CNN-SGD

Model-17 Model-18 Model-19

Model-20

両端CNN-Adam

Model-21 Model-22 Model-23

Model-24

ータの並びに関連性はなく，ディープラーニングにおける特徴抽出がうまくいかない可能性がある．

表9

主成分分析の結果を用いないモデル一覧

そこで，本研究では，項目間の相関に着目し，相関が強各主成分と同じサイズ

第1~第3主成分と同じサイズ

いと考えられる順にデータを並び替えて用いることを行っ

ランダムCNN-SGD

Model-25

Model-26

た．そのために説明変数について主成分分析を行い，各カ

ランダムCNN-Adam

Model-27

Model-28

ランダムDNN-SGD

Model-29―

ランダムDNN-Adam

Model-30―

テゴリに関して主成分負荷量をもとにデータを並び替える．
ただし，第一主成分だけでは主成分負荷量の絶対値が小さ
い変数についてはうまく並び替えの効果が働かないことも4.3 学習結果

考え，寄与率をもとに第 3 主成分までを用いる．

本論文における計算実験は，モデルごとに 5 回実験を行

なお，入力変数を並べる際に，データのカテゴリによって次元が異なるが，不足する次元については共通して 0 をった．5 回の計算機実験の正答率の平均値，最大値，最小代入している．

値を表 10 と表 11 にまとめる．ただし，正答率は出力について 0.5 を超えれば購入，越えなければ購入しないと予測した場合に正しく予測されたかどうかの比率である．なお，

4.2 比較モデル

ロジスティック回帰モデル (Model-31 )は解が一意に定ま

表 8 と表 9 に本論文で比較したモデル一覧を示す．なお，
各モデルの詳細や求解方法の詳細は付録にまとめる．また，りその正答率は 68.33%である.

クラス判別で広く用いられているロジスティック回帰分析
を Model-31 として比較に含める．これらの表内の「SGD」，

表 11

ランダムに変数をならべた場合の正答率「Adam」はそれぞれ最適化手法であり，詳細は付録にまと各成分と同じサイズ

める．また，「絶対値」は，得られた主成分負荷量について
絶対値の大きい順に並び替えている．
「正負」は，符号を含めて大きい順に並び替える．
「両端」は, 符号の順繰りにその絶対値の大きい順に端から内側に向かって埋めていくよ
うに並び替えている．例えば，4 つの変数 ,

,

,

最大値

最小値

平均値

最大値

ランダムCNN-SGD

65.33%

65.87%

66.33%

65.00%

66.40%

68.33%

ランダムCNN-Adam

62.33%

64.50%

68.00%

65.83%

66.90%

68.33%

ランダムDNN-SGD

47.50%

55.63%

66.17%―――

ランダムDNN-Adam

57.17%

60.00%

62.17%

―

―

―

5. 考察

を左端に，次に大きい を右端に，次にを の右に，最後に平均値の主成分負荷量が順に 0.6, -0.4, 0.9, -0.1 の場合は，まず最も絶対値の大きい

第1~第3主成分と同じサイズ

最小値

前節の結果から，CNN，DNN とも，ロジスティック回帰を の左側に配置する．

分析を大きく上回る判別能力はないことが言える．CNN と

表 9 は，主成分分析を通さず，ランダムに変数の順を入

DNN を比較すると，DNN より CNN の方が正答率は高い．

れ替えた場合のモデル番号である．

特に CNN の Model-4（第 1~第 3 主成分までを用い，それらについて主成分負荷量の絶対値の大きい順に並び替える．
また，求解方法は SGD を用いている）においては，ほんの少しであるが，ロジスティック回帰分析を上回る正答率が得られた．

ⓒ 2017 Japan Social Data Science Society- 51 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

図2

エントロピー誤差（上図：DNN，下図：CNN，train：学習データ，valid：検証データ）
全体的に DNN に比べて CNN の方が，また多くの主成分

る．
また，正答，不正答についてケースごとにロジスティッ

を用いる場合の判別能力が高いことから，入力の一部分に特徴的なパターンを持ったデータについて，畳み込みやプク回帰分析 (Model-31) と CNN (Model-4)，DNN (Model-29)

ーリングといった特徴抽出がパターン認識においては有効を比較した．
ロジスティック回帰モデルは分散の大きな変数においてであることが示唆される．
以下，CNN と DNN それぞれで最も正答率の高い Model-

極端に大きいもしくは小さい値を持つケースにおいて比較

4 と Model-29 についてさらに考察する．

的正解しやすい．これは,分散が大きい場合にオッズ比が大図 2 は横軸が学習回数，縦軸がエントロピー誤差のグラきくなるためと思われるので，極端に大きいもしくは小さフである．上のグラフが DNN (Model-29)，下のグラフがい説明変数にパラメータが引っ張られやすいためと考えら

CNN (Model-4) であるが，DNN を見ると，学習回数が増えれる．

ると学習データ，検証データとも誤差が小さくなる様子がまた，DNN は変数内で値の分散が大きい場合に突出しわかる．これに比べて CNN の場合は，早い段階で収束するた値をもつユーザには正答しづらかった．DNN では変数間が，その後は過学習状態になっている．したがって，CNNの関係性を抽出して学習を行っているため，ある値のみ突についてはある程度の早い段階でも高い識別能力が期待で出した値をもっている場合でも変数全体から判別しようときるが，その後のモデルの挙動については注意が必要であしているためと思われる．

ⓒ 2017 Japan Social Data Science Society- 52 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
CNN についてはロジスティック回帰モデルの場合と正答・不正答のパターンが DNN の場合と比べて似ていた．
これは，突出した値をもつ特殊なケースについて，各変数の特徴を抽出して学習が行えていると言える．畳み込みの強みである特徴抽出が上手く表現できた結果と言える．

6. まとめと今後の課題
本論文では，ディープラーニングの中でも特に画像認識の分野で用いられている CNN を中心に購買に着目したマー
ケティングデータに対して適用を検討した．本論文では特に，購買予測のためのモデル構築を目的とした．その中でモデル精度，データセットの構築，最適化手法，ユーザの予測，モデルの使い分けについて評価を行った．
モデルの予測精度に関しては，わずかではあるものの，既存のモデルのロジスティック回帰モデル(Model-31)やDNN (Model-29) より CNN を適用した Model-4 が高い精度を得られる場合があることが分かった．これは，CNN の特徴抽出の強みがチャネル数を増やすことで活かせ，多数の異なるデータを分析に用いることで，精度向上の可能性があることが言える．ユーザごとの予測を見てみると，一International Conference on Machine Learning (2010).
[4] LeCun, Y., Battou, L., Bengio, Y. and Haffner, P., “Gradient-based
Learning Applied to Document Recognition,” Proceedings of theIEEE 1998 (1998).
[5] LeCun, Y. , Bottou, L., Orr, R., and Muller, K., “Efficient Backprop”
in Neural Networks: Tricks of the Trade, Springer (1998).
[6] 川上和也，松尾豊，“Deep Collaborative Filtering Deep Learning
技術の推薦システムへの応用”, 第 28 回人工知能学会全国大会論文集, 3H3-OS-24a-1 (2014).
[7] 近藤知幸，井上佑介，“コンテンツマーケティング最前線 全国
28,000 店舗のコンビニを活用 したサービス提 供”, UNISYSTECHNOLOGY REVIEW EXTRA EDITION, 第 124 号(2015).
[8] 岡谷貴之，「深層学習」，講談社， (2009).
[9] 岡谷貴之，齋藤真樹，“ディープラーニング,” 情報処理学会研究報告, Vol. 2013-CVIM-185, No. 19 (2013).
[10] Simonyan, K. and Zisserman, A., “Very Deep Convolutional
Networks for Large-scale Image Recognition,” Proceedings of ICLR
2015 (2014).
[11] Hinton, G., Srivastava, N. and Swersky K., “Lecture6e - rmsProp:
Divide the Gradient by a Running Average of its Recent Magnitude,”
Coursera: Neural Networks for Machine Learning (2012).
http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec
6.pdf （2017/01/14 閲覧）.
[12] ContentMarketingInstitute, “What Is Content Marketing?”
http://contentmarketinginstitute.com/what-is-content-marketing/（2016/11/07 閲覧）.
[13] Lasagne ウ ェ ブ サ イ ト ， https://github.com/Lasagne/Lasagne（2016/11/20 閲覧）.

般的な変数値をもつユーザに対しては軒並みどのモデルでも正答できている．しかし，突出した変数値を持つユーザ

付録に関しては DNN に比べ CNN とロジスティック回帰モデ

A. 多層ニューラルネットワークと畳み込みニューラルネットワーク

ルの方が適切な予測がされやすい傾向があった．
データセットに関しては，主成分分析を用いてデータセ

A.1

ットの順番を行う工夫を行った．大きな精度の改善は得ら

多層ニューラルネットワーク

れなかったが，入力データのチャネル数を増やすことで精単層ニューラルネットワークでは，入力層と出力層の間度向上が見込めることから，さらに多くの異なるデータをに一層の隠れ層を挟み込み入力層から隠れ層，隠れ層から用いることで CNN の特徴抽出の強みを生かせ，精度向上

出力層にウェイトを乗じて足し合わせた上でバイアスを加の可能性について言及できよう．

えて入力値を伝播させていく．複数のユニットからなる隠本論文はまだ試行段階といえるため，いくつかの課題がれ層で，入力と出力の関係を複数の面で評価することがで残されている． まず，CNN の良さである特徴抽出の部分きるので，複雑な入出力関係を評価することができる，たで過学習が起きているため，データセットに各ユーザの時

だし，データの次元が大きくなると，ユニットを増やすだ

系列の行動情報を複数入れる，もしくは変数やチャネル数

けでは対応できなくなるほど複雑な関係が出てくる．そこを増やすことで解決できる可能性があると考えられる．まで，隠れ層そのものを増やすことで，データに潜む特徴や

た，入力データについては主成分分析以外にも特異値分解

関連性を表現しようというものが多層ニューラルネットワ

や非負値行列因子分解など他の方法を考慮することも考えーク (Deep Neural Network, DNN) である [8]．本論文でられる．これらについて評価することも今後の課題である．

DNN という場合は隣あう層のユニット同士はすべてのペアで連結している場合を指す．

参考文献[1] Ba, J. and Kingma, D., “Adam: A Method for Stochastic
Optimization,” Proceedings of International Conference on
Learning Representations, arXiv:1412.6980v8 [cs.LG] 23 Jul 2015
(2015).
[2] Duchi, J., Hazan, E. and Singer, Y., “Adaptive Subgradient Methods
for Online Learning and Stochastic Optimization,” Journal of
Machine Learning Research, Vol. 12, pp. 2121-2159 (2011).
[3] Boureau, Y., Ponce, J., and LeCun, Y., “A Theoretical Analysis of
Feature Pooling in Visual Recognition,” Proceedings of the 27thⓒ 2017 Japan Social Data Science Society

A.2

畳み込みニューラルネットワーク

DNN では隣り合う層のすべてのユニット同士での連結を考えるが，入力データのある領域に共通の特徴が出現しそれを抽出したい場合などにおいては，DNN ではうまくその特徴がうまく抽出できない場合がある．そこで，下記に示すような工夫が行われる．こうしたモデルは畳み込みニューラルネットワーク (Convolutional Neural Network,- 53 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

図 A.1

畳み込みの構造

CNN) と呼ばれる [9, 10, 11]．CNN の代表的なモデル上の複数のフィルタを並行して畳み込む方が実用的である．
図 A.1 では，第工夫として，畳み込みとプーリングがある．これらを以下1 層からで説明する．
A.2.1

層に位置する畳み込み層が直前のチャネルのデータ
0, ⋯ ,

1 を受け，これに0, … ,

1 を適用している．各フィルタは入力

畳み込みについて種類のフィルタ

Fの 枚（ : チャネル），と同じチャネル数を保有し，サイズは変数のインデックスを ,0, ⋯ ,

図 A.1 において

0, 1, 2の 3 つの各フィルタを並行して1 とする．インデックス, の変数値を

入力は，データのサイズが

1;0, ⋯ ,

計算が行われ，それぞれ 1 チャネルずつでとする．チャ

となる．
の出力がネル数は，データの特性に応じて作成する．本研究では，得られる．この計算の終了後，結果を変数ごとに全チャネ4 である．そして, フィル

ルにわたっておこない，これは式 (A.2) のように表すこと

4 カテゴリのデータなのでタと呼ばれるサイズの小さいデータをタのインデックスを1 で表し，変数値を,0, ⋯ ,とし，フィル
1;

ができる．

0, ⋯ ,とする．

データの畳み込みは，式 (A.1) に示すようなデータとフ

,

(A.2)

,

ィルタ間での積和計算を行う．
ただし，
,

(A.1)

はバイアスであり，フィルタごとに全ユニット共通としている．最後に，得られたに活性化関数を適用し，式 (A.3) の値が最終的な出力となり，次の層へと値が伝播する．
データの畳み込みにおいて得られる働きは，フィルタの特徴的変数や類似した変数値のパターンが入力データのど(A.3)

こにあるのかを検出する役割がある．つまり，データの特徴的な構造を抽出することが可能である．

このように，入力のサイズが畳み込み層は，畳み込みの演算を行う単層ネットワーク

み込み後の出力はである．実際には，1 つのチャネルに 1 つのフィルタを畳み込むより，複数のデータを用意して使い，多チャネルにⓒ 2017 Japan Social Data Science Society- 54 -であったのが，畳になる．

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
A.2.2

ら学習を進める．勾配降下法はこうした問題を解くためのプーリング層について方法であり， を学習係数として，式 (A.8) により解を更プーリング層は畳み込み層の後に置かれ対で使われ，畳新する．

み込み層からの出力がこの層への入力となる．データのどの位置でフィルタの応答が強かったかという情報を一部捨て，データ内に現れる微小な位置変化に対する応答の普遍(A.8)

性を実現するものである．
プーリング層の入力は直前の畳み込み層の出力であり，その次元は,となる．その入力データ上の変数を中心とするの領域をとり，この領域内の中とする．このに含まれるデータの集合をについて，チャネル
一つの変数値

なお，ごとにの各要素の初期値については，下記の一様分布からランダムにサンプリングした値を用いることで広範囲内の変数の探索を行うようにしている．

個ある変数値を使ってを算出する．方法の一つとして最大プーリング法があり，式 (A.4) のように最大値となるものが

∼

,

,

12

(A.9)

選択される．

max
,

(A.4)

∈

,

はそれぞれ，各層の前後の層の個数である．バイアスの初期値は広く行われているように 0 としている．

ただし全データを用いてこの計算を行うことは計算負荷 が 高 い た め ， 確 率 的 勾 配 降 下 法 (Stochastic Gradient

プーリング層においては学習によって変化するパラメ

Descent Method, SGD) が用いられる．SGD では，ランダムータはなく，層間の結合の重みは固定されている．

に少数の学習データを選んで誤差関数を計算し，その勾配
A.3

方向にパラメータを修正する操作を反復する手法である．

確率的勾配降下法

確率的勾配降下法の元になる勾配降下法は，ニューラル

パラメータが最適解から遠く離れている場合に，どのようネットワークモデルにおいて各層での入力変数ベクトルをな訓練データを用いても停留点に近い位置に到達すること,，ウェイトとバイアスをそれぞれが期待できる．

して，出力

関数を，
A.4
(A.5)

Adam

勾配降下法は，パラメータの更新量を学習係数によって変化させる．この学習係数は学習の良し悪しを大きく左右とするとき，最終な出力層（第層）の出力関数を，する非常に重要な役割を担っている．学習係数の決め方は分析者の裁量により，試行錯誤して値を決めることが一般的である．ネットワークの層毎に同じ学習係数を使用せず，

exp
∑

(A.6)

exp

層ごとに異なる学習係数を使うことで，各層に対する学習速度が均一になるように設定することが望ましいとされている [5]．

として出力値を得る．このとき誤差関数は次の交差エント

一方で，学習係数を自動的に定める方法で近年注目されているのが Adam (Adaptive Moment Estimation) 法であるロピーを用いる．

[1]．Adam 法は，先行手法の AdaGrad [2] の勾配が疎になる場合に強い性質と RMSProp [11] の非定常な問題に強い
log

,

(A.7)

性質の 2 つの長所をもっている．

B. 本論文で用いたモデル
要素の正答クラスであり， と以下に Model-1～30 のモデルについて詳細をまとめる．

が一致すれば 1，そうでなければ 0 となる．そしてこの

表 B.1 は各要素に関する単語の一覧であり，表 B.2 および

ただし，

は出力の第

表 B.3 が CNN および DNN の構造である．

誤差関数が小さくなるように学習する．しかし，式 (A.7)は一般には凸関数でないため，大域的最適解を求めるのは困難である．そこで，局所的な最適解をくり返し更新しながⓒ 2017 Japan Social Data Science Society- 55 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
表 B.1

モデル層に関する説明

Size が 4 の場合は Model-(1～3, 5～7, 9～11, 13～15, 17～19,

名称

意味

21～23, 25, 27) ，16 の場合は Model-(4, 8, 12, 16, 20, 24, 26,

Input28) で採用した．

入力層

Conv

畳み込み層

Pool

プーリング層

表 B.3

Full

全結合層

関数

Output

出力層

Input

―

―

ReLU

正規化線形関数

Full

ReLU

1024

Sigmoid

シグモイド関数

Full

ReLU

512

Filter畳み込みのフィルター数

Full

ReLU

256

Filter_Size フィルター後の大きさ

Full

ReLU

128

Pool_Size

プールサイズ

Full

ReLU

64

Unit

ユニット数

Full

ReLU

32

Full

ReLU

16

Full

ReLU

8

Full

ReLU

4

OutputSigmoid2

表 B.2 CNN の層の概要
関数

DNN の層の概要

Filter

Size

Pool

Size

Unit

Input

―

―

―

―

―

Conv

ReLU

4 or 16

(1,2)

―

―

Pool

―

―

―

(1,1)

―

Conv

ReLU

4 or 16

(1,2)

―

―

Pool

―

―

―

(1,1)

―

Conv

ReLU

4 or 16

(1,3)

―

―

Conv

ReLU

4 or 16

(1,3)

―

―

Conv

ReLU

4 or 16

(1,3)

―

―

Full

ReLU

―

―

―

250

Full

ReLU

―

―

―

100

OutputSigmoid

―

―

―

2

ⓒ 2017 Japan Social Data Science Society

Filter

本モデルは Model-(29, 30)で用いた．

- 56 -

Unit日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

A study of Possibility of Application of Deep Learning to Consumer
Purchase Behavior
Kento WAKABAYASHI†1 Takashi NAMATAME†2
Abstract: In this study, we focus on consumer purchase behavior, and apply deep learning which is a machine learning method tohave a high profile in recent years to marketing data. Deep learning has high distinct ability in the field of image or document
analyses, then deep learning is expected to apply the other research areas. In this study we predict consumers’ purchase activity
from purchase or related data by using plural deep learning models, i.e. deep neural network and convolutional neural network.
From our result of analyses, we discuss the characteristics of our models and possibility of applying model.
Keywords: Deep Learning, Purchase Occurring, Accuracy of Prediction†1 Graduate School, Chuo University†2 Chuo University (Corresponding Author: nama@indsys.chuo-u.ac.jp)
Submitted: 30/11/2016
Accepted: 10/02/2017ⓒ 2017 Japan Social Data Science Society- 57 -