サービス経済におけるデータ科学
照井伸彦
東北大学大学院経済学研究科

実験家のためのデータ駆動科学オンラインセミナー
２０２０年５月２８日

1目次
１．背景
・経済のサービス化
・ビッグデータと超スマート社会
2. 求められるデータ科学手法(I) 個別化対応
異質性のモデル(II)ビッグデータ(I)個別化対応
異質性のモデル(II)ビッグデータ(III)ネットワーク

高次元スパース

コミュニティ検出

高次元スパース性(III)ネットワーク

テキスト解析も利用したコミュニティ検出2

ビッグデータの出現と活用
デジタルデータ量の増加予測• デジタルデータの量が急速に増加している• ２０２０年までに約４０ゼタ（𝟒𝟒𝟒𝟒 × 𝟏𝟏𝟏𝟏𝟐𝟐𝟐𝟐 ）バイト
• ２０３０年までにヨッタ（𝟏𝟏𝟏𝟏𝟐𝟐𝟐𝟐 ）バイト

理由
〇ブログやSNSなど利用者参加型メディア情報〇IoT(internet of Things)の登場
あらゆるモノがインターネットで繋がる・GPS端末の位置情報
・交通系ICカードの乗車履歴
・各種センサからの温度・圧力など物理量
・会員カードによる購買履歴
e.t.c.
例：Tポイントカード
131社・約45万店舗の提携先から5,556万人の会員の1)所在地、2)利用ポイント状況、
3)リピート率, 4)購入単価を提携企業へ提供

3

経済のサービス化とビッグデータ

4

超スマート社会―第５期科学技術基本計画（Society 5.0）

定義

出典：科学技術イノベーション総合戦略2015における重点化
対象施策について（平成27年9月18日 内閣府政策統括官）

マーケティング：
パーソナライゼーション
個別化対応

個別のシステムが更に高度化し、分野や地域を越えて結びつき、３次元の地理データ、人間の行動デー
タ、交通データ、環境観測データ、もの作りや農作物等の生産・流通データ等の多種多様で大量のデータ（ビッグデータ）を適切に収集・解析し、横断的に活用することにより、「必要なもの・サービスを、必要な人に、必要な時に、必要なだけ提供し、社会の様々なニーズにきめ細やかに対応でき、あらゆる人が質の高いサービスを受けられ、年齢・性別・地域・言語といった様々な違いを乗り越え、活き活きと快適に暮らすことができる社会」
5

I.個別化対応（異質性のモデリング）【日本のサービス産業】• 実質ＧＤＰ・雇用の約７割• 生産性成長率：低い 小売業の利益率：さらに低い【生産性向上のために】• 個人特性を考慮したサービス提供（No！低価格化戦略）• “個”の理解 ⇒ 消費者異質性モデル• ビッグデータを活用した“個”の理解
購買行動に関するビッグデータの蓄積

しかし現状は・・・、ビッグデータの活用“個”客の理解システム

データは未活用
社会的損失状態
企業生産性向上6
顧客満足度向上6

個別広告・プロモーションの成功例

戦術モデルと戦略モデル
ルールベースの意思決定は戦術モデル
計画を可能とする戦略モデルへ
因果に基づく計量モデル
制御モデル: Y=f(X)(1) 個性の推定/個別化対応(2)大規模データ対応：次元圧縮(3)逆問題への対応：結果から原因の推論(4)情報更新/融合して新しい知へ＝＞基盤技術としてのベイズ統計8

ビッグデータはごみの山
情報量は浅い(Shallow)a)人間の個性や行動の振れ幅が大きいb) 社会経済システムに大局的・安定的物理定数は想定しがたい複雑な事象に潜伏する構造のモデリング実在論的アプローチ

有用な情報を取りだす機能(網,フィルタ,プリズム)必要(1) 先験的知識（事前分布）:経験, 理論, 合意(2) 経験データ（尤度）＝＞両者を統合して複雑事象の認識（事後分布): 情報更新＝＞検証,予測,制御
9I.個別化対応（異質性のモデリング）
ID付POSデータ:メンバーシップ顧客の購買履歴データ〇データ情報データに記録される顧客行動データ（尤度関数）＝＞個別対応するには情報不足

Y=f ( X h βh ) + ε hhh= 1,..., H〇事前情報「各消費者は異質ではあるが共通する部分もある」
共通の知見を利用（事前分布）

β h= β + ε h〇データの持つ情報を「異質性」と「共通性」とにバランスよく分配し、異質性を推定するのに不足する情報を共通性として消費者全体をプールした情報で補う＝＞ 階層ベイズモデル
階層ベイズモデル の利用：事後分布による情報更新10I.個別化対応（異質性のモデリング）{C , C ,..., C共通性と異質性

2122{C , C ,..., C : Z }
1112

1T1

{CH 1 , CH 2 ,..., CHTH : Z H }マーケティングのデータ：
多くの意思決定主体に関する情報（パネル，サーベイ）
 各主体のデータが少ない 全体で集計
 各主体の異質性を無視: Z2}{C , C ,..., C : Z }1

C:行動データ
Z:属性データ

2T2

31

32

3T3

3

共通性

{C , C ,..., C
41

42

4T4: Z4}

 各主体間の情報をプールするモデル
例えば ランダム効果モデル

βh =β + ε h,βh =Z hθ + ε h ,・典型的構造（１）主体内行動 尤度関数（２）主体間行動
 異質性の分布（３）意思決定モデル
11II.高次元スパースデータ
次元圧縮・因子(主成分)モデル
・トピックモデル＝＞次元圧縮後の密な情報空間で構造推定（１）ＰＯＳデータ（商品×時間）
目的：大規模市場反応の計測と店舗マネジメント(i)自然言語処理の手法を売上数量データに適用（トピックモデル）=>購買の文脈を考慮しながらマーケットバスケットを構成（次元圧縮）(ii)マーケットバスケットの中でNP問題を解きながら効果的戦略を探る（因子空間での階層回帰モデルを推定し高次元の元空間へ還元）（２）ID-POSデータ（顧客×商品×時間）
目的：個人の選択行動モデルの大規模化とマーケティング個別対応(i)トピックモデルによる次元圧縮(ii)変分ベイズによる高次元積分評価近似

12

(1)POSデータの高度利用研究

大規模市場反応の計測と店舗マネジメント

Terui and Li (2019) , Journal of Forecasting, vol.38, 440-458

ビッグデータ解析上の問題点

1. ゼロが多い＝＞スパース（疎）性
2. 変数が多い＝＞NP問題

13

(1)POSデータの高度利用研究

大規模市場反応の計測と店舗マネジメント

Terui and Li (2019) , Journal of Forecasting, vol.38, 440-458

・スパース性とNP問題をどう解決するか

𝑁𝑁 = 363 ：365日
𝑃𝑃 = 39,560：7,912商品×5マーケティング変数

1. 次元削減

トピックモデル＋因子モデル

𝑌𝑌

𝑋𝑋2

𝑌𝑌 → 𝑎𝑎, 𝑋𝑋 → 𝑏𝑏
𝑎𝑎

𝑋𝑋1

2. 密な空間での推定𝑎𝑎𝑏𝑏

𝑎𝑎 = 𝐻𝐻𝐻𝐻 + 𝑒𝑒

3. 元空間への復元

𝑌𝑌+ 𝜀𝜀𝑏𝑏𝑋𝑋2

𝐹𝐹 = 𝑓𝑓(𝐻𝐻, 𝑎𝑎, 𝑏𝑏)

𝑋𝑋114

(1)POSデータの高度利用研究

大規模市場反応の計測と店舗マネジメント

Terui and Li (2019) , Journal of Forecasting, vol.38, 440-458

・結果の解釈-トピック９（９月～１１月）
-0.96
-0.64
0.98

牛乳の売上

菓子類の販促ドレッシング・サラダ油の売上

1.19

サラダ油の売上が1%上がると牛乳の売上が1.19%上がる

意外な組み合わせの発見+関係性の定量把握

70年代の第1次人工知能ブーム
米国：（紙おむつ）と（ビール）の同時購買15
意外な組み合わせのみ(2) ID付きPOSデータ:
マーケティングの大規模パーソナライゼーション

Ishigaki, Sato, Allenby and Terui(2019), International Journal of Data Science, vol.5, 223-248【 ID付きPOSデータ】• 誰が,いつ,何を,何個,いくらで購買したか• 購買・非購買のカウントデータ• 顧客数、取り扱い商品数が大• データ量は多い【 データ空間 >> データ量】• 「顧客」×「商品」×「時間」の3次元空間• ほとんどの顧客がほとんどの商品を買わない• データ空間の大きさに対して、購買データはスカスカ

大規模スパースデータ
16

(2) ID付きPOSデータ:
マーケティングの大規模パーソナライゼーション

Ishigaki, Sato, Allenby and Terui(2019), International Journal of Data Science, vol.5, 223-248

機械学習（トピックモデル）による次元圧縮・圧縮空間でパラメータ推定・高速な近似アルゴリズム（変分ベイズ法）
・元空間へ情報を還元し、効用の値を補完(z)ucit~ N ( xTit β zi ,1),βNμV~(,)
ii zi1)
ucit > 0, ( ycit =0)
ucit ≤ 0, ( ycit =プロビットモデル
zcit ： （顧客c 商品 i 時刻 t）の状態
ucit(z) :zcit = zの状態のとき、顧客c が時刻 tで商品 iに対して持つ効用p(zcit=z|c)： 顧客 c がセグメント z に入る確率Z(z)p( ycit | c, x it ) ≡ ∑ p(ucit| zcit =z ) p( zcit =z | c ), zcit ={1,  , Z }z =1

The number of customers

The number of latent class
The number ofproducts

The number ofproducts

1|=c 1)P(yC=1|=c C)
 P(y=11t1t
= Large-scale matrix  P(y= 1|=c 1)
P(y=1|=c C) CIt
 1It

カテゴリカル分布 P(ucit( z ) | zcit )









The number of customersP(zcit |c)

The number oflatent class

特異値分解による次元圧縮
17

(2) ID付きPOSデータ:
マーケティングの大規模パーソナライゼーション

Ishigaki, Sato, Allenby and Terui(2019), International Journal of Data Science, vol.5, 223-248【“個”客の理解】

エンド陳列商品番号18 110 253 318 742(a) * * **(b)* **(c) * * *(d) * * **(e) * * *顧客価格
商品番号18 110 253 318 742(a) * * * * *(b) * * **(c) * **(d) * **(e) * ** *顧客

顧客

• 95% 信頼区間での有意な係数• 個人毎、商品毎に有効な施策（個別化）を選択可能に• 全体の最適化へ
チラシ掲載
商品番号
18 110 253 318 742(a) * **(b)
**(c)
**(d)
**(e)
**18

III.ネットワークとテキスト情報
ネットワークデータとテキストデータの同時利用・解釈可能なコミュニティの検出
・インフルエンサー発見
・ブローカー,ストラクチャーホール（SH)発見
・“弱いつながりの力（SWT）”の可視化◎経営のソーシャルネットワーク研究知識の探索（弱いつながり）＝＞イノベーション創発
知識の深化（強いつながり）＝＞実践・製品化
19

III.ネットワークとテキスト情報
マーケティングにおける自然言語処理の役割(Berger et al. 2020)

マーケティング：「personalityを知ること」
デモグラフィック・アンケート・行動データが用いられる
ソーシャルメディア上における社会ネットワークの形成とコンテンツの生成非構造かつ大規模で情報量豊富なデータ

20

III.ネットワークとテキスト情報〇自然言語処理・非構造データのテキスト解析
・文書中の単語の同時頻出パターンから背後にある意味を抽出（潜在的意味解析）
・1つの文書に複数のトピックがあり、文書中の各単語にはトピックが確率的に割り当てられる。
＝＞文書の潜在的意味を機械的に抽出
トピック分布

例：トピック数＝３、文章数＝D、語彙数＝５

トピック１

文章１

1

文章２

1

トピック2

トピック3

0

文章３

0
1

…

…

文章

…

…

01

D0

語彙分布

トピ
ッ
ク１

トピ
ッ
ク２

0.50𝑤1

トピッ
ク
３

10𝑤110𝑤121

ネットワーク/テキストデータの同時利用よるコミュニティ検出
Igarashi and Terui(2020), Statistics and Computing

ネットワークデータとUGC (User Genrated Contents)テキストを考慮したトピックベース・コミュニティ検出モデル
ネットワーク：コミュニティトピック
テキスト：トピックネットワーク/テキストデータの同時利用よるコミュニティ検出
Igarashi and Terui(2020), Statistics and Computing

Community 5

Community 1

実証分析で用いるTwitterデータは以下で構成：
1.任天堂アカウントを中心とするネットワーク（2018年5月1日におけるフォロー関係）
2. タイムライン上に投稿されたTweets（2017年9月1日から2018年2月28日）

Community 3

Community 2

ネットワーク/テキストデータの同時利用よるコミュニティ検出
Igarashi and Terui(2020), Statistics and Computing

今後の展開

・ブローカー,ストラクチャーホール（SH)発見
・弱いつながりの力（SWT）の可視化◎経営のソーシャルネットワーク研究ビッグデータ時代に求められる人材• IBMによる Thinking by Numbers の推進• Googleチーフ・エコノミストHal Varian• 「次の１０年で最もセクシーな仕事は統計家である」→ビッグデータ時代に必要な“データサイエンティスト”

データサイエンティスト協会より抜粋

必要とされる経済・経営がわかるデータ科学人材データから価値を創出するためには、数学やプログラミングスキル“のみ”
25
では不十分

世界的なデータ科学人材の不足• 特に日本での人材不足は深刻• 日本の大学にはデータ科学・統計関連学部がなかった• 2017年滋賀大学、18年横浜市立大学でデータサイエンス学部新設
経済・経営＋データ科学の必要性
ビッグデータ関連の人材需要に関しては、ビジネス系の部署、情報系の部署等で生じると考えられ、統計的な高度な専門知識を有するデータサイエンティストのみならず、データ分析をビジネスに活かすビジネス人材（マーケター等）や分析によりビジネス上の価値を発見するアナリスト、ビッグデータのデータ処理等を担うデータエンジニア等職種が活躍すると考えられる。
経済産業省、IT人材の最新動向と将来推計に関する調査結果(H28/06)より抜粋
26ビッグデータ時代◎“データ”から知識を得て行動する人の数が“ビッグ”になっていくべき時代◎「文理の壁」の打破が必要な時代

ご清聴ありがとうございました！

27