JMRA リサーチイノベーション委員会 2023 年度研究活動

データサイエンス研究会報告書

スパース推定と機械学習

2024 年 3 月 31 日研究代表 朝野熙彦
編集委員 森本 修

目 次
１章

問題意識 .........................................................................................................2

１.１

研究の背景 ..................................................................................................2

１.２

プロジェクトの課題 ...................................................................................2

２章

回帰モデルのスパース推定 ............................................................................3

２.１

重回帰分析の基礎 .......................................................................................3

２.２

正則化のアイデア .......................................................................................4

２.３

ラッソ推定量の性質 ...................................................................................5

３章

パターン認識 ..................................................................................................9

３.１

2 群判別のタイプ分け ................................................................................9３.２

多群判別への拡張 .....................................................................................13

３.３

ロジットモデルによる確率予測 ...............................................................15

３.４

EC サイトのアップリフト効果 ................................................................17３.５

非線形写像による SVM............................................................................22

４章

ディープラーニング .....................................................................................24

４.１

CNN .........................................................................................................25

４.２

生成モデル ................................................................................................29

５章

クラスター分析 ............................................................................................37

５.１

k+means 法の改訂 ...................................................................................37

５.２

クラスターの最適性基準 ..........................................................................45

５.３

クラスター分析の今後の発展 ...................................................................51

６章

討論...............................................................................................................52

６.１

本研究の意義 ............................................................................................52

６.２

今後の研究課題.........................................................................................53

引用文献
キーワード：スパース推定、正則化、CNN、k-umeyama 法

1

１章

問題意識

１.１

研究の背景

我が国のマーケティング・リサーチは、これまで質問紙調査を主要なデータ収集手段としてきた。そのため調査者側が用意した質問に対してデータが得られるという想定のもとにデータ解析を組み立ててきた。それに対してデジタル化社会から得られるデータは、完備した形で得られる保証がない。そのようなデータから情報を抽出するにはデータサイエンスが必要になる。その学術的な基盤は統計学と情報科学の２分野であり、中心的な方法はスパースデータの解析と機械学習と考えられる。
革新の著しいデータサイエンスをマーケティングの実務にどう活用すればよいのかは今日的な課題といえよう。
マーケティングには市場における異質性の存在を考慮しつつ市場創造を目指すという分野固有の視点がある。したがって他分野でのユースケースを模倣するのではなくマーケティングに適合した方法論を考究する意義があろう。
１.２

プロジェクトの課題

今回のプロジェクト研究において、我々は次の課題意識を持った。
（1）スパース推定
測定技術の進化にともない変数の数がケース数を上回る事態がしばしば発生す
るようになった。たとえばヒトには約 2 万 3 千個の DNA 遺伝子があるが、その一方で被検者はたいてい数人にとどまる。したがって変数の数がケース数を上回ることになり、従来の回帰分析では分析できない。その対策としてリッジ推定とラッソ推定が知られている。両者の特性の違いを明らかにしたい。
(2)パターン認識
質的なカテゴリーを識別する各種のモデルの関係性を整理したい。
(３）CNN と生成モデル
生成 AI は 2023 年から世界的に注目されるようになった。畳込みニューラルネッ
トワーク（CNN）と生成 AI の基礎を理解した上でマーケティング実務に適用する留意点と限界を明らかにしたい。
(４）クラスター分析
汎距離測定を組み込んだ k-umeyama 法という新しいアルゴリズムを提案し、具体的な応用例を示したい。

2２章

回帰モデルのスパース推定

２.１

重回帰分析の基礎■重回帰分析のモデル
1 個の目的変数 y とｐ個の説明変数 X =  x1 , x2 ,, x p  について、ｎ個の観測データが得られているとする。各変数ごとにデータが中心化（平均偏差化）されているとすれば、重回帰分析のモデルは（2.1）で表される１。最初なのでベクトルと行列のサイズを明記した。
y = X + ,n1n p p1n1(

 ～ N n 0,  I n
2

)

(2.1)

(2.1)の  は未知の回帰係数パラメータである。誤差（error）  は期待値がゼロベ
クトルで分散共分散行列が  2 I n の多変量正規分布に従うと仮定することが多い。これは  i ( i = 1, 2,(, n ) が独立に同一の正規分布 N 0, 

2) に従うと言っても同じである２。(2.1)における確率変数は  と y であり、説明変数行列の X は定数とみなす。 X が確率変数  とは独立である、というのが重回帰分析の基本的な仮定である。
回帰係数の推定法には最尤法、最小二乗法、射影子による方法がある。どの解法を選んでも  の推定値は（2.2）で同じである。

b = ( X X ) X y
−1

(2.2)

(2.2)の X X は情報行列と呼ばれる。情報行列に逆行列が存在する場合に(2.2)
が利用できる。回帰係数が求められた場合には y の予測値は(2.3)で得られる。

yˆ = Xb(2.3)

ŷ で y を予測することから生じる差を残差(residual) e と呼ぶ。 e は観測値 X に依存して定まることから  とは異なる概念である。なお予測値と残差の相関は 0 である。

e = y − yˆ

(2.4)

3

■ 本報告書における表記の約束
ベクトルはイタリック小文字のボールド体で、行列はイタリック大文字のボールド体で表記する。それぞれの転置はプライムで表す。スカラーには小文字を用いる。
たとえば平方汎距離は次のように記述される。
md 2 = ( x − x ) S −1 ( x − x )(2.5)

理論モデルを記述するときは母数にギリシャ文字の  ,  などを用いる。さらに次節の罰則付き回帰に出てくる l1 ノルムと l2 ノルムの記法を説明する。 l1 は絶対値を2とるという操作だが、 l2 ノルムの意味が分かりづらい。たとえば Xb 2 という l2 ノル
ムの場合、下付きの 2 は l2 の 2 を表し、上付きの 2 は 2 乗するので平方根をとらないことを示している。 l2 ノルムが何を意味するかを次に示す。

Xb 2 = ( Xb, Xb ) = bX Xb
2

(2.6)

(2.6)はベクトル Xb どうしの内積に他ならない。（2.3）の重回帰分析の文脈でいえば（2.6）は、予測値 yˆi ( i = 1, 2,
２.２, n ) の二乗和 ( yˆ , yˆ ) を意味する。

正則化のアイデア■罰則つき最小二乗推定量
x1 , x2 ,, x p のベクトルの組に一次従属の関係があるときは情報行列 X X の逆行列が求められない。一次従属でなくても情報行列の行列式が 0 に近い場合は回帰係数の推定値が不安定になる。このような具合の悪い(ill condition) データへの対策として、損失関数に罰則項を加えるという提案がされている。
Hoerl と Kennard(1970)が提案した Ridge(リッジ)回帰は罰則項を回帰係数の二乗和 (  ,  ) とおいて回帰係数を推定する。未定乗数をλとおけば最小化すべき損失関数 L とそのリッジ推定量はL (  ,  ) = ( e, e ) +  (  ,  )（2.7）

b = ( X X +  I ) X y−1

なおリッジ回帰も次の Tibshirani（1996）の Lasso（ラッソ）回帰も説明変数を予め平均 0 分散 1 に標準化したデータを対象に分析を行うので、 b を標準偏回帰係4

数と呼ぶのが正しいかもしれないが、通常は回帰係数と呼んでいる。
(2.7)を形式的に眺めれば、情報行列の主対角要素に小さな正数λを追加する
ことによって情報行列を正則化させ、回帰係数を安定化させる操作だと解釈できる。
リッジ回帰およびラッソ回帰は、情報行列を正則化させるという操作を強調して正則
2

化回帰と呼ばれることがある。なおリッジ回帰の罰則項は l2 ノルムつまり  2 であり、その罰則をどれだけ効かせるかを定めるハイパーパラメータがλである。またラp

ッソ回帰の罰則項はβの絶対値の和   j なので、こちらは l1 ノルムである。ラッj =1

ソ回帰の損失関数 L は未定乗数を  として次の通りである。
p

L (  ,  ) = ( e, e ) +    j

(2.8)

j =1

ラッソ推定量の回帰係数は closed form で示すことができないので反復推定しなければならない。ハイパーパラメータのλを大きく指定すれば、βの絶対値の和を小さくする必要が強まり、その結果として 0 の値の回帰係数が増える。ラッソ回帰を用いることでデータ数ｎより変数ｐが多いスパースデータにおいて、変数選択と回帰推定を同時に行うことができる。
なお（2.7）と（2.8）は、どちらもハイパーパラメータを 0 に設定すれば OLS に帰
着する。
２.３

ラッソ推定量の性質

本節では森本による実験結果と考察を報告する。
■ラッソ推定量の目的
ラッソ回帰によって予測モデルがデータにオーバーフィッティング（過学習）することを避けることができる。R 言語に用意されている cars データセットを用いて実験を行った。まず図 2.1 に車の速度と停車するまでの距離の散布図を示した。このデータに 9 次の多項式を OLS で適合させた結果、くねくねと曲がった破線のグラフになった。図 2.1 で多項式回帰と書いた曲線である。学習データにモデルを過剰に適合させた結果として検証用データでは決定係数が下がることがある。これを汎化性能の悪化というが車に関するデータでも確かめられた。一方、同じ９次の多項式の分析データを分析しても罰則項を加えたラッソ回帰の場合は車の速度と停車するまでの距離が単調増加する滑らかな線になった。ラッソ回帰の方が合理的な結果を導いていることは明らかである。

5

図 2.1 線型回帰とラッソ回帰の予測値の比較
リッジとラッソの推定量の相違を図 2.2 と図 2.3 で比較しよう。

図 2.2 リッジ推定の回帰係数の変化
図 2.2 はハイパーパラメータを変化させながら、各説明変数の回帰係数の変化を描いたパスグラフである。この図の上部に書かれた 9 という数字は、リッジ推定した
6

結果が  j  0 となった説明変数の数を示している。リッジ回帰では変数の絞り込みは出来ていないことが分かった。もし変数選択をしたければ、さらに何らかの統計的検定を行うか主観的な変数選択に任せるしかない。
リッジ推定では説明変数についてすべて回帰係数を推定する性質がある。仮に誤って説明変数 X 1 と同じデータを X 2 にコピーした場合でも、2 つの説明変数に

0.5b1 X1 + 0.5b1 X 2 +として回帰係数を 2 変数に与える結果になる。このような場

合は、一方の説明変数を予め除いて、残った説明変数の回帰係数を推定する方が、解釈上も予測システムの運用上も望ましいはずである。

図 2.3 ラッソ推定の回帰係数の変化
一方で図 2.3 のラッソ推定は log  = −2 つまり  = 0.135 の条件で３つの説明変数が b  0 として採用され、その他の変数はカットされた。 n  p の事態においてはリッジ推定と比べてラッソ推定の優位性が明らかだろう。
■ ラッソ回帰のバリエーション
適応的ラッソ（Adaptive Lasso）やエラスティックネット、その他にいろいろなバリ
エーションが提案されている。適応的ラッソは説明変数ごとに回帰係数の絶対値の逆数を重みとして事前に与える方法である。 n  p の事態では重回帰分析が実行できないのだから、この方法は利用できない。便宜的な手段として単回帰分析を
7

ｐ個の変数について繰り返すことは可能だが、それが全変数における正しい重みなのかについては異論があるだろう。
エラスティックネットは l1 , l2 の両方のノルムを罰則項にするリッジとラッソのハイブ
リッド版である。精緻化にともなってハイパーパラメータが増えるというデメリットもあるので、これも望ましいかどうか異論があるだろう。
■ 適切な λ を決める方法
スパース推定を実際に利用する上で重要なのが λ の決め方である。λ は正則化
項をどの程度効かせるかを決めるハイパーパラメータであり、より予測誤差が小さくなる λ を選択するのが望ましい。
今回は λ を決める方法として交差検証法（cross validation、 以下 cv）と情報量規準について、その安定性を確認する実験を行った。
R 言語に用意されている cars データセットを用いて、目的変数を制動距離、説明
変数を速度とした 9 次の多項式について、線形回帰（多項式回帰）、リッジ回帰、ラッソ回帰、適応的ラッソ回帰でモデルを作る。
λ の選択には 10-fold cv、情報量規準（AICc、BIC、Cp）の各手法を用いる。これを学習用データと検証用データのサンプリングを変えながら 300 回試行した。
出来上がったモデルの汎化性能を RMSE（Root Mean Squared Error、二乗平均平方根誤差）で評価し、その分布から λ の選択方法の安定性を確認した。

8

いずれのモデルでも cv を用いた λ の選択では比較的バラツキが大きいことが分かる。また、適応的ラッソと情報量規準 Cp の組み合わせでは汎化性能が低くなっている。それ以外の情報量規準では比較的安定した λ の値が選択されていて、大外れはしない様子が分かる

３章

パターン認識本章では、歴史的に生物統計の分野から生まれた判別分析と経済学の分野から生まれたロジットモデルを検討する。判別分析は、対象が問題にしているセグメントに該当するか否かを判定するために利用される。一方ロジットモデルは対象が各セグメントに属する確率を知るために利用される。
３.１

2 群判別のタイプ分け■ 2 群判別分析の 4 区分
フィッシャー(1936)は判別分析において、対象の全体が排反で悉皆な 2 つの集団から成っていて、各集団が期待値  、分散共分散行列  の多変量正規分布に従うことを仮定した。確率分布の母数を標本データから推定する場合はそれぞれm, S の記号を使う。これが 2 群判別の典型的な事態といえる。本節では汎距離とベイズ判別ルールの視点を組み入れて 2 群判別を 4 区分して整理しよう。

f1 ( x )f2 ( x )

図 3.1 ２群の多変量正規分布9２群 g1 , g 2 の多変量正規分布の密度関数は図 3.1 のように描かれる。図 3.1 は

p = 2 の場合を図示したものである。説明変数 X を特定の観測データ x に固定す
れば、 f1 ( x ) , f 2 ( x ) は一点 x における２つの多変量正規分布の密度関数の値を示す。次に２群判別のモデルを次の２つの基準から区分する。
１）分散共分散行列が両群で等しいか否か
２）群のサイズに関する事前確率 を与えるか否か
この 2）で事前確率を与えて判別するのがベイズ判別ルールである。群１の出現確率をθ ( 0    1) とすれば、群２の出現確率は 1-θになる。したがってサンプ
ル x が群 1 である可能性が群２である可能性を上回るのは、 f1 ( x )  f 2 ( x )(1 −  )の場合と考えられるので、次式が成り立つ場合になる。ただし分母は 0 にならないと仮定する。
f1 ( x ) 1f 2 ( x )(1 −  )両辺の対数をとればQ = log

f1 ( x )
+ log
 log1f2 ( x )1−

(*)

log1 = 0 なので、(*)の Q が正であれば、そのサンプルを群 1 に、それ以外の場
f ( x)
合は群２に判定すればよい。次に(*)内の 1
を汎距離で記述しよう。まず群にf2 ( x )よって分散共分散行列 S1 , S2 が異なるという一般的なケースを示す。多変量正規分()

2布の密度関数の比はｇ群の平均 m g から一点 x までの汎距離 D x, mg の差で表すことができる。なお g1 は群で条件をつけたことを示す記法である。

10

f1 ( x ) S1 2
1

 1

=
exp  − ( x − m1 ) S1−1 ( x − m1 ) + ( x − m2 ) S2 −1 ( x − m2 ) − 12
f 2 ( x ) S2
2
 2

−1

=

S2

1

exp  D 2 ( x, m2 g 2 ) − D 2 ( x, m1 g1 ) 
S1
2






上式を(*) に代入すれば一般的な判別式(3.1)が導かれる。
Q1 = log

S2
S1

+

1 2

D ( x , m2 g 2 ) − D 2 ( x , m1 g1 ) + log
2
1−





(3.1)

Q1 が正ならそのサンプルを群１に判定すればよい。次に(3.1)の特殊な場合を示そう。まず群サイズに関する情報がない場合は(3.1)の第 3 項を除いて(3.2)になる。
Q2 = log

S2
S1

+

1 2
D ( x , m2 g 2 ) − D 2 ( x , m1 g1 )
2





(3.2)

次に(3.1)において S1 = S2 の場合は、(3.1)の第１項が 0 になり、2 群に共通したS を用いて汎距離を測ることになる。
1
Q3 = D 2 ( x,m2 ) − D 2 ( x,m1 ) + log2
1−さらに群のサイズの情報がない場合は(3.4)になる
1
Q4 = D 2 ( x,m2 ) − D 2 ( x,m1 )
2
以上 4 種類の判別分析を整理したのが表 3.1 である。
表 3.1 2 群判別分析の４区分
分析法の名称
分散共分散
群サイズ 
行列を指定
QDA:
S1 , S2
quadratic
discriminant
analysis
LDA: linear
2 群に共通する S
discriminant
analysis

(3.3)

(3.4)

群サイズを
指定しない

Q1 (3.1)式

Q2 (3.2)式Q3 (3.3)式Q4 (3.4)式

判別分析が汎距離で表せることは竹内・柳井（1972）、田中・脇本(1983)、梅津ら（2020）などでこれまで指摘されてきたことである。しかし表 3.1 による整理は本報が11

はじめてである。
■ 判別境界後藤は正規乱数に従う人工データをもとに表 3.1 の Q1 と Q3 を比較した。
データ数は群 1 を 300 サンプル、群 2 を 200 サンプルとした。変数は X1,X2 の2 変数である。 = 0.6 として判別した結果を図 3.2 に示す。 このデータでは 2 群が非球状に分布しており、しかも分散共分散が 2 群間で異なるので、 Q1 の QDAが妥当であると予想される。シミュレーションで比較した結果、LDA の誤判別率は0.048 に対して、QDA の誤判別率は 0.024 であり、予想通り QDA の方が優れていた。

図 3.2 LDA と QDA の判別境界
図 3.2 に描いたように LDA の判別境界は直線、QDA は曲線になる。
ここで LDA で用いる分散共分散をどう計算したかを分析データを例に説明すると次の通りであった。まず 2 群の S1 , S2 は下記のとおり共分散の正負の符号が異なっていた。

 402.2 458.0 
 90.8 −113.7 326.3 76.6 
S1 = 
, S2 = , Stotal =  458.0 647.7  −113.7 220.9 
 76.6 949.5
3 番目の Stotal は全データを一括して分散共分散を求めたものである。このように全体と部分で結論が異なることをシンプソンズパラドックスという。次の S pool は、
12

LDA を実行するために S1 , S2 を加重平均して共通の S を推定したものである。

 277.8 229.5
S pool =  229.5 477.2 
R の分散共分散の cov( )関数は、平方和を（データ数-1）で割って不偏分散を求めている。したがって R の cov( )を使って分散共分散を不偏推定したければ、2 群のサイズを n1 , n2 、全データをｎとして次式で S pool を推定すればよい。
S pool =1
( n1 − 1) S1 + ( n2 − 1) S2 
n−2

(3.5)

一方 S を最尤推定する場合は(3.6)で S ML を推定する。この計算法もしばしば使われている。
S ML =

1( n1 S1 + n2 S2 )
n

(3.6)

■ セグメンテーション戦略と事前確率θの指定

Q1 , Q3 では事前確率θを判別に利用する。それが望ましいかどうかは対象にしている市場に依存するだろう。市場が２つのサブ集団に分かれていることは確からしいとしても、そのどちらがドミナントな集団かはまだ定まらない、というのであればθを無理に指定することはない。その一方で市場が成熟化してマーケットシェアが把握できるのであれば、θを用いることで判別精度を高めることができる。
θを指定する際の深刻な問題は、従来のマーケティングの実務では分析データ
における群の構成比を  に扱うことが慣例化していた点にある。市販のプログラム
によってはそれがデフォルト処理になっていることもあり、無意識的に慣例になってきたのかもしれない。なにが問題かというと、調査したデータが市場全体のよい縮図になっているとは限らないからである。データを収集する仕組みからしてデータの構成が市場全体と乖離することがある。その一例をあげれば、来店者だけを調査しても離反客と未顧客の調査データは得られない。
また意図的に偏ったデータを収集することもある。たとえば自社ブランドのユーザ
ーを他社ブランドユーザーよりも手厚く調査することもあれば各ブランドのユーザーを同数ずつ調査することもある。
θの指定を誤ると、学習データの判別には成功しても、現実のマーケットでは通用しないことになる。
３.２

多群判別への拡張■ ベースラインロジットモデル
13

G 個の群のなかから任意の一群を baseline category に指定して、他の群と比較して「対数密度関数比」を求める方法がベースラインロジットモデルである。比較する組み合わせ数は G − 1 対になる。
表 3.1 に準じて多群判別をケース分けしたのが表 3.2 である。ここで群サイズを指定しないことと、 g = 1 G と仮定したことは同じ効果がある。

表 3.2 ベースラインロジットの４区分
分析法の名称
分散共分散行 群 サ イ ズ  を 群 サ イ ズ を 指
列
指定
定しない
BQDA:
S1 , S2 , , SG
Q1* (3.7)式
baseline
QDA
BLDA: baseline 全群の S が等
Q3* (3.9)式
しいLDA

Q2* (3.8)式

Q4* (3.10)式

表 3.2 の 4 ケースごとに群 G をベースラインにおいた対数密度関数比を示す。

Q1* = log

Q2* = log

SG
Sg
SG
Sg

+

g
1 2
D ( x, mG G ) − D 2 ( x , m g g ) + log
2
G

+

1 2
D ( x , mG G ) − D 2 ( x , m g g )
2









(3.7)

(3.8)

g
1 2
D ( x,mG ) − D 2 ( x,m g ) + log
2
G





(3.9)

Q4* =





(3.10)

S pool =1 ( ng − 1) Sg
n−G g

Q3* =

1 2
D ( x,mG ) − D 2 ( x,m g )2（3.9）と(3.10)で必要になる分散共分散行列の不偏推定値は（3.11）

任意の群間の対数密度関数比とベースラインロジットとの関係についてはAgresti(2002,p268)が次の関係を示している。群を a,b 、ベースラインを G と
して

14

log

fa ( x )f ( x)f ( x)= log a− log bfb ( x )fG ( x )fG ( x )(3.12)

この式は群間の対数オッズがベースラインの群をどこに置いても不変であることを意味している。
ベースラインとの比較対象がベースライン自身だった場合は、表 3.2 のどのケースも Q の値は 0 になる。したがってベースラインロジットの判定式は次の通り。
① G-1 個の対数密度関数比で正のものが複数あった場合は、対数密度関数比が最大の群にそのサンプルを所属させる② G-1 個の対数密度関数比で正のものが１つあった場合は、その群にサンプルを所属させる③ G-1 個の対数密度関数比がすべて負の場合は、そのサンプルを G 群に所属させる
本節では(3.7)～(3.10)に４通りの判別式を示した。BLDA は BQDA よりも計算が簡単になる。しかし等分散共分散を仮定することが無理な市場が多いだろうから、計算が楽だからといって正当な判別法になるとはいえない。
３.３

ロジットモデルによる確率予測■ なぜ確率予測が必要か
マーケティングの課題によっては Yes か No かの判定ではなく個々の対象が群に所属する確率が必要になることがある。
近年では発生が極めて希なマーケット、たとえば超富裕層のマーケティングも必要になっている。希少ターゲットのマーケティングにおいては、5 分 5 分を閾値にして顧客を選別することは不適切かもしれない。そのような場合は、確率的な予測ができるロジットモデルを用いることに実務的な価値があるだろう。
■ ロジットモデルの系譜

15•疫学研究•カテゴリー
データ解析

ロジス
ティッ
ク回帰

ベース
ライン
ロジッ
ト

ロジス
ティッ
ク判別

多項ロ
ジット
モデル

•一般線形モデル•離散選択

図 3.3 ロジットモデルの系譜
図 3.3 に示すようにロジットモデルについては様々な分野において異なる目的で研究が進められてきた。Truett ら(1967)の疫学研究に端を発したロジスティック回
帰分析や、McFadden(1974)の多項ロジットモデルがよく知られている。
反応関数にロジスティック関数を使うという共通点はあるものの、原因系の説明変
数 X については特定の確率分布を仮定するモデルもあれば仮定しないモデルもある。誤差の分布も正規分布に限らず二重指数分布を仮定するモデルもある。図 3.3のすべてを束ねる統一理論がありえるのかは今後の研究課題としたい。
■ セミパラメトリックな推定
ベイズ判別ルールから LDA と QDA が導かれることは 3.1 節で見てきた。LDA()

は 2 群のサンプルが、共通の共分散行列を持つ 2 つの正規分布 f  g ,  に従って発生していると仮定した。この場合の対数密度比(3.13)(3.14)から判別ルールが定められる。

  f ( x 1 ,  ) 
log  1
 = bx + c

f
(
x

,

)
2
 2


(3.13)

ただしb = −1 ( 1 − 2 ) ,

c=−


1
( 1 − 2 ) −1 ( 1 − 2 ) + log 12
2(3.14)

ここで(3.13)の右辺は回帰分析と同じくパラメータ b,c の線形モデルになってい16

る。したがって多変量正規分布の母数を推定することなく、ｐ+1 個の回帰係数を推定するだけで判別は可能である。梅津ら(2020)はこの方法をロジスティック判別（logistic discriminant analysis）と呼んだ。（3.13）式は、左辺をリンク関数とした
一般線形モデルとして理解することもできる。
線型モデルから群への所属確率を出すには、(3.14)を変形した次式を用いればよい。

P (Y = 1) =1
1
, P (Y = 0 ) =1 + exp − ( bx + c )1 + exp ( bx + c )大橋はベイズ判別とロジスティック判別のシミュレーション実験を行い、次の知見を得た。
• 各群が正規分布に従い共分散行列が共通する場合は LDA が最良• 各群が正規分布に従うが共分散行列は異なる場合は QDA が最良• それ以外の正規性仮定から外れた場合は、ロジスティック判別が最良あらためて考えると LDA と QDA は判別境界を引くという目的からすれば「無駄な」パラメータを推定していた。２次元空間のシミュレーション実験では、LDA ないしQDA が優れた結果になることがあっても、説明変数の数が多くなるに従いどこかでロジスティック回帰が勝るというのが大橋の予想である。

３.４

EC サイトのアップリフト効果

本節は松本による研究報告である。
■ EC サイトにおけるマーケティングの概要
マーケティングを効率化するための戦略として、1.優良顧客維持、2.既存顧客のランクアップ、および 3.新規顧客獲得がある。これら 3 つの戦略の中でも 1.と 2.に関連する戦略が費用対効果の側面から優先度が高いと言われている。一方、サービスのスタートアップ段階では、新規顧客獲得が重要な戦略となっている。
新規顧客獲得の重要性について過去の事例から考えよう。まずは共同購入型クーポン（フラッシュマーケティング）の事例から。2008 年に米国でスタートしたGroupon が 2010 年に日本に参入した。それにともない、国内でもリクルートがポン
パレのサービスを開始した。一見、利益率が高いビジネスに見えるため、多くの企業が参入し 2011 年には 200 サイトを超える乱立状態となった。次から次へと参入してきたサービスは統廃合を繰り返し、最終的には、Groupon とポンパレの２強状態になった。続いて、〇〇pay。paypay の 20%祭りをきっかけに一気に様々な企業がスマホ決済に参入してきた。乱立状態の〇〇pay がどうなっていったかは記憶に新しい。
これらの事例から学べることは「先行者の利益が強く、後からの参入組は辛い」ということである。いかに消費者を獲得するかというタイミングにおいては利益度外視
17

でとにかくスタートダッシュに成功するかどうかが重要な戦略となる。やがて、新規獲得数の伸びも限界になるにしたがい企業は既存顧客にシフトしていく。戦略として、優良顧客維持と既存顧客のランクアップを目指したクーポンやポイント施策などが考えられる。しかし、施策の効果を計量的に評価することは一般的に難度が高く、AB テストを利用した施策評価を行っている事例は多いものの、計量的に施策効果を評価している事例は少ない。
インターネットマーケティングは、オンラインマーケティングやデジタルマーケティ
ングとも呼ばれ、E メールや SNS といったデジタルチャネルを通じて行われるマー
ケティングのことである。インターネットマーケティングの特徴は、次の 2 つである。
特徴 1) 消費者の行動のプロセスをトレースできる
インターネット上では、行動ログデータを利用することにより、消費者が購入した商品だけでなく、閲覧し購入した商品、閲覧したが購入に至らなかった商品、閲覧しなかった商品を把握することができる。この点は、スーパーマーケットなどでの消費者の購買行動の結果を示す ID 付き POS データと大きく異なっている。ID 付き
POS データでは、来店して購買したということはデータとして獲得できるが、他の店舗への来店やどの商品を比較対象にしたのかといったことはトレースできない。
特徴 2) 個別対応のマーケティングが容易に実現できる
インターネットマーケティングでは、一人一人の違いを踏まえた施策を実現しうる仕組みになっている。そのため、一人一人の行動を精緻に捉えることができれば、従来の手法よりもコスト効率のよい効果的なマーケティング活動が実現できるのである。
■ クーポンにおけるアップリフト効果
クーポンの効果はその実施時と非実施時の成果変数の差として評価することになる。アップリフト効果の測定には、本質的に解決困難な問題が内在している。理屈上、アップリフト効果は、同じ消費者に対して施策を実施した場合と実施しなかった
場合の成果をそれぞれ測定し、その差として評価しなければならない。しかし、ある
個人に施策を打てば、施策を打たなかった時の成果を測定することはできず、その逆もまた同様である。実務における解析では、上記課題に対応する手段として、いくつかの顧客セグメントを構成し、そのセグメントごとにアップリフト効果を評価する。
具体的には、何らかの基準で顧客をセグメント化し、構成したセグメントごとに施策実施群(例えばクーポン付与)と施策非実施群(例えばクーポン非付与)に分ける。
その上で実際に施策を実施し、セグメントごとに上記のアップリフト効果を評価する。
最終的に最もアップリフト効果の大きいセグメントを見出し、以降の施策に用いる。
実際に、このアプローチで実施した施策は効果がある。
より施策効果を高めるために、より粒度の細かいセグメントを構成することも考えら
れるが、1 セグメントあたりの対象者数が少なくなってしまい、単純なアプローチではクーポンによるアップリフト効果を正しく評価できない。細かい粒度の顧客セグメントでも精度高くアップリフト効果を評価するには、解析技術の高度化が必須である。
One To One に近い状態で精緻な評価さえ実現できれば、より施策が有効に機能18する顧客を把握でき、結果としてマーケティング効率を高めることができる。アップリ
フトモデルについて様々な考えやモデリング方法が提唱されている。
■ 消費者の異質性を考慮したモデル
顧客ごとのアップリフト効果を計算する方法として、機械学習や統計モデルによるアプローチが考えられる。機械学習は一般的に精度が高いものの事後分析を丁寧に行わないと大きなミスを犯す可能性がある。企業がマーケティング施策として多くの金額を顧客に介入する場合は、いくらか精度を犠牲にしても説明性の高い（構造がわかりやすい）統計モデルが用いられる場合が多い。
アップリフトモデルに通常のロジスティック回帰分析を使ってもクーポンの異質性を表現することは難しい。

logit ( p ) = b 0 + b1r + b 2 f + gP
平均的なクーポン効果から、消費者の異質性を考慮した推定を行うために階層
ベイズロジットモデルの枠組みで推定することが可能である。
図 3.4 は消費者が EC サイトを訪れるか否かを Y1 で表し、次に該当製品を購入するか否かを Y2 で表した階層モデルである。Y1 の確率と条件付き確率の積で同時確率が表される。
枝分かれのターミナルノードには「サイトに来てない」「購入なし」「購入あり」の３つの結末がある。それらを選択肢 3 つの中からの選択問題ととらえるのではなく、図3.4 のように階層的な選択としてモデリングするのが妥当だろう。商業集積でのショッピングにおいても、施設の選択と店舗の選択という図 3.4 と同じメカニズムが働くと考えられる。図 3.4 は逐次 2 分割を表したものだが、一般的に逐次多肢分割でも最尤法でパラメータが推定できる。

図 3.4 階層的な意思決定19ここではウェブ上の消費者の「ウェブサイトを閲覧する/しない」「商品を購入する/しない」といった消費者行動に焦点を当てよう。階層ベイズネスティッドロジットモデ
ルの枠組みで、消費者のサイト閲覧行動と購入行動を同時にモデル化することにより、実務的な視点でクーポン付与施策を高度化することができる。

f ( yi1 , yi 2 ) = f1 ( yi 2 | yi1 ) f 2 ( yi1 )f 2 ( yi1 = 1) =exp(Vi1 )1, f 2 ( yi1 = 0 ) =1 + exp(Vi1 )
1 + exp(Vi1 )f1 ( yi 2 = 1 | yi1 = 1) =exp(Vi 2 )1, f1 ( yi 2 = 0 | yi1 = 1) =1 + exp(Vi 2 )1 + exp(Vi 2 )閲覧の効用関数U iv =V iv+e iv
pv= å a ji x (jiv ) +a pv +1,i × log{1 + exp(V ir )}+ e iv
j =1

購入行動

U ir =V ir+e irpr= å b ji x (jir ) +e ir
j =1

階層モデル

γ i = [a1i ,, a pvi , b1i ,, b pr i ]tγ i = θ × z i + v i , v i ~ MVN(0, Σ )【 階層ベイズネスティッドロジットモデルの枠組み 】【 推定アルゴリズムのフローチャート 】

20

図 3.5 階層ベイズネスティッドロジットモデル■ アップリフトモデルを用いたビジネスグロース
アップリフトモデルを用いて解いている問題は、以下の 2 点となる。
a. クーポンをもらわなくても購入する人（オーガニック）を除外する
b. クーポンをもらうことで購入する人を見つけ、クーポンを付与する
ID

クーポンを付与し クーポンを付与し
た場合
ない場合
購入する
購入する
a. の モ デ ル で 発
見したい人
購入する
購入しない
b. の モ デ ル で 発
見したい人
購入しない
購入しない
クーポン付与の影
響はない

1
2
3

なぜ、アップリフトモデルを使うと ROI が良くなるか？
a.のモデル∑ 𝑔𝑎𝑖𝑛𝑅𝑂𝐼 = ∑ 𝑐𝑜𝑠𝑡

仮に、クーポンを付与しなくても購入する人を見つけることができたとする。その人にクーポンを付与しなくて済むので、その数だけコストが減る。
b.のモデル∑ 𝑔𝑎𝑖𝑛+ ∑ 𝑔𝑎𝑖𝑛′

𝑅𝑂𝐼 = ∑ 𝑐𝑜𝑠𝑡+∑ 𝑐𝑜𝑠𝑡 ′21

仮に、クーポンを付与することで購入する人を見つけることができたとする。
利得が増えるが、同時にコストも増える。
３.５

非線形写像による SVM

Cortes と Vapnik (1995)が提唱した SVM は、ディープラーニングが普及する以前の 1990 年代には最も強力なパターン分類とされてきた。SVM は今日でも学習データ数が少なく、データの分布が重なっている場合に有用な方法である。
■ カーネルによる違い
入力空間(input space)のままでは群を線形分離できない散布状況であっても、高次元の特徴空間(feature space)に原データを射影することで線形の分離平面を求めることができる３。これは回帰分析でいえば変数をデータ数-1 まで
増やせば決定係数が 1 になって完全に予測できるのと同じ理屈である。

図 3.6 カーネルによる分離の違い

22

森本は 3 品種のブドウをフラボノイド含有量, 色強度の 2 変数を入力変数として分類を行った。入力空間では入り混じっていた 3 品種のブドウが高次元空間へ射影することにより分類が可能となった。入力変数の空間に逆写像した図を見ると、利用したカーネル関数によって分類の境界が変化することが分かる。
この実験から得られる SVM 利用上のヒントは次の４点であろう。
１）判別の精度は学習用データではなく、検証用のデータで評価するのがよい。つまり汎化性能の良さで比較するのである。
２）誤分類率が一番小さいカーネルを採用して運用に用いる。図 3.6 では多項式カーネルだった。
３）図 3.6 では群の境界を越えてデータがプロットされているようにみえるが、それは高次元の散布図を入力空間に逆写像したことによる錯覚である。
たとえば上空から都市を俯瞰すればビルがあってその地下には地下鉄が通っていることがある。しかし平面だけでなく高度という第 3 の次元を加えれば、建物と地下鉄は分離されているはずだ。高次元への射影というのはそういう意味なのである。
４）図 3.6 では境界を定めるのに用いられたサポートベクターを赤色で区別した。判別分析では全てのデータを使って判別境界を求めていたが、SVM では判別境界付近のサンプルだけで判別境界を決めている。判別境界から遠く離れた領域においてデータがどう分布していようとも、判別境界の決定には関係しないという意味である。すべてのサンプルを使うことは意味がなく、ボーダーラインに近いサンプルを重視して線形判別空間を定めるというのが SVM の着眼点だった。大学合格を目指した受験予備校の教育方針も SVM 的な性格があるかもしれない。
■他の機械学習との比較
大屋は次の２要因について大型のシミュレーション実験を行った。学習デー
タの選別の偏りをなくすために 50％の学習データを 100 回リサンプリングした。汎化性能を比較するために、テストデータにおける誤判別率を求めた。結果は 100 回出るが、その中央値で評価した。実験要因は次の 2 つである。
１）手法の相違：線形カーネル SVM、ガウスカーネル SVM、シグモイドカ
ーネル SVM、決定木、ランダムフォレスト、アダブースト、バギングの７水
準２）学習データの割合：25％、50％、75％の 3 水準
以上の 7×3 水準を組み合わせで実験を行った。

23

図 3.7 誤判定率の箱ヒゲ図
今回の実験で誤判別率が最も低かったのは、ガウスカーネル SVM を使った
場合で 1.12％であった。なおカーネル法については高野（2020）の研究がある。
機械学習の研究課題として次の 2 点があげられる。
①チューニング後のアンサンブル学習の精度検証、②スパース・データ（n≪p）での精度検証

４章

ディープラーニング

CNN（畳み込みニューラルネットワーク）や VAE（変分オートエンコーダ）
は深層学習の手法であり、特に画像認識やパターン認識などにおいて優れた性能を示す。CNN は教師あり学習の一形態であり、分類タスクにおいてはラベル付きのトレーニングデータを用いて特徴抽出とクラス分類を同時に行うことができる。しかしながら、ラベル付きデータの入手は一般的に困難であることから、データのラベリングに関連するコストが課題となる。また CNN そのものは学習データに含まれていない新たな画像の生成は行えない。
一方、VAE は教師なし学習の手法で、データ内の潜在的な構造を明示的にラベル付けすることなく捉えることができる。VAE はエンコーディングと呼ばれる手続きの中で、データの構造を抽出する際に CNN の手法を用いて特徴を圧縮し、潜在変数を確率分布化することでその特徴を規定する。この潜在変数の確率分布から、画像の類似性や近接性をクラスタリングすることができる。
また、任意の確率変数を与えることで、学習データには含まれていない画像の生成や再構築もデコーディングと呼ばれる手続きを通じて可能となる。
24

マーケティングの領域においては、今後、画像を介した相対取引やマーケッ
ト分野では、顧客の属性と画像データを潜在空間にマッピングし、そこで顧客の位置付けやクラスタリングを行うことで、顧客の嗜好や行動パターンを理解することのほか、不正取引などの異常検知への応用が期待される。

４.１

CNN

1980 年に福島は階層的なニューロンネットワークモデルであるネオコグニ
トロンを発表した。これは、視覚神経科学（Visual Neuroscience）における単純細胞と複雑細胞という 2 種類のニューロンで構成されているモデルに着想を得たもので、単純細胞は局所的な特徴を抽出、複雑細胞はそれらの特徴を統合する役割をもつもので、このネオコグニトロンにより、手書き文字認識が可能となることが示された。
1990 年に LeCun らは手書き数字の低解像度画像を分類するためにバック
プロパゲーションで訓練された畳み込みネットワークに関する技術を発表した。これらの研究成果をもとに、1998 年に同じく LeCun らのグループによって CNN が発表された。CNN は、畳み込み層とプーリング層という 2 種類の層を組み合わせることで、画像の特徴を効率的に抽出する。CNN は、ネオコ
グニトロンとの構成は類似しているが、ネオコグニトロンモデルにはない誤差
逆伝播法（バックプロパゲーション）など教師あり学習アルゴリズムを導入することでネットワークの重み共有を図り、画像認識の精度向上の進展が図られた点に特徴がある。

図 4.1 LeCun らによって発表された畳み込みニューラルネットワークのアーキテクチャ（LeNet-5）。出所は LeCun ら(1990)■Keras による LeNet-5 の追試
1998 年に提案された畳み込みニューラルネットワーク（CNN）のアーキテ
クチャは LeNet-5 と呼ばれるもので図 4.1 となっている。当時の手書き数字認
識のためのベンチマークデータセットである MNIST を対象として設計された。LeNet-5 のアーキテクチャは以下のようになっている。
25

① 入力層（Input Layer）：32×32 ピクセルのグレースケール画像を受け取る。
② 畳み込み層（Convolutional Layer）：畳み込みフィルター（カーネルとも呼ばれる）を使用し、畳み込み演算を実行する。それぞれのフィルターによって特徴マップが生成される。
③ サブサンプリング層（Subsampling Layer）：発表当時はサブサンプリン
グ層として表記されていたが、現在は「プーリング層」と呼ばれることが一般的になっている。ここでは、2×2 のマックスプーリングを使用して、特徴マップから特徴値をサンプリングする。特徴の位置感度が低下し、計算量が削減される。
④ 2 番目の畳み込み層とサブサンプリング層：同様の構造で、畳み込みフィ
ルターとそれに続くサブサンプリング層が構成される。
⑤ 全結合層（Fully Connected Layer）：全結合層で畳み込み層とサブサンプ
リング層からの特徴を結合し、それを使用して出力を生成する。段階的に縮約し、最終的な出力層は 10 個の変数からなるように絞り込まれる。これは、0 から 9 までの 10 個のクラスに対応している。
実用上の LuNet-5 のアーキテクチャの構築と性能を確認するため、MNISTの 60,000 枚の画像データをもとに Python の Keras ライブラリを用いて追試を行った。ここでは教師データ（Training Data）を 50,000 枚、検証データ（Test Data）を 10,000 枚として分割して実施した。

26

図 4.2 Keras を用いた LuNet-5 のアーキテクチャ構成。パラメータ数は
228,842。
また、追試には Keras の開発者である Chollet の教本 (2018)とそのサンプル
コード1を参照した。
LuNet-5 の Keras におけるアーキテクチャは図 4.2 の通りで、パラメータ
総数は約 23 万に達した。損失関数は多分類判別であることからカテゴリー交差エントロピーを用い、オプティマイザーは rmsprop 法を選択した。また、最適化にあたりサブマッチ数は 128 とし、30 エポックのイテレーションを実行した。
追試の結果、通常の CPU（インテル® Core™ i5-1155G7 プロセッサー）上での計算速度は 1 エポックあたり 20 秒程度であり、30 エポックの処理は約10 分で完了した。
学習データ（黒線）および検証データ（赤線）の損失値および精度のエポックに対する依存性を図 4.3 に示す。これより、学習データからはおおよそ 5 回
1 https://github.com/fchollet/deep-learning-with-python-notebooks

27

目のイテレーションで精度は 99%に達し、その後も漸増的に精度が向上していることが確認された。一方で検証データでは同じく 5 回目のイテレーション
で 99%の精度に達するが、それ以上はイテレーションを回しても精度向上はみてとれない。このことは損失値でも同様の傾向にある。これらのことから、
LuNet-5 では約 5 回のイテレーション（2 分程度）で 99%以上の分類精度を確保する性能が得られることが確かめられた。

図 4.3 LuNet-5 の損失値（左）および精度（右）のエポック数の依存性

図 4.4 LuNet-5 による MNIST の識別能力

実際の検証データ 10,000 枚の識別能力を図 4.4 に示す。誤認識が多いパタ
28

ーンについて、5 回以上の画像を個別に確認すると、「２」の画像が「７」と誤って識別されるケースが 7 件あり、また、「４」が「９」と誤って識別されるケースが 8 件あった。さらに、「５」の画像が「３」と誤って識別されるケースが 6 件あり、そして「９」の画像が「４」と誤って識別されるケースが 5 件あった。しかし、これ以外の誤判別は数枚のレベルにとどまっていることがわかる。
このように、LeNet-5 の基本構造だけでも優れた画像の認識と識別が行える
ことが確認された。
４.２

生成モデル

2006 年に Hinton らが提案したオートエンコーダ（AE）の手法は、ニュー
ラルネットワークの手法を用いた非線形の次元削減の方法である。このことは、当該研究が発表された論文の書き出しに次のように記されていることでも理解される。
『高次元データの分類、可視化、情報伝達、保存を容易にする手法が次元削減である。その中でも広く使われている手法の一つが主成分分析 (PCA) である。PCA はデータセット内の分散が最も大きい方向を見つけ、各データポイ
ントをそれらの各方向に沿った座標で表現する。今回、私たちは PCA の非線形一般化を提案する。この手法では、多層の適応型「エンコーダ」ネットワー
クを使用して高次元データを低次元のコードに変換し、同様の「デコーダ」ネットワークでコードからデータを復元する』
図式的には図 4.5 に示されるような入力データをニューラルネットワークの手法で隠れ層（Hinton らの論文では Code 層と呼んでいる）へ次元削減し、その隠れ層から再びニューラルネットワークの手続きから出力データを復元するという 2 段階のモデルである。

図 4.5 オートエンコーダの模式図。
（図は CC-BY-SA のもと Wikipedia より参照）https://ja.wikipedia.org/wiki/オートエンコーダ#/media/ファイル:
AutoEncoder.png

29

これにより入力データよりも低次元な隠れ層（中間層）をデータの特徴が圧縮されている潜在空間として情報を保持させるだけでなく、デコーダという中間層から再構成の処理を行うことで非線形の次元圧縮情報でありながらデータの復元や再生が可能となることが示され、かつ画像データにおいては PCAと比較をしてもその復元における再現性が高いことが示された。
よく知られているように、非線形の次元削減は情報損失を伴い、一旦、次元削減された方法から逆変換をかけて元の情報を復元することは困難である。例
えば代表的な Hinton ら（2002）の t-SNE（t-distributed Stochastic Neighbor
Embedding ） や McInnes ら （ 2018 ） の UMAP （ Uniform Manifold
Approximation and Projection）は、高次のデー タ空間の情報を低次元に非線形的に削減する手法では、低次元におけるクラスタリングに行いやすさ（分離性能）が PCA よりも高いことで知られているが、元の高次の情報への復元はできない。
このようにオートエンコーダは非線形の次元削減の手法でありながら、次元
圧縮と同時に、その情報から元の情報に近い形で復元を可能にする手法として画期的であったが、その潜在空間の意味付けは、特に画像のようなデータを入力データとした場合にはその解釈が困難となる課題が認められた。
2013 年に発表された Kingma らの変分オートエンコーダ (VAE) は、これらの課題を克服する。VAE は、エンコーダの出力層に平均と分散のベクトル値を出力して中間層（潜在空間）（z）に保持する。続いて画像再現においては、
これらの潜在空間に保持されている確率分布のパラメータからサンプリングを行い、デコーダにおいて元のデータを再構築する。一般に、その確率分布はガウス分布を仮定し、平均 0 を中心とした標準正規分布に付置する。

図 4.6 変分オートエンコーダの模式図（図は CC-BY-SA のもと Wikipedia より参照）
https://en.wikipedia.org/wiki/Variational_autoencoder#/media/File:Reparameterized_V30ariational_Autoencoder.png

VAE の主な利点は、潜在変数に確率分布を導入することで、潜在空間の連続性や解釈性を向上させることが可能になることにある。また、潜在空間内での操作によって入力データにはない新しい画像を生成することが可能であることが示されている。
まとめると、オートエンコーダ（AE）と変分オートエンコーダ VAE は、データの次元削減と復元というプロセスにおいて共通しているが、潜在空間におけるモデリングや、モデル評価（損失関数）においては以下のような差異があ
る。

AE

VAE

潜在空間の分布を明示的にモデル化しな潜在空間のい。エンコーダは入力データを潜在表現モデリングに変換し、デコーダはその潜在表現を元

方法のデータにデコードするが、潜在空間の構造や分布については何も仮定しない。

潜在表現の
性質

潜在空間の分布を明示的にモデル化する。エンコーダは入力データを潜在空間の確率分布（μ、Σ）のパラメータに変換し、デコーダはその確率分布からサン
プリングされた潜在変数を使用してデータを生成する。

データの圧縮や特徴抽出のために次元削確率分布からサンプリングされるため、減されるが、その表現は連続的であるか

通常、連続的で意味のある変動を保証す

どうか、また意味のある変動を保証せず。

る。
再構築誤差に加えて、KL（Kullback-

損失関数の再構築誤差（入力とデコードされた出力構成の差）を最小化するように学習

Leibler）情報量も損失関数に含む。この項は、エンコーダの出力する潜在空間の分布と事前分布（通常はガウス分布）との間の一致の度合いを測る。

■Keras による VAE の追試
VAE における潜在表現の性質や表現を検証するため、MNIST の 60,000 枚の画像データを用いて Python の Keras ライブラリを用いた計算を実行した。
AE の概念自体がいわゆる教師なし学習型の PCA の次元削減と類似していることから、VAE におけるモデル構築においても、CNN で行ったような学習データと検証データに分割するようなことはせず、MNIST の全画像データを使用した。なお、CNN の追試と同じように、ここでも Keras の開発者である F.
31

Chollet の教本とサンプルコードを参照している。
VAE の Keras におけるエンコーダおよびデコーダのアーキテクチャは、それぞれ図 4.7 と図 4.8 に示す配置とパラメータで設定が行われた。VAE でも畳み込み層は CNN と同様に使用されているが、プーリング層は配置されない。
エンコーダを通過した後、平均値と分散値がそれぞれ計算され潜在空間に保持されるが、ここでの潜在空間の次元数は２次元としている。

図 4.7

図 4.7 Keras を用いた VAE のエンコーダのアーキテクチャ構成。二段の畳み込み層を経て全結合されたあと、その平均値と分散値が計算される。パラメ
ータ数は 69076 にのぼる。

32

図 4.8： Keras を用いた VAE のデコーダのアーキテクチャ構成。中間層からデータを受け取り、二段の逆の畳み込み層を経て復元される。デコーダに要するパラメータ数は 65,089 にのぼる。
損失関数は、再構築誤差である実際のデータと生成されたデータの差をバイ
ナリ交差エントロピーとし、加えて KL 情報量を用いて潜在変数の確率分布と事前分布との間の類似性を評価した。オプティマイザーには adam 法を選択し、サブマッチ数は 128 とし、30 エポックのイテレーションを実行した。その結果、実行速度は 1 エポックあたり約 30 秒であり、30 エポックの処理は約15 分で完了した。
図 4.9 は、
MNIST の VCA によって次元圧縮された潜在空間の表現となる。
非線形の次元削減であるため、横軸や縦軸には PCA のような意味を持たせる
ことはできない。MNIST の 0～9 の画像に関する分布は、カラーバーのコン
トラストを用いて表現されている。0～9 の数字の分布は明確に 10 個の集合に分かれているわけではないが、例えば「0」の特徴は左下の象限に集中し、「1」の集合は右上の象限に固まっていることが観察される。他の数字のパターンは、「0」のように環を描く数字が「0」側に近い分布を示し、一方で非環の数字の「1」へとシフトするように配置されている。

33

図 4.9 MNIST の VCA によって次元圧縮された潜在空間の表現
図 4.10 は上記の分布を 30×30 のグリッドで分割したときの画像を可視化して配置したものである。左下から y 軸に沿って移動すると、「0」→「6」→「5」→「8」→「7」→「1」と画像が遷移していることが観察される。なお、
この図に示されている 900 枚の画像は MNIST の画像そのものではないことに留意されたい。これらの画像は、MNIST の入力データを潜在空間の確率分
布（μ、Σ）のパラメータに変換し、デコーダはその確率分布から 30×30 の代表点でサンプリングされた潜在変数を使用して「生成」された手書き風の画像データとなっている。

図 4.10 図 4.9 の分布を 30×30 のグリッドで分割した画像の可視化図
最後に、VAE のマーケティングにおける活用を意識して、MNIST のデー
タセットに代わり、Fashion-MNIST2のデータセットを使って同様のコード
2 Xiao, H., Rasul, K., Vollgraf, R., Fashion-MNIST: a Novel Image Dataset for

Benchmarking Machine Learning Algorithms. arXiv:1708.07747 (2017)34

を実行した結果について示す。Fashion-MNIST は、MNIST の手書き風の画像に代わりファッションの商品イメージに類した画像集となっている3。
Fashion-MNIST のデータ構造も MNIST でのコードがそのまま使えるように 10 種類の商品からなるラベルが付されていることのほか、6 万枚のトレー
ニングデータと 1 万枚のテストデータとすることでも MNIST とデータセッ
トの規模を同じくしている。なお、ラベルと商品は次のように設定されてい
る。
Label

Description

Label

Description0

T-shirt/top

5

Sandal1

Trouser

6

Shirt

2

Pullover7

Sneaker

3

Dress

8

Bag

4

Coat

9

Ankle boot

図 4.11 は Fashon-MNIST を VAE で最適化された 15×15 のグリッドで配置した潜在空間における画像分布である。コードの構成はグリッドの配置を変えた以外は上記の MNIST と全く同一にしている。左下には「Ankle boot（アンクルブーツ）」が配置され y 軸に沿って移動すると、「Coat（コート）」から「T-shirt/top（T シャツ-トップス）」、そして最後は「Dress（ドレス）」に近い画像へと遷移している様子がわかる。
図 4.12 は、Fashon-MNIST の VCA によって次元圧縮された潜在空間の表現となる。カラーバーのコントラストは商品と対応するように色付けされている。ここでも MNIST と同様に明確に 10 個の商品の集合に分かれているわけではないが、例えば靴系の商品は下半分に、トップス系の商品は上半分に分布していることがわかる。

3 https://github.com/zalandoresearch/fashion-mnist35

図 4.11： Fashion-MNIST の VAE による画像分布を 15×15 のグリッドで分割した画像の可視化図

図 4.12： Fashon-MNIST の VCA によって次元圧縮された潜在空間の表現

36

５章

クラスター分析クラスター分析は大きく分ければ、類似したサンプルどうしを段階的に併合して大きなクラスターにまとめる階層クラスター分析と、N 個のサンプルを K
個のクラスターに分割する非階層クラスター分析に分けられる。本章では大規模データの分析でよく利用されている非階層型クラスター分析を検討する。まず 5.1 節では非階層型のクラスター分析で代表的な k-means 法の問題点を指摘し、欠点を改良した k-umeyama 法を提案する。5.2 節ではクラスターの最適性基準を比べ、5.3 節でクラスター分析の今後の発展を論じる。

５.１

k+means 法の改訂

■ 品質管理とマーケティングの違い
マーケティング・リサーチの実務では、消費者をセグメントする際に、まず原データを因子分析あるいは主成分分析にかけてからクラスター分析することが慣習のように行われてきた。因子分析の因子および主成分はいずれも直交するのだから、ユークリッド距離で距離を測ることが正当化されるはずだ、というのが実務の上では通説だったようである。
しかしデータを正規直交化しさえすれば変数間の相関情報は無視して構わないと言えるのは、データが単一の母集団から発生するという前提が成り立つ
場合に限る。
たとえば品質管理においては、一つの生産ラインには唯一の目標仕様があって、そこを中心にしながら製品がほぼ正規分布にしたがって生産されると想定することが多い。しかしマーケティングで扱う市場は品質管理とは異なる。
マーケティングでは市場は複数の集団から成り、しかも集団間に異質性があることを想定する。もしそう想定するのであれば、各クラスターは平均の位置だけでなく分散共分散行列もクラスターごとに異なると想定するのは自然だ
ろう。つまり因子分析や主成分分析をすれば変数間の相関は考慮する必要がな
くなるというのは誤解である。データ全体を直交化したところで、それぞれのクラスターに所属するサンプルまで無相関に再配置されることにはならないからである。

37

図 5.1 品質管理データの正規直交化

図 5.2 因子得点の散布図
図 5.2 の散布図をみれば、因子分析をしても集団ごとに spherical にデータが散布するわけではないのは明らかである。因子得点はクラスターごとに異なる相関をもつことが見てとれる。
本来クラスターとは異質集団の存在を前提にした概念だったはずだが、マーケティング実務における分析の進め方は論理的な矛盾があった。本章では複数のクラスターの中心からサンプルまでの汎距離を測りつつクラスタリングを進める新しい方法を提案する。具体的にはて Mahalanobis(1936)が提唱した汎距離ではなく朝野（2023）がいうところの汎距離ケース 6 を用いる。

38

■ 従来のクラスター分析
k-means 法は非階層クラスター分析の中ではよく知られた方法である。kmeans 法に関連して、これまでに表 5.1 に示す提案がなされてきた。まずMacQueen(1967)による原案は、変数間の相関を考慮せずに距離を測るために、相関の高い変数群に影響されてクラスター所属が決まるという問題があった。
Dunn(1974)のファジークラスタリングは、所属するクラスターへのオーバ
ーラッピングを許容する分析法であった。クラスターへの所属度合いはメンバ
ーシップ値によって表わされる。
Cerioli(2005)は各クラスターの分散共分散が異なる汎距離を提案していて、
我々と問題意識を共有する。ただし表 5.1 に示すようにセリオリは初期シードの選択については提案ができなかった。
最後の Arthur ら（2007)は k-means++
で初期シードを逐次選択する提案を行った。彼らにも欠点があったことを次に指摘する。
表 5.1 従来の非階層型 k-means 法■ k-means 法の欠点
k-means 法には、まず第 1 に初期シードというクラスターの核を選択する
方法に問題があった。
ユーザーにシードの位置を指定させるというオプションはユーザーにとって困難なタスクであった。とくに次元の高い空間においてシードを指定させるのは現実性が低い。もう一つのオプションである一括選択法は、独立な乱数でサンプルを選んでシードにする方法である。この一括選択は個々の抽出が独立に行われるために多次元空間の偏った領域にシードが集中する可能性が排除できない。偏ったシードから反復計算をスタートすると局所的最適値に収束する危険がある。実際に乱数を変えて一括選択してみれば、クラスタリングの再現性が低いことが容易に確認できる。
39

第 2 の欠点は、k-means 法に適したデータの分布が限定的だったことにある。セリオリは、k-means 法はデータが超球状に散布しており、各クラスターのサイズがほぼ等しいことを暗黙に仮定していると指摘した。つまりクラスタ
ーが非球状 non-spherical に分布し、しかもサイズが異なるというマーケティ
ングで起きそうな市場に対して k-means 法を使うのは不適切だということになる。
■ 初期シードに関する先行提案
アーサーらは、最初の 1 つのシードを乱数で選び、2 つ目のシードは、第 1シードからの距離の二乗に比例した確率で選び、それ以降も逐次的に次のシードを確率抽出することを提案した。シード選定の段階ではまだ集団が形成されていないため、集団の中心からの汎距離が測定できない。そのためアーサーらはユークリッド距離を使っている。
k-means++のシーディングでは各サンプルと既存のシードとの距離 d(x)を測る必要がある。シードが１つしかない段階では、そのシードとの距離が d(x)である。シードが複数になると、既存の各シードとサンプルの距離を測って最短距離をｄ(x)に使う。そして（5.1）のウェイトに比例させて次のシードを確率抽出する。

wi =d ( xi )2nd (x )
i =1

(5.1)
2

i

k-means++法では、遠く離れたサンプルほど距離の二乗に比例して選ばれやすくなる。そのため最遠点の外れ値がシードに選ばれる可能性が最も高くなる。
外れ値の近くにはデータポイントが何もない事態も起きるだろう。これがアーサーらの提案の欠点であった。
■ k-umeyama 法によるシード選択法
次に後藤・梅山(2023)が提唱した k-umeyama の詳細を示す。まず第 i サン
プルから最近隣のシードまでの距離 di を求める。次に全サンプルについて距
離の平均値 d を求める。その後 di をシグモイド関数で変換する。
1

（5.2）

𝑦𝑖 = 1+𝑒𝑥𝑝{−𝑎(𝑑 −𝑑̄)}𝑖

上式は項目反応理論における 1 母数ロジスティックモデルであり a は曲線の傾きを調整するパラメータである。 a が大きくなるほど関数はステップ関
数（階段関数）に近づく。最後に(5.3)に比例した確率で新たなシードを抽出
する。

40

𝑦

(5.3)

𝑤𝑖 = ∑𝑛 𝑖 𝑦

𝑗=1 𝑗

ユーザーが指定したクラスター数 K に達するまで以上の手順を繰り返して初期シードのセットを決める。
ｋ-means++と k-umeyama 法で、シード選択がどう変わるかを図示したのが図 5.3 である。k-umeyama 法では外れ値をシードに選ぶ確率を相対的に抑制できることが分かる。図 5.3 右の k-umeyama 法なら 11 番目のサンプルが選ばれる可能性は 4，7，10 番のサンプルが選ばれる可能性と同等になる。

図 5.3 次のシードに選択されやすいサンプルの所在■ 汎距離計算の改良
汎距離を測れるのは 1 回目のクラスターが作られてから以降の繰り返し段階である。サンプル xi と第 g クラスターの平均ベクトル m g との汎距離は次式で測定する。二乗してもしなくても遠近の順序は変わらないので平方汎距
離のまま測定する。

D 2 ( xi , m g ) = ( xi − m g ) S g −1 ( xi − m g )(5.4)

分散共分散行列 S g が正則でない場合は S g の逆行列が求められない。従って汎距離が計算できない。もしクラスター規模 nk と変数の数 p が nk  p であったとしても S g が正則になるとは限らない。たとえば評定尺度に対して「どちらともいえない」と回答する人が何人もいればデータ行列は退化することにな
る。セリオリはクラスター分析に汎距離を用いることを提案したものの、非正則な場合の対処法までは示さなかった。
41

k-umeyama 法ではムーアペンローズの一般逆行列をもちいて S g の逆行列を計算する４。クラスター分析の反復計算の過程で、はじめは小規模のクラス
ターから始めて次第にクラスター規模を大きくする、というアルゴリズムを用いることもあるだろうし、そもそもサンプル数が多くないのにクラスター数Ｋが多い場合もある。そうした場合に一般逆行列を用いる必要が出てくる。
■ k-umeyama 法の計算手続き

図 5.4 k-umeyama 法の計算手続き
図 5.4 でユーザーが指定するハイパーパラメータ―はクラスター数 K とシグモイド関数の形状を決める a の 2 つである。
■ 実データでの検証
ライフスタイルに関する自主調査の実データを使って、k-means 法と kumeyama 法を比較した。具体的な手続きは次の通りである。

42

■ k-umeyama 法の精度検証
図 5.5 の通り、望大指標であるフリードマン・ルービンの基準では k-meansが 5.27、k-umeyama 法が 7.05 と k-umeyama 法の方が優れていた。その他のウィルクスのラムダ、ピライのトレース、ホテリング・ローリーのトレース
でも、k-umeyama 法が k-means 法よりも良い結果を示している。各指標の定義については 5.2 節で述べる。結論として、この分析事例では k-umeyama 法が k-means よりもクラスタリングの精度が優れていることが確認できた。

図 5.5 クラスターの最適性基準■ 画像修復への応用例
パターン認識の課題であるが、汚れた画像の修復に k-umeyama 法を適用した例を図 5.6 に示す。この左の図が欠損のある画像で、右が K=1024 で kumeyama 法で修復した結果である。
43

図 5.6 画像修復への応用例 著作権： 国（文部科学省所管）
図 5.6 の画像修復の具体的なフローは下記の通り。
① 画像の分割：画像から𝑚 × 𝑛 サイズのパッチを抽出し、これをベクトル化する。今回は 8 × 8サイズのパッチを取り出したので画像のピクセルは64 ピクセルとなる。 𝑖 番目のパッチのデータをベクトル𝑥𝑖 で表現する。
② シーディング：k-umeyama 法に従ってランダムにパッチを選んでシードを選択する。シードの選択はシグモイド変換を加えた逐次選択法。
③ クラスタリング：画像の特徴が属性と扱われて汎距離でクラスタリング
する。各パッチ𝑥𝑖 に最も近いクラスター中心𝑚𝑔 を、汎距離を用いて割り当てる。
′

𝐷2 (𝑥𝑖 , 𝑚𝑔 ) = (𝑥𝑖 − 𝑚𝑔 ) 𝑆𝑔−1 (𝑥𝑖 − 𝑚𝑔 )画像再構築：クラスターの平均値が動かなくなったところで反復を終了。
最終的に、パッチ𝑥𝑖 を、それが属するクラスタ中心𝑚𝑔 で置き換える。全てのパッチがそれぞれのクラスタ中心に置き換えられた後、これらの更新されたパッチを元の画像の格子状の配置に従って再配置され、再構築された画像が形成される。この再構築された画像は、元の画像と比較して重要な視覚情報や特徴を維持することになる。
k-umeyama 法はマーケティングでの顧客のセグメンテーションに限らず、図 5.6 のような画像の修復、メディカル分野での患者のグループ化、その他経済分野、工学分野などでも応用できるのではないかと考えられる。
■ k-umeyama 法の意義
k-umeyama 法の特徴として、初期シードの選択にシグモイド関数を採用したことが挙げられる。シグモイド関数は、近接したサンプルがシードに選ばれることを避けると同時に、外れ値をシードにすることが k-means 法より抑制できる。その意味で、既存のクラスター分析よりも優れた方法といえよう。さ44

らに、k-umeyama 法ではクラスターの中心とサンプル間の距離を汎距離で測定している。汎距離は、変数の相関関係の情報を加味して距離を評価できるため、クラスタリングに用いる情報がより豊かになる。しかもクラスター単位でのデータ行列が特異になっても汎距離が計算できるように、一般逆行列を採用した。以上の手法を組み合わせることで、k-umeyama 法は従来の非階層クラスター方法よりも高い精度でクラスタリングが実行できるものと期待される。
特に次の３点は本提案の長所である。
１）クラスターごとに分散共分散が異なることを許容しているので、消費者の異質性を考慮したマーケティングに適合している。
２）クラスター分析の入力データに因子得点や主成分得点を用いると、累積寄与率分の情報しかクラスタリングに活用されないことになる。一方 kumeyama 法は、原データの持つ情報を捨てることなくサンプルをクラスタリ
ングする方法である。より多くの情報を使ってセグメンテーションできることは望ましい性質といえよう。
３）シグモイド関数を用いて逐次的にシードを抽出する方法なので、kmeans++法とくらべて外れ値をシードに選ぶ可能性を抑制できる。近接した
シードを選ぶ可能性はゼロに近いので、クラスター分析の結果の再現性を高めることができる。表 5.2 に k-umeyama 法と既存の非階層クラスター分析の特徴を一覧した。
表 5.2 k-umeyama 法の特徴

５.２

クラスターの最適性基準

クラスター分析は目的変数が存在しないために正解率のような単純な評価指標がない。そこでクラスター間はセパレートしていてクラスター内は似ている状態を示
す何らかの基準を用いて判断するしかない。ここでは５つの基準とそれらの相互関係を検討する。
45

■ 本節での記法
調査サンプルを i = 1,2,

, N 、測定変数の数をｐとする。本節ではクラスターの数をＧとし、第ｇクラスターのサンプル数を ng ( g = 1, 2,

５, G ) と書く 。また全サンプルを対象にしたｐ次の平均値ベクトルを m 、グループｇの平均値ベクトルを m g と書く。
一般性を失うことなく分析データは列に関して平均偏差化した行列 X = ( xij ) とN pする。クラスターｇに所属するサンプルｉのデータを xig と書く。これはｐ次のベクトルである。
全分散とクラスター間分散とクラスター内分散の行列を次式で定義する。
1
(5.5)
T =
X X
p p
N

B=

1
ng ( m g − m )( m g − m )

N g

(5.6)

W =

1
xig − m g )( xig − m g )(
N g ig

(5.7)

p p

p p

X が平均偏差化されていることから(5.6)の全体平均ベクトルは m = 0 である。

(5.7)の i  g はクラスターｇに属するデータだけで総和をとることを示している。クラスターｇにおける分散共分散行列を Vg =求めると W = 
p p

g

ng
N

Vg =

1
xig − m g )( xig − m g ) として W を(
ng ig'1
xig − m g )( xig − m g ) となり(5.7)が求められる。
(
N g ig

またクラスターサイズ ng で Vg を加重合計する式になっている。もともと(5.7)の 2 重の総和記号が N サンプル全体について和をとっているので、サンプル数で加重合計することは合理的である。(6.5)～(5.7)の間には次の関係式が成り立つ。
T = B +W
(5.8)
したがって３つの分散共分散行列のうち 2 つが分かれば、残りは(5.8)から計算できる。(5.5)と(6.6)の計算が簡単なのでふつうは T − B で W を求める。なお(5.5)～(5.7)のようにデータ数 N で割る計算は省くことが多い。その理由は、分散分析なら平方和 SS(Sum of Squares)を計算するという実験計画法の伝統があるからである。
46

また尺度不変性がある基準では N で割っても割らなくても基準値は変わらない。この点を次に確認する。
■ 最適性基準と尺度の不変性
水野（1996）は下記の３つの基準を紹介している。いずれも同一データを同一のクラスター数で分割した結果を相対評価するのに利用できる。異なる調査の間やクラスター数が異なるケース間で比較しても意味がない。
tr (W ) ：Edwards ら(1965)が提唱した基準で小さい値の方が望ましい。

：これが Friedman-Rubin(1967)の基準で望大指標である。分散共分

T W

散行列の行列式 T , W を一般化分散と呼ぶ。

tr (W −1B ) ：Lawley-Hotelling(1951)のトレース基準と呼ばれる。これも望大指標である。
本節では以上３つの基準を ED、FR、LH と略記しよう。まず尺度の不変性を確かめる。N=500 のデータで比較したところ ED 基準では平方和行列を用いると分散
共分散行列の場合の N 倍になる。残り２つの基準は線形変換に関して不変な基準（invariant criteria）であることが分かった。
表 5.3 不変性の確認
Edwards
Friedman-Rubin
Lawley-Hotelling

分散共分散行列1.97182.36671.3541平方和行列985.9232.36671.3541−1

FR は固有値を 用い て も 定義で き る 。 W B の 正の 固有値を 大き い 順に

k ( k = 1, 2, q ) と書けば(5.9)式が導出される。 k に 1 を加える根拠が分かりづら
いが、それは(5.13)以降で詳述する。
FR =

T
W

= W −1 T = W −1T = W −1 (W + B ) = I + W −1B =  (1 + k ) (5.9)
k■ MANOVA（多変量分散分析）において使われる基準
MANOVA の研究は Wilks(1932)に始まった。Wilks の  =WTは集団間の平均ベクトルの同等性を検定するための一般化尤度比の中で登場した。
47

=

W
B +W

=

W

−1

1
1
1
=
=
−1
B +W
W B + I  (1 + k )(5.10)

k(5.10)は(5.9)の逆数になる。MANOVA の検定論ではグループ間で分散共分散
行列Vg が等しいと仮定している。しかしマーケティングでは、この仮定は受け入れ難い。したがって、本研究ではΛをあくまでも記述的な指標としてとりあげる。
Lawley-Hotelling のトレース基準

LH = tr (W −1 B ) =  k

(5.11)k

Pillai（1955）のトレース基準

kk 1 + k

Pillai = tr ( BT −1 ) = (5.12)

Morrison（1990、240 頁）の 21 サンプル、2 変数、4 クラスターのデータを使って 5 種類の基準値を表 5.4 で比較した。なおエドワーズの基準は W の固有値の和を計算するので他の基準とは異なる６ 。固有値から計算した結果と、トレースまたは
行列式から計算した結果はすべて一致することが確認できた。
表 5.4 Morrison のデータにもとづく各種の基準値
トレースまたは det

固有値から計算

Edwards

112.7

112.7

Friedman-Rubin

1.775152

1.775152

WilksΛ

0.5633319

0.5633319

Lawley-Hotelling

0.6853434

0.6853434

Pillai0.4872604

0.4872604■ 固有値による最適性基準の導出
クラスターの最適性基準を求めるのに固有値がなぜ必要なのだろうか。この素朴な疑問への回答が見あたらない。表 5.4 で取りあげた５つの基準のうちエドワーズの基準は W のトレースを求めれば済む。LH と Pillai も行列のトレースから計算できる。
残る FR とΛは、２つの行列式の比をとる基準であるが、行列が特異な場合は行
列式が 0 になる。特に FR では比の分母がゼロになるので問題が起きる。したがって LH とその逆数であるΛでは行列の正の固有値を求めて、それらの積から基準値を求めなければならない場合がある。ここまでを整理したのが表 5.5 である。

48

表 5.5 各種の基準の相互関係

分割による分散は T , B,W の３つしかなく、そのどれに着目して基準が作られたかを一覧したのが表 5.6 である。一般には T , B,W の中から２つを選んで基準を作っているがエドワーズは W しか利用していないのがユニークである。
表 5.6 各基準が利用している分散−1

エドワーズ以外の４つの基準はすべてW B の固有値をもとにして表現できる。

k  0( k = 1, 2,  ) ,q

q = rank (W −1B )  min ( p, G −1)−1

次に(5.9)の導出根拠を論じよう。W B の正の固有値を大きい順に並べた対角行列を  とする。 q = 2, p = 4 という特異（singular）なケースを例示する。

1
0
 =
p p
0

0

0

q
0
0

0 0
0 0 
0 0

0 0

（5.13）

奥野ら（1981,312 頁）には次の証明でウィルクスのΛが k + 1 の積で表されるとし49

−1

た。W B の固有値を大きい順に 1 , 2 ,, q  0 として対応した q 個の固有ベクト

ルを最初のｑ列に並べ、残りのブロックにゼロ行列と単位行列を配置した正方行列を構成する。 q = 2, p = 4 の場合を書けば、


u u
2
P = 1
44




0 0
0 0 
1 0

0 1

(5.14)−1

奥野らの解説では固有値と固有ベクトルの関係から W BP = P  であり、 P はP P = I の直交行列だとして上式の左から P  を掛けて P W

−1

BP = P P  = −1を導いている。しかし W B は対称行列ではないから P P  I であり、 (5.14)の行−1

列を用いてもW B を対角化することはできない。
−1

そこで平岡ら(2004,203 頁)の相似変換による対角化を行う。W B の p 個の固有ベクトル u1 , u2 ,, u p を並べて p  p の P を構成する。この P も直交行列ではな−1

い。 W BP = P  という関係を用いてP −1W −1 ( B + W ) P = P −1W −1BP + P −1W −1WP =  + 
ここで両辺の行列式をとると  + I が対角行列であるから k = 1,2,
で積をとれば P −1 W −1 B + W P =TW, q の範囲q=  ( k + 1)
k =1

これで FR の基準値（5.9）が導出された。ウィルクスのΛはその逆数である７。
■ Morrison のデータで確認
ここでは表 5.4 の Morrison のデータの変数 A と B を X1,X2 とし、それに X3＝
X1-X2, X4=X1+X2 を追加して 4 変数のデータ行列を作った。ｐ＝4 で G＝4，

q = rank ( X ) = 2 という特異な行列である。 1 = 12.319, 2 = 0.053

50表 5.7 各基準値トレース

固有値から計算

Edwards

220.8

220.8

Friedman-Rubin-

14.024WilksΛ

-0.071

Lawley-Hotelling12.371712.3717

Pillai V

0.97490.9749

表中の-は、トレースを使わない基準である。固有値計算が必要になるのは FR とWilks のΛだけである。その他の基準はトレースでも固有値でも計算できるしどちらでも数値は等しい。

５.３

クラスター分析の今後の発展

クラスター分析では伝統的に、市場を排反(exclusive)かつ悉皆(exhaustive)に分割してきた。排反で悉皆とは、市場のすべてをカバーすると同時にクラス
ターに重複がないという意味である。図 5.7a)がその典型例である。図中の X
は外れ値なのだがグリーンのクラスターに所属させ、中央の Y はどのクラス
ターに入れればよいか困る境界領域に位置している。

図 5.7 伝統的なクラスタリングは自然なのか
排反かつ悉皆という固定観念にとらわれないクラスタリングも考えられる。
図 5.7 の b) は排反だが悉皆ではない例である。X や Y は無理にクラスターに所属させないという対処ができる。

51

図 5.8 さまざまなクラスタリング
また図 5.8ｃ）のようクラスターがオーバーラップすることを想定する方が適した市場もあるだろう。この論点に関しては Dunn(1974)によるファジーク
ラスタリングが早い時期の提唱であった。また新規に開拓された市場は潜在顧客の一部しか顕在化していないし、クラスター同士も未分化で重なっているかもしれない。図 5.8 のｄ）がその図解である。何が望ましいクラスタリングなのかは統計学が決める問題ではなくマーケターが決める問題である。

６章

討論

６.１

本研究の意義(1) 2.3 節では正則化回帰のリッジ推定とラッソ推定を比較した。回帰係数の推定と分析変数の選択を同時に行うのがラッソ推定の特徴である。スパース
データの解析には過学習の危険性を伴うので、決定係数が高いからといって良い予測モデルだと判断してはならないことを実験データで示した。
(2) 正則化回帰のハイパーパラメータ λ を決定するために交差検証法が従来よく使われてきた。しかし情報量規準を用いることでより安定した推定が行えることを示した。
(3) 正則化回帰の各手法について、汎化性能を基準とした場合の使い分けの一例を示した。
(4) 判別分析は群が 2 群か多群か、分散共分散が群間で等しいか否か、群の規模の事前確率を利用するか否かで２×２×２の８通りに分類できる。各ケースの判別法の相違を整理した。
(5) ベイズ判別（LDA、QDA）とロジスティック判別のシミュレーション実験を行った。各群の分布と共分散行列しだいで最良の判別結果が得られる手法が異なることを示した。
(6) SVM のカーネルによる分離の違いを整理した。
52

(7) CNN と生成モデル（VAE）についてその基礎を確認し応用可能性を指摘した。
(8) クラスター分析の最適性基準を５種類とりあげ、それらの関係を論じた。
また Friedman-Rubin の基準については新しい導出の仕方を示した。

６.２

今後の研究課題■ 正則化回帰の解法
2022 年度の研究会では説明変数に多重共線性がある場合の対策として一般
逆行列の利用を提案した。しかしスパース回帰分析で一般逆行列は利用されていない。その理由は何だろうか。理論上あるいは計算上の理由を追求するのは興味深い。
■ 解の一意性
正則化回帰によって情報行列が正則でなくてもパラメータが推定できる。
しかし正則化回帰の解の一意性があるかどうかに関しては疑問がある。
■ 正則化回帰における偏回帰係数のバイアス問題への対処
正則化回帰では偏回係数が真の値よりも原点方向へ過小推定されるバイアスがある。これに対してマーケティングミックスモデリング（MMM）などの実用上、どのように対処すべきかという実務上の課題がある。
■ KL divergence（KL 情報量）と尤度（likeliohood）、フィッシャー情報量（Fisher information）との関係の整理■ クラスター内分散共分散行列に 0 が生じる場合
ある変数のデータがすべて０ないし定数の場合はその変数の分散は０になり逆行列が求められない。例えば、ＥＣサイトのある商品にだれもアクセスしていない、などでこの事態が発生する。
その対処方法としてリッジ推定で汎距離を計算することが考えられる。しかしその測定法が正しいという論拠はまだ明らかでない。
′

𝐷2 ridge (𝑥𝑖 , 𝑚𝑔 ) = (𝒙𝒊 − 𝒎𝑔 ) (S𝑔 + 𝜆 𝐼)

53

−1(𝒙𝒊 − 𝒎𝒈 )

引用文献
Agresti,A. ( 2002 ) “Categorical Data Analysis,Second Edition.” John Wiley.
Arthur, D. and Vassilvitskii,S. (2007) k-means++: the advantages of carefulseeding. SODA '07: Proceedings of the eighteenth annual ACMSIAM symposium on discrete algorithms , 1027-1035.
朝野熙彦(2023) マハラノビスの汎距離と消費者の異質性，日本行動計量学会
第 51 回大会抄録集,70-73.
Cerioli,A. (2005) K-means cluster analysis and Mahalanobis metrics : A
problematic match or an overlooked opportunity? Statistica
Applicata, 17,(1),61-73.
Chollet, F. 著、巣籠 悠輔他・(株)クイープ 翻訳 (2018) 「Python と Keras によるディープラーニング」マイナビ出版
Cortes,C. and Vapnik,V.N. (1995) Support-vector networks, Machine
Learning, 20,273-297.
Dunn, J.C. (1974) A fuzzy relative of the ISODATA Process and Its use indetecting compact well-separated clusters. Journal of Cybernetics
3, 32-57.
Edwards,A.W.F. and Cavalli-Sforza,L.L.(1965) A method for cluster
analysis. Biometrics,Vol.21,362-375.
Fisher,R.A. (1936) The use of multiple measurements in taxonomic
problems. Annals of Eugenics, 7,179-188.
Friedman,H.P. and Rubin,J. (1967) On some invariant criteria forgrouping data. Journal of American Statistical Association, Vol.62.
1159-1178.
Fukushima, K. (1980) Neocognitron: A self-organizing neural networkmodel for a mechanism of pattern recognition. Biological
Cybernetics, 36(4), 193-202.
後藤太郎・梅山貴彦(2023) マーケティングにおける各種の汎距離の応用，
日本行動計量学会第 51 回大会抄録集,74-77.
Hinton, G. and Roweis, S. (2002) Stochastic neighbor embedding. In
Advances in Neural Information Processing Systems, 15, 833–840,
Cambridge, MA, USA. The MIT Press.
Hinton, G. E. and Salakhutdinov, R. R. (2006) Reducing the dimensionalityof data with neural networks, Science, 313(5786), p504-507.
平岡和幸・堀玄(2004)「プログラミングのための線形代数」オーム社
Hoerl ,A.E. and Kennard, R.W. (1970) Ridge regression : biased estimation
for nonorthogonal problems, Technometrics, 12, No1,55-67.
Hotelling, H. (1936). Relations between two sets of variates. Biometrika,
28(3/4), 321-377.
54

Hotelling, H. (1951) A generalized T test and measure of multivariate
dispersion, Proceedings of the Second Berkeley Symposium on
Mathematical Statistics and Probability, University of California
Press, Berkeley,23-41.
Kingma, D. P. and Welling, M. (2023) Auto-encoding variational bayes,
arXiv:1312.6114 .
LeCun, Y. et al. (1990) Handwritten digit recognition with a backpropagation network. In Proc. Advances in Neural Information
Processing Systems, 396–404.
LeCun, Y., Bottou, L., Bengio, Y. and Haffner, P. (1998) Gradient-basedlearning applied to document recognition. Proc. IEEE 86, 2278–
2324.
LeCun, Y., Bengio, Y., & Hinton, G. (2015) Deep learning. Nature,521(7553), 436-444.
MacQueen,J. (1967) Some methods for classification and analysis ofmultivariate observations. In Proceedings of the fifth Berkeley
symposium on Mathematical Statistics and Probability, 281-297.
Mahalanobis,P.C. (1936) On the generalized distance in statistics.
Proceedings of the National Institute of Sciences of India, 2(1),49-55.
McFadden,D.(1974) Conditional logit analysis of qualitative choice
behavior,In Zarembka,P.(ed.) "Frontiers in Econometrics." New
York:Academic Press,105-142.
McInnes,L., Healy, J., and Melville, J. (2018) UMAP: Uniform manifold
approximation and projection for dimension reduction,
arXiv:1802.03426.
水野欽司（1996）「多変量データ解析講義」朝倉書店
Morrison,D.F.(1990) ”Multivariate Statistical Methods,3rd edition”,
McGraw-Hill.Inc.
奥野忠一・他（1981）「多変量解析法《改訂版》」日科技連
Pillai, K. C. S. (1955). Some new test criteria in multivariate analysis.
Annals of Mathematical Statistics, Vol.26(1), 117-121.
高根芳雄 (1995)「制約つき主成分分析法」朝倉書店
高野祐一 (2020) サポートベクトルマシンとカーネル法,オペレーションズ・
リサーチ, Communications of the Operations Research Societyof Japan: 経営の科学, 65(6), 304-309.
竹村彰通（2020）「現代数理統計学」学術図書出版社
竹内啓・柳井晴夫（1972）「多変量解析の基礎」東洋経済新報社
田中豊・脇本和昌（1983）「多変量統計解析法」現代数学社
Tibshirani,R.（1996）Regression shrinkage and selection via the lasso.
J. Royal Statistical Society, Ser B ,58 (1),267-288.
Truett,J.,Cornfield,J. Kannel,W. (1967) A multivariate analysis of the riskof coronary heart disease in Framingham. Journal of Chronic
55

Disease, 20, 511-524.
梅津佑太・西村龍映・上田勇祐(2020)「スパース回帰分析とパターン認識」
講談社
Wilks, S.S. (1932). Certain generalizations in the analysis of variance.
Biometrika,24, 471–494.

【研究会の実施概容】
産学協同研究会のメンバーは次の通りである。
研究代表者 朝野熙彦 東京都立大学元教授
研究メンバー
奥瀬喜之 専修大学
大屋伸彦 愛国学園大学
松波成行 物質・材料研究機構
後藤太郎 CCCMK ホールディングス
松本 健 メルカリ
大橋耕也 メルカリ
梅山貴彦 リサーチイノベーション委員会委員長* 森本 修 DeNA
* 編集委員
研究期間：2023 年 9 月 15 日～2024 年 3 月 21 日（月 1 回）
研究会場：専修大学神田キャンパス

重回帰分析は定数項を明示した a1 + X  +  でモデルを記述することが多い。しかし
竹村（2020，241 頁）も指摘しているように、定数項は設けず X の任意の１列を 1 の値とする記述にしてもモデルは同じである。
２ 誤差に特定の確率分布を仮定しない定式化もある。
３ 主成分分析が典型例であるが、多変量解析は次元の縮小を狙ったものが多い。SVM は
それと正反対のモデルである。
４ 高根 (1995)は 6 種類の一般逆行列を示した。その中でもムーア・ペンローズの一般逆行列は最小ノルム、最小 2 乗でありかつ一意に定まる。
５ 判別分析では判別グループの数を G と記述することが多いので、本節ではグループ数
を G で記述した。5.1 節で書いた K と同じ意味である。
６ 表 5.4 は rank W = p であるからW は正則である。
( )１

ここではｐ次の正方行列の固有値と行列式についての次の関係式を用いた。
tr (T ) = 1 + 2 + +  p , T =  k , AB = A B = BA , A−1 = 1 A , A = A７k56