統計数理（2018）
第 66 巻 第 2 号 279–294©2018 統計数理研究所

特集「サービス科学の今」［原著論文］

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用
清水 信夫1 ・中野 純司1 ・山本 由和2（受付 2017 年 11 月 9 日；改訂 2018 年 9 月 18 日；採択 9 月 19 日）

要

旨近年，サービス科学においては連続変数とカテゴリー変数が混在している大量のデータが得られることが多い．そしてそれらの個体データはいくつかの自然なグループに分かれる場合がある．そのとき，個々の個体データそのものではなく，その集合であるグループに対する推論
および解析に興味があることがある．われわれは，そのようなグループを表すためにいくつかの記述統計量の集合をデータと考え，それを集約的シンボリックデータ（Aggregated Symbolicと呼ぶ．ここでは，連続変数とカテゴリー変数がともに含まれる場合に，2 次以
Data，ASD）
下のモーメントに関する統計量を ASD と考える．また，連続変数をカテゴリー化することによりすべての変数について同様の基準によるカイ 2 乗統計量を考えた上で，それらの和として
ASD 間の非類似度を構成する手法を提案する．そして，この方法を東京都区部の不動産情報
データに適用し，各区ごとのデータの集合を考え，それらの ASD を計算する．さらに各 ASDの値から区の間の非類似度を求め，各区の階層的クラスタリングおよび多次元尺度構成法による分析を行う．
キーワード：Burt 行列，カイ 2 乗統計量，階層的クラスタリング，多次元尺度構成法，ビッグデータ．
1.

はじめに

近年，サービス産業においては Web システムを用いたデータの収集が多用されており，その活動の詳細なデータが計算機上に連続的に蓄積されるようになっている．それらのデータは連続変数とカテゴリー変数が混在した多次元データであることが多い．また，それらのデータ
数は非常に多く，いわゆる “ビッグデータ” の代表例となっている．
このようなデータの全体像を見るためには，個体データに着目するこれまでの方法ではその個数や変数の多さのために計算が困難な場合がある．ただし，そのようなときには個体データ
は意味のある自然な比較的少数のグループに分かれることが多い．したがって，個体データそのものではなく，個体がまとめられたグループに関心を向けた手法が必要である．その方法のはシンボリックデータ解析を提唱した．
一つとして Diday（1988）
シンボリックデータ解析においては，データとして各連続変数ごとに 1 つの値ではなく，ある値を中心としてばらつきをもつデータ（区間データや分布値データ）などで表されるものが考1

統計数理研究所：〒 190–8562 東京都立川市緑町 10–3

2

徳島文理大学 理工学部：〒 769–2193 香川県さぬき市志度 1314–1

280

統計数理

第 66 巻 第 2 号 2018

表 1．東京都区部の不動産情報データ（一部）．

えられ，それらに従来の各種多変量解析手法を拡張する研究が Bock and Diday（2000），Billard
and Diday（2006），Diday and Noirhomme-Fraiture（2008）などにまとめられている．それら以外にも，シンボリックデータに対するクラスタリングに関しては Verde（2004）や Irpino andなど，多次元尺度構成法に関しても Denœux and Masson（2000）や Groenen et al.
Verde（2006）（2006）などの研究がある．これまでのシンボリックデータ解析においては，データは最初から区間のような形で与えられている場合が多く，そこではグループ内の複数の変数間の関係は無視される．例えば，2 つの連続変数間の相関関係は考慮されない．
しかしながら，現代のビッグデータにおいては、元の個体データは保持されている．超大量データの場合は移動や計算に困難を伴うが，どうしても必要ならばグループに関するいかなる
記述統計量も計算することは可能である．そこで，グループにおける多次元データの情報を可能な限り簡潔な形で持つために，複数の記述統計量を考えることにし，それを集約的シンボ
リックデータ（Aggregated symbolic data，ASD）と呼ぶこととする．
われわれはそのようなビッグデータとして，表 1 で示される大規模な不動産情報データを持っている．このデータはいくつかのグループに自然に分けることができ，ASD の適用が有効なデータと考えられる．
本論文では，グループ内の個体データのそれぞれの変数および複数の変数の組み合わせに関して 2 次までのモーメントに関する統計量を用い，それをグループを表す ASD と考える．第 2
節で連続変数とカテゴリー変数が混在する多次元データにおける ASD を定義し，その意味を考える．第 3 節では ASD 間の非類似度をカイ 2 乗統計量を用いて表す手法を提案する．第 4

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用

281

節では，提案した手法を表 1 で示される東京都区部における不動産情報データに適用し，23 区ごとのデータを 23 個の ASD として考え，その相互間の非類似度を算出して階層的クラスタリ
ングや多次元尺度構成法を行った結果について考察する．第 5 節では，本研究に関するまとめについて述べる．
2.

集約的シンボリックデータ

ここでは p 個の連続変数および q 個のカテゴリー変数からなる n 個の個体データが与えられている場合を考える．それらの個体データは G 個の自然な意味のあるグループに分かれると仮定する．グループ g に含まれる個体データの数を n(g) とし，グループ g の個体 i の連続変数(g)l の値を xil と書く．カテゴリー変数 k は mk 個のカテゴリー値を取るとすると，それは mk
個のダミー変数で表すことができる．すなわちグループ g の個体 i のカテゴリー変数 k が j 番
は 1，それ以外は 0 とする．するとグループ g のすべての目のカテゴリー値を取るとき x(g,k)
ij
個体データは

⎡

(2.1)

(g)

x11
⎢
..
(g)
X =⎢
.
⎣
(g)
xn(g) 1

···
···

(g)

x1p
..
.
(g)
xn(g) p

(g,1)

(g,1)

···

x11
..
.
(g,1)
xn(g) 1

(g,q)

x1m1
..
.
(g,1)
xn(g) m

···

x11
..
.
(g,q)
xn(g) 1

···

1

···
···

(g,q)

x1mq
..
.
(g,q)
xn(g) m

⎤
⎥
⎥
⎦

q

と表すことができる．X (g) の最初の p 列からなる部分行列 X1(g) は p 個の連続変数に対応する．
また部分行列

⎡

(2.2)

(g,k)

x11
..
⎢
(g,k)
X2
=⎣
.
(g,k)
xn(g) 1

···
···

(g,k)

x1mk
..
.
(g,k)
xn(g) m⎤⎥⎦kはカテゴリー変数 k のダミー変数からなる行列であり，q 個のカテゴリー変数に対応するのは
(g)
(g,1)
(g,q)
(g)
(g)
X2 = [X2· · · X2 ] である．これらを用いると X (g) = [X1 X2 ] である．
(g)(g)
個体数 n が非常に大きいとき，X を保持し続けるのは記憶領域の制約などのために困難を伴う．またそのような状況で X (g) をそのまま用いた詳細な計算は長い時間がかかり，データの全体像を捉えるという面での意義も乏しい．そこでこのグループを表すいくつかの記述統計量を考え，それを用いてグループに対する統計的推論を行うことにする．
ひとつの連続変数データを集約する簡単な方法は標本平均と標本分散を用いることである．
さらに詳しい情報として尖度，歪度を用いることもある．複数の連続変数に関しては標本相関係数も用いられる．これらはモーメントを表す記述統計量である．各グループにおけるデータの情報をモーメントに関する記述統計量で表す場合，低次のモーメントによる統計量だけでは多くの情報が抜け落ちてしまうし，高次のモーメントによる統計量を多く用いると，情報の脱落は少なくなるものの保持すべき値が多くなり扱いが難しくなる．そこで，われわれは，2 次
以下のモーメントにより表される記述統計量の集合を考え，これを集約的シンボリックデータと呼ぶことにする．
（Aggregated symbolic data，ASD）
まず，重要な情報としてグループ g の個体数 n(g) が考えられる．これはデータの値の 0 乗（=1）の合計と考えると 0 次のモーメントと言える．
次に 1 次のモーメントは各変数ごとの和に対応する．これは X (g) に関しては
(2.3)

(g)

(g,1)

1n(g) X (g) /n(g) = [x̄1 , . . . , x̄(g)p , p̂1(g,q), . . . , p̂(g,1)
m1 , . . . , p̂1, . . . , p̂(g,q)
mq ]

統計数理

282

第 66 巻 第 2 号 2018と同じ情報である．ここで 1n(g) はすべての成分が 1 である n(g) 次元横ベクトルを表す．明らかにこれらは各連続変数の平均および各カテゴリー変数の周辺分布のパラメータである．
（2.1）
式より
さらに 2 次のモーメントは



(2.4)

X

(g)

X

(g)

=

(g)

X1

(g)

X2

(g)

X1

(g)

X1

(g)

X1

(g)

X2



(g)

X2

≡

(g)

X2

(g)

S11

(g)

S21

(g)

S12

(g)

S22



(g)
を考えることになる．S11
は連続変数データの積和行列である．X2(g,k1 ) X2(g,k2 ) = S (g,k1 k2 ) が(g)
はそれら
カテゴリー変数 k1 とカテゴリー変数 k2 に対する分割表となることを考えると，S22(g)を部分行列とする Burt 行列である．S12 は連続変数とカテゴリー変数に関する 2 次のモーメ

ントを表す p × (m1 + · · · + mq ) 行列であるが，その第 k 部分行列 X1(g) X2(g,k) の (l, j) 成分はカ
テゴリー変数 k の値がカテゴリー値 j を取る個体における連続変数 l の合計である．
われわれはこれらの記述統計量で各グループの特徴が表されていると考え，これを用いてグループの関係を調べることにする．

3.

ASD 間の非類似度

ここで考えているデータは連続変数とカテゴリー変数の両方を含む．これらを統一的に考える方法の一つとして，連続変数をカテゴリー変数に変換する．そして 2 つのグループのカテゴ
リー変数の分布の差を考えるためにカイ 2 乗統計量を用いることにする．
3.1 2 つのカテゴリー変数の組み合わせに関する非類似度
まず，2 つの ASD g1 , g2 における異なる 2 つのカテゴリー変数 (k1 , k2 ) の組により形成
1 ,k1 k2 )]，される分割表の間の非類似度を考える．2 つのグループの分割表は S (g1 ,k1 k2 ) = [s(gj1 j2
(g2 ,k1 k2 )(g2 ,k1 k2 )S
= [sj1 j2] であり，ja = 1, . . . , mka (a = 1, 2) である．2 つの ASD が同じ性質を持つ場合，それぞれの分割表の各セルの出現確率は等しい．この仮定が正しい場合，分割表のセル (j1 , j2 ) の出現個数の期待値の推定量は(g1 ,k1 k2 )(g2 ,k1 k2 )+ sj1 j2
sj j
(g ,k k )E(sj1aj2 1 2 ) = 1 2 (g )1n
+ n(g2 )n(ga ) (a = 1, 2)と考えられる．一方，2 つの ASD が異なる場合にはそれぞれの分割表の各セルにおける出現
a ,k1 ,k2 )と E(sj(g1aj2,k1 k2 ) ) よりカイ 2 乗統計量を求めることができ，その総和を非類似度
個数 s(gj1 j2
と考える．この場合，E(sj(g1aj2,k1 k2 ) ) が分母になるので，これが 0 になるときは無視しなくては(g ,k k )1 ,k1 k2 )= sj12j2 1 2 = 0 となるセルは無視してカイ 2 乗統計量を考える．
ならない．すなわち s(g
j1 j2
これより

2

(3.1)

χ2(g1 g2 ,k1 k2 ) =mk1 mk2

a=1 j1 =1 j2 =1(g ,k k )(g ,k k )sj 1j 1 2 +sj 2j 1 2 ≥1
1 2
1 2

(g ,k ,k2 )sj1aj2 1

(g ,k k )− E(sj1aj2 1 2 )2(g ,k k )E(sj1aj2 1 2 )を (k1 , k2 ) の組による分割表における ASD 間の非類似度と考えることができる．これを k1 < k2
なる全ての (k1 , k2 ) に関して考え，その総和をとったものが Burt 行列における ASD 間の非類似度

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用
q−1

q(g g )

χ2(g1 g2 ,k1 k2 )

1 2
d(cc)
=

(3.2)

283

k1 =1 k2 =k1 +1と考えられる．なお，Burt 行列の対角成分の違いは考えていないことに注意する．それは Burt
行列の対角成分は各カテゴリー変数の周辺分布を表し，その情報は Burt 行列の非対角成分にある分割表の列和，行和として含まれているからである．
3.2 2 つの連続変数の組み合わせに関する非類似度
2 つの連続変数 l1 , l2 のデータは 2 次元平面上にプロットできる．その平面を格子状に分割し，それぞれの格子をカテゴリー値と考える．2 次元平面 (−∞, ∞) × (−∞, ∞) を各次元ごとに N 個ずつの区間に分割するとし，その各区間の境界値 h(l)j (j = 0, 1, . . . , N ) について
(l)

(l)

(l)

(l)

−∞ = h0 < h1 < · · · < hN −1 < hN = ∞とする．われわれは ASD のみを保持していると考えるので，各格子内に何個のデータがある
かの情報は持っていない．持っているのはグループ g に含まれる個体数 n(g) および標本平均(g)µ̂l1 l2 =

 (g)
μ̂l1

(g)
μ̂l2

と標本分散共分散行列 Σ̂(g)l1 l2 =

 (g)

(g)

σ̂l1 l1 σ̂l1 l2(g)(g)
σ̂l2 l1 σ̂l2 l2である．したがって，これらを用いて各セルの個体数を推定することを考える．
これだけの情報からだと，連続変数 l1 , l2 の実現値 xl1 l2 = [xl1 , xl2 ] の同時分布は標本平均が(g)(g)µ̂l1 l2 ，標本分散共分散行列が Σ̂l1 l2 である 2 変量正規分布に従うと仮定するのが自然である．
なお，連続変数が従う確率分布について非対称性などのより複雑な状況を考えるには，3 次以
上のモーメントにあたる情報が必要となるので，ここでの ASD を用いる限り考慮することはできない．たとえば，各個体の連続変数の値の分布の非対称性が強い場合は，変数変換を行うなどして非対称性を可能な限り弱め，対称性が担保されているとみなせる変数にした方がよ
い．そのような変換により，ある程度は外れ値の影響を軽減することができる．
(g)
この 2 変量正規分布の密度関数を ϕ(xl1 l2 |µ̂(g)l1 l2 , Σ̂l1 l2 ) と書くと，ASD g において領域である
(l1 )
(l2 )
(l2 )
1)
カテゴリー [h(lj1 , hj1 +1 ] × [hj2 , hj2 +1 ] における出現確率は

(g,l l )p̂j1 j21 2 =

(l )

(l )

(l )

(l )

1

1

2

2

[hj 1 ,hj 1+1 ]×[hj 2 ,hj 2+1 ]

(g)

(g)



ϕ xl1 l2 | µ̂l1 l2 , Σ̂l1 l2 dxl1 l2と な る ．こ れ よ り ，異 な る 2 つ の 連 続 変 数 (l1 , l2 ) の 組 に よ る N ×N 分 割 表 を そ れ ぞ れ(g ,l l )(g ,l l )S (g1 ,l1 ,l2 )  [p̂j11j2 1 2 n(g1 ) ]，S (g2 ,l1 ,l2 )  [p̂j12j2 1 2 n(g2 ) ] と近似できる．
2 つの ASD が同じ性質を持つ場合，それぞれの分割表の各セルの出現確率は等しいと仮定での出現個数の期待値の推定量はきる．これが正しい場合，セル（j1 , j2 ）(g1 ,l1 l2 )p̂j j(g ,l l )E(sj1aj2 1 2 ) = 1 2(g ,l l )n(g1 ) + p̂j12j2 1 2 n(g2 )n(g1 ) + n(g2 )n(ga ) (a = 1, 2)と書ける．カテゴリー変数同士の組み合わせの場合と同様の基準でカイ 2 乗統計量を考える場合，E(sj(g1aj2,l1 l2 ) ) で割ることになるので，これが 0 もしくは極端に小さな値となるときは無視
しなくてはならない．そこで，p̂j(g11j2,l1 l2 ) n(g1 ) + p̂j(g12j2,l1 l2 ) n(g2 ) < 1 となるセルは無視してカイ 2乗統計量を考える．これより

284

(3.3)

統計数理

第 66 巻 第 2 号 2018

2

N

N


(g ,l l )(g ,l l )p̂j1aj2 1 2 n(ga ) − E(sj1aj2 1 2 )χ2(g1 g2 ,l1 l2 ) 2(g ,l l )E(sj1aj2 1 2 )a=1 j1 =1 j2 =1(g ,l l )(g ,l l )p̂j 1j 1 2 n(g1 ) +p̂j 2j 1 2 n(g2 ) ≥1
1 2
1 2を非類似度と考えることができる．これを l1 < l2 なる全ての (l1 , l2 ) に関して考え，その総和をとったものが連続変数に関する ASD 間の非類似度
p−1

p(g g )

χ2(g1 g2 ,l1 l2 )

1 2
d(rr)
=

(3.4)

l1 =1 l2 =l1 +1と考えられる．
残った問題は各区間の境界値 h(l)j (j = 0, 1, . . . , N ) の定め方である．非類似度はすべてのグ
ループのペアに対して計算しなければならないので，統一性のためにもこの境界値は同一のものを利用するのがよい．そこでわれわれはすべてのデータに関する連続変数 l に対する平均と分散を考え，それを用いた正規分布の確率が同じになるように境界値を取ることにする．すな
わち分割数 N に関して
G
1
(g)
μ̂l =
n(g) μ̂lng=1

σ̂ll =

1nG(g)n(g) σ̂ll +
g=1

1
n

G
(g)

n(g) (μ̂l− μ̂l )2g=1を用いた 1 次元正規分布 ϕ(xl |μ̂l , σ̂ll ) が各区間でそれぞれ 1/N ずつの確率を持つように h(l)
j を
−1
=
μ̂
+
σ̂
Φ
(j/N
)
となるように取る．ただし
Φ(x)
は標準正規分布の定める．すなわち h(l)llllj分布関数である。N の値については，小さくしすぎると分布の特徴がとらえられず，一方で大きくしすぎると各セル内のデータ個数が少なくなり，セル数の増加に伴い計算時間の増大につながる．そのため，適当な範囲内でいくつかの場合に対する結果を求め，その中で適当なものを選べばよい．
3.3 連続変数とカテゴリー変数の組み合わせの場合
連続変数 l とカテゴリー変数 k のペアを考える．連続変数に関しては前節と同様にカテゴ(g)（2.4）式の S12に対応するが，この中にはカリー化する．このペアの場合の 2 次モーメントはテゴリー変数 k の各カテゴリー値が j2 となる個体における連続変数 l の標本分散に対応する値は含まれない．そのため，この場合の標本分散に関しては全て同一の値，すなわち σ̂ll(g) を使用せざるを得ないことに注意する．
ここで保持する情報からだと，カテゴリー変数 k のカテゴリー値が j2 である場合の連続変(g)の分布は，標本平均が μ̂(g,k)
数 l の実現値 x(g,k)
j2 l
j2 l ，標本分散が σ̂ll である 1 変量正規分布に従(g,k) (g,k)
うと仮定するのが自然であり，その密度関数を ϕ(xj2 l |μ̂j2 l , σ̂ll(g) ) と書く．すると ASD g に(l)
おいて区間であるカテゴリー [h(l)j1 , hj1 +1 ] における出現確率は(l)(g,lk)
p̂j1 j2 =

hj +1
1

(l)
hj
1



(g,k)




(g,k)

(g)

ϕ xj2 l  μ̂j2 l , σ̂ll



(g,k)

dxj2 lとなる．ただし，h(l)j1 は前節と同じものである．これより，連続変数とカテゴリー変数 (l, k) の組による分割表をそれぞれ S (g1 ,lk)  [p̂j(g11j2,lk) nj(g21 ,k) ]，S (g2 ,lk)  [p̂j(g12j2,lk) nj(g22 ,k) ] で近似できる．

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用

285

2 つの ASD が同じ性質を持つ場合，それぞれの分割表の各セルの出現確率は等しい．これが正しい場合，セル (j1 , j2 ) の出現個数の期待値の推定量は(g1 ,lk)p̂j j(g ,lk)E(sj1aj2 ) = 1 2(g ,k)(g ,lk)nj21+ p̂j12j2

nj21+ nj22(g ,k)(g ,k)(g ,k)

n j2 2(g ,k)nj2a


と考えられる．前の 2 つの節と同様に，カイ 2 乗統計量を考える場合，E(sj(g1aj2,lk) ) で割ることになるので，これが 0 もしくは極端に小さな値となるときは無視しなくてはならない．カテゴ
リー変数同士の組み合わせの場合と同様の基準で考えるため，nj(g21 ,k) と nj(g22 ,k) のうち少なくとも 1 つが 0 である場合，およびそれらがいずれも正であっても p̂j(g11j2,lk) nj(g21 ,k) + p̂j(g12j2,lk) nj(g22 ,k) < 1となる場合のセルは無視してカイ 2 乗統計量を考える．これより
N

2

(3.5)

(g ,lk)p̂j1aj2

mkχ2(g1 g2 ,lk) (g ,lk)p̂j 1j

1 2(g ,lk)nj2a

(g ,lk)− E(sj1aj2 )2(g ,lk)E(sj1aj2 )a=1 j1 =1 j2 =1(g ,k)(g ,lk) (g2 ,k)+p̂j 2j
nj
≥1,
2
1 2
2
(g1 ,k) (g2 ,k)
n
n
>0
j2
j2

nj 1

を非類似度と考えることができる．これを全ての (l, k) に関して考え，その総和をとったもの
が 2 つのグループの連続変数とカテゴリー変数間の非類似度
pq(g g )

χ2(g1 g2 ,lk)

1 2
d(rc)
=

(3.6)

l=1 k=1と考えられる．
3.4 すべての変数を用いた非類似度
，
（3.4）
，
（3.6）式は全てカテゴリー
連続変数をカテゴリー変数化して考えることにより，（3.2）
変数同士の組み合わせによる非類似度と考えられるので(g g )(g g )(g g )

1 2
1 2
1 2
d(g1 g2 ) = d(cc)+ d(rr)+ d(rc)

が ASD 間の全体のカイ 2 乗統計量に基づく非類似度となる．これは X (g1 ) X (g1 ) と X (g2 ) X (g2 )の間の非類似度を計算したことになる．これらの行列はいずれも対称行列であり，対角成分よりも上側に位置する成分だけを考えていることに注意する．また，対角成分の情報は，対角成分よりも上側に位置する成分にほとんどが含まれていることより，陽には計算されていないことも注意しなければならない．
4.

不動産情報データへの適用

ここでは，各変数において欠測値が含まれる物件，書き間違いおよび外れ値と考えられる値が含まれる物件，他の変数への従属性が高いと考えられる変数をあらかじめ削除した後の東京都区部の不動産情報データにわれわれが提案した手法を適用し解析する．表 1 はそのデータの一部であるが，全体では 2 個の連続変数および 79 個のカテゴリー変数からなる，合わせて約79 万件の賃貸物件情報である．なお，変数のうち「管理費」「礼金月数」「敷金月数」
については元の数値がいずれも賃料を基準とする月数で表されているが，値が 0 である物件がいずれの変数でも全体の 14% 以上存在し，連続変数として考えるための適切な変数変換が難しいことか

統計数理

286

第 66 巻 第 2 号 2018（a）都区部全体（b）港区（c）足立区
図 1．賃料のヒストグラム．

ら，ここでは各変数を少数のカテゴリー値をもつカテゴリー変数として考える．
このデータにおける 2 個の連続変数「賃料」および「面積」に関し，例として都区部全体，港区，（a）〜（c）および図 2（a）〜（c）に示す．
足立区それぞれの場合におけるヒストグラムを図 1
図 1 および図 2 より，両変数の値の分布には少なからず非対称性がみられる．そこで，このような各連続変数値に対し，各変数ごとに対数をとることを考える．対数変換後のヒストグラ（a）〜（c）および図 4
（a）
〜（c）
に示す．
ムの例を図 3図 3 および図 4 より，対数変換後の各連続変数の値は，元の値の場合よりも非対称性が弱くなっている．そこで，以下ではこれらの値を連続変数の値として ASD を考えるものとする．
データを探索的に解析するにあたり，「区」というカテゴリー変数により各区ごとに 23 のグ
ループに分けて考え，その ASD 間の非類似度を，連続変数をカテゴリー変数化するための分
割数 N が 3 ∼ 9 の場合においてそれぞれ計算した．そして，それらを用いてまず階層的クラス
タリングを行う．ここでは最長距離法（Defays, 1977），最短距離法（Sibson, 1973），群平均法の 3 種類の手法を用いる．なお，連続変数を含む部分の非類似度に（Sokal and Michener, 1958）
関しては N の値により異なる値が得られることに注意する．
階層的クラスタリングにおいては，連続変数を含む部分のみの非類似度を用いた場合，全ての変数の組み合わせの非類似度を用いた場合についてのいずれでも，N = 4 以下では N の値
により大きな変化があったのに対し，N = 5 以上ではどの N についても手法ごとの結果に大きな変化がみられなかった．そのため，ここでは N = 5 の場合を主として考えることにする．

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用

287（a）都区部全体（b）港区（c）足立区
図 2．面積のヒストグラム．

この場合の，全ての変数の組み合わせの非類似度にそれぞれの手法を適用した結果が図 5（a）〜（c）である．
次に，N = 5 の場合の全ての変数の組み合わせの非類似度に多次元尺度構成法を適用する．
その結果を図 6 に示す．1 ≤ g1 < g2 ≤ 23 に対し，図 6 における各 ASD 間のユークリッド距
離 dˆ(g1 g2 ) と元々の非類似度行列における非類似度 d(g1 g2 ) の相関係数の 2 乗値（決定係数）は
R2 = 0.996 となり，非類似度行列による布置が高い精度で保持されていることがわかる．
階層的クラスタリングにおいてはクラスターをまとめるための基準により手法が特徴づけらため，図 5（a）〜（c）にも示されている通り，デンドログラム全れる（Lance and Williams, 1966）
体の形状については手法により多少の差異が見られる部分があるものの，どの手法でも共通する組み合わせが複数存在し，それらはそれぞれクラスターとみなせる．また図 6 における布置の全体的な形状からいくつかのクラスターが読み取れる．これらを合わせて考えると，概ね
（2）
足立区，
（3）
千代田区，新宿区，文京区，台東区，墨田区，江東区，（1）中央区および港区，目黒区，大田区，豊島区および荒川区，（5）世田谷区，中野区，杉並
品川区および渋谷区，（4）区，北区，板橋区，練馬区，葛飾区および江戸川区，がそれぞれクラスターとみなせる．
およびクラスター（2）は他のクラスターと特に大きく異なる特徴があると考えクラスター（1）られることから，後に詳細に考察する．それら以外のクラスターについて，クラスター（3）は東京都区部の中心から外側に向けて伸びる各鉄道路線の起点駅のうち特に乗降客の多い各駅（新
宿駅，渋谷駅，上野駅など）が含まれる区およびその隣接区域に位置する各区が集まっている．

統計数理

288

第 66 巻 第 2 号 2018（a）都区部全体（b）港区（c）足立区
図 3．賃料の対数のヒストグラム．

ただし，このクラスターには西武池袋線や東武東上線の起点駅として乗降客の多い池袋駅が含まれる豊島区が含まれていないのが興味深い．クラスター（5）は各区の地理的な位置より，東京都区部の中での外縁部およびその隣接区域に位置する区が集まっている．クラスター（4）はとクラスター（5）の中間に位置する区の集合と考えられる．
クラスター（3）次に，中央区，港区，足立区の 3 区を選び，この不動産情報データにおけるいくつかの特徴的な 2 変数の組に関して考察する．
まず，カテゴリー変数のうち物件種別および構造種別の 2 つの組による分割表の各区ごとの（a）〜（c）である．これは物件数が多い組み合わせほど濃い色となる違いを図示したものが図 7ように表示した，いわゆるヒートマップである．また（b）（c）それぞれの図の下に，この 2 つの変数の組に関して中央区を基準とした各区への非類似度を記す．
においては，カテゴリー値 1 がマンション，カテゴリー
物件種別（当初のカテゴリー数は 5）
値 2 がアパートであり，それ以外の種別を全てその他としてカテゴリー値 3 にまとめた．構造においては，カテゴリー値 1 が鉄筋コンクリート造り，カテゴ
種別（当初のカテゴリー数は 10）
リー値 2 が鉄骨鉄筋造りなど，カテゴリー値 3 が鉄骨造りなど，カテゴリー値 4 が軽量鉄骨造
りなど，カテゴリー値 5 が木造，カテゴリー値 6 がその他の 6 つのカテゴリーに集約した．この図より，中央区と港区における物件は鉄筋コンクリート造りもしくは鉄骨鉄筋造りなどのマンションが大半を占め，類似性が高いことがわかる．また，区の物件全体に占める鉄筋コンク
リート造りの物件の割合は港区の方が中央区よりも高いことが読み取れる．一方で，足立区は

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用

289（a）都区部全体（b）港区（c）足立区
図 4．面積の対数のヒストグラム．

鉄筋コンクリート造りもしくは鉄骨鉄筋造りなどのマンションの割合が中央区や港区と比べて低く，鉄骨造りのマンション，軽量鉄骨造りのアパート，木造アパートがそれぞれ一定の割合を占めている．すなわち，足立区においては物件の状況が中央区や港区とは大きく異なることがこの組み合わせからわかる．
さらに，中央区を基準とした各区への非類似度は，中央区と港区との間の値よりも中央区と足立区との間の値の方が極めて大きくなっており，足立区が中央区や港区と異なる状況に対応していると考えられる．
次に，連続変数に関して考える．表 2 は面積および賃料それぞれの対数に関し，各区ごとの各変数の平均および標準偏差，2 つの変数の相関係数，およびこの 2 つの変数の組に関して中央区を基準とした各区への非類似度をまとめたものである．これより，各変数の平均値は中央区および港区が足立区より高く，2 つの変数の相関係数も中央区と港区において足立区よりも大きいことがわかる．そして，この 2 つの変数に関する非類似度は，中央区と港区との間の値
よりも中央区と足立区との間の値の方が極めて大きくなっており，ここでも足立区が中央区や港区と異なる状況に対応していると考えられる．
「物件
さらに，連続変数とカテゴリー変数の組に関しても考察する．表 3 はカテゴリー変数
種別」における各カテゴリー値ごとの件数と賃料の対数の平均，およびこの 2 つの変数の組に関して中央区を基準とした各区への非類似度を示したものである．この表より，3 区いずれにおいてもマンションの物件数の比率が高く，マンションの賃料の対数の平均が各区ごとの全体

統計数理

290

（a）最長距離法

第 66 巻 第 2 号 2018（b）最短距離法（c）群平均法

図 5．不動産情報データの集約的シンボリックデータの階層的クラスタリング（N = 5）．

図 6．不動産情報データの集約的シンボリックデータの多次元尺度構成法の布置（N = 5）．

の物件の賃料の対数の平均（表 2 参照）に近くなっている．各カテゴリー値ごとの賃料の対数の平均に注目すると，どのカテゴリーでも港区および中央区の値が足立区よりも高くなっている．そして，この 2 つの変数に関する非類似度も，中央区と港区との間の値よりも中央区と足立区との間の値の方が極めて大きくなっており，ここでも足立区が中央区や港区と異なる状況

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用(a) 中央区(b) 港区

291(c) 足立区

図 7．物件種別と構造種別による分割表のヒートマップおよび中央区を基準とした非類似度（k1 ：物件種別，k2 ：構造種別，g1 ：中央区，g2 ：港区，g3 ：足立区）．
表 2．賃料と面積それぞれの対数に関する各区ごとの平均および分散，各区ごとの相関係数，
および中央区を基準とした非類似度（N = 5）（l1 ：賃料の対数，l2 ：面積の対数，g1 ：中央区，g2 ：港区，g3 ：足立区）．

表 3．物件種別の各カテゴリー値ごとの件数，賃料の対数の平均（単位：万円）および中央区を（l：賃料の対数の平均，k：物件種別，g1 ：中央区，g2 ：基準とした非類似度（N = 5）
港区，g3 ：足立区）．

に対応していると考えられる．
なお，本論文で解析した不動産情報データについては，本節の最初に述べた通り，連続変数(g1 g2 )の数に対してカテゴリー変数の数が圧倒的に多いため，どの g1 および g2 についても，d(rr)(g1 g2 )(g1 g2 )および d(rc)よりも d(cc)の値の方がずっと大きくなる．すなわち，カテゴリー変数同士の

統計数理

292

第 66 巻 第 2 号 2018

みの非類似度から導出される構造が大きく影響している．
5.

おわりに

本論文では，連続変数とカテゴリー変数が混在する多次元データ集合がいくつかのグループに分かれていると考え得る場合に，各グループを単位とする解析手法として集約的シンボリッ
クデータ（ASD）解析法を提案し，その適用例として東京都区部の不動産情報データを解析した．そして，各 ASD 間の非類似度をカイ 2 乗統計量を用いて表す手法を提案し，これに対する階層的クラスタリングおよび多次元尺度構成法を，不動産情報データにおける各区ごとのグループを ASD と考えて適用し，いくつかの特徴的なクラスター構造を発見した．また特徴的ないくつの区に関して各変数の統計量および区の間の非類似度を計算し，区の間の差異について考察した．
連続変数とカテゴリー変数が混在する多次元データ場合については，連続変数を各グループ
共通の少数の領域に離散化して考えることで，連続変数を含む組み合わせについても近似した
分割表の組み合わせからなる Burt 行列を各 ASD ごとに考えることができ，全ての変数の組み合わせをカテゴリー変数同士の組み合わせとして統一的に考えることが可能になる．
異なる ASD 間の全体の非類似度については，データ集合の変数の数が多くなればなるほど大きな値となるため，冗長な変数が存在していると望ましい非類似度の値よりも大きな値が算出される．そのため，非類似度を計算するための適切な変数選択の手法の開発が今後の課題と考えられる．
謝辞

本研究は，統計数理研究所共同研究（課題番号 27-共研-4204 および 28-共研-4105，研究代表者 清水信夫），および科学研究費補助金基盤研究（C）（課題番号 26330054，研究代表者 中野純
司）
より支援を受けました．本論文で使用した不動産情報データは，（株）リクルート住まいカ
ンパニーより提供を受けました．本論文の 2 名の査読者からは，内容に関して非常に有益なコメントを多く頂きました．深く感謝致します．

参

考

文

献

Billard, L. and Diday, E. (2006). Symbolic Data Analysis: Conceptual Statistics and Data Mining, John
Wiley & Sons Ltd, Chichester, UK.
Bock, H.-H. and Diday, E. (2000). Analysis of Symbolic Data: Exploratory Methods for Extracting
Statistical Information from Complex Data, Springer-Verlag, Berlin.
Defays, D. (1977). An eﬃcient algorithm for a complete link method, The Computer Journal, 20(4),364–366, doi:10.1093/comjnl/20.4.364.
Denœux, T. and Masson, M. (2000). Multidimensional scaling of interval-valued dissimilarity data,
Pattern Recognition Letters, 21(1), 83–92.
Diday, E. (1988). The symbolic approach in clustering and related methods of data analysis: The basic
choices, In: Bock, H.-H. (ed.), Classification and Related Methods of Data Analysis, Proceedingsof IFCS-87, Aachen, July 1987, North-Holland, Amsterdam, 673–684.
Diday, E. and Noirhomme-Fraiture, M. (2008). Symbolic Data Analysis and the SODAS Software, John
Wiley & Sons Ltd., Chichester, UK.
Groenen, P. J. F., Winsberg, S., Rodriguez, O. and Diday, E. (2006). I-Scal: Multidimensional scalingof interval dissimilarities, Computational Statistics and Data Analysis, 51(1), 360–378.

集約的シンボリックデータのカイ 2 乗統計量を用いた非類似度とその不動産情報データへの適用

293

Irpino, A. and Verde, R. (2006). A new Wasserstein based distance for the hierarchical clustering of
histogram symbolic data, Data Science and Classification, 185–192, Springer, Berlin.
Lance, G. N. and Williams, W. T. (1966). Computer programs for hierarchical polythetic classiﬁcation(“similarity analyses”), The Computer Journal, 9(1), 60–64.
Sibson, R. (1973). SLINK: An optimally eﬃcient algorithm for the single-link cluster method, The
Computer Journal, 16(1), 30–34, doi:10.1093/comjnl/16.1.30.
Sokal, R. R. and Michener, C. D. (1958). A statistical method for evaluating systematic relationships,
University of Kansas Science Bulletin, 38, 1409–1438.
Verde, R. (2004). Clustering methods in symbolic data analysis, Data Science and Classification, 299–
317, Springer, Berlin.

294

Proceedings of the Institute of Statistical Mathematics Vol. 66, No. 2, 279–294 (2018)

Dissimilarity between Aggregated Symbolic Data Using Chi-squared
Statistics and Its Application to Real Estate Data
Nobuo Shimizu1 , Junji Nakano1 and Yoshikazu Yamamoto2
1 Institute of the Statistical Mathemetics

2 Faculty of Science and Engineering, Tokushima Bunri University

In recent service science research, we often have huge amount of individual data withboth continuous and categorical variables. These data sets can sometimes be divided intorather small number of naturally defined groups. In such situations, we are interested
in inference and analysis for these groups, not for individual data. For describing thesegroups, we consider a set of descriptive statistics, and call it “aggregated symbolic data”(ASD). We propose to use up to second moments descriptive statistics for both continuous and categorical variables as ASD, and define a dissimilarity as the sum of chi-squared
statistics among all variables including continuous variables. We apply our method toreal estate data in Tokyo metropolitan area. We consider 23 cities in Tokyo as ASD andcalculate dissimilarity among 23 ASDs, and investigate some characteristics relationships
among ASDs by using hierarchical clustering and multidimensional scaling.

Key words: Big data, Burt matrix, chi-square statistics, hierarchical clustering, multidimensional scaling.