VOL. J97-D NO. 8
AUGUST 2014
本PDFの扱いは、電子情報通信学会著作権規定に従うこと。
なお、本PDFは研究教育目的（非営利）に限り、著者が第三者に直接配布することができる。著者以外からの配布は禁じられている。

論

文

ロバスト高速オンライン多変量ノンパラメトリック密度推定法
中村圭宏† a)

長谷川修†† b)

Robust Fast Online Multivariate Non-Parametric Density Estimation
Yoshihiro NAKAMURA†a) and Osamu HASEGAWA††b)

あらまし 近年，センサーやネットワーク技術の発展に伴って，実環境から大量のデータが継続的にリアルタ
イムに生成されるようになってきている．どのようなデータが得られるかあらかじめ仮定するのが困難な場合が多く，また実環境のデータは少なからずノイズを含んでいる．確率密度推定は機械学習において重要なタスクであるが，このようなビッグデータに対して行うのは困難である．そこで，本研究では実環境の大量のデータに対応するために，高いロバスト性を有する高速オンライン多変量ノンパラメトリック密度推定法を提案する．提案
手法はカーネル密度推定法と自己増殖型ニューラルネットワーク（SOINN）を拡張した手法である．SOINN は
データのプロトタイプをノードとするネットワークとしてデータを学習するクラスタリング手法であるが，そのネットワークに対して新たに統計的な意味付けをし拡張することで確率密度推定を可能にした．提案手法は評価実験において，学習時間，ロバスト性に関して，既存手法より高い性能を示し，推定精度に関しても，同等またはそれ以上の性能を示すことができた．
キーワード

カーネル密度関数，オンライン学習，SOINN，ビッグデータ

タ量（速度）は非常に大きい．

1. ま え が き•

Variety：データの種類の多様性．センサーデー

近年，センサーやネットワーク技術の発展に伴って，タなどの環境から取り入れたものや，ライフログ

大量のデータが生成されるようになってきている．こや購買データ，株価などの人間の活動において生のようなデータは，「ビッグデータ」と呼ばれ，これら成されるデータ，Web 上に生成されたテキストを解析し活用することに対して関心，期待が高まって

データや画像データなど多岐にわたるデータがいる [1]〜[4]．

生成されている．

ビックデータの特徴として，以下の 3 点を Laney [5]ビッグデータを処理する上で考慮すべき特徴である．

が挙げている：••これらは頭文字を取って「3Vs」として知られており，Volume：データ量．ペタバイト級にもおよぶ膨

データ解析や機械学習において確率密度推定は重要

大なデータが生成されるようになってきており，なタスクである．しかし，このようなビッグデータにまた，その量は増加し続けている．

対して，確率密度推定を行うことは既存手法には困難

Velocity：データが生成される速度．膨大な数のである．なぜなら，次の三つの条件を満たす必要があ

センサーから継続的にリアルタイムにデータが生ると考えられるからである．

成されるため，単位時間あたりに生成されるデー

まず第 1 に，オンライン学習手法である点である．
ビックデータの本質はデータの生成される速度 Veloc-†††

東京工業大学大学院総合理工学研究科知能システム科学専攻，横浜市

ity にある．データが高速に大量に生成されているた

Department of Computational Intelligence and System Sci-

め，結果的にデータの総量 Volume が莫大になるので

ence, Tokyo Institute of Technology, Yokohama-shi, 226–

ある．そのため，ビックデータに対応するには継続的

8503 Japanにリアルタイムに大量に生成されるデータを処理しな

東京工業大学像情報工学研究所，横浜市
Imaging Science and Engineering Laboratory, Tokyo Insti-

くてはならず，バッチ学習では対応できない．なぜなtute of Technology, Yokohama-shi, 226–8503 Japan

ら，学習が終わる前に新たなデータが生成されてしまa) E-mail: nakamura.y.ba@m.titech.ac.jpb) E-mail: hasegawa.o.aa@m.titech.ac.jp1284

電子情報通信学会論文誌

い，またデータ量が増えるに従って計算量が大幅に増

c 一般社団法人電子情報通信学会 2014
D Vol. J97–D No. 8 pp. 1284–1296 論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法

加してしまうため，学習が間に合わないからである．

無関係であり，環境から発生したと考えられるノ

したがって，生成されるデータを逐次的に学習できる

イズ，

高速なオンライン学習手法である必要がある．

(2) クラス内変動，分散，または揺らぎなどの，現象

第 2 に，ノンパラメトリックな手法である点であに内在し確率分布として捉えるべきノイズ．

る．ビッグデータの解析の主な目的はデータマイニン

密度推定におけるロバスト性とは (1) のノイズを除去

グ・知識発見であり，多様な種類のデータを用いるとできる性質のことである [9]．

ともに，いかようなデータが取得できるかをあらかじ

本研究ではビックデータに対して確率密度推定を行め予測することが難しい場合が多い．したがって，観うために，上記の三つの条件を満たした確率密度推定

測データが既知のパラメトリックな分布から発生した法を提案する．

と仮定し，そのパラメータを推定することで密度関数を推定するパラメトリック密度推定法は適用できない．

2. 関 連 研 究

実際のデータの分布が仮定した分布と異なっていた場

代表的なノンパラメトリック密度推定法としてカーネ

合，大幅な推定精度の低下を招いてしまうためである．

ル密度推定法 (kernel density estimation：KDE) [10]パラメトリック密度推定法を用いることができるのは，が挙げられる．入力データ {xi |xi ∈ Rd , i = 1, 2, · · · ,よく知られた問題や専門家によって解析されモデルがN } に対する KDE による推定密度関数 p̂(x) は，立てられる種類のデータに対してだけである．未知の分布や既知のパラメトリックな分布としてモデル化できない分布に対して，パラメトリック密度推定法を用

1 
KH (x − xi )NNp̂(x) =

(1)i=1

いて密度関数を推定することは困難である．これに対と表せる．ここで K はカーネル関数と呼ばれ，次のして，ノンパラメトリック密度推定法は，分布を仮定

ガウスカーネルがよく用いられる：

せず，データのみから密度関数を推定するため，このような問題は生じない．
第 3 に，高いロバスト性を有する点である．データ
は実環境から取り入れられたものであり，ノイズを多く含むと考えられる．ノイズを多く含むデータを用いて学習した場合，ロバスト性のない手法では，ノイズ

KH (x − μ)


1
1
= 
exp − (x − μ)T H −1 (x − μ) .
2(2π)d |H |(2)
ここで H はバンド幅行列と呼ばれるパラメータである．

に対しても適合してしまい過学習を起こし汎化性能

このバンド幅行列は性能に大きく影響を与えるたの低下につながる．また．ノイズの分布を仮定するこめ，この最適化に関して多くの研究が行われているとでノイズに対処することも考えられるが，仮定したが [11]〜[16]，これらの手法はバッチ学習手法であり，ノイズの分布が実際のノイズの分布と異なっていた場

大規模データに対応できない．KDE では入力サンプル

合，著しい性能の低下を招いてしまう．人手でノイズ全てに対してカーネルを配置するため，サンプル数の増を除去することもできるが，大規模に高速に生成され加に伴い，時間計算量，空間計算量ともに増加してしまるデータにおいては非常に困難である．したがって，う．しかし，精度を出すためにはサンプル数が必要 [11]ノイズを含むデータからでも学習できる高いロバスト

であり，計算量と精度がトレードオフの関係にある．

性を有する手法が必要である．

計算量を抑えるために，サンプルの分布の複雑さに

ロバスト性に関しては様々な分野で研究されており，応じて適切にカーネルを配置したり，オンライン学習

各分野でロバスト性の定義が微妙に異なっている [6]〜手法を取り入れるなどの工夫が必要である．カーネ[8]．本論文においては，ロバスト性を，外れ値や欠損ルの数を設定する手法が幾つか提案されている [17]〜値などのノイズを含まない理想的な状態ではないデー[19]．オンライン化の方法としては，損失やゆう度のタを学習した場合でも，理想的なデータの場合と同様

最適化問題を考え勾配法を適用する [20] のが一般的だの学習結果が得られる性質と定義する．ノイズは 2 種が，KDE に対して適用した手法は探した限り見つか類に大別されると考えられる：らなかった．KDE はサンブルが増えるたびにモデル(1) 外れ値や異常値，拡散または出現頻度の低い分布が変化するため，オンラインに最適化を行うのが困難から発生したサンプルなどの，目的の分布とはなためではないかと思われる．クラスタリングなどを1285

電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8

用いることで KDE をオンライン化した手法は考案されている [21]〜[23]．しかし，これらはロバスト性と学習速度が十分とは言えない．
式 (1) が示すように，KDE では入力サンプル全て

ルの線形和として密度関数を推定する．

3. 1 Self-Organizing Incremental Neural
Network
3. 1. 1 SOINN の概要

に対してカーネルを配置し，その線形和で密度関数をSOINN は Growing Neural Gas (GNG) [32] を拡表現する．入力サンプルにノイズを含む場合，ノイズ

張したプロトタイプベースの教師なし学習手法でにもカーネルを配置するため，ノイズに対しても適合ある．SOINN には複数のバージョンのアルゴリズ

してしまい過学習を起こしてしまう．ノイズに対処す

ムが存在するが [25], [33], [34]，本論文では Adjusted

る手法としては，ノイズに対する事前知識を導入する

SOINN [34] を SOINN と呼称することとする．オリ手法が考案されている [24]．KDE をカーネル法としてジナルの SOINN [25] は 2 層構造であるのに対し，捉え，ロバストな推定を行うことでロバストな KDE

Adjusted SOINN は 1 層構造であり，またハイパーを実現している手法 [9] もあるが，この手法はバッチ

パラメータの数も少なく扱いやすいことから，近年の学習手法であり，大規模データには対応できない．

SOINN の応用研究では Adjusted SOINN が用いられることが多い [26]〜[30]．本論文でもこの理由から

3. 提 案 手 法

Adjusted SOINN を用いる．

提案手法は KDE と Self-Organizing Incremental

SOINN による学習の例を図 2 に示す．SOINN はオ

Neural Network (SOINN) [25] を拡張した手法であンライン学習及び追加学習が可能であり，複雑で非定常

る．SOINN は様々な応用が考えられてきたが [26]〜な分布からのサンプルも，ノイズを除去しつつ，入力サ[31]，基本的にはクラスタリング器として用いられて

ンプル数より大幅に少ないノード数のネットワーク構きた．しかし本論文では，SOINN のネットワーク構造として学習できる．ノード数やノードの初期位置を造がサンプルの分布の情報を保持していると新たに意事前に設定する必要がないため追加学習に適している．

味付けることで確率密度推定を行う．

SOINN ではネットワーク構造を用いて入力サンプ

提案手法の概略図を図 1 に示す．SOINN を拡張し

ル集合を学習する．オンラインに入力されるサンプル

たアルゴリズムを用い，サンプルのプロトタイプをに対して，ネットワーク上のノードが競合学習を行う．

ノードとするネットワークとしてサンプル集合を学習

それに伴って，ノードの挿入・削除・位置の更新及びし，そのネットワークの局所構造を利用して各ノード

エッジの挿入・削除が必要に応じて行われ，サンプルに配置するカーネルの形状と大きさを決定し，カーネ集合の分布を近似するようにネットワーク構造が自己

1286

図1

提案手法の概略図：(a) サンプルのプロトタイプがノードであるネットワークとして，サンプルをオンラインに学習．(b) ネットワークの局所構造を利用して各ノードに配置するカーネルの形状と大きさを決定．(c) 各カーネルの線形和として密度関数を推定

Fig. 1The overview of poposed method: (a) Online learn samples as networks
whose nodes are prototypes of samples. (b) Determine the shape and sizeof each kernel on a node by the local structure of a network around thenode. (c) Estimate the probability density function of samples as linear
summation of the kernels.

論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法

Algorithm 1 SOINN
1: if 初回の学習である thenN ← {c1 , c2 }：学習データからランダムに選択したベク
トルを位置ベクトルとしてもつ二つのノード c1 ，c2 で全ノードの集合を初期化
3:E ←φ
4: end if
d5: while 入力パターン ξ ∈ R が存在する do
6:s1 ← arg minc∈N ||ξ − wc ||：ξ に対する第 1 勝者ノード s1 を探索
7:
s2 ← arg minc∈N \{s1 } ||ξ − wc ||：ξ に対する第 2 勝者ノード s2 を探索
8:
式 (6) によって類似度しきい値 Θs1 ，Θs2 を計算
9:
if ||ξ − ws1 || > Θs1 or ||ξ − ws2 || > Θs2 then10:
N ← N ∩ {ξ}：ξ を新規ノードとして追加
11:
else
12:
if (s1 , s2 ) ∈/ E ：s1 と s2 の間にエッジがない then13:
E ← E ∩ {(s1 , s2 )}：エッジ (s1 , s2 ) を追加
14:
end if15:a(s1 ,s2 ) ← 0：エッジ (s1 , s2 ) の年齢を 0 にリセット
16:a(s1 ,i) ← a(s1 ,i) + 1（∀i ∈ Ps1 ）：s1 につながる全エッジの年齢をインクリメント
17:
ts1 ← ts1 + 1：s1 の勝者回数をインクリメント
18:
ws1 ← ws1 + ψ1 (ts1 )(ξ − ws1 )：s1 の位置ベクトルを更新
19:
wi ← wi + ψ2 (ti )(ξ − wi )（∀i ∈ Ps1 ）：s1 の全隣接ノードの位置ベクトルを更新
20:
エッジ Eold = {e | e ∈ E, ae > agemax } を削除
21:
ノード {i | ∃j (i, j) ∈ Eold , |Pi | = 0} を削除：20 行目において削除されたエッジに接続していたノードのうち，接続エッジがなくなったノードを削除．
22:
end if23:
if 入力パターン数が λ の倍数 then24:
|Pi | ≤ 1 であるノード i を全て削除
25:
end if
26: end while
2:

図2

SOINN による学習．左図がノイズを含んだ入力サ
ンプル集合，右図が SOINN による学習結果
Fig. 2 Learning by SOINN. Left ﬁgure is the set of
input samples including noise. Right ﬁgure is
the result of learning by SOINN.

Table 1
ξ
N
E
Pi
wi
ti
ae
Θi
ψk (t)
λagemaxρI|S|

表 1 変数，パラメータ及び記号の定義
The deﬁnition of variables, parameters andsymbols.
入力サンプル．ξ ∈ Rd ．
全ノードの集合．
全エッジの集合．E ⊂ N × N ．
ノード i の隣接ノード集合．
ノード i の位置ベクトル．wi ∈ Rd ．
ノード i が競合学習において勝者になった回数．
エッジ e の年齢．
エッジ，ノード作成におけるノード i のしきい値．
競合学習の勝者ノードの更新における係数決定のための関数．ψ1 (t) = t−1 ，ψ2 (t) = (100t)−1
ノード削除ハイパーパラメータ．
エッジ削除ハイパーパラメータ．
しきい値ハイパーパラメータ．
単位行列．
集合 S の要素数．

組織的に更新されていく．

3. 1. 2 SOINN のネットワークの統計的解釈
SOINN のアルゴリズムを Algorithm 1 に示す．また，アルゴリズム内に現れる記号を表 1 に定義した．

SOINN では，入力サンプルの最近傍 2 ノード（第 1
勝者ノード，第 2 勝者ノード）のしきい値領域に入力とすると，{x1 , x2 , · · · , xn+1 } の平均 w (n+1) は

1(nw (n) + xn+1 )n+11= w (n) +(xn+1 − w (n) )n+1

w (n+1) =(3)

サンプルが入らなかった場合は新規ノードが作成され，と，w (n) と xn+1 から計算でき，この式は Algorithm 1

入った場合は第 1，第 2 勝者ノード間にエッジが作成の 18 行目と一致する．つまり，各ノードは勝者回数され新規ノードは作成されず，入力サンプルは第 1 勝としてカウントされたサンプルを代表しており，それ者ノードの勝者回数としてカウントされ，第 1 勝者

らの平均に位置している．Algorithm 1 の 19 行目はノード及びその隣接ノードの位置ベクトルを入力サン

スムージングのためであり，ψ2 (t) の係数は実験的にプルの方向に更新する．

決められたものである．

この第 1 勝者ノードの更新，Algorithm 1 の 18 行

また，Algorithm 1 の 16，20 行目が示すとおり，

目は，平均のオンライン更新と一致する．{x1 , x2 , · · · ,エッジは，端点のノード間へのサンプルの出現頻度がxn } の平均を周辺のエッジと比較して低かった場合，切断されるよ

1
=
xi
n
n

w

(n)

i=1

うになっている．つまり，ノード間にエッジがあるということは，そのノード間のサンプルの出現頻度が相対的に大きいということになり，ノードが代表するサ1287

電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8

ンプルがエッジの方向に広がっているということを意

Algorithm 2 学習アルゴリズム

味すると考えられる．

1: if 初回の学習である then

以上をまとめると，ノードは周辺のサンプルを代表するプロトタイプであり，そのノードの周辺ネット
ワークはノードの周辺サンプルの広がりの大きさとその方向を表していると考えられる．

3. 2 推定確率密度関数提案手法では 3. 1. 2 で述べた SOINN のネットワー
ク構造が表現するサンプルの分布の情報を用いて，密度推定を行う．
提案手法の推定密度関数 p̂(x) を以下のように定義する：

p̂(x) =1 
tn KC n (x − wn ).
TN

(4)

n∈N

ここで TN =n∈N

tn ，K は式 (2) のガウスカーネ

ルである．各ノードの位置にガウスカーネルを配置して，その線形和としてサンプル集合の確率密度を推定する．ノード n に配置したカーネルは，ノード n が代表しているサンプルの数を表している勝者回数 tn によって重み付けされている．
ガウスカーネルの形状を決定する共分散行列 Cn はN ← {c1 , c2 } (c1 , c2 ：学習データからランダムに選択したベクトルを位置ベクトルとしてもつ二つのノード)
3:E ←φ
4: end if
d5: while 入力パターン ξ ∈ R が存在する do
6:s1 ← arg minc∈N ||ξ − wc ||7:
s2 ← arg minc∈N \{s1 } ||ξ − wc ||2:

8:

if (ξ − ws1 )T Ms−1
(ξ − ws1 ) > 1
1or (ξ − ws2 )T Ms−1
(ξ − ws2 ) > 1 then2
N ← N ∩ {ξ}
10:
else
11:
if (s1 , s2 ) ∈/ E then
12:
E ← E ∩ {(s1 , s2 )}13:
end if14:a(s1 ,s2 ) ← 0
15:a(s1 ,i) ← a(s1 ,i) + 1（∀i ∈ Ps1 ）16:
ts1 ← ts1 + 1
17:
ws1 ← ws1 + ψ1 (ts1 )(ξ − ws1 )18:
エッジ Eold = {e | e ∈ E, ae > agemax } を削除
19:
ノード {i | ∃j (i, j) ∈ Eold , |Pi | = 0} を削除
20:
end if21:
if 入力パターン数が λ の倍数 then22:
|Pi | = 0 であるノード i を全て削除
23:
N に対して k 近傍グラフ G = (N , Ek ) を作成
24:
E ← E ∩ {(i, j) | (i, j) ∈ Ek , (j, i) ∈ Ek }25:
end if
26: end while
27: N に対して k 近傍グラフ G = (N , Ek ) を作成
28: E ← E ∩ {(i, j) | (i, j) ∈ Ek , (j, i) ∈ Ek }9:

各ノードの周辺のネットワーク構造から各ノードごとに適応的に決定される．この共分散行列を局所ネット
ワーク共分散行列と定義する：

Cn =

1
TPn



tp (wp − wn )(wp − wn )T . (5)p∈Pn

ここで，TPn =

3. 3. 1 しきい値領域の決定
学習アルゴリズムにおいて SOINN から拡張した重要な点に，しきい値領域の決定が挙げられる．新規入力サンプルが勝者ノードのしきい値領域内に入るかt である．局所ネットワーク
i∈Pn i

どうかでエッジ及び新規ノードの作成の判断を行うた

共分散行列は，共分散行列を拡張したものである．通め，SOINN のアルゴリズムにおいて最も重要な部分

常の共分散行列と異なる点は，中心が平均ではなく対である．

象ノード n の位置ベクトルである点と，対象ノード nの隣接ノードのみで計算している点，勝者回数 t で重SOINN において，ノード i のしきい値領域は次の
Θi を半径とする超球である：⎧⎨max ||wp − wi ||み付けしている点である．n の隣接ノードが代表しているサンプルが，n から隣接ノードまでの距離と方向に広がっているとして，n の周辺のサンプルの広がりをこの局所ネットワーク共分散行列で近似しており，

Θi =

p∈Pi

(Pi = φ)⎩ min ||wp − wi || (otherwise).

(6)p∈N \{i}これをノードを中心とするガウスカーネルに組み込

図 3 の (a) に SOINN のしきい値領域を図示する．あ

むことで，周辺のサンプルの密度を近似する．なお，

るノードの周りのネットワークがある方向に大きく広ネットワークの形状によっては Cn が正則にならないがっていた場合，そのノード周辺のサンプルはネット場合があるが，その場合は対角成分に微小な値を加えワークに沿った方向に広がっており，エッジのない方ることで補正している．

向にはあまりサンプルが存在しないことを意味する．

3. 3 学習アルゴリズム

したがって，エッジのない方向にしきい値領域が広がAlgorithm 2 に学習アルゴリズムの全体を示す．

ると，サンプルの密度と関係のない必要以上に長い

1288

論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法

3. 3. 2 その他の拡張
しきい値領域決定以外にも適切なネットワークを形成するように変更を加えている．SOINN のアルゴリ
ズム Algorithm 1 における 19 行目は廃止している．
これはスムージングのために実験的に決められたものであり，3. 1. 2 で示したことを考慮すると，密度推定の観点からは必要ないと考えられるためである．22 行
目では |Pi | ≤ 1 ではなく |Pi | = 0 としている．23〜

24，27〜28 行目ではネットワークの調整を行ってい図 3(a) SOINN のしきい値領域，(b) 提案手法のしきい値領域
Fig. 3 (a) The threshold of SOINN. (b) The
threshold of proposed method.

エッジができてしまい，その後のネットワーク構成に悪影響を及ぼし，ネットワークが適切に密度を表さなくなってしまう可能性が高い．
しきい値領域をサンプルの密度によって適切に決めることで，ネットワークのひずみをなくし，より密度を表現するネットワーク構造を作ることができると考えられる．図 3 の (b) に提案手法のしきい値領域を図示している．提案手法では，ネットワーク構造がサンプルの密度を表しているとし，しきい値領域をネッ
トワークに沿う形にし，エッジのない方向にはしきい
値領域が広がらないようにしている．こうすること
で，SOINN ではサンプルの密度と関係のないエッジになっていた入力サンプルは，しきい値領域に入らずにノードとなり，その後の入力サンプルによってネットワークに組み込まれるか，ノイズとして削除されるか決定される．
提案手法ではしきい値領域をネットワークに沿う形にするために，局所ネットワーク共分散行列式 (5) を用いたマハラノビス距離によってしきい値領域を定義す
る．ノード i のしきい値領域は，サンプル ξ に対してT

(ξ − wi )Mi−1 (ξ − wi ) ≤ 1,

る．SOINN ではノード間のしきい値領域内にサンプルが入力されないとエッジが作成されないため，高次元空間やサンプル数が少ない場合，十分な数のエッジが作成されない．これを補うために，ここでは k 近傍グラフに基いてエッジを追加している．ノード集合に対して k 近傍グラフを形成し，そのグラフにおいて双方向にエッジが存在するノードのペアに対して，エッジを追加する．ノードが密に分布する場所では k 近傍
グラフのエッジは双方向に形成されるので，密度を表すエッジが張れると考えられる．
また，6〜7 行目の競合学習の勝者選択においては，
マハラノビス距離ではなく，SOINN と同様にユーク
リッド距離を用いている．これは，各ノードを同一の基準で評価することで，競合学習を適切に行うためである．それに加えて，ここでは全ノードと距離計算を行う必要があるため，マハラノビス距離を用いると計算コストが大きく掛かってしまうためである．

4. 評 価 実 験
ロバスト性，学習時間，オンライン学習，精度に関して提案手法の優位性を示すための評価実験を行った．
全ての実験は 3.20 GHz CPU × 8，8.00 GB RAM，の計算機上の MATLAB 環境下で行った．

4. 1 比 較 手 法
既存の比較手法として，クラスタリングによりカーネルの形状と数を適応的に決定するオンライン KDE(oKDE) [23]，ゆう度を評価尺度とし交差検証法によを満たす領域とする．ここでりバンド幅行列を最適化するバッチ学習による手法(CVML) [16]，ロバスト性を考慮したバッチ手法のMi = Ci + ργi I,⎧⎨ min ||wp − wi ||

γi =

p∈Pi

(Pi = φ)⎩ min ||wp − wi || (otherwise)p∈N \{i}KDE (RKDE) [9] を用いた．RKDE は他の手法でバンド幅行列を求める必要があるため，CVML が最適化したバンド幅行列を RKDE のバンド幅行列として用いた．

である．単位行列を加えているのは，スムージングの4. 2 ロバスト性ためである．

ロバスト性を評価するために，学習データにノイズ1289

電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8が含まれる場合の推定精度を既存手法と比較した．学である．ここで {xi }ni=1 は p からのサンプルである．

習データは

よって，

X ∼ f = (1 − α)f0 + αf1 ,DJS (fˆ||f0 )とする．f0 が真の分布，f1 がノイズの分布であり，αはノイズの割合を表す．各手法は X を学習し，f0 を≈nnfˆ(xfˆi )f0 (xf0 i )
1 
1 
log
log
+
2n
m(xfˆi )2nm(xf0 i )
i=1

推定する．α を変化させ，それに伴う真の分布の推定i=1ˆとなる．ここで，{xfˆ }ni=1 は f からのサンプルであ

精度の変化を評価した．真の分布には

if0 (x) = N (x; t, 0.2 · I),(7)Tt = [a, sin(3a)] , a ∈ [−2, 2],f0 (x) = N (x; t, 0.25 · I),り，{xf0 i }ni=1 は f0 からのサンプルである．今回の実験においては，n = 20,000 とした．各ノイズ割合に対して 20 回ずつ実験を行い，その平均を評価した．

(8)
T

oKDE のハイパーパラメータを Dth = 0.01 とし

t = [r cos(θ), r cos(θ), θ] ,た．提案手法のハイパーパラメータは式 (7) の場合，

r = 10 − 0.5θ, θ ∈ [−7, 7],

λ = 500，agemax = 100，ρ = 0.1，k = 2d，式 (8)の場合，λ = 1000，agemax = 100，ρ = 1.0，k = 2dの二つの分布を用い，ノイズの分布 f1 にはそれぞれとした．

一様分布（各次元の範囲を [−4, 4] とした）とガウス

図 5 が実験結果である．図 5 (a) において，学習

分布 N (x; [0, 0, −15]T , 30 · I) を用いた．学習サンプ

データにおけるノイズ割合が 0%の場合では，提案手

ル数は 5,000 とした．図 4 にそれぞれ図示する．

法は他手法とほぼ同等の精度を出している．既存手法

評価尺度には JS divergence を用いた．JS diver-の CVML と oKDE は学習データにおけるノイズのgence は確率分布間の距離尺度であり，推定分布と真割合が増加するに従って大きく精度が低下している．

の分布を比較した場合，値が低いほど推定精度が高い

CVML は 0%と 5%の差が大きいことからノイズに敏といえる．KL divergence と違い，対称であり無限大感に反応してしまうことが分かる．oKDE はカーネに発散することがないので今回はこれを用いた．推定

ルの形状，大きさ，及び数をデータに合わせて適応的確率分布 fˆ と f0 間の JS divergence DJS (fˆ||f0 ) はDJS (fˆ||f0 ) =1
1
DKL (fˆ||m) + DKL (f0 ||m)22である．ここで m = 12 (fˆ + f0 )，DKL は KL diver-gence であり，に設定するため CVML ほど敏感には反応していないと考えられる．しかし，それだけではロバスト性は十分ではなくノイズの割合が増加するに従って精度が低下している．これに対して，ロバスト性のある提案手法と RKDE はノイズが増加しても精度が低下しない．
特に提案手法は 0%のときと同程度の水準を保っていp(xi )1
DKL (p||q) ≈lognq(xi )nる．図 5 (b) においても同様のことが言える．このことから提案手法が高いロバスト性を有していると示さ

i=1

れた．

4. 3 学 習 時 間
学習データ数に対する学習時間の変化を評価した．
ノイズを含まない式 (7) の分布からのサンプルを用いて，データ数を 1,000 から 100,000 まで増加させたときの計算時間の変化を既存手法と比較した．各手法のパラメータは 4. 2 と同じとした．
実験結果を図 6 に示す．CVML 及び RKDE は
(a)

図4

(b)

(a)，(b) はそれぞれ式 (7)，式 (8) の分布に 20%のノイズを含めた学習データ
Fig. 4 Training samples generated from Eqs. (7) and(8) distributions with 20% noise samples.

1290

非常に学習に時間が掛かるため，学習サンプル数が10,000 の時点で実験を中止した．このとき，提案手法
は CVML より 1,390 倍高速であった．CVML はバッ
チ手法であり，学習サンプル数の増加に伴って学習時

論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法

(a)

(b)

図5

ロバスト性に関する既存手法との比較実験の結果．(a)，(b) はそれぞれ式 (7)，式(8) の分布に対する実験結果
Fig. 5 The experimental results about robustness comparing state-of-arts andproposed method. (a) and (b) correspond to the results with Eqs. (7) andEqs. (8) distributions, respectively.

図 6

学 習 時 間 に 関 す る 評 価 実 験 の 結 果 ．提 案 手 法 は CVML [16] よ り 1,390 倍 ，oKDE [23] より 51.4 倍高速である．縦軸が対数表示であることに注意．
Fig. 6 The experimental result about training time of online methods. Our proposed method is 1,390 times faster than CVML [16], and 51.4 times fasterthan oKDE [23]. Note that vertical axis is plotted on a logarithmic scale.

間が指数関数的に増加している．oKDE と提案手法は

案手法は増加が小さい．提案手法は，学習サンプル数

オンライン手法であるため CVML ほど学習時間は掛が 100,000 のとき oKDE より 51.4 倍高速であった．

かっていないが，oKDE は学習サンプル数が増加する

oKDE はクラスタリングを用いて混合数を減らし，バとともに学習時間が大きく増加しているのに対し，提ンド幅行列を入力サンプルごとに計算し直しているの
1291

電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8に対し，提案手法はプロトタイプのネットワーク構造

した時間の変化を示す．学習したサンプル数の増加にの中にカーネルの配置位置とバンド幅行列の情報を含伴い，oKDE の学習時間の増加量は増加する傾向にあめているため，より高速に実行できるのではないかとる．これに対して，提案手法の増加量は初期は増加す考えられる．

るが，その後ほぼ一定である．つまり，提案手法の増

4. 4 オンライン学習

加量はこれまで学習したサンプル数に直接的には依存オンライン学習手法はデータを追加的に学習できる．

しないことを示している．提案手法の学習における計そこで，オンライン学習手法である提案手法と oKDE

算はノードとの距離計算が大きな部分を占めているが，に対して，学習サンプルを追加したときの性能の変化

ネットワークがデータの分布を十分近似するとノードを評価した．学習サンプル数を 100,000 まで追加的にの数はほとんど変化しないため，学習時間の増加量も増やし，1,000 サンプル学習するごとに各手法の学習

ほとんど変化しない．このことから，提案手法はデー時間と推定精度を評価した．サンプルを発生させる分タ量が増大して大規模になっても高速に学習を行える

布及び各手法のパラメータは 4. 3 と同じ設定にした．

ことが分かる．

推定精度の評価指標としては JS divergence を用いた．

図 8 は学習したサンプル数に伴う推定精度の変化

実験結果を図 7 と図 8 に示す．

を示す．oKDE は学習サンプル数が増えるに従って

図 7 は学習したサンプル数に伴う学習時間の増加

学習時間の増加量が大きくなるにもかかわらず，JS量，つまり 1,000 サンプルを追加的に学習するのに要divergence の値は学習サンプル数が 10,000 を超えたあたりからほとんど変わらず，学習の効果がない．これに対して，提案手法はサンプル数が増えても学習時間の増加量はほとんど増えないが JS divergence の値は徐々に下がっている．

4. 5 実データに対する密度推定
UCI Machine Learning Repository のデータセッ
トを使って実データにおける確率密度推定を評価した．
実験に用いたデータセットを表 2 に示す．データセッ
トのクラスごとに実験を行った．ただし，Skin は正例，
負例の 2 クラスあるが，正例 (50,859 サンプル) のみ用いた．各実験のサンプル集合を白色化により正規化
し，そこからランダムに抽出した 75%のサンプルを
図 7 追加的学習における学習時間の増加量に関する評価
実験結果
Fig. 7 The experimental result about increment oftraining time of incremental learning.

学習データ，残りをテストデータとし，密度関数の推定精度を評価した．これを各実験ごとに 20 回繰り返
し，データセットごとに平均し評価した．評価尺度には Negative Log Likelihood (NLL) を用いた．NLL
は無限大に発散する可能性があるため，順序平均をとることで対応した．提案手法のハイパーパラメータを

λ = 1000，agemax = 100，ρ = 1.0，k = 2d，oKDE

Table 2

図 8 学習サンプル数の増加に伴う推定精度の変化の評価
実験結果
Fig. 8 The experimental result about change in estimate accuracy with increasing training samples.

1292

表 2 実験に用いた実データセット一覧
The list of real data set used in experiments.

Iris
Wine
Pima
Wine Red
Wine White
MAGIC
Skin

サンプル数
150
178
768
1,599
4,898
19,020245,057

次元数
4
13
8
11
11
10
3

クラス数
3
3
2
6
7
2
2

論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法
表 3 提案手法の実データに対する実験結果
Table 3 Our proposed method’s experimental resultsof real data.
NLL

training time [sec]3.03 × 10−3

Iris

6.03 ± 0.827

Wine

20.9 ± 1.45

1.91 × 10−3

Pima

9.49 ± 0.591

2.14 × 10−3

Wine Red

11.5 ± 2.11

2.31 × 10−3

Wine White

13.1 ± 1.28

2.42 × 10−3

MAGIC

10.9 ± 0.440

2.02 × 10−3Skin2.43 ± 0.0361

2.77 × 10−3

る密度推定において実用的に使用することができる．

4. 6 ま と め
4. の実験結果を表 4 にまとめた．提案手法はロバスト性及び高速なオンライン学習に関して既存手法より優れており，推定精度に関しても他手法と同等またはそれ以上の性能を示した．

5. 考

察

ここでは，提案手法における KDE 及び SOINN からの拡張の効果と，高次元への対応について考察する．

5. 1 ナイーブな手法との比較提案手法では，SOINN を改良した学習アルゴリズ
ムでサンプル集合をネットワーク構造として学習し，そのネットワークの局所的な構造から各ノードに配置
図9

実データに対する評価実験の結果．密度推定の精度と 1 サンプルあたりの学習時間を評価した．提案手法の学習時間は値が小さすぎ見難いため，表 3 に記したFig. 9 The experimental results of real data. We
evaluated methods about estimation accuracy
and training time per sample. Our proposed
method’s training times are too small to seein this chart, so they showed in Table 3.

するガウスカーネルの形状及び大きさを決定し，それらのカーネルの線形和として確率密度関数を推定する．
このようにすることで単純に SOINN のネットワークの各ノードに対してガウスカーネルを配置する場合よりも性能が向上していることをここで検証したい．

4. 2 の実験を SOINN と KDE をナイーブに組み合わせた手法（naive）と，学習は SOINN で行い，密度関のハイパーパラメータを Dth = 0.1 とした．

数を提案手法の方法を用いて推定している手法（adap-

実験結果を図 9 に示す．左列が NLL，右列が 1 サンtive）と提案手法（Proposed）を比較した．naive は，

プルあたりの学習時間である．棒グラフは平均値，そ

学習を SOINN で行い，バンド幅はゆう度交差検証

れに付随するバーは標準偏差を表している．Skin デー

法により決定している．adaptive では，SOINN で学

タセットにおいては，CVML と RKDE は 5 日間計算

習したネットワーク構造に対して式 (4) を用いて推定し続けたが 1 度も実験が終わらなかったため値は記し密度関数を算出する．各手法において SOINN のハイていない．提案手法は既存のバッチ学習手法と同等まパーパラメータは λ = 500，agemax = 100，ρ = 0.1，

たはそれ以上の推定精度を出している．また，学習時

k = 2d とした．

間も他手法と比べて非常に短い．提案手法の学習時間

図 10 が実験の結果である．naive と adaptive を比は値が小さすぎ，図 9 では見難いため，表 3 に記し較すると，adaptive の方が性能が向上しており，特た．他手法は学習サンプル数が増えるに従って学習時にノイズの割合が増加すると顕著になる．SOINN は間が増加しているのに対し，提案手法はほとんど変化

ノードの密度だけではなく，エッジやノードの勝者回がない．以上のことから，提案手法は実データに対す

数などネットワークとしてサンプルの分布を保持し1293

電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8

Table 4表 4 既存手法との比較
The comparison between our proposed method and others.

Non-parametric
Fast online learning
Robustness
Accuracy

CVML [16]RKDE [9]×××oKDE [23]Proposed×次元数が大きくなるに連れて推定精度が低下してしまう．
これに対処するために，次元削減や特徴抽出の手法と統合することが考えられる．オンラインに主成分分
析及びカーネル主成分分析を行う手法 [37]〜[39] が考案されているため，これらと組み合わせることで，提案手法のオンライン性を失うことなく高次元データを低次元に写像し密度推定することができる．また，提案手法はグラフ構造を基盤としており，グラフ構造を用いた多様体学習手法 [40]〜[42] と統合できるのではないかと考えている．多様体上の密度関数を考え
図 10

ロバスト性に関して，SOINN と KDE をナイー
ブに組み合わせた場合との比較実験の結果
Fig. 10 The experimental result about robustness
comparing proposed method and a naive
method integrating SOINN into KDE.

ており，提案手法の推定密度関数式 (4) がこのネットワークが保持している密度の情報を引き出せていることが分かる．また，naive は通常の KDE と同様に各ノードに配置しているカーネルは全て同じであるのに対し，adaptive では式 (4)，式 (5) を用い，各ノードに配置するカーネルの形状及び大きさをネットワーク
から適応的に決定しているためロバスト性が向上し，ノイズの割合が増加すると性能の差が顕著になったと考えられる．naive，adaptive と提案手法を比較すると，提案手法の方が大きく性能が向上している．従来の SOINN には，ネットワークにひずみがあり，そのため分布の推定精度が低下してしまっている．これは分布を適切に表現しないエッジができてしまうことが原因であると考えられ，エッジ作成時のしきい値決定を改良している提案手法の学習アルゴリズムがサンプ
ル集合の密度関数を表すネットワーク構造を SOINN
よりも学習できていることが分かる．

5. 2 高次元への対応
一般にノンパラメトリック密度推定法は高次元データに対しては推定精度が良くない [35], [36]．提案手法
もノンパラメトリック密度推定法であるためデータの1294

る [43], [44] ことで，高次元空間を直接扱うことを避けることができる．現在，提案手法と多様体学習を統合した手法を考案中である．

6. む す び
本研究ではビッグデータに対処するために，ロバス
ト性があり，高速にオンライン学習可能なノンパラメ
トリック確率密度推定法を考案した．提案手法の基盤となっている SOINN のネットワーク構造に対して新
たに統計的な解釈を与えることで密度推定を可能にした．ノンパラメトリック密度推定の伝統的な手法である KDE は精度を高めるために大量のサンプル数が必要であり，サンプル数の増加に伴って計算量が大きくなってしまうが，提案手法はサンプルのプロトタイプ
を密度の分布に従ってネットワーク構造にすることで計算量を大きく抑えている．評価実験において，学習時間，ロバスト性に関して，既存のノンパラメトリッ
ク密度推定法より高い性能を示し，推定精度に関しても，同等またはそれ以上の性能を示すことができた．
今後は 5. 2 で述べた高次元への対応のための提案
手法の拡張と，提案手法の実環境のビックデータ解析への応用に取り組んでいきたいと考えている．ノイズを含む実環境からデータの分布を推定できるようになれば，確率的な予測や推論がより実際的なアプリケー
ションとして構築でき，その応用範囲は広いと考えられる．

論文／ロバスト高速オンライン多変量ノンパラメトリック密度推定法

謝辞 本研究は，科学技術振興機構の戦略的創造研究推進事業からの支援を頂きました．記して感謝致し

pp.1719–1736, 1996.
[16]

bandwidth selection in kernel density estimators,”

ます．また，査読者の方から非常に有益なご意見を頂きました．併せて感謝致します．
文[1]

Neural Information Processing Systems, 2008.
[17]

献and Think, Houghton Miﬄin Harcourt, 2013.

sity function estimation,” Pattern Recognit. Lett.,vol.29, no.16, pp.2085–2091, 2008.
[18]

tion from optimally condensed data samples,” IEEEtus, and forecast to the future,” SIGKDD Explor.

Trans. Pattern Anal. Mach. Intell., vol.25, no.10,

J.K. Laurila, D. Gatica-Perez, I. Aad, J. Blom,

pp.1253–1264, 2003.
[19]

duced set density estimator using minimal enclosing

Miettinen, “The mobile data challenge: Big data forball approximation,” Pattern Recognit., vol.41, no.4,

by Nokia Workshop, 2012.

pp.1363–1372, 2008.
[20]

Hannick, W. Hide, D.P. Hill, R. Kania, M. Schaeﬀer,

national Conference on Computational Statistics

S. St Pierre, S. Twigger, O. White, and S.Y. Rhee,(COMPSTAT ’2010), eds. Y. Lechevallier and G.

“Big data:

Saporta, pp.177–187, Springer, Paris, France, Aug.

The future of biocuration,” Nature,

D. Laney, “3D data management: Controlling data

[6]

P.J. Huber, Robust statistics, Wiley, 1981.

[7]

M. Hubert, P.J. Rousseeuw, and K. Vanden Branden,

VISAPP, pp.605–611, 2008.
[22]

tern Recognit., vol.43, no.9, pp.3162–3176, 2010.
[23]

79, 2005.

tivariate

Gaussian kernels,” Pattern Recognit., vol.44, no.10-

estimation

withY. Li, D. de Ridder, R. Duin, and M. Reinders, “Integration of prior knowledge of measurement noise
in kernel density classiﬁcation,” Pattern Recognit.,

E. Parzen, “On estimation of a probability density

vol.41, no.1, pp.320–330, 2008.
[25]

F. Shen and O. Hasegawa, “An incremental network

function and mode,” The Annals of Mathematicalfor on-line unsupervised classiﬁcation and topology

Statistics, vol.33, pp.1065–1076, 1962.

learning,” Neural Netw., vol.19, no.1, pp.90–106,
2006.

B.W. Silverman, Density Estimation, Chapman and[26]

A. Sudo, A. Sato, and O. Hasegawa, “Associative

P. Hall, S.J. Sheather, M.C. Jones, and J.S. Marron,

memory for online learning in noisy environments“On optimal data-based bandwidth selection in ker-using self-organizing incremental neural network,”nel density estimation,” Biometrika, vol.78, no.2,

IEEE Trans. Neural Netw., vol.20, no.6, pp.964–972,

M.C. Jones, J.S. Marron, and S.J. Sheather, “A

June 2009.
[27]

N. Makibuchi, F. Shen, and O. Hasegawa, “Online

brief survey of bandwidth selection for density esti-

knowledge acquisition and general problem solving

mation,” J. American Statistical Association, vol.91,

in a real world by humanoid robots,” ICANN, vol.3,
pp.551–556, 2010.

no.433, pp.401–407, 1996.

[15]

density

timation,” J. Machine Learning Research, vol.13,

pp.263–269, 1991.

[14]

kernelJ. Kim and C.D. Scott, “Robust kernel density es-

Hall, 1986.

[13]

online11, pp.2630–2642, 2011.
[24]

pp.2529–2565, 2012.

[12]

M. Kristan, A. Leonardis, and D. Skoc̆aj, “Mul-

P. Xanthopoulos, P.M. Pardalos, and T.B. Trafalis,
2013.

[11]

K. Tabata, M. Sato, and M. Kudo, “Data compression by volume prototypes for streaming data,” Pat-

Robust data mining, SpringerBriefs in Optimization,[10]

A. Declercq and J.H. Piater, “Online learning ofGaussian mixture models — A two level approach,”“ROBPCA: A new approach to robust principal component analysis,” Technometrics, vol.47, no.1, pp.64–

Proc. 19th Inter-2010. http://leon.bottou.org/papers/bottou-2010[21]

META Group, 2001.

[9]“Large-scale machine learning with

D. Howe, M. Costanzo, P. Fey, T. Gojobori, L.

volume, velocity, and variety,” Technical report,[8]

L. Bottou,

stochastic gradient descent,”

vol.455, pp.47–50, 2008.
[5]

Z. Deng, F. Chung, and S. Wang, “FRSDE: Fast re-O. Bornet, T. Do, O. Dousse, J. Eberle, and M.
mobile computing research,” Mobile Data Challenge[4]M. Girolami and C. He, “Probability density estima-

W. Fan and A. Bifet, “Mining big data: Current staNewsl., vol.14, pp.1–5, 2013.

[3]

E. López-Rubio and J.M. Ortiz-de-Lazcano-Lobato,“Soft clustering for nonparametric probability den-

V. Mayer-Schönberger and K. Cukier, Big Data: A
Revolution that Will Transform how We Live, Work,[2]

J.M. Leiva and A. Artés, “Algorithms for Gaussian

A. Bowman,“An alternative method of cross-[28]

S. Okada and T. Nishida, “Online incremental clus-

validation for the smoothing of density estimates,”

tering with distance metric learning for high dimen-

Biometrika, vol.71, pp.353–360, 1984.

sional data,” 2011 International Joint Conference on
Neural Networks (IJCNN), pp.2047–2054, July 2011.

D. Chaudhuri, B. Chaudhuri, and C. Murthy, “Adata driven procedure for density estimation withsome applications,” Pattern Recognit., vol.29, no.10,[29]

P. Kankuekul, A. Kawewong, S. Tangruamsub, and
O. Hasegawa, “Online incremental attribute-based1295電子情報通信学会論文誌 2014/8 Vol. J97–D No. 8
zero-shot learning,” 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),
pp.3657–3664, June 2012.
[30]

A. Kawewong, R. Pimup, and O. Hasegawa, “Incremental learning framework for indoor scene recognition,” AAAI, pp.496–502, 2013.

[31]

中村 圭宏

（学生員）

2011 名工大・工・情報工卒．2013 東京工業大学大学院総合理工学研究科知能システ
ム科学専攻修士課程了．現在，同大学院博士課程在学中．主に機械学習の研究に従事．

F. Shen, Q. Ouyang, W. Kasai, and O. Hasegawa,“A general associative memory based on selforganizing incremental neural network,” Neurocomputing, vol.104, pp.57–71, 2013.

[32]

B. Fritzke, “A growing neural gas network learns
topologies,” Advances in Neural Information Processing Systems 7, pp.625–632, MIT Press, 1995.

[33]

S. Furao, T. Ogura, and O. Hasegawa, “An enhanced
self-organizing incremental neural network for online
unsupervised learning,” Neural Netw., vol.20, no.8,
pp.893–903, 2007.

[34]

F. Shen and O. Hasegawa, “A fast nearest neighborclassiﬁer based on self-organizing incremental neuralnetwork,” Neural Netw., vol.21, no.10, pp.1537–1547,
2008.

[35]

V.N. Vapnik, Statistical learning theory, Wiley, 1998.

[36]

W. Härdle, Nonparametric and Semiparametric Models, Springer Series in Statistics, Springer-Verlag
GmbH, 2004.

[37]

T. Oyama, K.S. Githinji, S. Tsuge, Y. Mitsukura,and M. Fukumi, “Fast incremental algorithm ofsimple principal component analysis,” IEEJ Trans.
Electronics, Information and Systems, vol.129, no.1,
pp.112–117, Jan. 2009.

[38]

T.-J. Chin and D. Suter, “Incremental kernel principal component analysis,” IEEE Trans. Image Process., vol.16, no.6, pp.1662–1674, 2007.

[39]

Y. Takeuchi, S. Ozawa, and S. Abe, “An eﬃcient incremental kernel principal component analysis for online feature selection,” IJCNN, pp.2346–2351, 2007.

[40]

J.B. Tenenbaum, V. de Silva, and J.C. Langford, “A
global geometric framework for nonlinear dimensionality reduction,” Science, vol.290, no.5500, p.2319,
2000.

[41]

Z. Zhang and H. Zha, “Principal manifolds and nonlinear dimension reduction via local tangent spacealignment,” SIAM J. Scientiﬁc Computing, vol.26,
pp.313–338, 2002.

[42]

K. Yu and T. Zhang, “Improved local coordinate coding using local tangents,” ICML, eds. J. Fürnkranz
and T. Joachims, pp.1215–1222, Omnipress, 2010.

[43]

B. Pelletier, “Kernel density estimation on Riemannian manifolds,” Statistics & Probability Letters,
vol.73, no.3, pp.297–304, 2005.

[44]

G. Henry and D. Rodriguez, “Kernel density estimation on Riemannian manifolds: Asymptotic results,”
J. Mathematical Imaging and Vision, vol.34, no.3,
pp.235–239, 2009.

（平成 25 年 11 月 8 日受付，26 年 3 月 7 日再受付）

1296

長谷川 修

（正員）

1993 東京大学大学院博士課程了．博士(工学)．同年電子技術総合研究所入所．1999

年 6 月より 1 年間カーネギーメロン大学ロボティクス研究所滞在研究員．2001 産業
技術総合研究所主任研究員．2002 年 5 月
東京工業大学大学院理工学研究科付属像情報工学研究施設准教授．2002 から 3 年間科技団さきがけ研究
21 研究員．パターン認識，ニューラルネット，実世界知能シス
テムなどの研究に従事．人工知能学会，日本認知科学会，日本
顔学会，IEEE CS 等各会員．