1情報科学【AI・データサイエンス】

第5回
ベクトル・距離・類似度

ベクトルによるデータ表現
距離・類似度

九州大学 数理・データサイエンス教育研究センター

2

ベクトルによるデータ表現

九州大学 数理・データサイエンス教育研究センター

3

ベクトルとは何か？

高校数学等の先入観はとりあえずおいといて，気楽に考えましょう．単に数字の組です．
九州大学 数理・データサイエンス教育研究センター

4ベクトルとは?
 複数の数値を「組」にしたもの
 組にした数値の数を「次元」という ( ) の中にカンマで区切って書く※他にも書き方はあります

英数国理社の点数のベクトル
英数

国理社

身長・体重・腹囲・血圧のベクトル
身長

体重

腹囲血圧

(50, 89, 77, 90, 40)(173.0, 71.3, 78, 120)

5つの数字の組だから5次元ベクトル

4つの数字の組だから4次元ベクトル

九州大学 数理・データサイエンス教育研究センター

5

表現としてのベクトル
学力の観点(87, 66, 24, 89, 40)

A(英, 数, 国, 理, 社)

健康状態の観点(164.1, 59.2, 70, 131)

(身長, 体重, 腹囲, 血圧)B(50, 89, 77, 90, 80)(173.0, 71.3, 78, 120)

特定の観点から人をベクトルとして表現できる
九州大学 数理・データサイエンス教育研究センター

6

突然ですが，料理を「分析」すると玉ねぎ 80g
ニンジン 70g

材料の観点
から分析

ジャガイモ
50g

肉150g
色々なものが混ざっているのでパッと見ただけではどんな料理かわからない

カレー粉 10g
九州大学 数理・データサイエンス教育研究センター

7

料理を「材料で表してみる」ことで分析する
肉じゃがカレー牛丼

何がどれぐらい混ざっているかわかったら，どんな料理かクリアになる！

九州大学 数理・データサイエンス教育研究センター

8

料理の分析結果：
料理をベクトルで表現すると，よくわかる！

肉じゃが (60,35,35,100,0,9)

カレー (50,80,70,70,10,5)

牛丼 ( 100,50,0,0,0,18 )

数値はグラム九州大学 数理・データサイエンス教育研究センター

9

体格をベクトルで表現してみる
身体計測データ
氏名

性別身長測定日時))

2019-04-16 10:30:29)

2019-04-17 15:21:11

鈴木 次郎男(171.1 , 62.2
(160.8 , 55.5

佐藤 葵男

(165.0 , 57.9

2019-04-17 11:42:54

…

男

…

田中 太郎

…

…

…

体重

第2次元
(体重)

男=０，女=1とすれば，性別を含めた多次元ベクトルとしても表現できる

2つの実数値からなるデータ

第1次元
(身長)
九州大学 数理・データサイエンス教育研究センター

10

文書をベクトルで表現してみる
 文書（単語の並び）もベクトルで表現できる 「どんな単語がどのくらい使用されているか」に着目
 単語の順序は無視• 文書の部分の情報は失われる• 文書全体の大まかな情報のみ保持• どんな話題かぐらいは分かる
「僕」

「犯人」

「福岡」

「東京」 ← 小説の成分の出現回数の出現回数の出現回数の出現回数

小説A(100,0,1, 22, …)

小説B( 87, 97, 55, 10, …)
九州大学 数理・データサイエンス教育研究センター

11

画像をベクトルで表現してみる (1/2)
画像の成分↓ 画像（ピクセルの並び）もベクトルで表現できる 白(1)か黒(0)の2値画像の例(1,1,0,0,0,0,1,1,0,...,0,1)
7×7画素

49次元ベクトル

 灰色を含むグレースケール画像の例(255=真っ白，0=真っ黒)(255, 245,10,35, 92, 231, 254,...,249)
7×7画素

49次元ベクトル
九州大学 数理・データサイエンス教育研究センター

12

画像をベクトルで表現してみる (2/2)
1200万画素のカメラ

1200万画素の画像
各画像は1200万次元ベクトル(RGBそれぞれ1200万だから，より正確には3600万次元)

 皆さんのスマホ・デジカメ・コンピュータは，いつも超高次元ベクトルを扱っている

 シャッター押した瞬間に1200万次元ベクトルが一つ生まれている

九州大学 数理・データサイエンス教育研究センター

13

参考：線形代数
 ベクトルは，線形代数という科目でも習ったのでは？

 線形代数で出てくる行列もデータ分析に使われたりします
単語1 単語2 単語3 行列＝数字が縦横に並んだもの
𝑥1 𝑦1 𝑧1
文書1
 行列の使われ方
𝑥2 𝑦2 𝑧2
文書2
• ベクトル(データ)の集まりとしての行列• 対応関係（ネットワーク）の表現• ベクトルを別のベクトルに変換する（パターン認識の付録で触れました） 要するに，「データ分析をより深く学びたい人は，線形代数も学ぼう！」

文書3

𝑥3

𝑦3𝑧3

14

ベクトルとデータ分析の関係

九州大学 数理・データサイエンス教育研究センター

15

なぜベクトルでデータ分析するか?
 ベクトルはデータの組み合わせ

 1つの組み合わせでは分からないことも，多数のデータを用意することで，データ間の関係が見えてくる

九州大学 数理・データサイエンス教育研究センター

16

組み合わせと多数のデータから分かること
多数の体格データの可視化（散布図と呼ばれます）

 体格データを眺めてみる
 身長と体重の組
 これを眺めてると境界線が80kg→肥満型と診断された人

見える BMI = 22

 肥満度に基づいた診断など(0, 0)

やせ型と診断された人↑175cm九州大学 数理・データサイエンス教育研究センター

17

アヤメのデータの例
 アヤメの測定データ
 3つのアヤメの種の個体データ
 種ごとに50個体ずつ
 各個体につき4つの計測値が含まれる:花弁の長さと幅，がく片の長さと幅

Setosa
出典: CC BY-SA 3.0,
https://commons.wikimedia.org/w/index.php?curid=170298

Versicolor
出典: By D. Gordon E.
Robertson - Own work, CC
BY-SA 3.0,
https://commons.wikimedia.org/w/index.php?curid=10227368

4次元ベクトル

Virginica出典: By Frank Mayfield - originallyposted to Flickr as Iris virginica shrevei
BLUE FLAG, CC BY-SA 2.0,
https://commons.wikimedia.org/w/inde
x.php?curid=9805580
九州大学 数理・データサイエンス教育研究センター

18

アヤメの種類を判別するルール
 黄色の点のような個体はどの種？

花びらの幅

 例えば，一番似てるのをk個を見つけてきて多数決で決める

一番近い5つで多数決すると緑種

がく片の長さ九州大学 数理・データサイエンス教育研究センター

19

データ分析の基本道具
 「近い/遠い」 とか「似ている/似てない」はデータ分析の基

本的な道具 データを識別する
 データをまとめる，区別する

 以降はこれらの概念について見ていく

九州大学 数理・データサイエンス教育研究センター

20

距離・類似度

距離＝２つのデータがどれぐらい似てないか？
類似度＝２つのデータがどれぐらい似ているか？

まぁ，同じようなもの

九州大学 数理・データサイエンス教育研究センター

21

距離や類似度とは何か？

九州大学 数理・データサイエンス教育研究センター

22

距離 日常会話における「距離」
 A地点とB地点がどれぐらい離れているか？
（単位：mとかkmとか） Aさんの気持ちとBさんの気持ちがどれぐらい離れているか？

 データ解析における「距離」はもっと自由 要するにデータ間の差異 （似てない具合）
 距離が小さい2データは「似ている」
 単位がある場合もない場合も

23

では，「距離」ってなんだ？
 数学的には，次の３条件を満たす𝑑 𝑥, 𝑦 を𝑥, 𝑦 の「距離」と呼ぶ
 非退化性(同じものだけ距離がゼロ)： 𝑥 = 𝑦 ⇔ 𝑑 𝑥, 𝑦 = 0
 対称性（「𝑥から𝑦へ」と「𝑦から𝑥へ」の距離は同じ）： 𝑑 𝑥, 𝑦 = 𝑑 𝑦, 𝑥
 三角不等式（寄り道したら遠くなる）： 𝑑 𝑥, 𝑧 + 𝑑 𝑧, 𝑦 ≧ 𝑑 𝑥, 𝑦
↑ 「距離の公理」と呼ばれる（公理＝決めごと）𝑧

寄り道𝑦𝑥

 条件を満たすなら，何でも「距離」
 山本君が「山本距離」を勝手に作ってもOK ルールさえ満たせば，何作ってもOK!

数学の本質はその自由さにあるThe essence of mathematics
is its freedom.
G. Cantor (1845-1918)
九州大学 数理・データサイエンス教育研究センター

24

類似度＝距離の逆 距離は「似てない具合」，類似度は「似てる具合」
 まぁ，同じようなもの…
 大雑把に言えば，距離• 類似度が大きいものは，似てる．だから距離は小さい• 類似度が小さいものは，似てない．だから距離は大きい
類似度

双子は…
類似度高い，すなわち距離小さい

九州大学 数理・データサイエンス教育研究センター

25

距離や類似度は何に使えるか？
実は超便利！ (1/2)
 データ間の比較が定量的にできる
 「𝒙と𝒚は全然違う/結構似ている」 「𝒙と𝒚は28ぐらい違う」
 「𝒙にとっては，𝒚よりも𝒛のほうが似ている」
 応用例• 好きな曲（小説）と似てる曲（小説）を知りたい• ある性質をもつ化合物と近い化合物を見つけたい• 診察した患者さんに似た既知の病変や症状を見つけたい• 作風が似ている別の作家を見つけたい• 2つの細菌が近縁種かどうか知りたい
九州大学 数理・データサイエンス教育研究センター

26

距離や類似度は何に使えるか？
実は超便利！ (2/2)
 データ集合のグルーピングができる 「近く」のデータどおしでグループを作る 「クラスタリング」と呼ばれる(後述) データの認識（識別）ができる
 「パターン認識」に使える（後述） データの異常度が測れる
 「近く」にデータがたくさんあれば正常，一つもなければ異常（異常検出→付録）

 ... and more!

[Goldstein, Uchida, PLoSONE, 2016]

九州大学 数理・データサイエンス教育研究センター

27「距離・類似度」の話を通して学んで頂きたいこと
 距離や類似度は「データ解析の基本」である！
 距離や類似度は１種類ではない！
 距離や類似度が変われば，データ解析結果は「まるっきり」変わる
 データや解析問題の性質に合った「距離・類似度」を選ぶ必要がある
 様々な距離・類似度の原理，メリット・デメリットも理解しておこう
どんな方法も万能ではない！
メリット・デメリットを見極めて，適切な方法を選択すること！
九州大学 数理・データサイエンス教育研究センター

28

様々な距離

九州大学 数理・データサイエンス教育研究センター

29

普通に考える「データ間の距離」
 2データがどれぐらい違うか（=離れているか）

第２次元

 𝒙にとって，𝒚は結構違っていて，𝒛は似ている

𝒚𝒙𝒛
第１次元

九州大学 数理・データサイエンス教育研究センター

30

最も代表的な距離：ユークリッド距離 (1/2)
𝑥1, 2つのベクトル 𝒙 =𝑥2

𝑦1
𝒚= 𝑦2

第２次元

𝒚𝑦2

𝒙𝑥2

この間の距離は？

第１次元𝑥1𝑦1
九州大学 数理・データサイエンス教育研究センター

31

最も代表的な距離：ユークリッド距離 (2/2)
 ご存じ「三平方の定理」（ピタゴラスの定理）

この長さをユークリッド距離と呼ぶ

第２次元

𝒚𝑦2𝒙𝑥2

第１次元

𝑥1𝑦1
九州大学 数理・データサイエンス教育研究センター

32

ユークリッド距離をもう少しちゃんと式で書くと
 𝒙と𝒚のユークリッド距離の二乗 = 𝑥1 − 𝑦1 2 + 𝑥2 − 𝑦2 2
第２次元

𝒚𝑦2𝒙𝑥2

第１次元

𝑥1𝑦1
九州大学 数理・データサイエンス教育研究センター

33

３次元データでもユークリッド距離は測れる(1/2)
𝑥1𝒙 = 𝑥2 ,𝑥3𝑦1
𝒚 = 𝑦2𝑦3𝒙
この間の距離は？

𝑥3

𝒚𝑦3

𝑥2
𝑦2𝑥1𝑦1
九州大学 数理・データサイエンス教育研究センター

34

３次元データでもユークリッド距離は測れる(2/2)
 𝒙と𝒚の距離の二乗 = 𝑥1 − 𝑦1 2 + 𝑥2 − 𝑦2 2 + 𝑥3 − 𝑦3 2𝒙

なんかやっぱり
ピタゴラスの定理に似てる

この間の距離は？

𝑥3

𝒚𝑦3𝑥2𝑦2
𝑥1𝑦1
九州大学 数理・データサイエンス教育研究センター

35

2次元と3次元での，ユークリッド距離の計算法（あれ？ 似てるな…）
 2次元の場合の計算法

𝒙と𝒚の距離の二乗

 3次元の場合

𝒙と𝒚の距離の二乗

𝒙𝑥1𝑥2

𝒚𝑦1𝑦2𝒙𝑥1𝑥2𝑥3

𝒚𝑦1𝑦2𝑦3

要素の差の二乗

要素の差の二乗

要素の差の二乗
要素の差の二乗
要素の差の二乗九州大学 数理・データサイエンス教育研究センター

36

2次元でも3次元でも同じような計算法なら，𝑑 (> 3)次元でも似たようなものでは？→ yes!

𝒙と𝒚の距離の二乗

𝒙𝑥1
⋮
𝑥𝑑

𝒚𝑦1
⋮𝑦𝑑

要素の差の二乗⋮
要素の差の二乗というわけで，何次元ベクトルでも距離は計算可能

九州大学 数理・データサイエンス教育研究センター

参考：いちいち𝑑個の要素ごとの和を書くのがめんどくさい場合は，簡略表現

37「要素ごとの差の二乗の合計」という意味．
結果はベクトルではなく，数値ベクトル𝒙と𝒚のユークリッド距離の二乗 = 𝒙 − 𝒚 2ベクトル𝒙と𝒚のユークリッド距離=

𝒙−𝒚 2 = 𝒙−𝒚
なんだこの二重絶対値は？
（次スライド）九州大学 数理・データサイエンス教育研究センター

38

参考：なんだこの二重絶対値 ∙ は？
 𝒙 はベクトル𝒙の長さを表すんです ベクトル𝒙の「ノルム」とも言います！
3次元の場合 ベクトル𝒙の長さは(実はノルムにも種類があるんですが，そんなことまずは気にせずに考えれば)

𝒙 =𝑥12 + ⋯ + 𝑥𝑑2となります だから 𝒙 − 𝒚 は𝒙と𝒚の差の長さ，すなわち距離ってわけです

𝒙−𝒚 =

𝒙−𝒚 𝟐
九州大学 数理・データサイエンス教育研究センター

39

参考：図示するとやっぱりこんな感じ

第3次元

𝒙
第2次元
第𝑑次元

𝒙−𝒚𝒚
第1次元

九州大学 数理・データサイエンス教育研究センター

40

ユークリッド距離以外の様々な距離
各座標軸上の距離の和

第２次元

この例では縦軸距離＋横軸距離

ユークリッド距離
L1距離(マンハッタン距離)
max距離
第１次元
各座標軸上での距離のうち，最も大きいもの
この例では縦と横だと，横軸での距離のほうが大きい

九州大学 数理・データサイエンス教育研究センター

41

マンハッタン？
 斜めには行けない街
 平安京距離 平城京距離
 札幌距離でもいいかもね

2地点間の距離はこうではない 「市街地距離」と呼ばれることも2地点間の距離はこうなる

Google map
九州大学 数理・データサイエンス教育研究センター

42

max距離をいつ使う？
 次の𝑑次元データ間の距離を考えてみましょう

𝑑個

1
⋮
111
⋮
12
⋮
2
102
⋮
2

 ユークリッド距離では，この差は小さい

 「ほとんどが一緒でも１要素でも大きく違ったら，それは結構違うのだ」としたいなら，max距離九州大学 数理・データサイエンス教育研究センター

43

等距離面で違いを確認してみよう
max距離で から等距離の地点
マンハッタン
距離で から等距離の地点

ユークリッド
距離で から等距離の地点
九州大学 数理・データサイエンス教育研究センター

44

参考： 𝑝-ノルム
これらのノルムや距離は 𝑝-ノルム で一般化できる 𝒙 1 = 𝑥1 + ⋯ + |𝑥𝑑 |1-ノルム（マンハッタン距離に対応）

𝑥12 + ⋯ + 𝑥𝑑2

2-ノルム（ユークリッド距離に対応）

 𝒙 2=
 𝒙 𝑝=𝑥1 𝑝 + ⋯ + 𝑥𝑑 𝑝

 𝒙 ∞ = max{ 𝑥1 , … , |𝑥𝑑 | }1𝑝𝑝-ノルム（𝑝-ノルム距離に対応）∞-ノルム（max距離に対応）九州大学 数理・データサイエンス教育研究センター

45

ベクトルでなくても，距離は測れる (1/2)
長さの同じ2系列間の距離
 系列とは
 例えば文字列 “Synchronize”は長さ11の系列
 “Synchronize”と“Simchronise”と距離は？
 ハミング距離 (Hamming distance)だとシンプルに測れる！
 要するに違うものの個数
 “Synchronize”
 “Simchronise” → 距離3

 便利！でも長さが違う系列はどうする？

九州大学 数理・データサイエンス教育研究センター

46

ベクトルでなくても，距離は測れる (2/2)
長さの異なる2系列間の距離
 編集距離を使う！
 置換，挿入，削除の最小回数 ＝最初の文字列を修正してもう一つの文字列にするときの，最少打鍵数• キー一つである文字を別の文字に置換できる「謎」のキーを考えるので，注意

置換技をうまく使ってる 例： “This” ⇔ “These”
 置換1回(i⇔e) ＋ 挿入1回(e)→ 回数 2
 削除1回(s) ＋ 置換(i⇔e)1回 ＋ 挿入2回(se)→ 回数 4
 削除2回(is) ＋ 挿入3回(ese)→ 回数 5
 削除4回(This) ＋ 挿入5回(These)→ 回数 9
 ....

手順によって必要な操作回数が変わる

全消しして全打ち直し…

最小回数は2だから，距離2
九州大学 数理・データサイエンス教育研究センター

47

Jaccard係数 (類似度) 「(数学の)集合」の類似度
 集合は何かの集まりを表し，入ってる/入ってないだけが重要 どのくらい共通しているかを測っている

𝐴∩𝐵
共通部分 4
𝐽 𝐴, 𝐵 =
==
𝐴∪𝐵
6
全要素

A=B=

九州大学 数理・データサイエンス教育研究センター

48

参考：コサイン類似度
理系は高校の内積の式 𝒂 ∙ 𝒃 = 𝒂 𝒃 cos 𝜃 を思い出そう 方向性の類似度を測る方法

𝒂∙𝒃cos 𝜃 =𝒂 𝒃

𝒃

𝒂

𝑎1
𝑎2
𝑎3×××

𝑏1
𝑏2
𝑏3

合計したものが内積𝒂 ∙ 𝒃

 cos 𝜃は-1から+1の範囲で変化
 -1 → 𝒂, 𝒃は反対向き → 𝒂, 𝒃は似てない
 0は直交 +1→ 𝒂, 𝒃は同じ向き → 𝒂, 𝒃は似てる𝒂𝜃𝒃

ユークリッド距離

49

距離や類似度を利用したデータ分析①

画像認識「シンプルな」パターン認識
九州大学 数理・データサイエンス教育研究センター

50

距離・類似度で，シンプルに画像認識！
 登録されている画像データ中で，画像𝒙に最も似ているものは「リンゴ」の画像𝒛だった→ 「画像 𝒙 はリンゴ」と判断
ミカン

第3回の付録「最近傍法」

ある画像リンゴ

九州大学 数理・データサイエンス教育研究センター

51

画像の距離をどうやって測る？
「画像をベクトルとみて，普通にユークリッド距離」が簡単

どちらも1000x1000画素の画像

100万次元ベクトル 𝒙

100万次元ベクトル 𝒚

画像間距離𝒙−𝒚
九州大学 数理・データサイエンス教育研究センター

52

距離や類似度を利用したデータ分析②

クラスタリング

九州大学 数理・データサイエンス教育研究センター

53

応用例: クラスタリング
 近いデータをまとめてグループ(クラスタ)を見つけるデータ処理[Goldstein, Uchida, PLoSONE, 2016]

 色々使える！
 例えばSNSで仲の良いグループを見つける，趣味の似た人達を見つける 楽曲をまとめてジャンルを見つける
 遺伝子的に近い種のグループを見つける 様々なニュース記事が扱っている共通の話題を見つける
九州大学 数理・データサイエンス教育研究センター

54

クラスタリングの例
 データをベクトルで表したところからスタート

九州大学 数理・データサイエンス教育研究センター

55

クラスタリングの例
 全データの中で一番近い2つをグループにまとめる

グループは，以降1つの点と考える

九州大学 数理・データサイエンス教育研究センター

56

クラスタリングの例
 次に最も近い2つをまとめる

九州大学 数理・データサイエンス教育研究センター

57

クラスタリングの例
 今度はグループと点が1つのグループにまとめられる

九州大学 数理・データサイエンス教育研究センター

58

クラスタリングの例
 全ての点が1つになるまで繰り返す

九州大学 数理・データサイエンス教育研究センター

59

クラスタリングの例
 さらに系統樹を作ることもできる

他の有名なクラスタリング法であるk-means法→付録

九州大学 数理・データサイエンス教育研究センター

60

まとめ
 ベクトル データの代表的な表現方法の1つ
 何がどのくらい強い/あるを数学的に表現 ベクトルでの表現方法は対象によって変わってくる 距離と類似度
 データの近さを測る方法
 対象や用途により様々な方法があり使い分ける
 画像認識（パターン認識），クラスタリング

九州大学 数理・データサイエンス教育研究センター

61

付録

九州大学 数理・データサイエンス教育研究センター

62

𝑘-means法

Mean = 平均．だから𝑘個の平均を求める方法．
古典的だが，いまでもクラスタリングの代表的方法（便利！）九州大学 数理・データサイエンス教育研究センター

63

𝑘-means法（0）初期代表ベクトル
わかりやすい比喩：
代表＝アイドル，データ＝民衆

データ

例えばランダムに与える

九州大学 数理・データサイエンス教育研究センター

64

𝑘-means法（1）データの分割
わかりやすい比喩：
民衆は自分に一番近いアイドルのファンになる

代表ベクトルのファンクラブ
（支持者集合）注：用いる距離によって分割は変わる

九州大学 数理・データサイエンス教育研究センター

65

𝑘-means法（2）代表ベクトル更新
わかりやすい比喩：
けなげなアイドルがファンクラブの真ん中に移動

この中のデータの平均に移動

九州大学 数理・データサイエンス教育研究センター

66

𝑘-means法（1）データ分割
わかりやすい比喩：
アイドルの移動により，ファンクラブ構造が変ってしまう

九州大学 数理・データサイエンス教育研究センター

67

𝑘-means法（2）代表ベクトル更新
わかりやすい比喩：
けなげなアイドルは新しいファンクラブの真ん中に再び移動

以後，代表ベクトルが動かなくなるまで反復九州大学 数理・データサイエンス教育研究センター

68

異常検出

距離さえあれば，異常なデータを見つけることができる！

九州大学 数理・データサイエンス教育研究センター

69
69

異常検出（異常検知）とは？
 今与えられたデータが「一般的に期待していたデータ」とは異なるものであることを見出す手法

 なぜ異常は起こるか？
 機器やセンサの故障，身体の病気やケガ うっかりや見落とし，事故や失敗など，人為的ミス
 侵入や破壊，悪用など，意図的な悪意のある行為
 甚大な自然災害など，想定外もしくは稀な現象の発生
 Etc...

九州大学 数理・データサイエンス教育研究センター

70
70

異常検出の応用例
 人々を対象とした異常検出
 エレベータ内のカメラで人々の動きを認識し，さらに普通でない動きを判断 独居者の異常検出：日常と異なる行動パターンを通知し通知
 病院内での患者の異常検出：特に気づきにくい早期の異常検出
 食品や生産物の異常検出
 表面の傷の検出，異物の検出
 機械・建造物・コンピュータシステムの異常検出
 サイバー攻撃の検出
 機械の故障の検出
 橋や道の異常検出

九州大学 数理・データサイエンス教育研究センター

7171

距離による異常検出の基本的な考え方
 「注目しているデータが，他のデータから離れている(距離が遠い)」→異常度が高い

周りにデータなし→高い異常度周りにデータ多い→低い異常度
九州大学 数理・データサイエンス教育研究センター

72
72

異常の種類(1/3)
 大局的異常 まわりに「近い」データがない「似た」データがない＝どう考えても異常 𝑥1 , 𝑥2

局所的異常

大局的異常

微小クラスタ

大局的異常[Goldstein, Uchida, PLoSONE, 2016]

九州大学 数理・データサイエンス教育研究センター

73
73

異常の種類(2/3)
 局所的異常 そのデータ周辺の平均的な近さで考えると，「近くない」
 𝑥3 は局所的異常• 付近にある𝑐2 グループ基準でみると異常• ただし𝑐1 グループ基準だとそこまで遠くはない

わかりやすい比喩：
その家がある都会では「町はずれの一軒家」だが，田舎視点だと十分ご近所[Goldstein, Uchida, PLoSONE, 2016]

局所的異常

大局的異常微小クラスタ

大局的異常九州大学 数理・データサイエンス教育研究センター

74
74

異常の種類(3/3)
 微小クラスタ 周りに近いデータはある
ものの，その数は限定的 𝑐3 の3つのデータが相当

局所的異常

大局的異常

微小クラスタわかりやすい比喩：
要は「オタク」集団(?)．
近くに同志は少数いるが，世間全体からは浮いている[Goldstein, Uchida, PLoSONE, 2016]

大局的異常九州大学 数理・データサイエンス教育研究センター

75
75

𝑘近傍法による異常検出(1/2)
原理

距離登場

𝑘個の近いデータ

 あるデータについて，それに最も近い𝑘個のデータですらあまり近くない→異常 二つの考え方
 単一タイプ：𝑘番目に近いデータへの距離 𝒑 − 𝒒𝑘 or 合計タイプ： 𝒑 − 𝒒1 + 𝒑 − 𝒒2 + ⋯ + 𝒑 − 𝒒𝑘

𝒒3

𝑘=3𝒒1
𝒑𝒒2
九州大学 数理・データサイエンス教育研究センター

76
76

𝑘近傍法による異常検出(2/2)
異常度計算結果例(𝑘 = 10, 合計)
 半径が大きな点(データ)ほど異常度が高いと計算されている[Goldstein, Uchida, PLoSONE, 2016]

九州大学 数理・データサイエンス教育研究センター