THE UNIVERSITY OF TOKYO

数理情報工学特論第一【機械学習とデータマイニング】
4章：教師なし学習①

かしま ひさし鹿島 久嗣（数理 6 研）kashima@mist.i.～

DEPARTMENT OF MATHEMATICAL INFORMATICS

1THE UNIVERSITY OF TOKYO

教師なし学習の基本的な問題設定と、そのひとつである未観測値の推定を学びます

教師なし学習とは何か

多次元の確率分布–

多次元正規分布

–

多項分布



教師なし学習の主要タスク–

タスク1: 確率分布そのものを用いた分析–

タスク2: データの確率評価–

タスク3: 未観測値（欠損値）の推定–

タスク4: 潜在変数の推定2

多次元正規分布における未観測値の推定（タスク3）
–

周辺分布

–

条件付き分布THE UNIVERSITY OF TOKYO

教師なし学習とは3

THE UNIVERSITY OF TOKYO

教師なし学習は、データの従う確率分布の推定を目的とします 教師なし学習：入力xの従う（多次元）確率分布P(x)の推定⇔教師つき学習：入力xに対する出力yの条件付き確率P(y|x)を推定
 教師なし学習においては、不えられた（訓練）データ集合において出力に関する情報（教師信号）が不えられることはない– （訓練）データ集合としては{ x(i)}i=1N のように、N個の（教師つき学習でいうところの）入力のみが不えられる– 入力のみからモデルを推定するため、教師なし学習と呼ばれる

 ただし、教師なし学習でも、潜在変数と呼ばれる、出力 y に対応する変数が用いられることもある– これらはデータ集合において直接的に観測されることはなく、あくまで仮想的な変数として用いられる
4

THE UNIVERSITY OF TOKYO

教師なし学習には、高次元空間上での確率分布を推定するという難しさがあります 教師つき学習では：– 入力の特徴ベクトルÁ(x)は多次元(D次元)– 出力は主に1次元（もしくは比較的小さな次元）
 つまり、教師つき学習での（条件付き）確率分布は1次元空間上での確率分布を考えていたのであった
 一方で、教師なし学習ではÁ(x)が分布する多次元空間（D次元）における確率分布を扱うことになる 高次元の確率分布を扱う必要があるという点で、教師つき学習とは別の難しさがある

5THE UNIVERSITY OF TOKYO多次元の確率分布

6THE UNIVERSITY OF TOKYO

代表的な分布2つ：多次元正規分布と多項分布
 まずはP(x)のモデルとして、どのような確率分布がよく用いられるかを見ることにする

 教師なし学習におけるモデルは「データ（特徴ベクトル）を生成するモデル」である
 扱う特徴ベクトルの種類や性質に応じて、適切なモデルを選ぶ必要がある– 実数値特徴ベクトルを扱う代表的モデル• 多次元正規分布– 離散値特徴ベクトルを扱う代表的モデル• 多項分布7

THE UNIVERSITY OF TOKYO

正規分布は実数値を取る変数の最も代表的な確率モデルです データの特徴ベクトルの次元が1次元の場合（Á(x) = Á(x) ∈ R）の正規分布の確率密度関数：– ¹ ：平均パラメータ– ¾2 ：分散（¾は標準偏差）パラメータ 確率 P(Á(x); ¹, ¾2) は Á(x) = ¹ のときに最大値をとり、一方 (Á(x) - ¹)2が大きくなるに従い小さくなっていくような単峰性の分布である

8THE UNIVERSITY OF TOKYO（一次元）正規分布を多次元に拡張したものが多次元正規分布です 多次元正規分布の確率密度関数：– ¹：D次元の平均ベクトル（各要素が特徴ベクトルの各次元の平均）– Σ：分散共分散行列（D £ D の対称な正定行列）– |Σ|：行列Σの行列式
 Σの非対角成分は特徴ベクトルの要素間の相関関係を表す

 Σ = ¾ I と置くと、これは要素間の相関がまったくない状態を表し、密度関数は独立な1次元の正規分布の同時確率（確率の積）：9THE UNIVERSITY OF TOKYO多次元正規分布の分散共分散行列を精度行列で置き換えた表現もあります 密度関数の分散共分散行列の逆行列を ¤ ≡ Σ-1 と置き換えてみると多次元正規分布の別表記が得られます– ¤ ≡ Σ-1 ： 精度行列（Σと同じく対称な正定値行列）
 精度行列は、特徴ベクトルの要素間の直接的な依存関係を表す

10THE UNIVERSITY OF TOKYO

精度行列は、特徴ベクトルの要素間の直接的な依存関係を表していますと置くと、密度関数の指数部分は：

 精度行列 ¤ の (k,l)-要素 [¤]k,l が k 番目の要素とl 番目の要素との「絡み」の程度を表していることがわかる。
 [¤]k,l = 0 のときにはの項が存在しないため、k 番目の要素と l 番目の要素の間には直接的な関係がないということになる ¤ は単に密度関数を決定するパラメータであるだけでなく、それ自体が、変数間の関係の構造という重要な定性的情報をもつ– 後に、精度行列に対するL1正則化を用いて多次元正規分布を推定（グラフィカルラッソ）する際に改めて触れる
11THE UNIVERSITY OF TOKYO

正規分布は0以上の整数値を取る変数の最も代表的な確率モデルです 多項分布：離散値、とくに0以上の整数値を取るような特徴ベクトルを扱うための確率分布– 例えば、文書のbag-of-words表現など、各特徴が何らかの「個数」を表現する場合が多くの場面で現れる T 個の対象を Á (x), …, Á (x)1 多項分布の確率密度関数：

D個ずつに分割する場合の数– ¹：確率の制約をみたすD次元ベクトル– T ：自然数
12

THE UNIVERSITY OF TOKYO

多項分布は、丌均一なD面体さいころによる各面の出現回数の分布として理解できます 多項分布は、丌均一なD面体さいころのイメージで理解できる– ¹の各次元は、このさいころを1回振った時– T はこのさいころを何回振るかという回数– P(Á(x) ; ¹, T) は、このさいころを T 回振り終わった時に、各面が出た回数が Á(x) = ( Á1(x), …, ÁD(x) ) である確率を表す
 例として、先ほどのbag-of-words表現を考えると、各単語の出現回数が Á(x) = ( Á1(x), …, ÁD(x) )となる確率が P(Á(x) ; ¹, T) である– D 個の単語を含む単語リストがあり、そのd番目の単語が出現する
確率を¹dとする– 観測された文書の長さ（文書の含む単語数）が T であるとする– 文書に含まれる各単語はお互いに独立に確率分布 ¹ に従って出現すると仮定する（本当は必ずしも独立ではないはずだが）
13
THE UNIVERSITY OF TOKYO

多項分布では、要素の出現順は考慮していないことに注意する必要があります なお、多項分布の確率は文書中の単語の出現位置は考慮せず、単に「各単語の出現頻度」のみを扱っていることに注意する必要がある

 文書を単に「単語を袋に詰めたもの」ではなく「単語の列」であると考えた場合、特徴ベクトルは

 のように、単語リストd 番目の単語が、文書中の位置tに出現した回数（この場合0か1になる）Ád, t (x) を用いて定義される
 そして、ある特定の単語列であるところの文書が出現する確率は：

14

THE UNIVERSITY OF TOKYO

教師なし学習の主要タスク

15

THE UNIVERSITY OF TOKYO

教師なし学習の主要タスクは4つあります 教師なし学習においては通常、データ上の確率分布P(Á(x))を何らかの形で推定することが行われるが、その使い道としては主に以下の4つが挙げられる– タスク1: 確率分布そのものを用いた分析– タスク2: データの確率評価– タスク3: 未観測値（欠損値）の推定– タスク4: 潜在変数の推定

16

THE UNIVERSITY OF TOKYO

タスク1: 確率分布そのものを用いた分析
パラメータを見ることでデータの振る舞いを知ることができます パラメータ（によって決まる確率分布P(Á(x))の形）を「鑑賞」することによって、データ全体がどのような形で分布しているかを知ることは、データについての知見を得るのに有効である
 多次元正規分布の場合：– 分布の平均ベクトル¹と共分散行列Σを見ることで、データの全体的な振る舞いが見える（どのあたりのÁ(x)が最も確率が高く、また、そのまわりにÁ(x)がどのように散らばっているか）– 精度行列¤を見ることで、要素間の直接的な依存関係がわかる• Á(x) の各要素が遺伝子発現量（各遺伝子がどの程度働いているか）を表すとすると、精度行列の各要素は遺伝子間にどのような関係があるかを伺い知ることができる• 精度行列の要素が非零である場合、2つの遺伝子間には何からの密接な関係（協調関係や制御関係）があるものと期待できる。
17

THE UNIVERSITY OF TOKYO

タスク1: 確率分布そのものを用いた分析
2つの分布を比較することでその差を検出できます 2つのデータ集合 D ≡ {x(i)}i=1N および D0 ≡ {x0(i)}i=1N0 （x(i), x0(i) 2 X ）から推定された2つの確率分布を P(Á(x)) および P0(Á(x0)) とする

 P(Á(x)) と P0(Á(x0)) が異なるか、異なるとしたらどのように異なるのかを調べることも実用上非常に重要– Dがある製造システムの正常時の挙動、D0 は正常かどうかが疑わしいときの挙動とすると、これらの間に差があるということは、後者
ではシステムに何らかの異常が起こっていると疑うことができる。
• さらに、その差異を調べることで、どのような挙動の違いがあるのかを調べ、異常の原因を特定するのに役立てることができる– D を（bag-of-words表現などによって表現された）Webページなどの集合、D0を最近作られたWebページの集合とし、その分布の差異を調べることで、最近現れた新規トピックの検出などを行うこともできる
18

THE UNIVERSITY OF TOKYO

タスク2: データの確率評価
確率の小さいデータを異常データとして検出します 一旦 P(Á(x)) が不えられれば、訓練データ集合中の任意のデータ、もしくは新たに入手したデータxに対し、その確率値を評価できる
 つまり、そのデータ x が確率分布 P(Á(x)) から出てきたものであるとしたときに、xがどの程度出てきやすいものか、もしくは、どの程度出てきにくいものかを知ることができる
 データの確率評価が特に重要な役割をもつのが、外れ値検出– 外れ値検出とは、データ集合中で、他のデータとは大きく異なる「異常な」データを発見するタスク– 詐欺検知：大勢のユーザーのカード利用履歴中から丌審な（通常行わない＝確率がきわめて低い）利用行動を取るユーザーを発見する– 雑音除去：計測機器により取得されたデータ集合から、突発的な雑音に乱された（通常観測されない＝確率がきわめて低い）値を見つけ取り除く
19
THE UNIVERSITY OF TOKYO

タスク3: 未観測値（欠損値）の推定一部の変数についての確率分布（周辺分布）を求めます 特徴ベクトル Á(x) =(Á1(x), …, ÁM(x), ÁM+1(x), …, ÁD(x)) のうち（簡単のため最初の）M 個の要素を纏めて ÁA(x) ≡ (Á1(x), …, ÁM(x)) と書く
 また、残りのD-M個の要素をÁB(x) ≡ ( ÁM+1(x), …, ÁD(x) )と書く

 このとき、特徴ベクトルの全要素についての同時分布 P(Á(x))がわかると、これから、ÁA(x) についてのみの同時分布がわかる：（周辺化） Á(x) の全要素ではなく、その一部 ÁA(x) にのみ興味がある場合に有効– 後で紹介する潜在変数モデル P(x,y) は、実際には観測されない変数
y 2 Y を含むモデルである– Y ≡ {1,2,3}が3つの潜在的なカテゴリーを表すとすると、 P(y) を知ることで、この潜在的なカテゴリーがそれぞれどの程度の割合で存在するのかを知ることができる
20
THE UNIVERSITY OF TOKYO

タスク3: 未観測値（欠損値）の推定
一部の変数が分かった時の残りの変数を予測します 類似のケースとして、ÁA(x) ≡ (Á1(x), …, ÁM(x)) が観測されたとした
ときのÁB(x) ≡ ( ÁM+1(x), …, ÁD(x) ) の条件付き確率分布を用いることで、Á(x) = (Á1(x), …, ÁM(x), ÁM+1(x), …, ÁD(x)) の要素のうちいくつかが観測された場合にその情報を利用して、残りの要素を予測することができる
 応用例としては：– 住所や年収などといった顧客情報のうち一部が何らかの理由により欠損している場合に、残りの情報からこれを推測する

21

THE UNIVERSITY OF TOKYO

タスク4: 潜在変数の推定「隠れた情報」を表す仮想的な変数を考え、これを推定します 未観測値の推定と同じく、データ中に観測されない情報の推定であるが、まったく異なる状況として、潜在変数の推定がある

 このタスクは、興味のある変数が（訓練）データ集合においても観測されない潜在的な仮想変数であるという点で、未観測値の推定とは異なる つまり、xとは別にまったく観測されない変数y（潜在変数）と呼ばれる変数を仮定し、その条件付き分布 P(y|x) を推定することが目的となる– y は x のもつ「隠れた情報」を表す
 たとえば、yを各データの属するグループであるとすると、P(y|x) を用いてデータ集合を自動的にグループ分け（クラスタリング）することができる
22

THE UNIVERSITY OF TOKYO多次元正規分布における未観測値の推定（タスク3）

23

THE UNIVERSITY OF TOKYO

タスク3の未観測値（欠損値）の推定を、多次元正規分布を使って具体的にやってみます 特徴ベクトル Á(x) =(Á1(x), …, ÁM(x), ÁM+1(x), …, ÁD(x)) のうち– 最初のM 個の要素を ÁA(x) ≡ (Á1(x), …, ÁM(x)) と書く– 残りのD-M個の要素を ÁB(x) ≡ ( ÁM+1(x), …, ÁD(x) ) と書く
 特徴ベクトルの全要素についての同時分布 P(Á(x))がわかったとき：– ÁA(x) についてのみの同時分布（周辺分布）を求めたい– ÁA(x) が観測されたとしたときの ÁB(x) の条件付き確率分布をも求めたい24THE UNIVERSITY OF TOKYO多次元正規分布に対して、一部の変数に対する（周辺）分布を、積分（周辺化）によって求めてみます P(Á(x) ) は（精度行列を用いて表現された）多次元正規分布：

 Á(x)のうち最初のM個の要素 ÁA(x) ≡ (Á1(x), …, ÁM(x)) についての同時分布は、残りのD-M 個の要素 ÁB(x) ≡ ( ÁM+1(x), …, ÁD(x) ) によるP(Á(x); ¹, ¤) の積分を求めることで得られる：

 つまり：

25

THE UNIVERSITY OF TOKYO

精度行列を分割して、正規分布の指数部分を書き下します 平均¹の、最初のM 要素の部分と残りの D-M 要素の部分をそれぞれ¹Aおよび¹Bのように書き、とおくと： ¤の分割を以下のように置く：– ¤AA ： M £ M行列、¤BB： (D-M) £(D-M)行列– ¤の対称性より、¤AB> =¤BA
 多次元正規分布の指数部分は以下のように書き換えることができる：

26

THE UNIVERSITY OF TOKYO平方完成を用いて、積分に関わる部分と関わらない部分を分割します 以下の展開が成立する：– この式の右辺のはじめの2項が指数部分に出現する

 指数部分をさらに以下のように書き換えることができる。

27

THE UNIVERSITY OF TOKYO

積分してみると、周辺分布が求まります 元々の式に戻すと以下のようになる：

 積分部分は、確率分布として（和が1になるように）正規化されていない正規分布の形をしているので、この部分が精度行列¤BBをもつ（正規化されていない）D-M 次元の正規分布に対応していることに注意すると、この積分は (2¼)(D-M)/2|¤BB|-1/2となるはずなので： この指数部も正規分布の指数部と同じ形をしているので、P(ÁA(x))は平均¹A、精度行列¤AA - ¤AB ¤BB-1 ¤BA （もしくは分散共分散行列(¤AA- ¤AB ¤BB-1 ¤BA)-1をもつような多次元正規分布となることがわかる
28

THE UNIVERSITY OF TOKYOところで、分割された行列と、その逆行列には、便利な関係が知られています ところで、行列の分割については、以下の等式が知られている–：シューア補行列と呼ばれる行列

 分割された行列の逆行列は、各分割部分とその逆行列によって、やはり分割された形で書くことができる

29

THE UNIVERSITY OF TOKYOこれを用いると、周辺分布の分散共分散行列は元々のそれの部分行列であることがわかります 先の等式に精度行列の分割を入れてみる；–として、先の等式に代入– すると：

 分散共分散行列を¤と同様の分割：を考えた時、P(ÁA(x) )は、平均¹A、分散共分散行列ΣAA（つまり、単にもともとの分散共分散行列 Σ の部分行列）をもつ多次元正規分布であるということもできる
30

THE UNIVERSITY OF TOKYO

条件付き分布は、周辺分布の計算で出てきた結果を用いて求めることができます つぎに、ÁA(x) が不えられた時の ÁB(x) の条件付き確率を求める：
 先ほど求めたP(ÁA(x) )を使うと、P(ÁB(x) | ÁA(x))は：

 P(ÁA(x) )の計算に用いた、指数部分の展開式を使うと、上式の指数部分の第2項が消え：

31

THE UNIVERSITY OF TOKYO

その精度行列は、もともとの精度行列の部分行列となっていることがわかります 求まった形もまた多次元正規分布の形をしている：

 その平均は、であったことに注意すると、となることがわかる

 また、その精度行列は ¤BBとなる– 条件付き分布のほうは精度行列で表現したほうがシンプル⇔ 周辺分布は分散共分散行列を使った方がシンプル

32

THE UNIVERSITY OF TOKYO