データ解析第二回鈴木　大慈理学部情報科学科西八号館W707号室s-taiji@is.titech.ac.jp
●確率統計の復習。関数定義● for文,  if文●乱数生成。ヒストグラムによる可視化●確率統計の復習�関数定義😊 for文とif文●乱数生成●ヒストグラムによる可視化●レポート問題確率変数とは集合Aに対して，その集合にXが含まれる確率P(X ∈ A)が矛盾なく定まっている変数のことである.
標本空間Ω上にP(A)が定まっている集合の族としてσ-加法族Fを考える．σ-加法族とは以下の性質を満たす集合の族である. 。Ω ∈ F. ● A ∈ F ⇒ A ∈ F . o An ∈ F (n = 1,2,...) ⇒ Un=1 An ∈ F.標本空間Ωとその上に定まったσ-加法族牙の組(Ω,牙)を可測空間という. A ∈ ∑に対して確率P(A)を返す関数を確率測度と言う．確率測度は次の性質を満たさなくてはいけない. ● P(A) ≥ 0  (VA ∈ F). ● A n ∈ F ( n = 1,2,...)が互いに排反ならば，P(U n =1 A n ) = ∑ n =1 P(A n ). 。 P(Ω) = 1. (Ω, F, P)を確率空間という.
位相空間上（この講義ではRPしか考えない）で，全ての開集合を含む最小のσ-集合族のことをボレル集合族という. R°値確率変数Xとは，X : Ω → R°なる可測関数である．つまり，R°上のボレル集合族をＢとして，∀Ｂ ∈ Ｂに対しX−1(B) ∈ヱを満たす関数である．言い替えると全ての集合B ∈ Bに対して，XがBの中に値を取る確率P(X ∈ B)がP(X−1(B) = {ω ∈ Ω | X(ω) ∈ B})として矛盾なく定まっているということである.通常はΩ = RP,  F = Bとして,  X : RP ∋ ω ↔ ω ∈ RPとして考える.
Xを実確率変数とする. 。確率分布関数
。確率密度関数（連続確率変数）
Fが微分可能でなければ密度関数は存在しない．確率密度関数が存在すれば
である．F(x)が連続な確率変数を連続確率変数とよび，微分可能な場合には絶対連続確率変数とよぶ．連続でも絶対連続とは限らない（カントールの階段関数）. 。確率質量関数(離散確率変数)
雛散確率変数がっに値をとる確率を確率質量関数とよぶ. 7 / 40
X = (X1, . . . , Xd)をd次元確率変数とする. ● X = (X1, . . , X4)の同時分布:  P(X ∈ A).
と書ける時，fを同時確率密度関数と言う. ● X jの周辺分布: P(X j ∈ A).
の時，f iを周辺密度関数と言う. 。独立性: X1とX2が独立⇔ P({X1 ∈ A1} ∩ {X2 ∈ A2}) = P(X1 ∈ A1)P(X2 ∈ A2).
8/40
。平均
。標準偏差

0 / 40
。共分散(X, Yをそれぞれ一次元の確率変数とする)
※相関が0でも独立であるとは限らない．反例を作ってみよ. ●分散共分散行列(X ∈ RPは多次元の確率変数とする)
分散の多次元版．各成分の分散を対角成分に，成分間の共分散を非対角成分に持つ.
10 / 40

●歪度(Xは一次元の確率変数とする)
分布がどれだけ対称でないか（歪んでいるか）の指標. 。尖度
分布がどれだけ尖っているか. (−3をしないで定義する場合もある．3は標準正規分布の尖度で，標準正規分布と比べて尖っているかどうかの指標になる．)
11 / 40

Theorem (大数の弱法則)
XをRP値確率変数とする．μ = E[X]に対し(||μ||＜∞とする)，Xと同じ分布に従うi.i.d.確率変数列X;の平均はμに確率収束する: ∀ε
（確率収束）実は，上と同じ条件でより強い「大数の強法則」が成り立つ.
Theorem (大数の強法則)
XをRP値確率変数とする.  μ = E[X]に対し，Xと同じ分布に従うi.i.d.確率変数列X;の平均はμに概収束する:
(概収束)
Xが一変量で分散V (< ∞)が存在する場合に証明する(多変量の場合も全く同様にして示せる)このとき,
である。あとは，マルコフの不等式より
より詳細は伊藤清著『確率論』を参照のこと. 13 / 40
Definition (分布収束(弱収束，法則収束))ある実数偵確率変数Xが確率密度関数を持つ時，ある確率変数の列S,が，Xに分布収束するとは, P(S, ≤ R) → P(X ≤ R)   (AR ∈ R)となることと定義される。 X, → Xと書く. Theorem (中心極限定理) X j ( i = 1, . . . , n )をR上i.i.d.確率変数とし，それらの平均と標準偏差がそれぞれμ, σであるとする.このとき, ∑ i=1 Xi − µ   d → N(0,1). σ√ n
先のスライドでは分布収束先として絶対連続確率変数を仮定したが，任意のRP上ボレル確率測度に対して分布収束の概念は一般化できる.
Definition
RP値確率変数X。が確率変数Xに分布収束するとは，任意の有界連続関数fに対してE[f(Xn)] → E[f(X)]が成り立つこととして定義される。このとき，X, → Xと書く.さらにこれは以下の条件と同値であることが知られている(Portmanteauの定理) ●任意の開集合G ⊂ R Pに対してlim inf P(X n ∈ G) ≥ P(X ∈ G). ●任意の閉集合F ⊂ R Pに対してlimsup P(X n ∈ F) ≤ P(X ∈ F). ● P(X ∈ ∂B) = 0なる任意のボレル集合Bに対して, P(X, ∈ B) → P(X ∈ B).ただし，∂BはBの境界つまりB − B (閉包-内点集合)である.
Theorem (中心極限定理) X j (i = 1, . . . , n )をR P上i i d確率変数とし，それらは平均μ ,分散共分散行列
任意のボレル集合Aに対して
である，とも言い替えられる．
パラメータθ ∈ Θ（母数）で特徴付けられた分布の族P aがあった時，これを「統計モデル」と言う: P = { Po | θ ∈ Θ}.やりたいこと: データXがあるパラメータθに対応する分布P θから生成されているとき，未知のパラメータθ 。をデータXから推定したい. (例：正規分布の平均と分散，二項分布の平均）
各P qに対し，密度関数ρ q (x)が存在しているとする（離散分布においては確率質量関数とする）.尤度関数: ρθ(X)対数尤度関数:  log ρθ(X)最尤推定量n個の観測データX = (X 1 , . . , X n )（i.i.d.）が与えられたとき，最尤推定量は次のように与えられる. n Ô =  arg max   log ρθ(X) =  arg max log Po(X;). 0EO AEO
Theorem (一致性) (ある条件のもと)最尤推定量は一致性を持つ: lim  P(|| Ô − θo|| ≥ c) = 0   (∀c). n-$8 ※サンプル数無限大の極限で真のパラメータに近づく.
Fisher情報行列
Theorem (渐近正規性) (ある条件のもと)最尤推定量は漸近正規性を持つ:
漸近分散がF-1(θο)であることを，漸近有効性と言う（漸近的に最適）.
20 / 40

êは尤度関数を最大化しているので,
21 / 40 ●確率統計の復習●関数定義● for文とif文●乱数生成●ヒストグラムによる可視化●レポート問題tmp <- function(x) { y <- x^2 return(y) kリ> tmp(2) [1] 4を得る.関数定義を" hoge.R"なるファイルに書き込んで, > source("hoge.R")とすればファイル内で定義した関数を読み込める.
> tmp <- function(x,y) list(x=2,sin.x=sin(x),y=y,log.y=log(y)) > z <- tmp(2,3) > z $x [1] 2 $sin.x [1] 0.9092974 $y [1] 3 $log.y [1] 1.098612 ●確率統計の復習●関数定義B  for文とif文●乱数生成●ヒストグラムによる可視化●レポート問題統習問題1 n × d行列Xとn次元ベクトルyを受け取って，(X T X)−¹X T yを返す関数を定義せよ. for(x in 1:3){ y <- x^2 cat(y,fill=TRUE) z ;を使って一行にまとめることも可能for(x in 1:3){y <- x^2;cat(y,fill=TRUE);}基本形if(x < 0) -x else x複数行・複数命令if(x < 0){ z <- x^2 y <- x^3 }else{ z <- x^3 y <- x^2 → n × d行列Xとn'次元ベクトルyを受け取り，n = n'なら(X T X)−1X T yを返し，n ≠ n'ならy自身を返す関数を定義せよ. ●確率統計の復習●関数定義● for文とif文●乱数生成●ヒストグラムによる可視化●レポート問題r+(乱数名)で乱数生成d+(乱数名)で確率密度関数p+(乱数名)で累積分布関数q+(乱数名)で分位点例:正規分布(norm) > rnorm(3) [1]  0.9372860  0.3960432 -0.5254500 > dnorm(1.4)   # X=1.4における確率密度[1] 0.1497275 > pnorm(1.4)   # P(X <= 1.4) [1] 0.9192433 > qnorm(0.9192433) [1] 1.40000
●確率統計の復習●関数定義😊 for文とif文●乱数生成●ヒストグラムによる可視化●レポート問題
hist(rnorm(100)) hist(rnorm(100),breaks=20) #ビンの数を設定2つのヒストグラムを重ねて表示. hist(rnorm(500,1.5), col = "#ff00ff40", border = "#ff00ff", breaks = 50, freq = FALSE) hist(rnorm(500), col = "#000ff40", border = "#000ff", breaks = 50, freq = FALSE, add = TRUE) add = TRUEで重ね表示. colでパネルの内側の色を指定，” #rrggbbtt”で16進数を使ってRGBの強さと透過度を指定(00からffまで). 最後の二桁は透過度. borderで枠の色を指定. freq=FALSEで数ではなく密度を表示（各ビンに入ったサンプル数の割合）. Histogram of rnorm(500, 1.5) morm(500, 1.5)
sum(runif(10)) mean(runif(10)) var(runif(10)) sd(runif(10)) #和#北海#分散#標準備差大数の法則を確認for(j in 1:5){ for(i in 1:7) x[i]<-c(mean(runif(10^i))); plot(x,type='l',col=j,ylim=c(0.45,0.55));  #ylimでy軸の範囲を指定par(new=T);  #重ね書きモードにする●確率統計の復習●関数定義● for文とif文●乱数生成●ヒストグラムによる可視化@レポート問題
●モンテカルロ法
[0, 1] × [0, 1]上の一様分布Xを大量に(例えば107個)発生させ， || X || ≤ 1なるサンプルの割合を求め，それによって半径１の１/４円の面積π/４の近似値を求めよ. ● Ｘを[0, 1]上の一様分布としてE[2 log(X)]はいくらか？また, n = 100, 100², 100³個のサンプルを発生させて，≒ ∑ i=1 2 log(Xi)を計算せよ。理論値には近づいているか？ ●中心極限定理の再現一様分布からn = 3, 10, 100個のサンプル{X;};=1を発生させる試行をそれぞれ1000回ずつ行い，各試行で極限定理が成り立っていることを確かめよ.確かめ方はどんな方法でも良い(例えばヒストグラムと正規分布の密度関数を同時にプロットしてみよ).余裕があれば他の分布でも確かめてみよ.
●私宛にメールにて提出. ●件名に必ず「データ解析第一回レポート」と明記し，Rのソースコードと結果をまとめたレポートを送付のこと. ●氏名と学籍番号も忘れず明記すること. 。レポートは本文に載せても良いが，pdfなどの電子ファイルにレポートを出力して添付ファイルとして送付することが望ましい(これを期にtexの使い方を覚えることを推奨します). ●提出期限は講義最終回まで. ※相談はしても良いですが，コピペはダメです.講義情報ベージhttp://www.is.titech.ac.jp/~s-taiji/lecture/2015/dataanalysis/ dataanalysis.html