[統計基礎]~モーメント母関数について解説してみた~

# モーメント母関数とは
以下の式で表し、確率変数X,Xの二乗,Xの三乗,・・・XのN乗の期待値を求めることができる。まあ基本的にはX,Xの二乗の期待値を求めるだけで済むことが多い。歪度(skwwness)・尖度(kurtosis)を求めたい場合も使うよ。
```math
E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
```
確率密度f(x)で連続型確率変数Xに対して、モーメント母関数を考える。
```math
M(θ) = E[e^{θX}] = \int_{-∞}^∞ e^{θx}f(x) dx
```
e^θXのマクローリン展開を求める
```math
e^{θX} = 1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・
```
```math
M(θ) = E[e^{θX}] = E\Big[1 + \frac{θX}{1!} + \frac{(θX)^2}{2!} + \frac{(θX)^3}{3!} + ・・・\Big]
```
```math
E[e^{θX}] = E[1] + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
```
E[1]は全確率より1である
```math
E[1] = \int_{-∞}^∞ f(x) dx = 1
```
```math
E[e^{θX}] = 1 + E[X]\frac{θ}{1!} + E[X^2]\frac{(θ)^2}{2!} + E[X^3]\frac{(θ)^3}{3!} + ・・・
```
上の式からE[X]を求めたい場合はθで一回微分してθ=0を代入すればいいし、E[X^2]を求めたい場合はθで二回微分してθ=0を代入すれば良い
```math
\mu = E[X] = M'(0)
```
```math
\sigma^2 = E[X^2] - E[X]^2 = M''(0) - M'(0)^2
```
# 二項分布の平均・分散を求める
離散的確率分布の場合も同様に
```math
P_b(X) = {}_nC_x p^x q^{n-x}
```
```math
M(θ) = E[e^{θX}] = \sum_{x=0}^{n} e^{θx} {}_nC_x p^x q^{n-x}
```
```math
M(θ) = \sum_{x=0}^{n} {}_nC_x (pe^θ)^x q^{n-x}
```
ここでpe^θをa、qをbとおく
```math
M(θ) = \sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x}
```
二項定理を用いると
```math
\sum_{x=0}^{n} {}_nC_x (a)^x b^{n-x} = (a + b)^n
```
```math
M(θ) =　(pe^θ + q) ^ n
```
これで二項分布のモーメント母関数が求まりました！
```math
M'(θ) = n(pe^θ+q)^{n-1}(pe^θ+q)'=np[(pe^θ+q)^{n-1}e^θ]
```
積の微分公式を使う
```math
M''(θ) = np[(e^θ)'(pe^θ+q)^{n-1}+e^θ ((pe^θ+q)^{n-1})']
```
```math
M''(θ) = np[e^θ(pe^θ+q)^{n-1}+e^θ(n-1)(pe^θ+q)^{n-2}pe^θ]
```
```math
M''(θ) = np[e^θ(pe^θ+q)^{n-1}+pe^{2θ}(n-1)(pe^θ+q)^{n-2}]
```
p+q=1より
```math
M'(0) =np(p+q)^{n-1}=np
```
平均はnp
```math
M''(0) = np[(p+q)^{n-1}+p(n-1)(p+q)^{n-2}]
```
p+1=1より
```math
M''(0) = np[1+p(n-1)] = np + (n-1)np^2 
```
分散は
```math
\sigma^2 = M''(0) - (M'(0)^2) = np + (n-1)np^2 - (np)^2
```
```math
\sigma^2 = np - np^2 = np(1-p) = npq
```
# 正規分布の平均・分散を求める
正規分布は以下の式で表せる
```math
N(\sigma, \mu) = \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big)
```
まず、正規分布のモーメント母関数を求める
```math
M(θ) = E[e^{θX}] = \int_{-∞}^∞ \frac{1}{\sqrt{2π}\sigma}exp\Big(-\frac{(x-\mu)^2}{2\sigma^2}+θx\Big)dx
```
exp指数部に注目して変形をする
```math
指数部 = -\frac{(x^2-2\mu x+\mu^2)-2\sigma^2θx}{2\sigma^2}
```
```math
指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+\mu^2)}{2\sigma^2}
```
ここで二乗で括りたいので、以下の公式を使う
```math
(x - a)^2 = x^2 -2ax + a^2 
```
ここで示すaはu+σ^2θであり-a^2をし調整する
```math
指数部 = -\frac{(x^2-2(\mu +\sigma^2θ)x+(\mu+\sigma^2θ)^2)-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}
```
```math
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu+\sigma^2θ)^2+\mu^2}{2\sigma^2}
```
```math
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(\mu^2+2\mu\sigma^2θ+\sigma^4θ^2)+\mu^2}{2\sigma^2}
```
```math
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2-(2\mu\sigma^2θ+\sigma^4θ^2)}{2\sigma^2}
```
```math
指数部 = -\frac{(x-(\mu +\sigma^2θ))^2}{2\sigma^2} + \muθ + \frac{\sigma^2θ^2}{2}
```
よって以下のように変形できる
```math
M(θ) = E[e^{θX}] = \frac{1}{\sqrt{2π}\sigma}\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)dx
```
exp(uθ+σ^2θ^2/2)部分は定数なので、定数部分を無視した積分を行う
```math
\int_{-∞}^∞ exp\Big(-\frac{(x-(\mu+\sigma^2θ)^2)}{2\sigma^2}\Big)dx
```
zを下のように置くと
```math
z = \frac{x-(\mu+\sigma^2θ)}{\sigma}
```
```math
x = \sigma z + (\mu + \sigma^2 θ)
```
```math
\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)\frac{dx}{dz}dz
```
```math
\sigma\int_{-∞}^∞ exp\Big(-\frac{z^2}{2}\Big)dz = \sqrt{2π}\sigma
```
正規分布のモーメント母関数が求まりました！
```math
M(θ) = exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
```
```math
M(θ)' = (\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
```
平均はu
```math
M(0)' = u
```
積の微分公式より
```math
M(θ)'' = (\mu+\sigma^2θ)'exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)'
```
```math
M(θ)'' = \sigma^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)+(\mu+\sigma^2θ)^2exp\big(\muθ+\frac{\sigma^2θ^2}{2}\big)
```
```math
M(0)'' = \sigma^2+\mu^2
```
分散は
```math
M''(0) - (M'(0)^2) = \sigma^2 + \mu^2 - \mu^2 = \sigma^2
```
>ふー疲れたー