相関分析・ダミー変数

# ピアソンの積率相関係数
2つの量的変数をそれぞれX軸、Y軸とした平面に、各観測値を点でプロットしたグラフを**散布図**と言います。xの値が増加した時にyの値も増加するという関係を正の相関関係、xの値が増加した時にyの値が減少するという関係を負の相関関係、xの値が増加してもyの値に増減が見られない場合を無相関と言います。

相関関係は必ずしも因果関係を示すものではありません。

**2変数間の線形関係（直線的関係）の強さを測る統計量**の1つに**相関係数（ピアソンの積率相関係数）**があります。標本相関係数r・母相関係数ρは無名数（無次元数）であり、-1以上1以下の実数に値をとり、それぞれ次のように表せます。

```math
標本相関係数r=\frac{S_{xy}}{S_xS_y}=\frac{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{x})^2}\sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i-\bar{y})^2}}
```

```math
母相関係数ρ=\frac{Cov[X,Y]}{σ_xσ_y}=\frac{E[(X-E[X])(Y-E[Y])]}{\sqrt{E[(X-E[X])^2]}\sqrt{E[(Y-E[Y])^2]}}　（Cov[X,Y]は共分散）
```

※共分散・相関係数ともに2変数間の関係を示しますが、**「データの単位」が値に影響を与える共分散**よりも、無名数（無次元数）であり単位の影響を受けない相関係数の方が多く使用されます。

### 無相関の検定
標本相関係数rを用いて、「2変数X,Yの間に相関がない（母相関係数が0である）」という帰無仮説を立てて検定を行うことを**「無相関の検定」**と言います。無相関の検定では、以下で示される検定統計量tが**「自由度n-2」**のt分布に従うことを用いて検定を行います。

```math
t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}
```

帰無仮説が棄却された場合、対立仮説の「母相関係数が0ではない」という主張が採択され、**「2変数X,Yの間で相関がある」と結論付ける**ことができます。

### 偏相関係数
XとYという2つの事象に本来因果関係が存在しないのにもかかわらず、**第3の要因Z**によってあたかもXとYの相関関係があるように見えてしまうという相関を**擬似相関**と言います。

擬似相関を引き起こす**第3の要因Zの影響を取り除いた**XとYの相関係数を**偏相関係数**と言い、次のように表されます。

```math
偏相関係数r_{xy・z}=\frac{r_{xy}-r_{xz}r_{yz}}{\sqrt{1-r^2_{xz}}\sqrt{1-r^2_{yz}}}　（r_{xy}：XとYの相関・r_{yz}：YとZの相関・r_{xz}：XとZの相関）
```

![unnamed.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/663460/a8c941dd-51c7-d8df-3b9a-99974d96abd9.png)

> 画像引用：[LAAD|第10章 論理的思考のまとめ](http://la-ad.net/logical-thinking/10.html)

# 順位相関係数
2組のデータX,Yが数量ではなく**順位（順序尺度）**で与えられているとき、その相関係数を**順位相関係数**と言います。2変数間の関係が線形であることを仮定する必要も、変数を数値的にとる必要もなく、単に順位が分かれば良いとします。

### スピアマンの順位相関係数
Nを標本の個数、Dを**2変数X,Yの順位の差**とした時に、**スピアマンの順位相関係数r**は以下のように表されます。

```math
r=1-\frac{6\sum_{i=1}^{n} D^2}{N^3-N}
```

### ケンドールの順位相関係数（ケンドールのタウ）
2つのリストP,Qの組み合わせ（nC2通り）を考えて、正順の組み合わせなら+1、逆順の組み合わせなら-1とした時の全組み合わせにおける割合で定義される順位相関係数を**ケンドールのタウτ**と言い、以下のように表します。正順とは、Pi>PjかつQi>QjまたはPi<PjかつQi<Qjとなることを指し、逆順とは正順ではないパターンのことを指します。

```math
τ=\frac{P-Q}{nC_2}
```

### 尺度水準
統計学では変数をその性質に応じて、以下の4つの尺度に分けて考えることがあります。

① **名義尺度**
▶︎他と区別し分類するための名称・例）血液型・郵便番号・学籍番号
▶︎名義尺度・順序尺度で測定されるデータを**カテゴリカルデータ**と言い、**カテゴリに属するか・属さないかを「1・0」で変換**したものを**ダミー変数**と言います

② **順序尺度**
▶︎**順序や大小には意味はある**が間隔には意味がないもの・例）「震度2/震度3/震度4」という震度の大きさ・「1.良い/2.普通/3.悪い」というアンケートの回答
▶︎「与えられた母集団が何らかの分布に従っている」という前提がない**ノンパラメトリック手法**で活用されます

③ **間隔尺度**
▶︎目盛りが等間隔になっており、その間隔に意味があるもの・例）気温・西暦・テストの点数
▶︎「3℃は1℃の3倍熱い」と言うことができず、間隔尺度の値の比率には意味がありません

④ **比例尺度**
▶︎0が原点であり、間隔と比率に意味があるもの・例）身長・速度・質量
▶︎間隔尺度は0に意味がありますが、**比例尺度は0が「無いことを示す」**ため0に意味はありません

また名義尺度・順序尺度を**「質的変数（カテゴリカル変数）」**、間隔尺度・比例尺度を**「量的変数」**と言います。

![table1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/663460/98a9dd0f-4e5a-3da2-9532-e0a6b4a692de.png)

> 画像引用：[1-4. 変数の尺度 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/1562.html)

数値ではない定性データである**カテゴリカル変数**は文字列であるため、機械学習の入力データとして使用するために**数値に変換する**という**ダミー変数化**という作業を行います。ダミー変数化は**「カテゴリに属する場合には1を、カテゴリに属さない場合には0を与える」**という部分は基本的に共通しますが、変換の仕方で以下の3つに区分されます。

* **ダミーコーディング**▶︎自由度k-1のダミー変数を作成する
* **ONE-HOTエンコーディング**▶︎カテゴリの水準数kの数のダミー変数を作成する
* **EFFECTエンコーディング**▶︎ダミーコーディングのとき、全ての要素が0のベクトルを-1に置き換えたものに等しくなるようにダミー変数を作成する

# 参考文献
* [例題で学ぶ初歩からの統計学 第2版](https://www.amazon.co.jp/%E4%BE%8B%E9%A1%8C%E3%81%A7%E5%AD%A6%E3%81%B6%E5%88%9D%E6%AD%A9%E3%81%8B%E3%82%89%E3%81%AE%E7%B5%B1%E8%A8%88%E5%AD%A6-%E7%AC%AC2%E7%89%88-%E7%99%BD%E7%A0%82-%E5%A0%A4%E6%B4%A5%E8%80%B6/dp/453555790X)
* [散布図 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/7409.html)
* [26-3. 相関係数 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/9591.html)
* [相関係数 - Wikipedia](https://ja.wikipedia.org/wiki/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0)
* [偏相関係数 | 統計用語集 | 統計WEB](https://bellcurve.jp/statistics/glossary/821.html)
* [1-4. 変数の尺度 | 統計学の時間 | 統計WEB](https://bellcurve.jp/statistics/course/1562.html)
* [名義尺度、順序尺度、間隔尺度、比率尺度 - 具体例で学ぶ数学](https://mathwords.net/syakudo)
* [ノンパラメトリック手法 - Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%8E%E3%83%B3%E3%83%91%E3%83%A9%E3%83%A1%E3%83%88%E3%83%AA%E3%83%83%E3%82%AF%E6%89%8B%E6%B3%95)
* [カテゴリデータの取り扱い](https://uribo.github.io/practical-ds/02/categorical.html)
* [カテゴリデータの前処理 - 農学情報科学 - biopapyrus](https://axa.biopapyrus.jp/machine-learning/preprocessing/categorical-data.html)
* [スピアマンの順位相関係数 - Wikipedia](https://ja.wikipedia.org/wiki/%E3%82%B9%E3%83%94%E3%82%A2%E3%83%9E%E3%83%B3%E3%81%AE%E9%A0%86%E4%BD%8D%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0)
* [スピアマンの順位相関係数 - キヨシの命題](https://yolo-kiyoshi.com/2020/04/15/post-1680/#outline__2)