教師あり学習の用語ざっとまとめてみた(初心者&忙しい人向け) Part1/2

#教師あり学習に関する14用語集


##1:回帰
**目的変数**が**数値**をとるもの。
ex)株価、商品の売り上げ

##2:分類
**目的変数**が**カテゴリ変数**をとるもの。
ex)「男性・女性」,「幼児・小学生・学生・大人」

###教師あり学習の手法はこの２つ(回帰,分類)になる。

##3:教師あり学習
人間が教師役として**「入力」**と**「正解データ」**を**コンピュータ**に与え、「入力」と「正解データ」をもとににコンピュータがそれらの特徴を学習していき、**未知のデータ**についても判断できるようにする**モデル構築手法**。

##4:重回帰分析
回帰分析のひとつであり**「単回帰分析」の発展形**。
つまり、説明変数が**2つ以上**の回帰分析。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/393d805f-3de2-28ed-ad87-fdd95396f8ba.png)

ex)体重の予測(身長、腹囲、胸囲)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/8813ea07-2beb-bcd5-f156-4efa2bfb2b52.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/aa506720-9d96-84cc-bd4f-2c84713b3429.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/a9802cfb-3665-4935-6436-29014116668e.png)
体重に与える身長、腹囲、胸囲の影響度は上記の通りとなり、**腹囲**が最も体重への影響が大きいことが分かる。

##5:ロジスティック回帰
**分類分析**のひとつ。一般的に「回帰分析」では用いられない。
複数の説明変数から**二値分類&その確率**を行うモデル。
下記のyは**二値分類において、1となる確率**を表している。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/c85d53c0-eeff-d43e-a466-5d66d289aff8.png)

ex)体重2.5kg未満の新生児が出産される原因となる因子
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/0ca1ffba-ebec-1d1a-a552-cec0b457cc95.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/411ab090-03ef-de3f-1e8d-6241449db79c.png)

このサンプルデータの場合、P値から、**「体重2.5kg未満の新生児の出産」**に影響を与えているのは、**体重**、**早産経験**、**高血圧**ということになります。ロジスティック回帰分析により推定したモデル式の係数biは、**xiが１増えるごとに**、確率が**exp(bi)倍（自然対数eのbi乗倍）上がる**ことになります。
**「体重2.5kg未満の新生児を出産する」確率**は…
・体重が1(kg)増えると、確率は exp(-0.0482)倍になります。exp(-0.0482) = 0.95 なので　0.95倍。
・体重が10(kg)増えると、確率は exp(-0.0482×10)倍になります。exp(-0.482) = 0.62 なので、0.62倍。

##6:正則化
**過学習**を防ぐ手法,テクニック。
モデルに**「正則化項」**というものを付けることでモデルの形が**複雑**になりすぎないように**調整**しようとするもの。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/3300cfcb-baa8-577c-8ec3-dcd30afa3bda.png)
下図は**過学習状態**。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/8ef0bd95-9c39-09b9-c783-4b6c1fb75002.png)
下図は**正則化**を考慮した状態。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/08e8fdcd-8e21-b5d3-4941-c4789167ead6.png)


##7:リッジ回帰
**正則化された線形回帰**の一つ。
線形回帰の最小二乗コスト関数に対して「**学習した重みの二乗（L2正則化項）**」を加えたもの」
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/cf191a65-01e8-7c57-f50e-e03225195c99.png)

**ハイパーパラメータλ（ラムダ）の値を増やす**ことでL2正則化項（L2ペナルティ）の値を大きくして正則化の強さを引き上げ、**モデルの重みが小さくなる**ようにする。これは**説明変数の影響が大きくなりすぎないように抑えている**。L2正則化項による正則化では重みは完全に０にはならない性質があるため、**説明変数が非常に多い時にはモデルの解釈が複雑になるという欠点がある**。
##8:ラッソ回帰
**正則化された線形回帰**の一つ。
線形回帰の最小二乗コスト関数に対して「**学習した重みの二乗（L1正則化項）**」を加えたもの」
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/1859c99d-1ac8-bf25-bab7-bd5f3a5c859b.png)

Lasso回帰はリッジ回帰と違って**不要と判断される説明変数の係数（重み）が0になる性質**があり、つまりモデル構築においていくつかの特徴量（説明変数）が完全に無視されるということです。言い換えれば、**モデルの選択と同時に説明変数の数を削減**して、説明変数（特徴量）の選択を自動で行ってくれるとも言える。

##9:決定木
木構造を用いて**分類**や**回帰**を行う機械学習の手法の一つ。
分類木と回帰木を**総称して決定木**という。
ex)**分類木**
(日々の温度と湿度のデータ，その日Aさんが暑いと感じたか暑くないと感じたかかのデータが与えられた状況を考える。)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/279cf2e3-7226-1d27-55bd-14ed8d02c306.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/7ca7eebf-1b35-c90d-3b68-c6df079cb1b3.png)
ex)**回帰木**
(日々の温度と湿度のデータ．その日Aさんが飲んだ水の量のデータが与えらえれた状況を考える。)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/6a97781c-a26b-0dc5-4c11-325a1e44b328.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/ba6670e2-7820-0796-437d-20d79023c301.png)




##10:エントロピー
乱雑さ、不純度を数値化したもの。
つまり、**”エントロピー”**とは**”ゴミ”**のこと。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/365ea7d7-f589-3938-d9bb-a4c84a0fc054.png)

##11:情報利得
分割の良さ。**（分割前のエントロピー - 分割後のエントロピー）**

###「エントロピー」と「情報利得」は、データを分割する基準を決定するために用いられる。
##12:k-NN法(k-近傍法)
あるデータに着目した時に**近隣k個のデータ**の**平均**もしくは**多数決の値**を予測として出力するアルゴリズム。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/cc903392-4f1c-1a53-afd9-dea11602a9ec.png)
ex)
・**k=3**のとき緑に最も近いものは赤２,青１　→　**緑は赤グループ**(多数決)
・**k=5**のとき緑に最も近いものは赤４,青１　→　**緑は赤グループ**(多数決)

##13:SVM(サポートベクターマシン)
カテゴリを識別する境界線を、**マージンが最大**になるように引く手法。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/565393fb-ed52-ad06-b6b5-a4d5e5d15b5c.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/1d9671f5-b838-1e5a-e6d6-52de2d1ac272.png)


##14:ノーフリーランチ
**全て問題**に対して**高性能なアルゴリズム**は**存在しない**。
つまり、問題が変わればアルゴリズムも変えるべきで、できる限り先見知識を使ってその問題に特化した解法を考案すべきということ。