教師あり学習の用語ざっとまとめてみた(初心者&忙しい人向け) Part2/2

#教師あり学習に関する19用語集

##1:過学習
**学習データ**に対してはきちんと正解できるけど、**未知のデータ**に対しては**全然当たらないモデルの状態**。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/b242ca87-9469-a89c-5faa-09a637544c2f.png)

##2:ホールドアウト法
**訓練データ**を**「学習用」「評価用」**に7対3など(任意に決める)に割合で**2分割**して、**学習済みモデルの精度**を測定する方法。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/793fa43d-8a3f-dbe0-03cb-0ff2a693de46.png)

##3:交差検証法
**訓練データ**を**3分割以上**して、**学習済みモデルの精度**を測定する方法。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/912638e1-427e-cb9d-b1d9-7bfa247a0030.png)

###ホールドアウト法、交差検証法を行うことで、過学習が生じてないかを確認できる！。

##4:グリッドサーチ
**全てのパラメータ**の**組み合わせ**を試してみる方法。
つまり、**モデルの精度**を向上させるために用いられる手法。
ex)**SVM(サポートベクターマシン)**
・**gamma**と**C**を**for文**を用いて、ベストスコアを探索する。

##5:特徴量
学習の**入力**に使う**測定可能な特性**。
ex)家賃予測をしたい
・**「専有面積」「築年数」「最寄駅」**を説明変数としたとき、この**３つのデータ**が**特徴量**。

##6:特徴選択
機械学習モデルの予測精度の改善を目的として、**訓練データ**の中からターゲットの予測に**より強い関連がある特徴**を**選択**すること。
つまり、重要な特徴量のみでモデル構築を行えるための手法。

##7:特徴抽出
訓練データを**別の空間に射影**してから、その射影先の空間で特徴量を少数選択して学習に使う、という方法。例えば、n 次元からの特徴量を別の n 次元の空間に射影して、その射影後の空間において k (< n) 個の特徴量を選ぶ。
ex)
・主成分分析
・線形判別分析

##8:混同行列
**モデルの性能評価**に使えるもの。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/4168c3d7-0334-278a-38d0-b846ded49f8a.png)

##9:適合率()
「正」と予測されたデータのなかで、実際に「正」だったデータの割合。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/05d051f1-7be7-2bc0-76d8-e0faef5bfc81.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/f0db78fb-73dd-0fb1-75f3-a43f1686fc15.png)

「**顧客の好みでない商品を提案したくない**」などのケースでは、高い精度が求められる。
**WEBサービスのレコメンド**などで最重視される指標。

##10:再現率
「正」だったデータのなかで、実際に「正」と予測されたデータの割合。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/d8901ebc-7b9f-82be-98fa-27b48af93e30.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/51046987-c8ab-2927-a133-52a9ebc61b88.png)

「**絶対にミスしてはいけない**」などのケースでは、高い再現率が求められる。
**医療検診**などで最重視される指標。

##11:正解率
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/baeb1e7c-99d9-3735-a34c-e9d823be683d.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/2f14bf95-a709-50ae-da94-86c46001b6f2.png)

**データに偏り**がある場合、正解率という指標を使うと直感と外れる場合がある。
→このようなデータセットには**正解率**はあてにならない。

##12:F1スコア
精度と再現率の調和平均。
**精度**も**再現率**もどっちも欲しいというワガママな指標。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/c62c6989-b08c-4106-6be6-9c584fd4a108.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/2413879b-6cdd-0b26-0d3e-119733d7bd07.png)

機械学習モデルの評価の際、正解率と並んで最も使われる指標。

###どの指標を最重視するかをきめてからモデル構築すべし！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449715/58e452ae-2314-3d20-b56e-bb5348845889.png)

##13:真陽性率
「正」のものを正しく予測できた割合
**（ヒット率）= TP／（TP＋FN）**

##14:偽陽性率
「正でないもの」のうち誤って「正」と予測した割合
**（誤報率）= FP／（FP＋TN）**

##15:アンサンブル学習
・**複数の学習機(モデル)**を**組み合わせ**、より良い予測を得ようとするテクニック。
**単一のモデルを単独で使うよりも大抵の場合良い結果が得られる**。
・具体的には、複数の予測器の予測値の**「平均を取る」**、もしくは**「多数決をとる」**などの処理で組み合わせる。
・近年、データ分析の現場で注目されている**「ブースティング」「ランダムフォレスト」**などもアンサンブル学習の一種。

##16:ブーストラップ法
訓練データからランダムに(重複ありで)n個のデータをサンプリングする。
訓練データから大きさnのブーストラップデータ集合をN個生成する。

##17:バギング
ブーストラップ法により弱学習器を構築し、それから**最終的な**学習器(モデル)を構築する方法。

##18:ブースティング
ベース学習器を**逐次的に**訓練する。
まずオリジナルの学習データに対して最初のモデルが構築される。
この時点で、予測と正解を比較して合致しているサンプル、外しているサンプルを把握する。
そして外したサンプルが次のモデル構築の段階で重視されるように新しい学習データが生成される。
それを繰り返して、汎化性能を上げる。


##19:ランダムフォレスト
「バギング」のベース学習器として「決定木」を用いた手法。