レポート(機械学習)

##線形回帰モデル 

###回帰問題
線形回帰モデルは教師あり学習
　→直線　線形回帰
　→曲線　非線形回帰

　線形結合(入力とパラメータの内積)
　　→入力ベクトルと未知のパラメータの各要素を掛け算し足し合わせたもの
　　→入力した情報が多くても出力は１つ


　線形回帰モデルのパラメータは最小二乗法で推定
　　→最小二乗法
　　学習データの平均二乗誤差を最小とするパラメータを探索
　　学習データの平均二乗誤差の最小化は、その勾配が0になる点を求める
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/6d05d137-35d2-86ed-e295-ce0545693844.png)


####単回帰
→numpyでの実装とsklearnでの実装がある
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/0a7463cc-0b34-6ccc-e816-e92049e1bff2.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/120b1279-518e-d8bf-3a10-c736d830ed9d.png)

####ボストンの住宅価格予測
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/2389a63e-a7c6-2263-b3cf-f1407bfcaee1.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/4319f814-1493-e8e9-d592-5b92651e55e8.png)



##非線形回帰モデル 

　複雑な非線形構造を内在する現象に対して、非線形回帰モデリングを実施

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/d5c6c5e8-4d76-ae94-7d1f-64e9fc45f6d3.png)
→分母のhjが変化すると、バンド幅も変化する

###Rigde推定量　Lassso推定量
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/1f9223d1-536c-640b-e1af-81b851b39e94.png)

Rigde推定量・・・円が小さくなると、パラメーターが０になる割合が増える
　　　　　　　　　原点付近に制約を当てて、MSEを最小にする点を見つける
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/f6037f37-9f49-9460-543e-9e2bcd00e827.png)


Lassso推定量・・・推定をする段階で不要な変数を排除する
　　　　　　　　　◇の中でMSEが0になる点を見つける
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/e667a41b-b1b5-0163-a227-17b526e9b81e.png)



###ホールドアウト法
　データを学習用とテスト用の2つに分割し、「予測精度」や「誤り率」を推定する為に使用
　→分割の方法によっては、かたよりが生じてしまう
　

##ロジスティック回帰モデル 
　分類問題(クラス分類)→ある入力(数値)からクラスに分類する問題

####タイタニックの生存率
実装(チケット価格から生死を判別)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/3862640b-3606-cbc9-04d4-83de4ba45886.png)

実装(2変数から生死を判別)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/5e630c45-3602-f733-c424-f8c7c6e048cf.png)


###シグモイド関数
　![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/33eb0b95-1f24-661f-f017-fc58157e04e0.png)
a=1の時のシグモイド関数を標準シグモイド関数という
aの値が大きくなるほど、変化の度合いは大きくなる

シグモイド関数は最適化問題に使用しやすい
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/f177ee90-be38-fcee-d197-a26b528d84a1.png)


###最尤推定
分類の評価方法
→ラベルの数がインバランスの場合、正しい正解率にならない

##主成分分析
次元圧縮時の情報のロスを少なくする
データの特徴を抽出し、高次元データを低次元にし可視化する

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/0507559d-8ae6-549b-0b1c-8575f66e20bc.png)

→aに関して、最大になる数を求める。その場合の最適化解は最適化問題を解いた際の解と一致する

###乳がんデータ分析
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/60414476-1b9c-1acf-9978-f5a275874a94.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/a0ed07f6-98ce-55dd-d48a-4d9821841c1f.png)


寄与率
→圧縮した結果、どれほど情報が減ったのか

複数次元のデータを使うことが大切



##アルゴリズム

###k近傍法
最近傍のデータを個取ってきて、それらがもっとも多く所属するクラスに識別
kを変化させると結果も変わり、kを大きくすると決定境界は滑らかになる

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/3397e1fb-6a3a-dad5-4946-c25f30682775.png)

###k-平均法(k-means)
教師無し
事前にクラスタの個数を指定する必要がある
中心の初期値を変えると、クラスタリングの結果も変わる

####ワインデータセットを使用したk-means法
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/df5dd29f-0175-63a8-ae70-d251f07158e6.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/99ec96e1-3f7e-43fb-1119-ce13f6662736.png)


##サポートベクターマシン 
2クラス分類のための機械学習手法
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/1fd1e9e8-3660-1a54-e6fe-16e9b44ff25b.png)

予測
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/a18cca01-96b0-cc9c-8dd3-a9b2dbc75299.png)

###マージン
線形判別関数ともっとも近いデータ点との距離

###目的関数
max M

###サポートベクター
分離超平面を構成する学習データは、サポートベクターだけ。残りのデータは不要

###ソフトマージンSVM
線形分離できない場合でも対応。
誤差を許容し、誤差に対してペナルティを与える
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/17e4177a-c905-f7b9-b6eb-8cb1574694b6.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/937c4b60-fdbf-8fce-f04d-a1ff22c65c77.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/6646b7c1-dc35-1a8d-efeb-5560736df37c.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/491045/10604bd9-2f39-8bfe-48a3-d3af59eba166.png)


###非線形分離
線形分離できないとき
特徴空間に写像し、その空間で線形に分離。元の空間上では非線形な分離