Python 機械学習プログラミング > キーワード

Python 機械学習プログラミング by Sebastian Raschkaら

読み始めた (2016/10/29)

キーワードだけ拾う。

### 第1章 「データから学習する能力」をコンピュータに与える

- 教師あり学習 (supervised learning) (p2)
- 教師なし学習 (unsupervised laerning) (p2)
- 強化学習 (reinforcement learning) (p2)
- 教師あり学習, 回帰 (regression), 出力:連続値 (p3)
- 陰性クラス (negative class) (p4)
- 陽性クラス (positive class) (p4)
- 決定境界 (decision boundary) (p4)
- 予測変数 (predictor variable) (p5)
- 応答変数 (response variable) (p5)
- 説明変数 (explanatory variable) (p5)
- 結果変数 (outcome) (p5)
- 強化学習 (reinforcement learning), 目標 (p6)
- 環境 (environment) (p6)
- エージェント (agent) (p6)
- 報酬 (reward) (p6)
- クラスタリング (clustering) (p7)
- 次元削減 (p8) 
  - dimensionality reduction
  - dimension reduction
- 教師なし次元削減, 特徴量, 前処理 (p8)
- Irisデータセット (p9)
- $X \in R^{150 * 4}$ : 実数の集合, 150x4の行列 (p9)
- $x^i$ : i番目のトレーニングサンプル (p10)
- $x_j$ : トレーニングデータセットのj番目の次元 (p10)
- $x$ : ベクトル (太字の小文字) (p10)
- $X$ : 行列 (太字の大文字) (p10)
- $\it{x}$ : ベクトルまたは行列の1つの要素 (斜体) (p10)
- 予測モデリング (predictive modeling) (p10)
- 前処理 (preprocessing)が最も (p11)
- 抽出された特徴量によっては、相関が高いために一定の重複が認められるかもしれない。そのような場合は (p11)
- David Wolpert, 「ノーフリーランチ定理」(p12)
- この問題に対処するには (p12)
- モデルの汎化性能 (generalization performance) (p12)
- ハイパーパラメータ最適化 (hyperparameter optimization) (p12)
- 汎化誤差 (p13)
- NumPy, SciPy, Fortran,C,実装 (p13)
- Python3.4とPython2.7の相違点, [まとめ](https://wiki.python.org/moin/Python2orPython3) (p13)
- pandas (p14)
- matplotlib (p14)

### 第2章 分類問題 - 機械学習アルゴリズムのトレーニング

- ADALINE (Adaptive Linear Neuron) (p17)
- scikit-learn (p17)
- MCPニューロン (McCulloch-Pittsニューロン) (p17)
   - Warren McCulloch
   - Walter Pitts
- Frank Rosenblatt, パーセプトロン, 学習規則, アルゴリズム (p18)
- 2つのクラス (p18)
   - 1(陽性クラス)
   - -1 (陰性クラス)
- 総入力 (net input) (p18)
- $\theta$ : 閾値 (p19)
- 単位ステップ関数 (p19)
   - ヘビサイド関数 (Heaviside step function)
- $\hat{y}$ : 出力値 (p21)
- $\eta$ : 学習率 (0.0よりも大きく1.0以下の定数) (p21)
- fitメソッド (p24)
- predictメソッド (p24)
- アンダースコア (例 `self.w_`): 慣例としてxxx属性にはxxx (p24)
- おさらい (p24)
   - http://wiki.scipy.org/Tentative_NumPy_Tutorial
   - http://pandas.pydata.org/pandas-docs/stable/tutorials.html
   - http://matplotlib.org/users/beginner.html
- `for _ in range(self.n_iter):` (p24)
   - (補足) ループ変数を使用しない時の書き方のようだ
- 一対全 (One-vs-All: OvA)の手法 (p27) 
- UCI Machine Learning Repository, Irisデータセット (p27)
- `plt,scatter(長いので省略)` (p28)
- `markers = ('s', 'x' , 'o', '^', 'V')` (p30)
- Numpyのmeshgrid関数 (p31)
- パーセプトロンの学習規則が収束するのは (p32)
- 線形超平面 (p32)
   - Frank Rosenblatt
- ADALINE (ADAptive LInear NEuron) (p32)
   - Bernard Widrow, Tedd Hoff
   - xxxと見なすことができる
- 主な違いは (p32)
   - ADALINEの学習規則
   - Rosenblattのパーセプトロン
- 恒等関数 (p32)
- Widrow-Hoff則 (p32)
- 量子化器 (quantizer) (p32)
- 目的関数 (objective function) (p33)
- コスト関数 (cost function) (p33)
- ADALINE, コスト関数J (p33)
- 誤差平方和 (Sum of Squared Error: SSE) (p33)
- 連続値の線形活性化関数の主な利点は (p33)
- このコスト関数のもう１つの特徴は (p33)
- 単位ステップ関数, 定義式 (p33)
- j番目の重みに対する誤差平方和のコスト関数の偏微分係数, 式変形 (p34)
- 「バッチ」勾配降下法 (p35)
- `self.cost_ = []` (p35)
   - (補足) ~~この意味は未学習~~
   - (補足) 空のリストを作る、と理解した
- `self.w_[1:] += (省略)` (p36)
   - (補足) インデックス1以降の処理
- 分類モデルの性能を最適化するハイパーパラメータの値は (p37)
- 2種類の問題 (p37)
- スケーリング手法, 標準正規化 (standardization) (p38)
   - その特性とは
   - 式 (p39)
- Numpyのmeanメソッド, stdメソッド (p39)
- 確率的勾配降下法 (stochastic gradient descent) (p40)
  - 逐次的勾配降下法 (iterative gradient descent) (p40)
  - オンライン勾配降下法 (on-line gradient descent) (p40)
- 確率的勾配降下法はxxxと見なすことができるが (p40)
- トレーニングデータをシャッフルして循環を避ける (p41)
- 適応学習率 (adaptive learning rate) (p41)
- 確率的勾配降下法のもう１つの利点 (p41)
- オンライン学習 (online learning) (p41)
- これが特に役立つのは (p41)
- また、xxxできるようになる (p41)
- xxxできるため、学習アルゴリズムの計算効率をさらに引き上げることもできる (p41)
- 各エポックの前にトレーニングデータをシャッフル(shuffule)するオプション (p41)
- AdalineSGD分類器で使用している_shuffleメソッドはxxxを生成する (p42)

### 第3章 分類問題 - 機械学習ライブラリscikit-learnの活用

- 機械学習のアルゴリズムのトレーニング, 5つの主要なステップ (p48)
   - (補足) 「アルゴリズムのトレーニング?」誤訳か?
- scikit-learnライブラリはxxxだけでなく、xxxを取り揃えている (p48)
- `np.unique(y)` (p49)
- scikit-learnのpreprocessingモジュールのStandardScalerクラスを使って (p50)
- transformメソッドを呼び出し (p50)
- に注意しよう。これは (p50)
- これは一対多(OvR)手法が使用されるためxxxができる (p50)
- xxxできるよう、random_stateパラメータを使用している (p51)
- モデルの正解率, 誤差分類率 (p51)
- 過学習はxxxを意味する (p51)
- numpy meshgridの使用例 (p52)
- 完全線形分離が不可能なデータセットでは (p53)
- クラスが完全に線形分離できない場合であっても (p53)
- パーセプトロンの学習規則, 最大の問題点 (p54)
- ロジスティック回帰 (logistic regression) (p54)
- ロジスティック回帰, 高い性能が発揮されるのは (p54)
- オッズ比 (odds ratio), オッズ比は (p54)
- $p$ : 正事象の確率を表す (p54)
   - (補足) TODO: 「正事象」の定義。以下の説明以外を調べる
- 正事象 (positive event)は (p54)
- ロジット(logit)関数, 式 (p54)
- 対数オッズの, 式 (p54)
- ロジスティック(logistic)関数, 式 (p55)
  - シグモイド関数 (sigmoid)関数 (p55)
- ADALINEの実装, 恒等関数 (p56)
- シグモイド関数の出力, 解釈 (p57)
- 尤度L(ゆうど), 定義, 式$L(w)$ (p58)
- 実際には, xxxが簡単である (p58)
- 対数尤度(log likelihood)関数, 式$l(w)$ (p58)
- 対数関数を適用するとxxxの可能性が低下する (p58)
- コスト関数J (p58)
- ロジスティック回帰を独自に実装する場合は (p59)
- sklearn.linear_model.LogisticRegressionクラス (p59)
- 「この謎のパラメータCは何か」(p60)
- predict_probaメソッド (p61)
- j番目の重みに関して対数尤度関数を偏微分したもの, 式 (p61)
- シグモイド関数の偏導関数 (p61)
- 「バリアンスが高い」(high variance) (p62)
- 学習不足 (underfitting) (p63)
   - (補足) 7of9のことか
- 「バイアスが高い」(high bias) (p63)
- バリアンスとは (p63)
- バリアンスが大きい場合は (p63)
- 対照的に、バイアスとは (p63)
- バイアスとバリアンスのトレードオフを探る方法の１つとして (p64)
- 正則化 (p64)
- 共線性 (collinearity) (p64)
- 共線性とは (p64)
- 正則化の背景にある考え方は (p64)
- 最も一般的な正則化 (p64)
- L2正則化 (L2 regularization) (p64)
   - L2縮小推定 (L2 Shrinkage)
   - 荷重減衰 (weight decay)
        - (補足) @ 深層学習 by 岡谷貴之さん
- $\lambda$: 正則化パラメータ (regularization parameter) (p64)
- モデルの汎化誤差は次式のように分解される (p64)
- バイアスはxxxを定量化する (p64)
- 正則化を適用するにはxxxだけでよい (p65)
- $C$: scikit-learnのLogisticRegressionクラスに実装されている (p65)
   - 正則化パラメター$\lambda$に直接関連, 式
- 逆正則化パラメータ$C$, 減らすことは (p65)
- 正則化の強さを可視化するには (p65)
- サポートベクトルマシン (Support Vector Machine : SVM) (p66)
   - (補足) Separation of Variable Method (変数分離法)ではない
- SVM, と見なすことができる (p66)
- SVM, 最適化の目的 (p66)
- SVM, マージン, 定義 (p66)
- 超平面(決定境界) (p66)
- サポートベクトル (support vector), 図解 (p67)
- マージンの小さいモデル, xxxに陥りがち (p67)
- 正(positive)と負(negative)の超平面 (p67)
- 超平面, 式 (p67)
- ベクトルの長さ, 式 (p67)
- 式の左辺, 解釈 (p68)
- 2つの式 (3.4.6), を示している (p68)
- 簡潔に書くと, 式 (3.4.7) (p68)
- xxxが簡単である (p68)
- 二次計画法 (p68)
   - Vladimir Vapnik著
   - Christopher J.C. Burgesの論文
- スラック変数 $\xi$ (p68)
   - 1995年, Vladimir Vapnik
   - ソフトマージン分類
- スラック変数, 必要があったからだ (p68)
- $C$の値が大きい場合はxxxを意味し,xxxを意味する (p69)
- $C$, を調整できる (p69)
- $\lambda$の値が大きくなると (p69)
- ロジスティック回帰はxxxを最大化しようとする (p70)
   - そのためxxxの影響を受けやすくなる
- scikit-learn, LogsiticRegressionクラス, LIBLINEARライブラリ (p71) 
- scikit-learn, SVMのトレーニング, SVCクラス, LIBSVMライブラリ (p71)
- コンピュータのメモリ (p71)
- SGDClassifierクラス, 代替実装 (p71)
- SVM, 人気, 理由 (p71)
- カーネルSVM (kernel SVM) (p71)
- `X_xor = np.random.randn(200, 2)` (p72)
- 射影関数 $φ(・)$, 高次元, 線形分離 (p73)
- クラスを分離 (p73)
- 射影手法, 問題 (p74)
- カーネルトリック (p74)
  - (補足) [関連記事](http://qiita.com/kilometer/items/66e6116cc661019ead59)  
- 動径基底関数カーネル (Radial Basis Function kernel) (p74)
  - (補足) Vector Spherical Harmonicsとも関係するだろうか
  - (補足) 級数展開 (expanded in Vector Spherical Harmonics)
- $\gamma$ : 式, 最適化されるハイパーパラメータ (p74)
- カーネル, 解釈 (p74)
- カーネル, マイナス記号 (p74)
- 1(まったく同じサンプル) (p74)
- 0(まったく異なるサンプル) (p74)
- $\gamma$: カーネル関数, カットオフ (p75)
  - (補足) 電気回路で出てくるカットオフ周波数を思い出す
  - (補足) [記事](http://qiita.com/7of9/items/c3ea67cf58990f52f57a), 3dB
- 決定木 (decision tree)分類器 (p77)
- 意味解釈可能性 (interpretability) (p77)
- 決定木, xxxとい考えることができる (p77)
- 決定木, 情報利得 (information gain) (p78)
- 情報利得 (xxxの減少) (p78)
- 根 (ルート) (p78)
- 葉 (リーフ) (p78)
- 最も情報利得の高い特徴量でノードを分割するには (p78)
- 情報利得, 式 $IG(D_p, f)$ (p78)
  - $f$ : 分割を行う特徴量 (p78)
  - $D_p$ : 親のデータセット(p78)
  - $D_j$ : j番目の子ノードのデータセット (p78)
  - $I$: 不純度 (p79)
  - $N_p$ : 親ノードのサンプルの総数 (p79)
  - $N_j$ : j番目の子ノードのサンプルの個数 (p79)
- このように、情報利得はxxxにすぎない (p79)
- $D_{left}, D_{right}$ (p79)
- 二分木, 不純度の指標または分割条件 (p79)
  - ジニ不純度 (Gini impurity) (p79)
  - エントロピー (entropy) (p79)
      - (補足) リッチフロー by グリーシャ
  - 分類誤差 (classification error)
- $I_E$ : 分類誤差 (p79)
- $I_H$ : (補足) 何の式か不明 (p79)
- $p(i=1|t)$, $p(i=0|t)$ (p79)
- 二値分類でエントロピーが1になるのは (p79)
- ジニ不純度が最大になるのは (p79)
- 不純度のもう１つの指標, 分類誤差 (p80)
- $I_E$ : pを用いた式 (p80)
- $D_p$ : 親ノードのデータセット見ていこう (p80)
- 情報利得 (「親ノードの不純度」と「子ノードの不純度の合計」との差) (p80)
- （補足）以降、関連式が15ほど続く
- 上記の3種類の不純度条件を視覚的に比較できるよう (p82)
- ジニ不純度がエントロピーと分類誤差の中間に位置づけられることを確認するためにxxxも追加する (p82)
- `# エントロピー(2種)、ジニ不純度、分類誤差のそれぞれをループ処理` (p83)
- 決定木、過学習 (p84)
- 特徴量のスケーリング、決定木 (p84)
- 決定木特有のものとして (p84)
- scikit-learn, トレーニング後の決定木, エクスポート (p85)
- GraphViz (p85)
- ランダムフォレスト (random forest), 特徴 (p86)
- ランダムフォレスト, 直観的には (p86)
- アンサンブル学習の背後にある考え方 (p86)
- 弱い学習アルゴリズム、強い学習アルゴリズム (p86)
- 汎化誤差, 過学習 (p86)
- ランダムフォレストアルゴリズム, 4ステップ (p86)
- 非復元抽出 (p87)
- 多数決, クラスラベルを割当て (p87)
- ランダムフォレスト、利点 (p87)
- xxxする必要はない (p87)
- については、最適化が可能である (p87)
- ブートストラップ標本の大きさ (p87)
- scikit-learn, RandomForestClassifier実装 (p87)
- $d$ : 各分割の特徴量の個数 (p87)
- トレーニングデータセットの特徴量の合計数 (p87)
- $d\sqrt{m}$ (p87)
- $m$ : トレーニングデータセットの特徴量の個数 (p87)
- これによりxxxできるようになる (p88)
- k近傍法分類器 (k-nearest neighbor classifier) (p89)
  - KNN
- KNN, 怠惰学習 (lazy learner) (p89)
- 「怠惰」と呼ばれるのは (p89)
- パラメトリックモデル、ノンパラメトリックモデル (p89)
  - パーセプトロン、ロジスティック回帰、線形SVM (p89)
  - 決定木/ランダムフォレスト、カーネルSVM (p89)
- インスタンスに基づく学習 (instance-base learning) (p89)
- トレーニングデータセットを記憶する (p89)
- メモリベースのアプローチの主な利点 (p90)
- 多数決が同数である場合 (p91)
   - scikit-learnのKNNアルゴリズムの実装では
- ユークリッド距離 (p91)
- minkowski距離 (p91)
- マンハッタン距離 (p91)
- minkowski距離, 式 (p91)
- 次元の呪い (p92)
- 次元の呪い, xxx現象を表す (p92)
- xxxを用いることで、次元の呪いから逃れることができる (p92)

## 第4章 データ前処理 - よりよいトレーニングセットの構築

- 欠測値 (missing value) (p93)
- データテーブルの空欄 (p93)
- NaN (Not a Number) (p93)
- プレースホルダ(仮の)文字列 (p93)
- 欠測値を無視した場合 (p93)
- `# Python 2.7を使用している場合は文字列をunicodeに変換する必要がある` (p94)
- StringIO関数, 使用すると (p94)
- isnullメソッドを使って (p94)
- データの前処理, pandasのDataFrameクラス (p95)
- DataFrameオブジェクト, values属性 (p95)
- `df.dropna()` (p95)
- axis引数を1に設定すれば (p95)
- `df.dropna(how='all')` (p95)
- `df.dropna(thresh=4)` (p95)
- `df.dropna(subset=['C'])` (p95)
- 欠測データの削除, 問題点 (p96)
- 補間法(interpolation technique) (p96)
- 平均値補完 (mean imputation) (p96)
   - (補足) 「補完」は「補間」の間違いではないだろうか。
- scikit-learnのImputerクラス (p96)
   - strategy引数 
        - median
        - most_frequent
- most_frequent, xxxに役に立つ (p96)
- いわゆる変換器 (transformer)クラス (p96)
- 変換器, fit, transform (p96)
- 変換器, fitメソッドは (p96)
- 変換器, transformメソッドは (p96)
- 推定器, predictメソッド (p97)
- カテゴリデータ, 名義 (nominal)特徴量 (p98)
- カテゴリデータ, 順序 (ordinal)特徴量 (p98)
- 順序特徴量, 例 (p98)
- 数値特徴量 (p98)
- クラスラベル (p98)
- カテゴリ文字列, 整数に変換, 必要 (p99)
- 逆のマッピングを行うディクショナリ inv_size_mapping (p99)
- 多くの機械学習ライブラリ, xxxを要求する (p99)
- 変換されたクラスラベルを元の文字列表現に戻すには (p100)
- scikit-learnで直接実装されているLabelEncoderという便利なクラス (p100)
- カテゴリデータの処理で最もよくある間違いの1つ (p101)
- xxxの問題を回避する, one-hotエンコーディング (one-hot encoding) (p101)
- ダミー特徴量 (dummy feature) (p101)
- scikit-learn, OneHotEncoderクラス (p101)
- OneHotEncoderクラスはxxxのときに疎行列を返す (p102)
- pandasで実装されているget_dummies関数 (p102)
- Wineデータセット (p102)
   - UCI Machine Learning Repository (p102)
   - (補足) http://archive.ics.uci.edu/ml/
- テストデータとトレーニングデータセットにランダムに分割 (p104)
- train_test_split関数 (p104)
- scikit-learn, cross_validationモジュール (p104)
- データセット,分割, 注意 (p104)
- 汎化誤差の推定の正確性, トレードオフ (p104)
- xxxするとよいだろう (p104)
- 特徴量のスケーリング (feature scaling) (p105)
- 決定木とランダムフォレスト, xxxのない (p105)
- xxxの大半, xxx場合にはるかにうまく動作する (p105)
- 特徴量のスケーリング, 重要性 (p105)
- 尺度 (p105)
   - 正規化 (normalization)
   - 標準化 (standardization)
- 正規化, xxxを意味する (p105)
- xxxの特殊なケース (p105)
- $x_{norm}^{(i)}$ : サンプル$x^{(i)}$の新しい値, 式 (p105)
- min-maxスケーリング, scikit-learn (p105)
- 有界区間(ある範囲内) (p106)
- min-maxスケーリングによる正規化, に役立つ (p106)
- xxxのほうが実用的かもしれない, 理由 (p106)
- xxxを含めて、多くの線形モデルがxxx (p106)
- 標準化を使用する場合 (p106)
- 標準化の手続き, 式 (p106)
- 過学習 (overfitting) (p107)
- 過学習, 原因 (p107)
- 汎化誤差を減らすための一般的な方法 (p107)
- L2正則化, 式 (p107)
- L1正則化, 式 (p107)
- L1正則化, によって返されるのは (p107)
- L1正則化, どのようにして疎性を促すのか (p108)
- 正則化, 幾何学的解釈 (p108)
- 正則化, 次のように考える (p108)
- 正則化パラメータ$\lambda$, 強めることで (p108)
- L2のペナルティ項の概念, 図解 (p108)
- ここでxxxはxxxを超えられない (p109)
- 一方、xxxは最小化したい (p109)
- ここでの目標は (p109)
- xxxがない場合、xxxと理解できる (p109)
- L1正則化, 疎性 (p109)
- xxxと似ている。ただしxxx (p109)
- L2の項がxxxであることを (p109)
- ひし形 (p109)
- L1のひし形 (p110)
- 最適化条件はxxxにある可能性が高く (p110)
- L1正則化が疎な解につながる理由 (p110)
   - Trevor Hastieら「The Elements of Statistical Learning」3.4節
- scikit-learn, L1正則化 (p110)
   - penalty引数
- 正則化パスは (p112)
- 特徴選択による次元削減 (p113)
- 次元削減 (p113)
   - 特徴選択 (feature selection)
   - 特徴抽出 (feature extraction)
- 特徴選択では (p113)
- 特徴抽出では (p113)
- 特徴選択の典型的なアルゴリズム (p113)
- 逐次選択のアルゴリズム (p113)
- 貪欲探索 (greedy search) (p113)
- d次元, k次元 (k < d) (p113)
- 特徴選択のアルゴリズム, 2つの目的 (p113)
   - 後者はxxxに役立つ (p114)
- 逐次後退選択 (Sequential Backward Selection: SBS) (p114)
- SBS, 目的 (p114)
- しらみつぶし探索法 (exhaustive search algorithm) (p114)
- xxxの観点でxxxではない (p114)
- SBS, アルゴリズム, 4つの単純なステップ (p114)
- SBS, Pythonで実装してみよう (p115)
- 特徴量, 部分集合, 分類問題, 推定器 (p116)
- fitメソッドのwhileループではxxxになるまで削減している (p116)
- テストデータセット, トレーニングデータセット, 分割 (p117)
- 元のテストデータセットがトレーニングデータセットの一部になるのを防ぐには (p117)
- 特徴量の個数を減らしたため (p117)
- KNNアルゴリズム, 次元の呪い (p117)
- さまざまな特徴選択法, 包括的説明 (p119)
  - http://scikit-learn.org/stable/modules/feature_selection.html
- L1正則化付きロジスティック回帰, 無関係な特徴量, SBSアルゴリズム, 特徴量選択 (p119)
- 特徴量選択, ランダムフォレスト (p119)
- ランダムフォレスト, アンサンブル手法 (p119)
- xxx前提を設けなくても (p119)
- `indices = np.argsort(importance)[::-1]` (p120)
- `n_jobs=-1`, すべてのコア (p120)
- ランダムフォレスト, xxxに注意, 重要 (p120)
- L1正則化, xxxするのに役立つ (p122)
- 逐次特徴選択アルゴリズム, SBS (p122)

### 第10章 回帰分析; 連続値をとる目的変数の予測

- 回帰分析 (regression analysis) (p265)
- 説明変数, 目的変数, 図 (p266)
- 回帰直線 (regression line) (p266)
- オフセット(offset), 残差 (residual) (p266)
- 単回帰 (simple linear regression) (p266)
- 重回帰 (multiple linear regression) (p266)
- Housingデータセット (p267)
  - UCI Machine Learning Repository
  - MEDV: 住宅価格の中央値 (p267)
- pandasのDataFrameオブジェクト (p267)
  - TODO: pandasの学習
- 探索的データ解析 (Exploratory Data Analysis: EDA) (p268)
- EDA, xxxとして推奨 (p268)
- 外れ値, データの分布, 特徴量の間の関係 (p268)
- 散布図行列, xxxを可視化できる (p268)
- 散布図行列, seabornライブラリのpairplot関数 (p268)
- `pip install seaborn` (p268)
- seabornライブラリをインポートするとxxxが変更される (p269)
- RM(一戸あたりの平均部屋数) (p270)
- 通説とは対照的にxxx必要はない (p270)
- 相関行列 (p270)
- 相関行列, 共分散行列, 直感的には (p270)
- ピアソンの積率相関係数 (Pearson product-moment correlation coefficient), 正方行列 (p270)
- ピアソンのr (Pearson's r) (p270)
- 相関係数, 範囲 (p270)
- 正の相関, 負の相関 (p270)
- r = 0 (p270)
- ピアソンの積率相関係数, 式 (p270)
  - $\mu$: 対応する特徴量の標本平均 (p270)
  - $\sigma_{xy}$: 特徴量xおよびyの間の共分散
  - $\sigma_x$と$\sigma_y$: それぞれの特徴量の標準偏差 
- ピアソンの積率相関係数, 共分散, 標準偏差の積 (p270)
- NumPyのcorrcoef関数 (p271)
- seabornのheatmap関数 (p271)
- 線形回帰モデルを適合, 着目 (p272)
- 最小二乗法 (Ordinary Least Squares: OLS) (p272)
   - (補足) Extraordinary ...というのはあるのかどうか
- OLS, 解釈 (p273)
- 回帰分析, より効率的な実装 (p277)
- 最小二乗法, 閉形式の解 (p278)
   - 統計学入門の教科書
- 線形回帰, xxxに大きく左右され (p278)
- 外れ値の除去に代わる方法 (p278)
- RANSAC (RANdom SAmple Consensus)アルゴリズム (p278)
- 正常値 (inlier: 外れ値ではないもの） (p279)
- lambda関数, 呼び出し可能な (p279)
- lambda関数, xxxを計算する (p279)
- MAD, 目的値yの中央絶対偏差 (p279)
- 線形回帰直線 (正確には、超平面) (p281)
- xxxの場合、残差は0となる, 現実のアプリケーションでは(p282)
- よい回帰モデルでは (p282)
- モデル性能, 数値化 (p283)
- 平均二乗誤差(Mean Squared Error: MSE) (p283)
- MSE, に役立つ (p283)
- 決定係数 $R^2$ (p283)
- 決定係数, xxxと考えることができる (p283)
- SSE, 誤差平方和 (p283)
- SST (Sum of Squared Total), 式 (p283)
   - つまり (p283)
- $R^2$: にすぎない, 式変形 (p284)
- モデルの極端なパラメータの重み、ペナルティ (p284)
- 正則化された線形回帰, 3つ (p284)
- リッジ回帰 (Ridge regression) (p284)
- LASSO (Least Absolute Shrinkage and Selection Operator) (p284)
- Elastic Net法 (p284)
- L2ペナルティ付きのモデル (p284)
  -　$J(w)_{Ridge}$
  -　L2
- を増やす、を引き上げ、を減らす　（p285）
- LASSO,制約, m>nの場合 (p285)
- リッジ回帰, LASSO, Elastic Net (p285)
- Elastic Net, L1ペナルティ, L2ペナルティ (p285)
- 疎性, 選択される変数の個数xxx部分的に克服 (p285)
- k分割交差検証, パラメータ$\lambda$, 正則化の強さ (p285)
- 正則化の強さ, $\lambda$パラメータ, $\alpha$パラメータ (p285)
- linear_modelサブモジュールのLASSO回帰器 (p285)
- ElasticNet, l1_ratio引数 (p285)
- 多項式回帰, 曲線を見出す (p286)
- 線形回帰の係数w, 重回帰モデル (p286)
- scikit-learn, PolynomialFeatures変換器クラス (p286)
- 多項式回帰と線形回帰を比較する方法 (p286)
- linear fit, quadratic fit,  training points, 図 (p287)
- 決定係数 ($R^2$), 線形モデル, 2次の多項式モデル, 適合 (p288)
- 多項式特徴量を追加, モデルの複雑さ, 過学習 (p289)
- 多項式の特徴量, 最良の選択であるとは限らない (p289)
- 説明変数を対数に変換しxxxできるようになる (p290)
- ランダムフォレスト回帰 (p290)
- ランダムフォレスト, 決定木, アンサンブル (p290)
- ランダムフォレスト, 区分線形関数の和, つまり (p290)
- 決定木アルゴリズムの利点 (p290)
- 決定木, 伸張させるには (p290)
- 決定木, エントロピー (p290)
- エントロピー, xxxするものである (p290)
- 回帰に決定木を使用するには (p291)
- $I(t)$, 式 ノードtの負純度指標であるエントロピー...(p291)
- $N_t$: ノードtのトレーニングサンプルの個数 (p291)
- $D_t$: ノードtのトレーニングサブセット (p291)
- $y^{(i)}$: 真の目的地 (p291)
- $\hat{y_t}$: 予測された目的値(サンプルの平均) (p291)
- MSE, 分割後のノード分散 (p291)
- 分割条件, 分散減少(variance reduction) (p291)
- scikit-learn, DecisionTreeRegressorクラス (p291)
- 決定木、モデル、制約 (p292)
- 決定木の深さ、過学習、学習不足 (p292)
- ランダムフォレスト、決定木、汎化性 (p292)
  - 理由
- ランダムフォレスト、利点 (p292)
- ランダムフォレスト、パラメータ、実験が必要となるのは (p292)
- ランダムフォレスト、アルゴリズム、分類用のアルゴリズム (p292)
  - 唯一の違い
- ランダムフォレスト、予測される目的変数、xxxして計算される (p292)
- SVM, 非線形回帰 (p294)
- SVM, 回帰, S.R.Gunn (p294)
- SVM回帰器, scikit-learn (p294)