ブートストラップ法
ジャックナイフ法(英語版)は外れ値の検出に、クロスバリデーションは再現性の確認に用いられるものである。
この手法の基本概念と価値を示すため、やや人工的な例を用いる。フィッシャーによる有名なアヤメの計測値(Iris flower data setを参照)を用い、iris-virginica() と iris-versicolor() の2種を判別するモデルを構築することを考える。
この2種を、がく片の長さのみを説明変数として判別するロジスティック回帰モデルを考え、最尤法を用いると、次表のとおりパラメータの最尤推定値と標準誤差が得られる。
モデル式
2.01×がく片長-12.57≧0のとき virginica と判別
2.01×がく片長-12.57<0のとき versicolorと判別
(このモデル式では、virginica は標本50個中37個、versicolor は50個中36個が正しく判別されている。)
最尤推定値は漸近的には正規分布することが知られている。今回の標本50個ずつのデータで出した最尤推定値(切片:-12.57、がく片長の係数:2.01)が、どの程度正規分布に近いか、ブートストラップ法で以下のように調べることができる。
元データからn個の標本を復元抽出する。このときnは元データの標本数である。
最尤法でロジスティック回帰モデルに当てはめる。
このブートストラップ抽出を何度も( B {\displaystyle B} 回)繰り返す。
こうして計算された「推定量の標本分布」は、本来の標本分布の近似になっている。
前項と同様だがランダムに標本化した残余の符号をさらにランダムに変えるものである。これは残余の分布が対称なことを仮定しており、元の標本数が少ない場合に利点がある。