ブートストラップ法
回帰問題におけるブートストラップを行うもう一つの方法は、残余を再標本化するものである。すなわち、
モデルを当てはめ、当てはめた値を μ ^ i {\displaystyle {\hat {\mu }}_{i}} 、残余を r i {\displaystyle r_{i}} ( i = 1 , ... , n {\displaystyle i=1,\dots ,n} )とする。
説明変数 x i {\displaystyle x_{i}} と従属変数 y i {\displaystyle y_{i}} の組 ( x i , y i ) {\displaystyle (x_{i},y_{i})} のそれぞれについて、ランダムに標本化した残余 r i {\displaystyle r_{i}} を従属変数 y i {\displaystyle y_{i}} に加える。
モデルを再度当てはめ、目的の量(たいていは推定したパラメータ)を記録する。
2と3のステップをB回繰り返す。
この方法は説明変数の持つ情報を保持しているという利点がある。しかしどの残余を標本化するのかという疑問が起こる。そのままの残余を用いる手もあるし、(線形回帰では)スチューデント化残差を用いることもできる。スチューデント化残差を使う方が好ましいという議論はあるのだが、実際にはほとんど差がでない上、双方を用いて互いに結果を比べることは容易である。