質問: モデル評価にクロスバリデーションをよく使うのですが、 決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。 そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、結局は別の検証データセットを用意しておかなければ評価できないのでしょうか?
回答: あなたが何をどう「評価」したいかに寄ると思います。 学習データのみでよいのであればクロスバリデーションをせず、学習データに適したモデルで終了 学習データで作成したモデルを新規のデータに適用したいのであれば * クロスバリデーションなしの学習モデル * クロスバリデーションした学習モデル を新規のデータで試し、実際の結果と比較しているとよいと思います。 ほとんどの場合で後者が勝つので一般にはクロスバリデーションをする、となっています。