データ前処理

機械学習・データマイニングにおけるデータ前処理（データまえしょり、）は学習の前段階で行われるデータ変換である"tf.keras.preprocessing ... preprocess data before training." TensorFlow docs. 2022-07-17閲覧.。

 概要 
機械学習やデータマイニングではモデルとデータが用意され、データに基づいてモデルのパラメータが更新=学習される。しかしデータがモデルに適さない場合がある（例: モデル入力サイズとデータ次元の不一致）"One issue ... is that the samples are not of the same size. Most neural networks expect the images of a fixed size. Therefore, we will need to write some preprocessing code." PyTorch docs. 2022-07-17閲覧.。そのため、学習より前の段階で、人が考案した規則に従って、生データを学習データへと変換することがある。この変換をデータ前処理という。

 目的 
データ前処理には様々な目的がある。

 モデル制約への適合
 例: 入力の値域合わせ、入力次元合わせ
 クリーニング
 例: 外れ値除去 （スクリーニング）"外れ値が残ったままデータ分析を実行すると、ほとんどのケースで全体の分析結果がゆがんでしまいます。極端に大きな値や小さな値を分析データに含めることで、分析結果が外れ値に引っ張られてしまうからです。" 橋本. (2020) データ分析は前処理が8割、「毒抜き」しないと危険. 日経クロステック.、欠損値処理

関連する慣用句として「ガベッジイン、ガベッジアウト」がある。

 脚注 

Category:データマイニング