Bien qu’il paraisse intuitif d’imaginer qu’une très grande quantité de données améliore la performance d’un modèle, il se peut qu’une masse de données trop importante puisse rendre l’analyse plus compliquée. Il peut donc parfois être intéressant de réduire la quantité ou la dimension des données, de manière à améliorer les capacités de stockage et réduire les coûts de l’analyse, sans pour autant perdre en performance (voire dans certains cas en gagner). Il existe plusieurs techniques de réduction de données, nous pouvons par exemple choisir un certain nombre de variables que nous préférons garder et en laisser tomber d’autres. Le choix des variables pertinentes peut se faire par l’analyse de la p-valeur de la variable, ou par des techniques d’arbres de décisions qui nous donne une estimation de l’importance des différents descripteurs.