CatBoost se basa en el Gradient Boosting. Se trata de una técnica que potencia el aprendizaje, incluso en presencia de datos de diferentes fuentes. La idea es transformar los aprendices débiles en aprendices fuertes. Para eso, los nuevos modelos se basan en los antiguos, mejorándolos y reduciendo los errores. Por lo tanto, cada árbol de decisión es una evolución de un conjunto inicial de datos.