Tras el regreso de Felipe a Flandes y debido a la avanzada edad de Margarita de York, dejó a Carlos al cuidado de la señora de Ravenstein, Ana de Borgoña; además nombró gentilhombre de la cámara de Carlos a su padrino, Carlos de Croy, y encomendó su educación a maestros borgoñones que le enseñarían la historia del ducado.