Carlos nace en Dijón en 1433, tercer hijo (los dos primeros, Antonio y José, murieron a temprana edad) del matrimonio habido entre el duque Felipe el Bueno y su tercera esposa, la infanta Isabel de Portugal.