Aunque de familia noble (era hijo de Arnaud, Señor de Albret), Carlos cayó prácticamente al rango de un plebeyo cuando la facción borgoñona ganó el poder en la corte francesa.