Carlos fue el hijo de Carlos Martel de Anjou-Sicilia y Clemencia de Habsburgo, hija del Rodolfo I.