Charles de Ventadour war der jüngere Sohn von Robert, Comte de Ventadour (1380/93 bezeugt, † vor 1407); seine Mutter ist unbekannt. Als sein älterer Bruder Jacques, Graf von Ventadour, am 17. August 1424 in der Schlacht von Verneuil fiel, wurde er dessen Erbe, da Jacques keine Söhne, sondern lediglich zwei Töchter hatte. Er ist allerdings das erste Mal im Jahr 1426 bezeugt.