Karol urodził się w zamku w Vendôme jako syn Franciszka I, hrabiego Vendôme, i jego żony Marii Luksemburskiej. Jego siostrą cioteczną była królowa Szkocji - Maria de Guise. W 1514 Karol uzuskał tytuł para Francji, a hrabstwo Vendôme zostało podniesione do rangi księstwa Vendôme. Karol był wiernym zwolennikiem króla Franciszka I i uczestniczył w bitwie pod Marignan (w czasie wojen włoskich, w 1515). Po 1525, kiedy król znajdował się w niewoli, Karol był członkiem Rady Regencyjnej. Podczas tego okresu ziemiami Karola administrowała jego matka.