В октябре 1415 года после гибели своего отца Филиппа Бургундского, графа де Невер, в битве с англичанами при Азенкуре Карл унаследовал графства Невер и Ретель. При малолетнем Карле регентшей в обоих графствах была его мать Бонна д’Артуа (1415—1424). Сам граф находился под покровительством своего двоюродного брата, могущественного герцога Бургундского Филиппа III Доброго (1419—1467), который в ноябре 1424 года женился на Бонне д’Артуа, матери Карла.