De første leveårene tilbrakte Carl for en stor del i Celle, mens faren var keiserlig oberst og kommandør for infanteriregimentet til prinsen av Sachsen-Hildburghausen. I 1747 flyttet familien nordover til Itzehoe og deretter til Schleswig, etter at Waldemar Herman gikk i dansk tjeneste og fikk kjøpe et regiment som var forlagt i hertugdømmene Schleswig og Holstein>.