Etter at faren Frederik II hadde konvertert til katolisismen flyttet Karl og hans brødre først til Hannover i 1754, hvorfra de kom til hoffet i København i 1756. I København fikk han en gunstig posisjon og høye embeter, men lyktes i liten grad å hevde seg. Tiden, med intrigene rundt Struensee, var heller ikke gunstige for ham. Etter tronskiftet i 1766 ble Karl først utnevnt til sjef for livgarden, stattholder i Norge – uten noen gang å residere der, og formann for det nyopprettede krigsrådet.