Karel was de oudste zoon van de "Zwarte Hertog" Frederik Willem en van Maria van Baden, dochter van Karel Lodewijk van Baden. Zijn moeder vluchtte samen met hem en zijn jongere broer Willem na de Slag bij Jena in oktober 1806 naar Zweden en vervolgens naar Bruchsal, waar zij op 20 april 1808 stierf. Hierop liet zijn grootmoeder Augusta (zuster van de Britse koning George III) hem naar Engeland overbrengen.