Paret slo seg først ned på slottet i Plön i hertugdømmet Holstein. Her fødte Charlotte Frederikke den 8. april 1807 deres første barn, sønnen Christian Frederik, som døde samme dag som fødselen. Fra 1808 bodde paret i København, hvor de flyttet inn i Levetzaus palé på Amalienborg. Her fødte Charlotte Frederikke den 6. oktober 1808 parets eneste gjenlevende barn, sønnen Frederik Carl Christian, den senere Frederik VII.