Karl var nevø av den dansk-norske dronning Louise av Storbritannia – Frederik Vs første dronning. Han ble i 1766 gift med sin kusine; prinsesse Louise av Danmark (1750–1831), datter av Louise og Frederik. Louise og Karl fikk etterhvert 6 barn.