Han var gift to ganger, begge gangene morganatisk. Første gangen i 1823 med Sophie Petin, senere friherrinne von Bayrstorff, (1796-1838) og andre gangen i 1859 med Henriette Schöller (1815-1866). Han fikk tre døtre med sin første hustru.