I 1803 giftet han seg med grevinne Ernestine von Arco (1779–1820), som var 20 år yngre og ble ansett som en skjønnhet. De fikk åtte barn.