Han giftet seg den 17. oktober 1805 med Louisa Augusta (d. 1823), hun var datter av William, andre viscount Courtenay og paret fikk tre sønner og fem døtre.