Priododd Arglwydd Ormathwaite Jane, merch George Grey, 6ed Iarll Stamford, ym 1825. Bu iddynt ddau fab a dwy ferch. Bu farw yn ei gartref yn Warfield yn Ebrill 1881, yn 82 mlwydd oed, fe'i olynwyd yn ei anrhydeddau gan ei fab hynaf, Arthur.