Hussey Vivian var gift to ganger, først 14. september 1804 med Eliza (d. 1831), datter av Philip Champion de Crespigny fra Aldeburgh, Suffolk, etter hennes død giftet han seg igjen den 10. oktober 1833 med Letitia, tredje datter av James Agnew Webster fra Ashford, Longford. Med sin første hustru hadde han barn, blant de to sønner: Charles Crespigny; John Cranch Walker (d. 1879), kaptein i The 11th Hussars, parlamentsmedlem for Truro, og permanent under-secretary of state for war og en ugift datter. Med hans andre hustru, som overlevde han, hadde han en datter, Lalagé Letitia Caroline (1834–1875). Hun giftet seg med Henry Hyde Nugent Banks, sønn av the Right Hon. George Banks fra Kingston Hall, Dorset. Lord Vivian etterlot seg også en sønn utenfor ekteskap (engelsk: a natural son), som han anerkjente og som vokste opp som en av familien, Sir Robert John Hussey Vivian.