Hans første kone var Lady Constance Gertrude Leveson-Gower, datter av George Sutherland-Leveson-Gower, 2. hertug av Sutherland og Lady Harriet Elizabeth Georgiana Howard; de giftet seg 28. april 1852. Hans andre kone var Hon. Katherine Caroline Cavendish, datter av William George Cavendish, 2. Baron Chesham og Henrietta Frances Lascelles; de giftet seg 29. juni 1882.