De su primera mujer, Harriet (Minny) Thackeray, tuvo una hija llamada Laura, y de su segunda esposa, Julia Jackson, viuda de Herbert Duckworth, tuvo dos hijos, Adrian y Thoby, y dos hijas, Virginia Woolf y Vanessa Bell.