Su mujer, Constance Garnett, era conocida por sus traducciones de literatura rusa; su hijo David Garnett también fue escritor.