Garnett sólo recibió unos años de educación formal en la City of London School, que abandonó a los 16 años; a partir de entonces se educó a sí mismo con unas lecturas amplísimas.