Han var sønn av den engelsk-irske forfatteren Alfred Perceval Graves og yngre halvbror til forfatteren Philip Perceval Graves. Historikeren Leopold von Ranke var hans mors onkel.