Graves var eldste sønn av forfatteren Alfred Perceval Graves (1846–1931), og tilhørte en ledende anglo-irsk familie. Han studerte i Haileybury og ved Oxford University. Han var eldre halvbror til forfatteren Robert Graves.