Robert Graves hadde åtte barn. Med sin første hustru Nancy Nicholson fikk han Jennie (som giftet seg med journalist Alexander Clifford), David (som ble drept i andre verdenskrig), Catherine (som giftet seg den kjernefysiske forskeren Clifford Dalton), og Sam. Med sin andre hustru, Beryl Graves (1915–2003), fikk han William, Lucia (også oversetter), Juan og Tomás (forfatter og musiker).