Carver er sønn av John Hobart Carver og Jocelyn Louisa Grace Carver (f.d. Tweedie). Han gikk på Ladycross School, en katolsk barneskole i Seaford i East Sussex, og deretter Wellington College, i Crowthorne, Berkshire.