Han var sønn av Peter Beckford, som eide 13 sukkerplantasjer på Jamaica. Bestefaren hadde vært guvernør på Jamaica, og skal ha eid 20 plantasjer og 1200 slaver.