Starkey var det eneste barnet av en fattig kvekerfamilie i Kendal i Westmorland (i dag Cumbria) i England. Hans mor, en sterk personlighet, hadde en mektig innflytelse i Starkeys unge år, mens han har portrettert sin far som en vennlig om enn noe kraftløs mann.