Era el hijo mayor del matrimonio formado por Robert Fisher, un mercader de telas de lana, y Agnes Fisher.