John Selwyn Gummer var sønn av presten Selwyn Gummer, og vokste opp i en viktoriansk prestegård sammen med to brødre. Han har senere fortalt at familien hadde lite penger, og at han hadde en oppvekst der han lærte å bli glad i naturen.