Nacido en una próspera familia cuáquera de Upton, Essex, sus padres fueron Joseph Jackson Lister, uno de los pioneros en el uso del microscopio, e Isabella Harris.