Joseph Lister kom fra en velstående familie av kvekere i landsbyen Upton i West Ham i Essex, da nær, og senere en del av London, i England. Han var den annen sønn i en søskenflokk på seks barn til vitenskapsmennen og portvinhandleren Joseph Jackson Lister som var i partnerskap med Thomas Barton Beck av Tokenhouse Yard, bestefaren til Marcus Beck. Listers mor var Isabella, yngste datter av sjøkaptein] Anthony Harris. Før hun giftet seg arbeidet hun ved Ackworth School, en kvekerskole for de fattige, og der hennes mor var superintendent.