Elizabeth Garrett Anderson ble født 9. juni 1836 i London som den andre av elleve barn av Newson Garrett (1812–1893) fra Leiston i Suffolk, og hans kone, Louisa født Dunnell (1813–1903), fra London. Garretts forfedrene hadde vært børsemakere og smeder i East Suffolk siden det tidlige syttende århundre. Newson var den yngste av tre sønner og ikke akademisk anlagt, men han hadde besatt familiens gründerånd. Da han fullførte skolen, byen Leiston tilbød så lite, dro han til London for å arbeide og tjene sin formue. I London ble han forelsket i hans brors svigerinne, Louisa Dunnell, datteren av gjestgiveren med opprinnelse fra Suffolk. Etter deres bryllup, dro paret for å leve i en pantelåner-butikk ved 1. Commercial Road, Whitechapel.