Garretts hadde sine første tre barn i rask rekkefølge: Louie, Elizabeth og deres bror, Dunnell Newson, som døde etter 6 måneder. Mens Louisa sørget etter tapet av deres sønn, var det ikke lett å oppdra to døtre i London på den tiden. Da Elizabeth var tre år, flyttet familien til 142 Long Acre, hvor de bodde i to år, mens ett barn til ble født og faren rykket opp i status. Han ble leder for en større pantelånerbutikk, men var også sølvsmed.