Da faren deres reiste til London for videre medisinske studier, bodde søstrene midlertidig i New Rochelle sammen med sin farbror, William Bayley, og hans kone, Sarah (Pell) Bayley. Elizabeth utholdt en tid med mørke, og sørget over fraværet av en annen mor, slik hun senere reflekterte i dagbokene sine.