Faren gikk på en rekke økonomiske tap på 1830-tallet og flyttet til Wimpole Street i London. På grunn av sin sykdom flyttet hun 1837 sammen med en av sine brødre til Torquay i det sørlige England, der klimaet ble sett på som mer gunstig. Under oppholdet der druknet broren og dette ble en stor sorg for henne. De følgende årene tilbrakte hun sengeliggende, helt isolert i sitt soveværelse.