I 1822 mislyktes Isaacs virksomhet, en liten butikk, og familien flyttet til Dalston i London. Livet var vanskelig for familien, og Isaac og Mary sendte ofte Philip og Anna for å bo hos Marys foreldre i Buxton i Norfolk.