La madre de Anne murió el 21 de septiembre de 1821 y, en agosto de 1824, Charlotte y Emily fueron enviadas con sus hermanas mayores, María y Elizabeth, al colegio de Clergy Daughters, en Cowan Bridge (Lancashire), donde cayeron enfermas de tuberculosis.