Nacida en 1745 en Fishponds en la parroquia de Stapleton, cerca de Bristol, fue la cuarta de cinco hijas de Jacob More, quien, antiguamente perteneciente a una familia prebisteriana en Norfolk, había comenzado a formar parte de la Iglesia de Inglaterra, como Tory y como director de escuela en Gloucestershire.