A la muerte de Sir Thomas Abney en 1722, la viuda Lady Mary y su última hija soltera, Elizabeth, toda su familia se mudó al Abney Hall de Hertfordshire.