La muerte de su padre también significó que Mary podría vivir nuevamente con él en Pentonville, y en 1800 se establecieron en una casa compartida en Mitre Court Buildings en Inner Temple, en donde vivieron hasta 1809.