I august 1823 døde datteren Margaret. Dette følte Mary skyld for, ettersom datteren viste gode evner innen matematikk og Mary var redd for at hun hadde satt for høye forventninger til datteren. Også Williams bror Samuel døde samme sommer. Dette førte også til visse økonomiske vanskeligheter for familien.