I 1828 tapte John Quincy Adams presidentvalget til Andrew Jackson. Kort tid etter i 1829 druknet yngstesønnen George etter det som trolig var et selvmord der han stupte fra et skip. Fem år senere i 1834 døde den mellomste sønnen John. Han etterlot seg kone og to døtre som flyttet inn til besteforeldrene Adams og Louisa fant oppmuntring i å hjelpe til med å ta seg av de to sønnedøtrene.