Tiden som førstedame ble ikke lykkelig for Louisa Adams. Hun led av depresjoner og også forskjellige diffuse fysiske lidelser. Hun mistrivdes med å bo i Det hvite hus som hun syntes var for stort og kaldt. Samtidig var hun plaget og bekymret over familieproblemer. Eldstesønnen George brukte opium og fikk et barn utenfor ekteskap med en tjenestepike. Den nesteldste sønnen ble kastet ut av Harvard og yngstesønnen bekjente at han hadde benyttet prostituerte i sin tid der.