Et par måneder etter at hennes mann ble president, flyttet hun inn sammen med ham i Det hvite hus, men hun var ikke i stand til å tjenestegjøre som førstedame på grunn av hennes dårlige helsetilstand etter tuberkulose. Hun holdt seg for det meste til soverommet, og overlot gjøremål til datteren Martha Johnson Patterson. Fru Johnson viste seg offentlig som førstedame bare to ganger: ved et mottak for Dronning Emma av Kongeriket Hawaii det 2. januar 1866, og ved feiringen av presidentens 59-årsdag den 29. desember 1867.