Джексоны приобрели кирпичный дом в Лексингтоне на Ист-Вашингтон стрит, где жили с 1858 г. до начала Гражданской войны. Их первая дочь Мэри Грэм умерла в младенчестве, вторая дочь Джулия Лаура родилась в 1862 г. перед сражением при Фредериксберге.