W kolejnych latach pomnik Washingtona stał się popularnym miejscem spotkań. Podczas wojny secesyjnej, głównie podczas bitwy pod Antietam, pomnika używano jako wieży sygnalizacyjnej, wkrótce jednak na skutek pogody oraz wandalizmu popadł w ruinę. W roku 1882 został odbudowany, jednak w ciągu kilkunastu lat ponownie stał się stertą gruzu.