В 1812 году началась война с Англией. В августе 1814 года английский флот совершил рейд в устье реки Потомак и уничтожил единственный форт, прикрывающий подходы к Александрии. Мэр города решил не оказывать сопротивления и 28 августа сдал город англичанам, которые наложили на него тяжёлую контрибуцию табаком, хлопком, вином и сахаром. Дуглас Фриман писал, что неизвестно, находился ли семилетний Ли дома или же был отправлен за город, но вполне возможно, что он видел английских солдат на улицах города и дым от подожжённого вашингтонского Капитолия.