12 мая 1864 года Уорд командовал своей бригадой во время знаменитой атаки Хэнкока на «Подкову мула» в сражении при Спотсильвейни. Именно дивизия Бирни в тот день уничтожила «бригаду каменной стены». Однако, 12 мая, ко всеобщему удивлению офицеров, генерал Хэнкок отстранил Уорда от командования за «недостойное поведение и пьянство» в ходе битвы в Глуши. Несмотря на это, 18 июля Уорд был с почестями отправлен в отставку. Многие влиятельные люди просили вернуть Уорда на службу, однако 2 октября 1864 года военный секретарь отказал в отзыве приказа об уволнении.