18 ноября 1862 года Семур был отправлен в Южный Департамент, где служил начальником штаба с 8 января по 23 апреля 1863 года. 18 июля он руководил неудачной атакой форта Вагнер. Неудачная атака, тем не менее, прославила Сеймура. Именно он поставил в авангарде 54-й массачусетский полк (негритянский), о действиях которого в 1989 году был снят фильм «Слава». Сеймур был ранен картечью в этом сражении и отошел от полевой службы до конца года.