Jesienią 1863 roku Alexander wziął udział w marszu Korpusu do północnej Georgii by wesprzeć siły gen. Braxtona Bragga nad Chickamaugą. Przybył zbyt późno i nie wziął udziału w bitwie, ale w kampanii knoxvillskiej, jak i w Departamencie Wschodniego Tennessee był szefem artylerii Longstreeta. Na początku 1864 roku wrócił wraz z korpusem do Wirginii, gdzie 26 lutego otrzymał awans na generała-brygadiera. Brał udział we wszystkich bitwach kampanii lądowej, a gdy gen-por. Ulysses Grant przeszedł za plecami armii gen. Lee i sforsował rzekę James by uderzyć na Petersburg, Alexander zdołał przemknąć się ze swymi działami między liniami wroga i rozstawić je na pozycjach tuż przed głównym atakiem.