В начале сентября 1864 года в связи со стремительным продвижением федеральных войск и взятием ими Атланты, лагерь Самтер в котором на тот момент находилось 31.700 военнопленных начал экстренную эвакуацию персонала и заключенных. Часть из них были эвакуированы в другие лагеря для военнопленных, но часть наиболее немощных и ослабевших общим числом до 1500 человек, была оставлена в Андерсонвилле. Однако после того, как федеральные войска вместо продвижения на юг, вглубь штата Джорджия начали наступление на восток, часть военнопленных в ноябре 1864 года была возвращена в лагерь увеличив число заключенных до 5000 человек.