Konfødererte tok fargede unionssoldater til slaver, og særlig fargede soldater ble skutt da de forsøkte å overgi seg i Fort Pillow-massakren Dette førte til sammenbrudd i fangeutvekslingsprogrammet og fremveksten av fengselsleirer som Andersonville-fengselet i Georgia hvor nesten 13 000 unionsfanger døde av sult og sykdom.