As graves deslocações da guerra e da reconstrução tiveram um impacto negativo severo na população negra, com uma grande quantidade de doenças e morte. Após a libertação, muitos dos libertos permaneceram na mesma plantação. Outros fugiram ou aglomeraram-se em campos de refugiados operados pelo Departamento de Libertos. O Departamento forneceu comida, moradia, roupas, assistência médica, serviços religiosos, alguma educação escolar, apoio jurídico e providenciou contratos de trabalho. Debates ferozes sobre os direitos dos libertos e dos confederados derrotados, frequentemente acompanhados de assassinatos de líderes negros, marcaram a Era da Reconstrução, de 1863 a 1877.