Lee gav strenge ordrer om at hæren hans måtte minimalisere den negative påvirkningen på den sivile befolkningen. Mat, hester og andre forsyninger ble vanligvis ikke tatt med en gang, selv om kvartermestrenes kompensering av nordlige bønder og handelsmenn ved hjelp av konfødererte penger ikke ble godt tatt i mot. Forskjellige landsbyer, f.eks. York, ble avkrevd forsikring i form av forsyninger under trussel om ødeleggelser. Den mest kontroversielle hendelsen under invasjonen var da rundt førti nordlige afro-amerikanere ble tatt, noen av dem var flyktede slaver, men de fleste var frie. De ble sendt bevoktet sørover til slaveri.