Tumultene i Baltimore var kun forsmaken på konflikten mellom de radikale og konservative over rekonstruksjonen av sørstatene. Kongressen avviste Johnsons visjon om en rask rekonstruksjon av tidligere konføderaler ved å stemme for Reconstruction Acts som delte sørstatene inn i fem militære distrikter, kontrollert av hæren for å sikre at de frigitte mennenes konstituelle og kongressielle rettigheter ble tatt vare på. Overgangsregjeringer i hver delstat i hvert distrikt skulle ledes av en militær generalguvernør. Grant, som i form av sin stilling skulle være den som valgte generalen som skulle styre hvert distrikt, foretrakk Kongressens plan for lovhåndhevelsen av rekonstruksjonen. Grant var optimistisk til av Reconstruction Acts ville passifisere sørstatene. Han utførte sin pålagte oppgave ifølge loven og instruerte sine generaler til å gjøre tilsvarende, noe som fremmedgjorde Johnson når Sheridan avsatte offentlige tjenestemenn i Louisiana som motarbeidet rekonstruksjonen. Johnson var spesielt misnøyd og ønsket å avsette Sheridan. Grant tok middelveien og anbefalte en irettesettelse, men ikke en oppsigelse. I løpet av rekonstruksjonstiden ble mer enn 1 500 amerikanere av afrikansk opphav valgt til en politisk post, mens Grant og hæren beskyttet deres rettigheter ved å nedstemme de første Black Codes-lovene i 1867.