Głównym powodem antagonizmów była propozycja Johnsona, by proces rekonstrukcji kraju prowadzić drogą pokoju i dialogu, podczas gdy radykałowie, tacy jak Thaddeus Stevens, opowiadali się za zbrojną okupacją Południa i całkowitym równouprawnieniem Afroamerykanów. Inny z liderów radykałów, przewodniczący Senatu Benjamin Wade uważał ponadto, że powrót Konfederacji do Unii spowodowałby ponowne połączenie się demokratów z Północy i Południa, co zagroziłoby pozycji Partii Republikańskiej. W grudniu 1865 roku powołano Komisję ds. Rekonstrukcji, której zadaniem było zadecydowanie, czy zbuntowane stany można bezpiecznie przyjąć do Unii. Radykalni Republikanie stanowili wówczas mało liczne grono w swoim obozie, które jednak szybko się rozrosło, gdy prezydent zawetował ustawy "Freedmen’s Bureau" (o zwalczaniu dyskryminacji rasowej w sądach wojskowych) oraz "Civil Rights Bill" (o prawach obywatelskich czarnoskórych obywateli). Johnson uzasadniał swoją decyzję niezgodnością poprawek z Konstytucją. W wyniku wyborów do Kongresu w 1866 republikanie uzyskali większość 2/3 głosów, więc byli zdolni odrzucić prezydenckie weto. Aby zapewnić, że ustawy te nie zostaną w przyszłości zakwestionowane, ich zapisy zostały włączone do XIV poprawki do Konstytucji.