Kurze Zeit vor dem Attentat auf Lincoln war dieser den Radikalen bei einigen Forderungen noch entgegengekommen, indem er ein Gesetz zur Einführung des "Freedmen’s Bureau" („Behörde für befreite Sklaven“) unterschrieb und in Louisiana das Wahlrecht für gebildete Afroamerikaner und dunkelhäutige Unionssoldaten forderte. Als Stevens von der Ermordung Lincolns erfuhr, rief er dem die Nachricht überbringenden Freund die katastrophalen Präsidentschaften von Tyler und Fillmore ins Gedächtnis, die jeweils einem verstorbenen Präsidenten nachgefolgt waren. Insgesamt zeigte er wenig Anzeichen von Trauer und blieb der offiziellen Gedenkveranstaltung in Lancaster fern. Stevens’ schlechte Vorahnung hinsichtlich des neuen Präsidenten bestätigte sich schnell. Der unionstreue Demokrat Johnson hatte zwar die Emanzipation befürwortet, da er sie für den Erhalt Vereinigten Staaten als notwendig erachtete, aber aus einer verarmten Familie aus North Carolina stammend, teilte er alle dort herrschenden rassistischen Vorurteile. So entmachtete er bis Anfang 1866 das "Freedmen’s Bureau", das enteignete Plantagen verwaltete, und gewährte knapp 13.000 Rebellen Pardon, wodurch diese ihren Landbesitz zurückerhielten. Dies hatte die Vertreibung dort siedelnder früherer Sklaven zur Folge. Wie die Kongressmehrheit sah er die Sezessionsstaaten immer noch als Bestandteil der amerikanischen Union an und wollte ihnen so schnell wie möglich den Status vollwertiger Bundesstaaten zurückgeben, wie er bereits Anfang Mai mit der Anerkennung der Regierung Virginias unterstrich. Selbst für die konservativen Republikaner wurde das Wahlrecht für Afroamerikaner nun ein zentrales Thema, weil ohne ein solches in den Südstaaten, die mit dem Wegfall der Drei-Fünftel-Klausel ohnehin mehr Abgeordnete stellten als vor dem Bürgerkrieg, fast ausschließlich Demokraten Wahlchancen besäßen.