Gedurende de Reconstructie was Sumner, in samenwerking met afgevaardigde Thaddeus Stevens, een aanhanger van de harde lijn ten aanzien van de ex-Geconfedereerden. Zo probeerde hij de macht van de voormalige Geconfedereerden in te perken. Tevens zette hij zich in voor gelijke rechten en voor stemrecht voor de vrijgelaten slaven.