Fue reelegido en 1864 y, cuando el 39.° Congreso se reunió en diciembre de 1865, el tema principal fue la reconstrucción de los Estados Confederados derrotados. El Congreso también desempeñó un papel en la gobernanza del sur conquistado, disolviendo los gobiernos estatales que el presidente Andrew Johnson había instalado y sustituyó a los gobiernos militares bajo el control del Congreso. Votó a favor de estas nuevas medidas, más duras, pero también apoyó cierta indulgencia hacia los ex rebeldes cuando se opuso a un proyecto de ley que habría impedido a los sureños asistir a la Academia Militar de los Estados Unidos. Votó para destituir a Johnson en 1868, aunque inicialmente se había opuesto. Más tarde, se mostró más ambiguo acerca de la validez de los cargos contra Johnson.