I 1864 års kongressval valdes Kerr till representanthuset som en av de demokrater i Nordstaterna som var för amerikanska inbördeskriget. Han var en stark motståndare till "Copperheads" som inom Nordstaternas demokrater förespråkade en linje som skulle ha inneburit en snabb fred med Sydstaterna. Han var ledamot av USA:s representanthus från Indiana 1865-1873 och 1875-1876. Han var en av de ledande demokraterna i kongressen och motståndare till republikanernas politik under Rekonstruktionstiden.