Después de la guerra, Gordon se opuso fuertemente a la Reconstrucción a finales de la década de 1860. Miembro del Partido Demócrata, fue elegido por la legislatura estatal para servir como Senador de los Estados Unidos, de 1873 a 1880, y nuevamente de 1891 a 1897. También fue elegido como el 53º Gobernador de Georgia, en funciones desde 1886 hasta 1890.