Op 33-jarige leeftijd keerde John Brown Gordon naar huis en werd hij weer advocaat. Hij verzette zich fel tegen de politiek van de Reconstructie. In 1868 deed hij een vergeefse poging om gouverneur van Georgia te worden. Hij werd bij deze verkiezing verslagen door de Republikeinse kandidaat Rufus Bollock. Als symbool van witte suprematie waren er geruchten dat hij het hoofd was van de Ku Klux Klan in Georgia. In 1873 werd hij namens zijn staat Georgia verkozen tot senator in de Senaat, maar ondanks zijn herverkiezing gaf hij zijn positie in 1880 op voor een belangrijke functie bij de Georgia Pacific Railway.