Hans relasjoner til Truman var dårlige i begynnelsen av sin periode, ettersom Byrnes ønsket å styre utenrikspolitikken på egen hånd uten å informere eller rapportere til presidenten. Truman ga ham en reprimande etter Byrnes deltakelse i utenriksministerkonferansen i Moskva i slutten av 1945, og etter dette fungerte forholdet tilsynelatende godt. I 1946 ble Byrnes utnevnt til «årets person» av magasinet Time. I januar 1947 sa han fra seg sin stilling som utenriksminister som følge av spenninger innad i Trumanadministrasjonen. Etter dette var han guvernør i hjemstaten Sør-Carolina i perioden 1951 til 1955, hvor han i kraft av sin stilling kritiserte høyesterettens avgjørelse i Brown mot skolestyret. På 1960-tallet byttet han for øvrig fra Det demokratiske partiet til Det republikanske partiet.