I 1944 var Byrnes nær å bli utnevnt til USAs visepresident, men møtte motstand fra fagforeningene fordi han ble ansett å være for konservativ. Det talte også mot hans fordel at han hadde konvertert fra katolisismen til protestantismen, og at han var imot raseintegrering, noe som gjorde at han ble dårlig likt av den svarte befolkningen. Det kunne virke som om Roosevelt lot, eller oppfordret, lederne i Det demokratiske partiet i å spre ryktet om at Byrnes skulle møte motstand fra svarte og katolikker ettersom presidenten ikke ville ha han. I stedet ble Harry S. Truman valgt til å bli Roosevelts visepresident. Byrnes fulgte likevel Roosevelt til Jaltakonferansen tidlig i 1945.