Bayard nasceu em uma família proeminente, aprendendo sobre política com seu pai James A. Bayard, Jr., que também foi senador. Em 1869, foi eleito senador para substituir o pai aposentado. Um Democrata da Paz durante a Guerra de Secessão, ele passou seus primeiros anos no senado em oposição às políticas Republicanas, especialmente a Reconstrução dos antigos estados Confederados. Seu conservadorismo estendia para questões financeiras, ficando conhecido como grande defensor do padrão-ouro a oponente do papel moeda e cunhagem de prata, que acreditava causar a inflação. Seu conservadorismo político o fez popular no sul e com interesses financeiros no oeste, porém nunca ficou popular o suficiente para conseguir a nomeação Democrata para a presidência, que tentou em 1876, 1880 e 1884.