Bayard var sønn av den fremtidige senatoren James Asheton Bayard jr. og studerte statsvitenskap privat før han deretter innledet sin karriere som advokat og farens assistent i Delaware fra 1851. Han arbeidet deretter som distriktsaktor i perioden 1853 til 1854, før han deretter var praktiserende advokat i Philadelphia i fire år. Etter dette vendte han tilbake til farens advokatkontor i hjembyen Wilmington. Bayard tjenestegjorde for øvrig som løytnant i den sørstats-støttende under den amerikanske borgerkrigen.