Баярд происходил из небогатого дворянского рода Дофине, в котором за два столетия практически все мужчины сложили головы в бою. Прапрадед Баярда погиб в битве при Пуатье (1356), дед пал в битве при Монлери (1465).