Походив з небагатої дворянської родини Дофіне, в якій за два століття практично всі чоловіки склали голови в бою. Прадід Баяра загинув в битві при Пуатьє (1356), дід загинув у битві при Монлері (1465). Сам він брав участь в боях з 14 років, ставши пажем герцога Савойського. Перейшов від нього на службу до короля Карла VIII, яким був зведений у лицарське звання після участі в битві при Форново (1495). Після загибелі Карла в 1498 році служив Людовику XII, відзначившись у боях Другої Італійської війни.