Brantôme est né aux environs de 1537 à Bourdeilles, en Périgord. On ne connaît pas la date précise de sa naissance. Il est le troisième fils d'Anne de Vivonne et du baron François de Bourdeille, militaire ayant participé aux campagnes d'Italie aux côtés de Bayard (1494-1516). Pierre de Bourdeille passe son enfance à la cour de Marguerite d'Angoulême. Sa grand-mère, Louise de Daillon du Lude, seconde épouse du Sénéchal du Poitou, officiait à la cour de la sœur de François en qualité de dame d'honneur. La mère de Pierre, Anne de Vivone, et sa « tante de Dampierre », Jeanne de Vivone, figurent parmi les « devisantes » de l’"Heptaméron".