Han var sønn av Henri Baudrillart og Marie Sacy. Faren var professor i politisk økonomi ved Collège de France, sjefredaktør for og medlem av Académie des Sciences Morales et Politiques. Baudrillarts bestefar på morssiden, Samuel Ustazade de Sacy, var sjefredaktør for og medlem av Académie française.