Jean-Baptiste Henri Lacordaires far var lege i den franske marine, men døde da sønnen ennå var barn. Moren Anne Dugied var datter av en advokat og politiker. Moren oppfostret ham i Dijon. Han er bror med entomologen Jean Théodore Lacordaire. I ungdomsårene var han tilhenger av Voltaires tanker, men ble snart en like ivrig talsmann for klerikalismen.