Emmanuel Lafont kom fra en katolsk borgerfamilie i Touraine. Han vest siste av syv brødre og søstre, er han sønn av Louis Lafont, marineingeniøroffiser og våpeningeniør, direktør for familieavdelingen i Vichy-regjeringens innenriksdepartement, og direktør for atlanterhavsverftsgruppen Naval Groups, og av Monique Bonnin de la Bonninière de Beaumont.