Mansart var ikke utdannet arkitekt, men var sønn av en av de kongelige snekkerne og byggmesterne. Moren var baker, og Mansart kom fra en familie med byggmestere, arkitekter og billedhuggere. Hans far døde da han var tolv år, og moren døde året etter. I de neste årene bodde han fram til 1617 hos slektningen Germain Gaultier, som var billedhugger og byarkitekt i Rennes. Deretter flyttet han til onkelen Marcel Le Roy, en anerkjent murermester i Toulouse, hvor Mansart arbeidet og gikk i lære i årene 1618 til 1621.