Den ugifte og barnløse Mansart ble i sin samtid en av Paris' rikeste ikke-adelige menn, som samlet en enorm formue blant annet i fast eiendom. Han var kjent for sin elegante klesstil og kultiverte livsform. Dette brakte ham imidlertid også fiender, og han ble utsatt for rykter og bakvaskelser. Det ble gitt ut et anonymt skriv, kalt «Mansarades», med en rekke angivelige pikante detaljer om hans liv, hvor forfatteren både påstod at han var homofil og at arbeidene han sto for var slurvete gjennomført og ikke i henhold til den kvalitet han oppga.