Hans mor Catherine var av spansk avstamning. Ferdinand var gjest hos sin kusine, comtesse de Montijo, da han ble kjent med deres datter Eugénie, som i 1853 ble Napoleon IIIs hustru og dermed Frankrikes keiserinne. Hans onkel, Jean Baptiste Barthélemy de Lesseps, var også diplomat.