Frederik Ferdinand Hausmann var sønn av den militære strategen Caspar Herman Hausmann (1653–1718), som var halvbror av Ulrik Fredrik Gyldenløve. Caspar Herman kom til Norge i 1680, og giftet seg med Karen Toller, som var en av Christianias rikeste kvinner. Foruten Frederik Ferdinand fikk paret en rekke døtre.