Hausmann var gift med Karen Toller og ble gjennom ekteskapet eier av Nordre Frogner, som etter hans død tilfalt datteren Karen, gift med Frederik Christopher de Cicignon. Foruten flere døtre hadde Caspar Herman Hausmann og Karen Toller sønnen Frederik Ferdinand Hausmann sammen. Datteren Margarethe Wilhelmine v. H. (1686-1717) ble i ekteskap med oberst Godske Hans von Brüggemann til Østergård samt Ulriksholm (1677-1736) (gift 2. gang med Dorothea Hedevig Krag (slekt fra Jylland)) svigermor til lensgreve Adam Gottlob Moltke.