Caspar Herman Hausmann var født i det tyske hertugdømmet Holsten (tysk Holstein), som var i personalunion med Danmark og Norge. Han var sønn av Margrethe Pape og dermed halvbror av Ulrik Fredrik Gyldenløve. Faren var etatsråd Daniel Hausmann.