Hausser ble født i en prøyssisk militær familie. Hans far Kurt Hausser var major i den keiserlige tyske hær.