Hauger var far til bandyspilleren Nikolay Hauger, bror av bandyspilleren Børre Hauger (1951-2014) og onkel til fotballspillerne Henning Hauger og Andreas Hauger.