Huitfeldt ektet i 1755 Ingeborg Kirstine Reichwein og fikk åtte barn. Han døde 20. november 1792 og ble bisatt i familiens gravkapell i Hurum kirke.