Han døde den 25. september 1803 på Clausholm, og ble bisatt i en marmorsarkofag Voldum kirke. Ved hans død gikk det Huitfeldtske fideikommiss over til hans datter, og i 1843 til svigersønn av stiftamtmann i Akershus, Gebhard Moltke.