Denne "uorden og gæld" skulle komme til å avslutte Huitfeldts karriere. Allerede fra sin ungdom var han vant til at leve på en stor fot. Da han sammen med sin bror tjenestegjorde i København, gikk de under navnet «de norske prinser» på grunn af deres flotte vaner. Huitfeldts inntekter tillot ikke i lengden dette leveviset, og han måtte kvitte seg med sine eiendommer. I 1778 måtte han selge herregården Elinggård. Hans etterkommer, norsk riksarkivar H.J. Huitfeldt-Kaas, har sammenlignet situasjonen med Etter å ha blitt anmeldt av en fordrukken og ondskapsfull kollega ble han i 1788 stilt for krigsrett og avskjediget for å ha mottatt "skænk og gave".