Familien Huitfeldt er av dansk opprinnelse, så i 1941 kunne Hans Emil overta det Kaaselundske fideikommiss (en grunnkapital som stammet fra salget av stamhuset Kaasenlund) fra sin bror, biologen Valentin Vilhelm Hartvig Huitfeldt-Kaas (1867–1941). En annen bror av Hans Emil var lege Hans Ludvig Carl Huitfeldt (1876–1969). Etter Hans Emils død i 1948 gikk kommissariatet til sønnen Paul.