Henrik Jørgen ble i 1865 gift med sin tremenning, Hanna Lovise Charlotte Huitfeldt (1845–1876), og de ble foreldre til biolog Valentin Vilhelm Hartvig Huitfeldt-Kaas (1867–1941), ambassadør Hans Emil Huitfeldt-Kaas (1869–1948) og lege Hans Ludvig Carl Huitfeldt (1876–1969). Etter at Henrik døde i 1905 tiltådte sønnen Hartvig (d. 1941) som fideikommissbesitter, og deretter gikk fideikommisset over til sønnen Hans Emil (d. 1948), og dernest til Hans Emils sønn Paul.