Henrik Jørgen var sønn av kommandanten på Fredriksten, oberst Tønne Huitfeldt, og bror til Iver Huitfeldt og Hartvig Huitfeldt. Han er stamfaren til den norske slekten Huitfeldt, deriblant politikeren Anniken Huitfeldt.