Hans Emil var sønn av riksarkivar Henrik Jørgen Huitfeldt-Kaas (1834–1905) og Hanna Lovise Charlotte Huitfeldt (1845–1876). I 1911 giftet han seg med Dorothy Marianne Morton Latham (1889). De var foreldre til blant andre sivilingeniør Paul Latham Huitfeldt-Kaas (1914–2007).