Huitfeldt-Kaas tilhører slekten Huitfeldt, en opprinnelig dansk adelsslekt og senere også norsk adelsslekt. Han var sønn av Valentin Wilhelm Hartvig Huitfeldt (1795–1881) og Anne Margrethe Brochmann (1801–70). Tilleggsnavnet Kaas antok han etter at han i 1881 arvet det Kaasenlundske fideikommiss etter sin far. Han var etterkommer etter Jørgen Kaas, hvis barnebarn Birgitte Christine Kaas var gift med generalløytnant Henrik Jørgen Huitfeldt til Elingård. Fideikommisset var en erstatning for stamhuset Kaasenlund på Fyn i Danmark, som ble solgt 1803, med en grunnkapital på 116 000 danske kroner.