Han fødtes på mødrenegården Fossesholm i Eker som sønn av lensherre Anders Huitfeldt til Tronstad og Ulefos og Margrete Pedersdatter Litle. Mormoren Fru Ingeborg Nilsdatter Gyldenløve bodde her stadig, og døde først i 1597.