Han var sønn av bryggerimester Johan Christian Wildhagen og Benedicte Kristiane Frederikke Wechner fra Slesvig, dengang en del av Danmark. Wildhagen studerte forretningsdrift og kom til Trondhjem som kjøpmann omkring 1780. Fra 1816 var han direktør (styremedlem) i Norges Bank. Han giftet seg i 1803 med Gurine Catharine Marie Nissen (født 1782).