Gyldenpalm ble student i Christiania i 1792, og cand. theol. ved Københavns Universitet den 19. januar 1802. Samme år giftet han seg i Vor Frue i samme by med Karen Marie Mariager (d. 1851).