Guldberg ble cand. med i 1924 og tok den medisinske doktorgrad i 1932. Han gjorde kandidattjeneste og jobbet som assistentlege ved Rikshospitalet, og fra 1931 var han reservelege ved hudavdelingen på Ullevål sykehus. Senere forsket han ved Finsens Medisinske Lysinstitutt og Carlsbergfondets Biologiske Institut i København, samt ved Universitetet i Zürich.