Guldberg var nest eldst av elleve søsken. Han tok examen artium i 1856, ble cand.real. 1863 og tok doktorgraden i 1867 (dr.philos.). Han var lærer i Stavanger 1865, og studerte matematikk i Frankrike og Tyskland under sin bryllupsreise fra 1864 til 1865. Det meste av sitt yrkesaktive liv var han lærer i matematikk på Krigsskolen fra 1867 til 1899. Etter å ha pensjonert seg fra undervisningen var han gårdbruker på Nordre Skøyen gård i Vestre Aker.