Guldberg skrev flere lærebøker om algebra samt populærvitenskapelige artikler om naturvitenskap og matematikk. Han gjorde en viktig innsats for forsikringsbransjen i Norge på slutten av 1800-tallet. Han satt i styret for Den norske enkekasse fra 1874 til 1912 og var en av initiativtakerne til opprettelsen av livsforsikringsselskapet Brage i 1888. Guldberg og senere hans sønn Alf Victor Guldberg la mye av grunnlaget for formidling av forsikringsmatematikk i Norge og han hadde stor innflytelse på lovforarbeid og regulering av forsikringsvesenet i Norge.