Han var sønn av presten Carl Guldberg, og bror til blant andre diakonipioneren Cathinka Guldberg og medisinprofessor Gustav Adolph Guldberg.