Guldberg var direktør for 1878-83, redaktør for 1863-73, medlem av Det Norske Vitenskaps-Akademi fra 1867 (og dets preses og visepreses 1872-1895), medlem av Det Kongelige Norske Videnskabers Selskab fra 1870, ridder av St. Olavs Orden fra 1891 (kommandør fra 1896), æresdoktor ved Uppsala universitet 1877, ridder av Vasaordenen 1866, Dannebrogordenen 1872, Nordstjerneordenen 1882 og Karl XIIIs orden 1899.