Guldberg var medlem av Det Norske Videnskapsakademi fra 1897. Han var også medlem av styret i Norske Liv fra 1902. Han var formann i Den norske Aktuarforening fra 1913 til 1919 og i Norsk Matematikkforening fra 1925 til 1929.