Guldberg ble medlem av Det Norske Videnskaps-Akademi i 1904, og var ridder av St. Olavs Orden.