I samtiden var han først og fremst kjent som jeger og naturelsker. Særlig hadde han god kjennskap til fuglelivet i skogen. Denne interessen skaffet ham kallenavnet «Fugle-Guldberg». Han skrev en rekke artikler og bøker om fuglenes liv, samt om naturinntrykk og jaktopplevelser på fjellet eller i skogene på Østlandet. Han var redaktør for Norges Jæger- og Fiskerforenings tidsskrift fra 1884 til 1890. Senere ble han æresmedlem i foreningen.