Sammen med Adam Dzwonkowski startet han i 1835 utgivelsen av Skilling-Magazin. 8. desember 1847 ble Guldberg utnevnt til residerende kapellan til Nannestad og sluttet dermed med utgivervirksomheten. 10. november 1858 ble han forflyttet til Ullensaker og i 1869 ble han endelig utnevnt til sokneprest i Onsøy. Herfra fikk han avskjed i nåde i 1880. Som pensjonist bosatte han seg i 1881, hvor han også døde 11 år senere.