Soelberg var bondesønn fra Soknedal. Han hadde bakgrunn som underoffiser i jegerkorpsene i Holtålen og Selbu, og solgte slektsgården Oppstu Sør-Solberg og kjøpte gården Hegdalen i Strinda herred utenfor Trondhjem i 1835. Året etter solgte han Hegdalen og kjøpte Øvre Rotvoll i samme herred. Soelberg solgte Øvre Rotvoll for å opprette Rotvoll landbruksskole der i 1860, og kjøpte gården Hesthagen ved Gløshaugen samme år.