Han vokste opp i Soknedal og Strinda som sønn av gårdbruker og stortingsmann Ole Soelberg og hustru Dorthea Hugås. Han giftet seg i Lade kirke i 1853 med Olava Birgitte Være, datter av gårdbruker Gunnar Monsen Være. Han var kontorist ved Gauldal sorenskriverembede i et par år før han gikk landbruksskolen på Munkvoll. Han forpaktet gården Vikhammer i Malvik 1850–1855. I 1855 fikk han skjøte på Hognes og Mælaneset i Stjørdal. Soelberg var blant foregangsmennene i jordbruket i Stjørdal på 1800-tallet, var med å etablere slikt som meieriet, og var blant de første til å ta i bruk nytt utstyr, som ploger og treskeverk. Han solgte gårdene til Hågen Johnsen Knotten i 1898, og bodde på Hognes frem til sin død.