Solberg var tilsatt ved Trondhjems Domkirkes Restaureringsarbeider – se Nidarosdomen – og underviste ved Trondhjems Tekniske Læreanstalt. Han er kjent for en rekke større bygg i Trondheim, bl.a. Rådhuset, Frimurerlogen, E.C. Dahls stiftelse og Katedralskolens vestfløy. Han har også tegna Rønvik asyl (nå Nordlandssykehuset avd. psykiatri) i Bodø, og Tromsø kunstforenings lokaler i Tromsø, opprinnelig for Tromsø museum (1894).