Solbergs offentlige debut som konsertorganist fant sted i 1938, og samme år ble han tilsatt som organist i Lillehammer kirke. På Lillehammer virket han som organist i byens hovedkirke i årene fra 1938 til 1982 og som musikklærer ved byens gymnas fra 1949 til 1984. Han har dirigert en rekke kor, og har gitt en rekke konserter i inn- og utland samt radiokonserter i NRK, Danmarks Radio og i ORF. Han ble tatt opp i Den norske Frimurerorden i 1949, innehadde X grad og spilte orgel i mer enn 50 år i St. Johanneslogen på Lillehammer.