Sølvberg har grunnfag i folkedans ved NTNU. I fem år mottok han arbeidsstipend fra Statens kunstnerstipend. Han har vunnet Landskappleiken to ganger, i 1989 på vanlig fele og i 2004 innen dans sammen med kona Asbjørg. Han har vært dommer på mange kappleiker både i spill og i dans. I perioden 1989–1994 var han fylkesmusiker i Sogn og Fjordane. Han har spilt en rekke konserter med Rikskonsertene og opptrådt i flere europeiske land og i USA. Som musiker opptrer han som regel enten alene eller sammen med gitarist Øyvind Lyslo eller som leder for spelemannslaget Fjelljom.