Sølvberg hadde tillitsverv i målbevegelsen, var med å etablere Midtredalens Skyttarlag og Naustdal handelslag. Han sluttet som lærer i 1922 og ble gardbruker.