Før andre verdenskrig var Sølvberg en aktiv fagforeningsmann og medlem av Kommunistpartiet. Han arbeidet som telegraffunksjonær og var tilknyttet , hvor han også redigerte fagforeningens magasin,