Under den tyske okkupasjonen av Norge ble Sølvbergs fagforening slått sammen med andre foreninger for å danne . Sølvberg var fagforeningssekretær. Han var opprinnelig en del av motstandsbevegelsen, men ble arrestert i oktober 1942 for "ulovlig virksomhet". Han ble fengslet på Møllergata 19 fra 27. oktober 1942, og senere også på Victoria Terrasse. Han ble løslatt 16. april 1943 etter å ha vært utsatt for tortur. Sølvberg ble presset til å gi avkall på sin kommunistiske tilknytning og til å bli en nazistisk agent med kodenavnet S 71. Han er særlig kjent for å ha avslørt Kommunistpartiets organisatoriske sentre i 1942, som var etablert i hemmelighet i Vikersund og Hemsedal. Sølvberg skal ha eskortert Gestapo-offiserer til begge tilholdssteder. De underjordiske kommunistpartilederne Arne Gauslaa og Ottar Lie ble overrasket der; Gauslaa og en annen person ble drept, mens Lie ble arrestert og torturert. Hans agentvirksomhet ble avdekket da Georg Angerer deserterte til Sverige.