Han vokste opp i Nittedal og i Målselv og startet sin militære løpebane på Befalsskolen for Kavaleriet (1974). Han ble deretter uteksaminert fra Krigsskolen og Forsvarets stabsskole og er også uteksaminert fra US Army Command and General Staff College og US Army War College i USA. I 1999 ble han utnevnt til generalmajor. Sølvberg ledet oppsettingen av hærstyrker til Balkan, Irak og Afghanistan. I perioden 2002 - 2005 var han generalinspektør for Hæren. Sølvberg trakk seg som hærsjef etter en kontrovers knyttet til Forsvarets økonomi. I perioden 2006-2008 ledet han overvåkingen av våpenhvilen mellom de tamilske tigrene og regjeringsstyrkene på Sri Lanka (Sri Lanka Monitoring Mission).