Solberg var landslagssjef for det norske svømmelandslaget i perioden 1999–2001. Han var dessuten trener for det samme landslaget fra 1996 til 1999, og hadde ulike andre landslagsoppgaver i perioden 2004–2009. Solberg har vært akkreditert trener ved en rekke EM, VM og ett OL (1996). Per 2024 er hovedtrener i svømmeklubben Bærumsvømmerne; denne stillingen har han hatt siden 2001.