Olsberg gikk til Djurgården i 1974, og spilte der fram til 1979. Han avsluttet karrieren i Helenholms GoIF, hvor han spilte i fire sesonger.