Olsberg, som startet karrieren i Hovmantorps GoIF, ble oppdaget i løpet av sin andre sesong for Växjö BK. Klubben hadde rykket opp fra 4. divisjon, og var nære på å ta sitt andre opprykk på rad. Olsberg var toppscorer i sin divisjon begge sesongene. At Olsberg valgte Malmö FF framfor den lokale klubben Östers IF, skyldtes til dels praktiske forhold, da Olsberg ønsket å studere til siviløkonom, et studium som ikke var tilgjengelig i Växjö.