Olsson arbeidet seg opp gjennom systemet i klubben fra Helsingborg. Hans prestasjoner på banen førte til at flere store fotballklubber i Europa var interessert i ham. I januar 2006 signerte han for Blackburn Rovers, og ble en del av ungdomsakademiet i klubben.