Olsson begynte sin fotballkarriere hos Landskrona BoIS under ledelse av Jan Jönsson, hvor han som venstreback fikk sin førstelagsdebut i 2003 og spilte 56 seriekamper over to år. I 2005-sesongen ble han også utnevnt til lagkaptein.