Jan Olsson startet sin spillerkarriere i svenske GAIS før han ble profesjonell i VfB Stuttgart i 1969. I 1971 kom han tilbake til GAIS. Han fikk Guldbollen i 1970.