Nilsson begynte å spille fotball i Jonsereds IF og fortsatte senere i IFK Göteborg der han slo igjennom på slutten av 1970-tallet. I 1976 fikk han sin debut på det svenske landslaget. Nilsson spilte en sesong i PSV Eindhoven 1976-1977 før han returnerte til IFK Göteborg hvor han fikk stor suksess, blant annet med seieren i UEFA-cupen i 1982. I perioden 1982-1984 spilte han for FC Kaiserslautern, men returnerte til IFK Göteborg. I 1988 spilte han igjen for sin moderklubb Jonsereds IF, og her startet også hans trenerkarriere.