Gustavsson begynte å spille fotball for sitt lokale lag fra Gusum. I 1947 ble han med i den tids dominerende klubb, IFK Norrköping. På slutten av ungarske Lajos Czeizler trenertid var det meningen at Gustavsson skulle erstatte Gunnar Nordahl på midtbanen (Nordahl dro til AC Milan i 1949). I sin først kamp mot AIKs scoret han tre mål. Den østerrikske treneren Karl Adamek, som hadde ansvaret fra 1950, flyttet han tilbake i forsvar, hvor han senere skulle dominere. I sine år hos Norrköping ble han seriemester i 1948, 1952 og 1956. Han spilte også finalen i den Svenska Cupen i 1953.