I 1976 ble han valgt inn i bystyret i Tammerfors. Siden 1987 har Gustafsson vært valgt til Finlands riksdag fra Birkalands valgkrets (før 1999 kalt Tavastehus läns nordre valgkrets). Han har særlig arbeidet med undervisnings- og idrettsspørsmål. Ved Jyrki Katainens regjeringsdannelse i 2011 ble Gustafsson undervisningsminister, og satt frem til 2013.