Un mese dopo la sua ultima partita giocata da calciatore, è stato reso noto che Gustafsson avrebbe iniziato la carriera di allenatore guidando la formazione Under-17 dell'Halmstad a partire dall'imminente stagione 2010. Nel 2011 l'Halmstad gli ha affidato la formazione Under-21, ma il 5 luglio dello stesso anno è stato promosso a capo allenatore della prima squadra dopo l'esonero dello spagnolo Josep Clotet Ruiz. Subentrato dunque a stagione in corso, non è riuscito ad evitare la retrocessione al termine dell'Allsvenskan 2011. L'anno successivo la squadra chiude al terzo posto in Superettan, tornando nella massima serie dopo gli spareggi contro il GIF Sundsvall. Nel 2013 chiude al terzultimo posto ma si salva dopo gli spareggi, disputati anche in questo caso contro il GIF Sundsvall. Gustafsson è rimasto sulla panchina dell'Halmstad fino al termine dell'Allsvenskan 2014, quando è stato sostituito da Jan Jönsson nonostante la salvezza ottenuta con due giornate di anticipo.