Gustafson er visepresident i Sveriges Olympiska Kommitté. Han er gift med curleren Elisabet Gustafson og bor i Uppsala.