Le 28 janvier 2003, on lui diagnostique un cancer de l'estomac, mais Spencer se refuse à un traitement, préférant profiter de ses dernières années sans souffrir des effets indésirables de la chimiothérapie. Il se rend pour la dernière fois au Crucible Theatre pour un défilé des légendes au championnat du monde 2005. En août de la même année, il réalise un saut en parachute grâce à des fonds récoltés. Sa biographie est d'ailleurs publiée la même année, avec comme intitulé « "Out of the Blue and into the Black" ».