Spencer ga seg som snookerspiller i 1991 på grunn av at han led av myasthenia gravis, som blant annet har dobbeltsyn som symptom. I 2003 ble han diagnostisert med magekreft, men han avslo behandling for å kunne leve resten av livet uten bivirkninger fra behandlingen. Han døde av kreften 11. juli 2006 i Bolton, 70 år gammel.