Spencer døde av hjerteinfarkt på et sykehus i Los Angeles 16. desember 2005, fire dager før han fylt 59 år. I Spencers private begravelse sang hans collega fra , Kristin Chenoweth, «For Good» fra Broadway-musikalen . Spencer ble gravlagt i Laurel Grove Memorial Park i hjembyen Totowa i New Jersey. Da han døde hadde Spencer filmet to av de fem -episodene som var i post-produksjon: «Running Mates» og «The Cold».