I 1992 ble Spencer solgt til Chelsea FC i en overgangssum verdt 450 000 pund. Der fikk han spille mer eller mindre fast, og i årene mellom 1992 og 1996 spilte han 103 seriekamper og scoret 36 seriemål. Han spilte også finalen i FA-cupen i 1994 mot Manchester United FC, som Chelsea til slutt tapte 0–4. Da Ruud Gullit tok over som Chelsea-manager etter Glenn Hoddle ble Spencer regnet som overflødig i klubben og satt på overgangslisten.