Som skolegutt var Palmer tilknyttet inntil han pådro seg en skade klubben antok ville forhindre ham fra å nå nivået de forventet. Palmer jobbet seg imidlertid tilbake i form og hoppet på da han fikk et tilbud fra West Bromwich Albion FC, hans lokale klubb som han holdt med under oppveksten. I desember 1984 signerte han en profesjonell kontrakt med klubben. Han fikk sin seriedebut for WBA i september 1985, da han kom inn som innbytter i kampen mot Newcastle United FC. Etter å ha spilt over 120 seriekamper for klubben ble han solgt til Sheffield Wednesday FC i februar 1989 for en overgangssum på 750 000 pund. På tidspunktet hadde West Brom betydelige økonomiske problemer og så seg derfor nødt til å tilby spillere for salg. Palmer avslo et tilbud fra Chelsea for å spille under Ron Atkinson i Sheffield Wednesday. Der etablerte han seg fast på midtbanen på øverste nivå, og fikk over 200 seriekamper frem til 1994. Han var også en del av et Wednesday-lag som spilte seg frem til finalene i FA-cupen og ligacupen i 1993, som begge var mot Arsenal FC.