Gillespie begynte sin fotballkarriere hos den lokale klubben Falkirk FC i 1977, hvor han ble utnevnt til lagkaptein i en alder av bare 17 år og dermed den yngste lagkapteinen i skotsk profesjonell fotball. Etter kun 22 seriekamper for Falkirk ble han den 10. mars 1978 solgt til den engelske klubben Coventry City FC for £75 000. Hos Coventry tilbragte han store deler av 1977/1978-sesongen på klubbens reservelag, men i begynnelsen av 1978/1979-sesongen ble han hentet inn på førstelaget og fikk sin debut borte mot Middlesbrough FC den 19. august 1978 (2–1). Han fikk deretter spille 14 seriekamper fordelt utover sesongen. I de påfølgende sesongene etablerte han seg fast på førstelaget, og var en del av et lag som stadig befant seg i bunnstriden for å kjempe om å unngå nedrykk.