Da Graeme Souness tok over som manager for Kenny Dalglish ble det klart at Gillespie ikke var regnet som fast inventar på førstelaget, og dette ble markert ytterligere med kjøpet av Mark Wright. Som følge av dette ble Gillespie solgt til den skotske klubben Celtic FC på en overgangssum verdt £925 000 den 15. august 1991. Han ble da den første signeringen til den nyutnevnte manageren Liam Brady. Han fikk sin seriedebut mot sin gamle klubb Falkirk den 17. august 1991 (4–1) og spilte i underkant av 70 seriekamper fordelt over tre sesonger, dog uten å vinne noe med Celtic. Da Tommy Burns tok over managerrollen fra Brady ble Gillespie nok en gang satt i skyggen, og den 23. august 1994 gikk han på en fri overgang til sin gamle klubb Coventry City. Her fikk han tre seriekamper i 1994/1995-sesongen, før en alvorlig kneskade satte ham ute av spill de neste to årene. Gillespie la omsider opp som aktiv fotballspiller i 1997.