Etter å ha spilt om lag 170 seriekamper på seks sesonger for Coventry ble Gillespie den 8. juli 1983 solgt til storklubben Liverpool FC for £325 000, og ble dermed den første signeringen gjort av klubbens nye manager Joe Fagan. Gillespie fikk problemer med å spille seg til fast plass i startoppstillingen på grunn av Mark Lawrenson og Alan Hansen, men fikk sin endelige debut den 7. april 1984 i en ligacupkamp mot Walsall FC (2–2) hjemme på Anfield. I den påfølgende 1985/1986-sesongen fikk han 14 seriekamper og var med på å vinne både seriemesterskapet og medalje i FA-cupen, selv om han ikke fikk spille finalen mot byrivalen Everton FC (3–1). Han klarte likevel å score hat-trick som forsvarsspiller mot Birmingham City FC den 26. april 1986 (5–0), og hjalp klubben til nok et seriemesterskap denne sesongen.