Gray fikk sin debut for Sunderland AFC som 18-åring i sesongen 1992/93. Han spilte i mange posisjoner, men mistet etterhvert plassen på laget og slet benken. I 1996/97-sesongen fikk han endelig tillit igjen og spilte seg nå til fast plass på venstrekanten på midtbanen, men sesongen ble ødelagt da han ble den store syndebukken som bommet på straffe i straffekonkurransen i playoff-finalen mot Charlton Athletic.