Grayson speelde voor onder meer Leeds United (1988-1992), – in het bijzonder – Leicester City (1992-1997), Aston Villa (1997-1999) en Blackburn Rovers (1999-2002). Met al deze clubs kwam hij uit op het hoogste niveau, de Premier League. Leeds United werd Engels landskampioen in 1992. Grayson was er lang bij, maar vertrok op 13 maart 1992 naar Leicester City en mocht geen medaille in ontvangst nemen. Met Leicester versloeg hij Middlesbrough in de finale van de League Cup van 1997, na het spelen van een replay. Hij werd toen door de fans uitgeroepen tot speler van het jaar. In 2006 beëindigde hij zijn loopbaan bij Blackpool, waar hij sinds 2005 speler-coach was.