Kelly var rammet av Calvé-Legg-Perthes sykdom som barn, men ble frisk og spilte mye fotball gjennom oppveksten. Da han var 18 år gammel skrev han under på en proffkontrakt med Walsall FC og fikk sin førstelagsdebut allerede sammer år. Han spilte over 140 seriekamper og scoret over 60 mål for klubben i en femårsperiode, og var blant annet klubbens toppscorer da Walsall spilte seg opp til andredivisjon i 1987/1988-sesongen.